ملخص تقني: وهم الاستدلال: كشف تلوث البيانات المراوغ في النماذج اللغوية الكبيرة عبر قطع سلسلة التفكير (Zero-CoT Truncation)

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات استدلال مثيرة للإعجاب، ومع ذلك، فإن التقييم الموضوعي لهذه القدرات يتعرض لخلل شديد بسبب تلوث البيانات (Data Contamination). يحدث هذا عندما يتم تضمين بيانات الاختبار في مجموعة بيانات تدريب النموذج، مما يؤدي إلى تضخيم مقاييس الأداء بشكل مصطنع. وبينما تعتمد طرق الكشف التقليدية على التداخل اللفظي السطحي، فإنها تفشل أمام تلوث البيانات المراوغ (Evasive Data Contamination). في هذا السيناريو الخفي، يقوم الناشرون ذوو النوايا السيئة أو عمليات التدريب غير المقصودة (مثل البيانات الاصطناعية أو تقطير المعرفة) بإعادة صياغة أسئلة الاختبار. هذه التعديلات تدمر التطابق الدقيق على مستوى الرموز (tokens)، مما يجعل الكواشف الحالية القائمة على تداخل n-gram، أو تشابه التضمين (embedding similarity)، أو المقاييس القائمة على الاحتمالية (مثل DPCC) غير فعالة. علاوة على ذلك، فإن غموض مجموعات بيانات ما قبل التدريب يمنع الفحص المباشر، مما يترك فجوة حرجة في تقييم قدرات النماذج.

الرؤية الجوهرية: الاستدلال يحجب الحفظ

كشف المؤلفون عن ظاهرة أساسية: خطوات الاستدلال الوسيطة تعمل بنشاط على حجب الحفظ الضمني. عندما يُسمح للنموذج اللغوي بتوليد سلسلة تفكير (Chain-of-Thought - CoT) كاملة، يعمل استدلاله كمتغير مربك، مما يجعل من الصعب التمييز بين حل المشكلات الحقيقي وبين الاختصارات المحفوظة. ومع ذلك، إذا كان النموذج قد حفظ مجموعة بيانات (حتى لو كانت نسخة معاد صياغتها)، فإنه ينشئ رسم خرائط اختصار (Shortcut Mapping) كامن من دلالات السؤال ($x_i$) مباشرة إلى الإجابة ($y_i$). يسمح هذا الاختصار للنموذج بتوليد إجابات صحيحة دون استدلال صارم، ولكن هذا السلوك غالباً ما يكون مخفياً عندما يُسمح للنموذج بـ "التفكير" عبر الخطوات الوسيطة.

المنهجية: مسبار الصفر-سلسلة تفكير (Zero-CoT Probe - ZCP)

للكشف عن هذا الحفظ الضمني، يقترح المؤلفون مسبار الصفر-سلسلة تفكير (ZCP)، وهو إطار عمل جديد للكشف في بيئة الصندوق الأسود (Black-box). تعمل هذه الطريقة دون الوصول إلى بيانات تدريب النموذج أو معلماته الداخلية.

1. تحييد الاستدلال عبر قطع سلسلة التفكير (CoT Truncation)

يجبر ZCP النموذج على تجاوز عملية الاستدلال تماماً. من خلال قطع سلسلة التفكير وفرض إعداد توليد الصفر-سلسلة تفكير (Zero-CoT)، تجبر الطريقة النموذج على إخراج الإجابة النهائية مباشرة.

• التنفيذ: بالنسبة للنماذج مفتوحة الأوزان، يتم ملء البادئة مسبقاً (مثل: "The final answer is: \boxed{"). أما بالنسبة لنماذج واجهة برمجة التطبيقات (API) مغلقة المصدر، فتُلحق تعليمات صارمة باستعلام المستخدم لمنع أي محتوى آخر غير الإجابة الموجودة داخل الصندوق.
• الأثر: هذا التدخل يحيد عامل "الاستدلال". إذا كان النموذج يعتمد على اختصار محفوظ، فسوف ينجح في وضع Zero-CoT. أما إذا كان يعتمد على استدلال حقيقي، فإن أداءه سينخفض بشكل كبير بدون الخطوات الوسيطة.

2. عزل الحفظ عبر الاضطراب المتماثل (Isomorphic Perturbation)

يمكن أن ينبع الأداء العالي في وضع Zero-CoT إما من الحفظ أو من "قدرة خارقة" ذاتية (القدرة على حل المشكلات المعقدة دون استدلال صريح). وللفصل بينهما، يقدم ZCP مجموعة بيانات مرجعية نظيفة ($\tilde{D}_{eval}$) يتم إنشاؤها عبر الاضطراب المتماثل.

• العملية: يتم تعديل أسئلة الاختبار الأصلية بشكل منهجي عبر تغيير القيم العددية والسياق النصي مع الحفاظ بدقة على البنية المنطقية، والعمق الرياضي، والترتيب المقداري.
• المنطق: النموذج الذي يمتلك قدرات استدلال حقيقية يجب أن يؤدي بشكل مشابه في البيانات الأصلية والبيانات المرجعية المضطربة. ومع ذلك، فإن النموذج الملوث، الذي يعتمد على خرائط محددة بين السؤال والإجابة، سيفشل في البيانات المرجعية لأن الاختصارات المحفوظة تنكسر بسبب المتغيرات الجديدة، مما يؤدي إلى فجوة ذات دلالة إحصائية في الأداء.

3. قياس ثقة التلوث (Contamination Confidence)

بعيداً عن التصنيفات الثنائية (نظيف مقابل ملوث)، يقدم ZCP مقياس ثقة التلوث ($C_{cont}$)، وهو مقياس يحدد شدة التلوث.

• الإطار الإحصائي: تحسب الطريقة فجوة الأداء بين الاختبار الأصلي والبيانات المرجعية. وتستخدم اختبارات Bootstrap غير معلمية (للمقاييس المستمرة) أو اختبار McNemar (للمقاييس المنفصلة) لتحديد الدلالة الإحصائية.
• المعايرة البايزية: يتم معايرة قيم p-values الناتجة إلى احتمالات بايزية لاحقة باستخدام عامل Bayes Factor. وبافتراض توزيع محايد ($\pi = 0.5$)، تتراوح الدرجة النهائية $C_{cont}$ من 0.5 (لا يوجد دليل على التلوث) إلى 1.0 (حفظ مؤكد).

المساهمات الرئيسية

1. اكتشاف تأثير الحجب: حددت الورقة أن سلاسل الاستدلال يمكن أن تحجب بنشاط تلوث البيانات، حيث تعمل كمتغير مربك خطير.
2. مسبار الصفر-سلسلة تفكير (ZCP): طريقة صندوق أسود قوية تجمع بين قطع سلسلة التفكير والبيانات المرجعية المضطبة متماثلياً للكشف عن كل من التلوث المباشر والمراوغ.
3. ثقة التلوث: مقياس إحصائي جديد يوفر مقياساً مستمراً لشدة التلوث، مما يعالج قيود الكشف الثنائي.
4. التقييم المنهجي: أظهر المؤلفون وجود تلوث البيانات على نطاق واسع عبر النماذج البارزة مغلقة ومفتوحة المصدر.

النتائج التجريبية

قيم المؤلفون ZCP على نماذج موجودة ونماذج تم ضبطها بدقة خصيصاً لمحاكاة التلوث المراوغ.

• النماذج الموجودة: في نماذج مثل Qwen2.5-Math وDeepSeek-Math، اكتشف ZCP التلوث في المعايير القياسية (GSM8K, MATH) بثقة عالية ($C_{cont} \approx 1.0$). والأهم من ذلك، ظلت الطريقة فعالة حتى عندما تم اختبار النماذج على نسخ معاد صياغتها من المعايير، حيث تفشل الكواشف التقليدية.
• النماذج المضبوطة بدقة: في التجارب المحكومة حيث تم ضبط النماذج بدقة على مجموعات بيانات معاد صياغتها (Omni-MATH, Multi-domain data)، نجح ZCP في تحديد التلوث ($C_{cont} \to 1.0$) بينما حدد بشكل صحيح البيانات غير الملوثة المستبعدة كبيانات نظيفة ($C_{cont} \approx 0.5$).
• التدقيق في العالم الحقيقي: تم تطبيق الطريقة على نماذج متطورة (سلسلة Qwen، GPT-4o، GPT-5.1). أشارت النتائج إلى تلوث شديد في Qwen-2.5-Math وGPT-4o، بينما أظهر GPT-5.1 درجات أساسية، مما يشير إلى جهود فعالة لإزالة التلوث.
• دراسات الاستبعاد (Ablation Studies): أكدت التجارب أنه بدون قطع سلسلة التفكير (إعداد Full-CoT)، تتلاشى فجوة الأداء بين البيانات الملوثة والنظيفة، وتنخفض ثقة الكشف إلى المستوى الأساسي، مما يؤكد ضرورة نهج Zero-CoT.

الأهمية والقيود

تجادل الورقة بأن ZCP يضع نموذجاً مبدئياً للكشف عن تلوث البيانات يتجاوز مطابقة النصوص السطحية. من خلال إجبار النماذج على تجاوز الاستدلال، فإنه يكشف عن خرائط الاختصار الكامنة التي تحدد الحفظ. هذا أمر مهم للمجتمع العلمي لأنه يقدم أداة موثوقة لتدقيق النماذج ضد الاستراتيجيات المراوغة التي تتلاعب بلوحات الصدارة حالياً.

يقر المؤلفون بوجود قيد: بينما يمكن لـ ZCP فرض Zero-CoT في النماذج مفتوحة الأوزان عبر التلاعب المباشر بالرموز (tokens)، فإن تطبيق ذلك على واجهات برمجة التطبيقات (APIs) مغلقة المصدر يعتمد على هندسة الأوامر (prompt engineering). ومع تحسين النماذج بشكل متزايد للعمل خطوة بخوة في الاستدلال، قد تصبح هذه الأوامر أقل فعالية، مما يمثل تحدياً مستقبلياً لتدقيق الأنظمة مغلقة المصدر.