ملخص تقني: الكشف عن التلوث عبر السياق (CoDeC)

تعريف المشكلة

تتعرض نزاهة تقييم النماذج اللغوية الكبيرة (LLM) لخلل متزايد بسبب تلوث البيانات (Data Contamination)، حيث تتداخل بيانات التدريب مع مجموعات بيانات الاختبار (Benchmarks). يؤدي هذا إلى تضخم مقاييس الأداء مدفوعاً بالحفظ بدلاً من التعميم الحقيقي. تواجه طرق الكشف الحالية قيوداً كبيرة:

• الأساليب القائمة على الخسارة (Loss-based approaches): (مثل Vanilla Loss و %Min-K) غالباً ما تفشل في التمييز بين البيانات الملوثة والبيانات السهلة حقاً، مما يتطلب ضبطاً مكثفاً للمعلمات ومراجع خارجية.
• فحوصات التداخل الصريحة: تتطلب الوصول إلى مجموعات بيانات التدريب، وهو أمر نادراً ما يتوفر للنماذج ذات الأوزان المفتوحة (Open-weight models).
• هجمات الاستدلال على العضوية (MIAs): غالباً ما تعاني من مشاكل في القابلية للتوسع والتفسير، لا سيالما بالنسبة للنماذج الضخمة التي تدربت على مجموعات بيانات هائلة.

هناك حاجة ماسة لطريقة مؤتمتة، قابلة للتوسع، ومستقلة عن النموذج للكشف عن التلوث على مستوى مجموعة البيانات دون الحاجة إلى الوصول إلى بيانات التدريب أو نماذج مرجعية خارجية.

المنهجية: الكشف عن التلوث عبر السياق (CoDeC)

إن CoDeC هي طريقة عملية تستفيد من التعلم داخل السياق (In-Context Learning - ICL) لقياس التلوث كمياً. وهي تعمل بناءً على ملاحظة أن النماذج اللغوية الكبيرة تتفاعل بشكل مختلف مع الأمثلة المقدمة داخل السياق اعتماداً على ما إذا كانت مجموعة البيانات قد تمت رؤيتها أثناء التدريب أم لا.

الفرضية الأساسية

• مجموعات البيانات غير المرئية: عندما يواجه النموذج مجموعة بيانات لم يسبق له رؤيتها، فإن إضافة أمثلة داخل السياق من نفس المجموعة يوفر معلومات جديدة (الأسلوب، الهيكل، المفردات)، مما يؤدي عادةً إلى تعزيز ثقة النموذج (الاحتمالات اللوغاريتمية - log-probabilities) في الرموز المستهدفة.
• مجموعات البيانات الملوثة (المرئية): إذا كان النموذج قد حفظ مجموعة البيانات، فإن الأمثلة المقدمة داخل السياق لا توفر معلومات جديدة. علاوة على ذلك، يمكن لهذه الأمثلة أن تُعطل أنماط الحفظ، مما يؤدي إلى انخفاض في الثقة مقارنة بالخط المرجعي (بدون سياق).

مسار عمل CoDeC

تتطلب الطريقة وصولاً "رمادياً" (Gray-box access) فقط (أي احتمالات الرموز/الـ token probabilities) وتتبع أربع خطوات:

1. التنبؤ المرجعي (Baseline Prediction): لكل نقطة بيانات $x$ في مجموعة بيانات مشتبه بها $\mathcal{D}$، احسب متوسط الاحتمالية اللوغاريتمية (log-likelihood) للنماذج المتتالية من الرموز.
2. التنبؤ داخل السياق (In-Context Prediction): قم بأخذ عينة من $n$ من الأمثلة الإضافية من $\mathcal{D} \setminus \{x\}$، وألحقها بـ $x$ كسابقة (prepend)، ثم احسب الاحتمالية اللوغاريتمية لـ $x$ في هذا السياق الجديد.
3. حساب الدرجة (Score Computation): احسب الفرق $\Delta(x) = \text{logprob}_{\text{in-context}}(x) - \text{logprob}_{\text{baseline}}(x)$.
4. التجميع (Aggregation): درجة التلوث $S_{\text{CoDeC}}(\mathcal{D})$ هي النسبة المئوية للعينات التي يكون فيها $\Delta(x) < 0$ (أي انخفاض الثقة مع وجود السياق).

$$S_{\text{CoDeC}}(\mathcal{D}) = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\Delta(x_i) < 0]$$

الخصائص الرئيسية

• مستقل عن النموذج (Model-Agnostic): يعمل مع أي بنية (Transformers, RNNs, Mamba) ولا يتطلب إعادة تدريب.
• خالٍ من المعلمات (Parameter-Free): لا يتطلب ضبطاً للعتبات (threshold tuning)؛ فالمخرج هو نسبة مئوية بديهية.
• كفاءة عالية: يتطلب فقط جولتين من التمرير الأمامي (forward passes) لكل عينة.
• القوة والمتانة (Robustness): يكشف التلوث ليس فقط من المطابقات الدقيقة، بل أيضاً من التوزيعات ذات الصلة (مثل البيانات المولدة اصطناعياً، أو إعادة الصياغة، أو المحتوى المعدل).

المساهمات الرئيسية

1. تقديم CoDeC: طريقة بسيطة ومؤتمتة للكشف عن تلوث بيانات التدريب وقياسه كمياً باستخدام ديناميكيات التعلم داخل السياق.
2. التحقق التجريبي: إثبات أن CoDeC يحقق فصلاً شبه مثالي (AUC 99.9%) بين مجموعات البيانات المرئية وغير المرئية عبر نماذج وبنيات متنوعة (Pythia, GPT-Neo, RWKV, OLMo, Nemotron)، متفوقاً على أفضل الطرق المرجعية الحالية (Vanilla Loss, %Min-K, Zlib Ratio).
3. تحليل ديناميكيات التلوث:
   • مرحلة التدريب: ترتفع درجات CoDeC بشكل حاد خلال المراحل الأولى من التدريب (حوالي 2% من خطوات التدريب)، مما يشير إلى الحفظ السريع للمقدمات التوزيعية.
   • الضبط الدقيق (Fine-tuning): يؤدي الضبط الدقيق على مجموعة بيانات ما إلى رفع درجات CoDoC باستمرار فوق 90%، مما يؤكد حساسية الطريقة للتعرض الأخير للبيانات.
   • انتقال التلوث: تكتشف الطريقة انتقال التلوث بين الاختبارات ذات الصلة (مثل انتقال MMLU إلى مجموعات بيانات الأسئلة والأجوبة الأخرى)، وهي قوية ضد عمليات تعزيز البيانات البسيطة (الضجيج، تغيير المسافات البيضاء).
4. تقييم واسع النطاق: تطبيق CoDeC على أكثر من 40 نموذجاً حديثاً من النماذج ذات الأوزان المفتفة على اختبارات شائعة (AIME, GSM8K, MMLU, إلخ)، مما كشف عن حالات محتملة للتلوث حيث تسجل النماذج نتائج قريبة من أو أعلى من عتبة 80%.

النتائج

• قدرة الفصل (Separation Power): يحقق CoDeC قدرة فصل على مستوى مجموعة البيانات تصل إلى 99.9% عبر جميع النماذج التي تم تقييمها، بينما تظهر الطرق المرجعية تداخلاً كبيراً بين التوزيعات المرئية وغير المرئية (تتراوح قيم AUC بين 64% و 92%).
• تفسير الدرجة:
  • أكبر من 80%: دليل قوي على التلوث (تدريب مباشر أو اعتماد كثيف على المقدمات المحفوظة).
  • أقل من 20%: نموذج للبيانات غير المرئية، مما يشير إلى القدرة على التعميم.
  • 20% – 60%: حالة غامضة؛ قد تشير إلى تلوث جزئي، أو تعرض لبيانات ذات صلة، أو أن تنوع البيانات العالي يعمل كضجيج.
• الارتباط بحجم النموذج: تميل النماذج الأكبر (مثل 253 مليار معلمة) إلى إظهار درجات تلوث أقل من نظيراتها الأصغر ضمن نفس العائلة، مما يشير إلى أن زيادة السعة تسهل التعميم بدلاً من الحفظ.
• نتائج من الواقع: حدد التقييم نماذج معينة ذات درجات تلوث عالية في اختبارات مثل AIME 2024 و RewardBench v1، مما يشير إلى احتمال تسرب البيانات أو التدريب على بيانات اصطناعية ذات صلة وثيقة.

الأهمية والادعاءات

تضع الورقة البحثية CoDeC كأداة حيوية لاستعادة الثقة في تقييم النماذج اللغوية الكبيرة. تكمن أهميته في:

• العملية: على عكس الطرق السابقة، لا يتطلب الوصول إلى مجموعات بيانات التدريب، أو نماذج مرجعية خارجية، أو ضبطاً معقداً، مما يجعله قابلاً للدمج الفوري في مسارات التقييم.
• القابلية للتفسير: توفر الدرجة القائمة على النسبة المئوية مقياساً واضحاً وقابلاً للتنفيذ للباحثين والمطورين لتقييم موثوقية نتائج الاختبارات المبلغ عنها.
• الكشف عن التلوث الخفي: من خلال التقاط تعطيل أنماط الحفظ، يحدد CoDoC التلوث الناجم عن التوزيعات ذات الصلة والبيانات الاصطناعية، وهو ما تغفل عنه عمليات فحص التداخل التقليدية غالباً.

يخلص المؤلفون إلى أنه بينما تشير درجات CoDoC العالية (>80%) إلى تلوث محتمل، يجب تفسير الدرجات المتوسطة عبر المقارنة بين النماذج للتمييز بين تأثيرات مجموعة البيانات المحددة وبين الحفظ الحقيقي. تدعم هذه الطريقة تطوير ممارسات تقييم أكثر موثوقية وتساعد في تحديد النماذج التي تعتمد على التعميم بدلاً من الحفظ الآلي.