ملخص تقني: LogitTrace

بيان المشكلة

تُقيّم النماذج اللغوية الكبيرة (LLMs) بشكل متكرر على معايسات تحديّة (مثل AIME وMath500). وتتمثل إحدى المشكلات الحرجة في تلوث المعايسات (Benchmark Contamination)، حيث تظهر بيانات الاختبار أو متغيراتها في مجموعة بيانات التدريب. يسمح هذا للنماذج بإعادة إنتاج الحلول المحفوظة بينما تبدو وكأنها تقوم بعملية استنتاج، مما يؤدي إلى تضخيم مقاييس الأداء وحجب قدرات التعميم الحقيقية.

تعتمد طرق الكشف الحالية بشكل أساسي على:

1. التداخل السطحي: التشابه اللفظي أو التطابق التام في الإكمال.
2. سلوك الإكمال: ما إذا كان النموذج يستطيع إعادة بناء النص المستهدف من خلال مطالبات جزئية.
3. إحصائيات المخرجات النهائية: الارتياب (Perplexity)، أو احتمالية المخرجات، أو الاتفاق التوزيعي.

تعاني هذه النهج من مشكلات كبيرة في المتانة؛ فعندما يتم إعادة صياغة عناصر المعايسات، أو ترجمتها، أو تغيير هيكلها، تتدهور الإشارات السطحية بسرعة، وغالباً ما تفشل في اكتشاف التلوث الذي يستمر رغم غياب التطابق الحرفي.

المنهجية: LogitTrace

يقترح المؤلفون LogitTrace (مسارات اللوجيت عبر الطبقات)، وهو إطار عمل يكتشف التلوث من خلال تحليل الديناميكيات الزمنية لاتخاذ القرار في النموذج عبر طبقات الشبكة، بدلاً من الاعتماد فقط على المخرج النهائي.

المفهوم الجوهري

الفرضية هي أن الحفظ يؤثر على كيفية تشكل الإجابة، وليس فقط على ماهية الإجابة. تميل الأمثلة الملوثة إلى إظهار التزام مبكر (Earlier Commitment) بحل معين عبر الطبقات، بينما تظهر الأمثلة النظيفة تراكماً تدريجياً للأدلة.

المسار التقني

1. استخراج التمثيل (عدسة اللوجيت - Logit Lens):

   • بالنسبة لمدخل $x$ معطى، يتم إسقاط الحالات الخفية للنموذج $h^{(\ell)}$ عند كل طبقة $\ell$ عبر مصفوفة فك التشفين ($W_U$) للحصول على توزيعات المفردات $p^{(\ell)}$.
   • نظرًا لأن التركيز ينصب على الاستدلال العددي، يتم تقييد التوزيع على رموز الأرقام ($0-9$).
   • لكل طبقة، يحسب المؤلفون:
     • احتمالات الأرقام $p^{(\ell)}(d)$.
     • اعتلاج الرقم (Entropy) $H^{(\ell)}$.
     • الاحتمال الأقصى للرقم $m^{(\ell)}$.
     • الفروق الزمنية من الدرجة الأولى ($\Delta$) لهذه المقاييس.

2. بناء الميزات:

   • تشكل هذه المقاييس مساراً متعدد القنوات $X \in \mathbb{R}^{C \times T}$، حيث $C=24$ قناة (12 ميزة خام + 12 ميزة فرق) و $T$ هو عدد الطبقات.
   • يلتقط هذا المسار تطور تفضيل النموذج لأرقام محددة أثناء معالجة المدخلات.

3. نموذج الكشف:

   • يتم تدريب شبكة عصبية تلافيفية أحادية الأبعاد (1D CNN) خفيفة الوزن لتصنيف هذه المسارات كـ "ملوثة" أو "نظيفة".
   • تتضمن البنية ثلاث طبقات تلافيفية مع تنشيط ReLU، وتجميع متوسط عالمي (Global Average Pooling)، ورأس تصنيف ثنائي.
   • يتم تدريب الكاشف على مجموعة بيانات تلوث تشغيلية (على سبيل المثال، AIME 1983–2024 كبيانات ملوثة مقابل AIME 2025 كبيانات نظيفة) ويظل ثابتاً أثناء التقييم.

المساهمات الرئيسية

1. إطار عمل LogitTrace: تقديم كاشف يحدد ديناميكيات قرار التلوث المرتبطة بمسارات لوجيت الطبقات، متجاوزاً الإشارات السطحية.
2. نمط الالتزام المبكر: إثبات تجريبي بأن الأمثلة الملوثة تظهر باستمرار التزاماً مبكراً بالإجابات عبر الطبقات مقارنة بالأمثلة النظيفة، وهي إشارة تظل متينة تحت ظروف إعادة الصياغة والترجمة والاضطراب.
3. الدليل السببي المتحكم به: التحقق عبر تجارب حقن LoRA. من خلال ضبط النماذج بدقة على عينات مستهدفة مع تغيير رتب (ranks) LoRA، يظهر المؤلفون أن التعرض المتكرر يستحث نفس أنماط المسار الملاحظة في الأمثلة الملوثة طبيعياً، وتزد আসে درجات ثقة الكاشف بشكل رتيب مع قوة الضبط الدقيق.

النتائج التجريبية

تم تقييم الطريقة على أربعة نماذج لغوية مفتوحة المصدر (Qwen-2.5-7B, Qwen-2.5-Math-7B, Llama-3.1-8B, Qwen-3-8B) عبر أربعة توزيعات نصية: الأصلية، المعاد صياغتها، المترجمة، والمضطربة.

• المتانة: بينما شهدت النماذج المرجعية القائمة على الإكمال (مثل المطابقة التامة، وTS-Guessing) انخفاض معدلات اكتشاف التلوث إلى أقل من 20% في المدخلات المعاد صياغتها أو المترجمة، حافظ LogitTrace على معدلات اكتشاف عالية (على سبيل المثال، 63.1% على Qwen-2.5-7B المعاد صياغته مقابل 16.7% للنماذج المرجعية).
• الإيجابيات الكاذبة: قلل LogitTrace بشكل كبير من الإيجابيات الكاذبة في العينات النظيفة مقارنة بالطرق القائمة على التوزيع (مثل الارتياب أو توزيع المخرجات)، والتي غالباً ما تصنف المدخلات المعاد صياغتها النظيفة خطأً على أنها ملوثة.
• دراسات الاستئصال (Ablation Studies):
  • عمق الطبقة: تظهر الإشارات مبكراً؛ حيث حققت أول 1/3 من الطبقات درجات F1 بنحو ~68%، بينما حقق العمق الكامل ~95%.
  • البنية: تفوقت شبكة 1D-CNN على نماذج MLP وTransformer، خاصة في الحفاظ على معدل منخفض للإيجابيات الكاذبة (5.56% مقابل 16.67% لـ Transformer).
• التعميم الخارجي: عند تطبيقه على مجموعة MMLU للرياضيات (Zero-shot)، حدد LogitTrace حوالي 95% من العينات كـ "مشابهة لما سبق رؤيته" (seen-like). أظهرت هذه المجموعة أداءً أعلى بكال نموذج (دقة Top-1 بمقدار +0.33) مقارنة بمجموعة "غير المرئية"، مما يشير إلى أن الكاشف يلتقط الألفة الحقيقية.

الأهمية والادعاءات

يزعم البحث أن LogitTrace يوفر دليلاً يتجاوز التداخل السطحي وثقة المخرجات النهائية. ومن خلال تحليل الديناميكيات الداخلية للنموذج، فإنه يقدم عدسة أكثر متانة لدراسة سلوكيات الحفظ.

• الرابط السببي: توفر تجارب حقن LoRA دليلاً سببياً متحكماً به على أن أنماط المسار هي نتيجة مباشرة لتعرض النموذج لبيانات التدريب، وليست مجرد آثار سطحية.
• الفائدة العملية: يوفر الإطار أداة لإعادة تقييم تلوث المعايسات، لا سيما في السيناريوهات التي تفشل فيها طرق الكشف القياسية بسبب إعادة الصياغة أو الترجمة.
• القيود: يشير المؤلفون إلى أن LogitTrace يعتمد على تسميات تشغيلية (حيث أن مجموعات التدريب الحقيقية غير متاحة) ويتطلب الوصول إلى تمثيلات الطبقات المتوسطة، مما يحد من تطبيقه على النماذج مغلقة المصدر التي تعرض المخرجات النهائية فقط. بالإضافة إلى ذلك، يركز التنفيذ الحالي على الاستدلال العددي؛ وسيتطلب التوسع إلى المهام مفتوحة النهايات تعريفات ميزات جديدة.