LLM Benchmark Datasets Should Be Contamination-Resistant

ملخص تقني: يجب أن تكون مجموعات بيانات اختبار النماذج اللغوية الكبيرة (LLM) مقاومة للتلوث

بيان المشكلة
تتعرض موثوقية تقييم النماذج اللغوية الكبيرة (LLM) لخلل جوهري بسبب تلوث مجموعات بيانات الاختبار (Benchmark Dataset Contamination). فمع نمو مجموعات البيانات المستخدمة في التدريب المسبق لتشمل تريليونات الرموز (Tokens) من كافة النصوص المتاحة تقريبًا، يتم استيعاب عينات الاختبار بشكل متزايد أثناء عملية التدريب. وتتفاقم هذه الظاهرة بسبب التوافر العام لمجموعات البيانات والتسرب غير المباشر عبر عمليات التقطير (Distillation) أو مجموعات البيانات المشتقة، مما يسمح للنماذج بالحفظ بدلاً من التعميم. وبناءً على ذلك، فإن الدقة المسجلة غالبًا ما تعكس قدرة النموذج على استرجاع بيانات التدريب المسبق بدلاً من قدراته الحقيقية في الاستنتاج، مما يجعل الاختبارات الثابتة عديمة الجدوى ويؤدي إلى تضخيم مقاييس الأداء. أما استراتيجيات التخفيف الحالية — مثل الاختبارات الخاصة، أو الاختبارات الديناميكية، أو تطهير البيانات — فهي تعاني من عيوب كبيرة، بما في ذلك عرقلة التحقق المستقل، أو خلق أهداف متحركة تعيق المقارنة الطولية، أو الفشل في التوسع لمواجهة المجموعات الضخمة وغير المتجانسة.

المنهجية: مجموعات البيانات المقاومة للتلوث (CRDs)
تقترح الورقة تحولًا جذريًا نحو مجموعات البيانات المقاومة للتلوث (Contamination-Resistant Datasets - CRDs). وتتمثل الفرضية الأساسية في ضر�نه يجب إصدار بيانات الاختبار في شكل يكون غير قابل للتعلم (Unlearnable) أثناء مسارات التدريب المسبق القياسية، ولكنه يظل مفيدًا للاستنتاج (Inference). ويتحقق ذلك من خلال استغلال عدم التماثل الهيكلي بين مسارات التدريب والاستنتاج في بنية "ترانسفورمر" (Transformer).

1. عدم التماثل بين التدريب والاستنتاج:

   • التدريب: يتطلب الوصول إلى التسلسل الكامل للرموز لحساب الحالات الخفية (Hidden States) والتدرجات (Gradients) للتنبؤ بالرمز التالي.
   • الاستنتاج: يمكن أن يستمر باستخدام ذاكرة المفتاح والقيمة (KV cache) فقط من الرموز السابقة، والحالة الخفية للطبقة قبل الأخيرة للرمز الأخير، دون الحاجة إلى تسلسل الرموز الخام.
   • الآلية: بدلاً من إصدار المطالبات النصية الصريحة ($D$)، تقترح الورقة إصدار مجموعة بيانات محولة $\phi(D)$ تتكون من:
     • ذاكرة المفتاح والقيمة $\{K^{(l)}_{1:t}, V^{(l)}_{1:t}\}_{l=1}^L$ لكل طبقة.
     • الحالة الخفية للطبقة قبل الأخيرة $h^{(L-1)}_t$.
     • المخرج الصحيح $Y$ (في شكل نص صريح).
   • يتيح هذا التنسيق للنموذج إجراء التوليد التلقائي (Autoregressive Generation) أثناء الاستنتاج، ولكنه يمنعه من استخدام البيانات للتدريب (التعلم)، حيث تغيب الرموز الخام اللازمة لحساب التدرجات.

2. أطر العمل القابلة للتشغيل البيني (Interoperability Frameworks):
   لمعالجة تحدي تقييم النماذج غير المتجانسة مقابل معيار مشفر في الفضاء الكامن لنموذج معين، توضح الورقة نموذجين:

   • المدى القريب (النموذج المرجعي + محاذاة الفضاء الجزئي): تخصيص "نموذج مرجعي" (Anchor Model) واسع الانتشار (مثل نسخة محددة من LLaMA) لتشفير الاختبارات. تقوم النماذج المستهدفة بترجمة هذه التشفيرات إلى مساحاتها الكامنة الخاصة باستخدام تقنيات مثل Cross-LoRA (محاذاة الفضاء الجزئي عبر تحليل القيم المفردة SVD والخرائط الخطية) أو Trans-LoRA (تقطير المعرفة). وهذا يسمح بالترجمة دون الوصول إلى النص الصريح الأصلي.
   • المدى الطويل (التمثيلات النسبية المستقلة عن النموذج): إسقاط جميع المساحات الكامنة للنماذج على إطار إحداثيات مشترك محدد بمجموعة ثابتة من العينات المرجعية. باستخدام التمثيلات النسبية (متجهات التشابه مع العينات المرجعية)، يمكن للنماذج التواصل عبر البنى المختلفة دون الحاجة إلى مشفر قياسي محدد.

3. الخصائص الرسمية:
   تحدد الورقة ثلاث خصائص ضرورية لـ CRDs:

   • عدم القابلية للعكس (Irreversibility): يجب أن يكون من المستحيل حسابيًا إعادة بناء النص الصريح الأصلي من ذاكرة المفتاح والقيمة/الحالات الخفية. تشير الورقة إلى أنه بينما توجد هجمات عكسية على آلية الانتباه متعدد الرؤوس (MHA)، إلا أنها أقل فعالية على بنيات "الانتباه متعدد الاستعلامات المجموع" (GQA) الحديثة، كما أن التجريد الفاقد للمعلومات (Lossy Abstraction) يعيق عملية الاستعادة بشكل أكبر.
   • التكافؤ (Equivalence): يجب أن يقترب أداء النموذج على CRD من أدائه على النص الصريح الأصلي ($M(\phi(D)) \approx M(D)$).
   • القابلية للتشغيل البيني (Interoperability): يجب أن تكون CRD قابلة للترجمة عبر بنيات نماذج LLM المختلفة.

المساهمات الرئيسية

• الإطار المفاهيمي: صياغة التعريف الرسمي لمجموعات البيانات المقاومة للتلوث (CRDs) وتأسيس القاعدة النظرية للبيانات غير القابلة للتعلم ولكن القابلة للاستنتاج.
• الاستفادة من البنية الهيكلية: تحديد واستغلال عدم التماثل المحدد في مسارات "ترانسفورمر" (توافر ذاكرة KV مقابل ضرورة تسلسل الرموز) كآلية لمنع التدريب مع تمكين الاستنتاج.
• حلول التشغيل البيني: اقتراح مسارات رياضية ملموسة (محاذاة الفضاء الجزئي والتمثيلات النسبية) لضمان عدم بقاء CRDs محصورة في بنية نموذج واحدة، ومعالجة اعتراض "خصوصية النموذج".
• إطار التقييم: رسم سير عمل كامل لتنسيق CRD، والاكتشاف (الترجمة)، وتقييم النماذج، بما في ذلك نظام "بطاقة البيانات" (Datacard) لتسهيل الترجمة.

النتائج وتحليل الجدوى
لا تقدم الورقة نتائج تجريبية جديدة من تشغيل هذه الاختبارات على نماذج محددة، بل تعتمد على الأدبيات الموجودة للتحقق من الجدوى:

• الأعباء التخزينية: تحلل الورقة متطلبات التخزين لإصدار ذاكرات KV. وبينما يمكن أن يصل حجم ذاكرة KV الخام لـ 100 ألف رمز في نموذج 7B إلى حوالي 50 جيجابايت، توضح الورقة أن تقنيات الضغط (مثل PyramidKV، والكمية Quantization، والترميز المتناثر) يمكن أن تقلص هذا إلى أحجام يمكن إدارتها (حوالي 350 ميجابايت لـ 100 ألف رمز) مع تأثير ضئيل على الدقة.
• دقة الترجمة: بالاستناد إلى الأعمال الحديثة حول "ربط النماذج" (Model Stitching) ونقل المحولات عبر النماذج، تجادل الورقة بأن الترجمة بين البنيات تؤدي فقط إلى انخفاض محدود في الأداء، وفي بعض الحالات، يمكن أن تحسن سرعة الاستنتاج.
• الأمن: تقر الورقة بأن الهجمات العكسية ممكنة في بنيات MHA، لكنها تجادل بأن نماذج GQA الحديثة والتجريدات الفاقدة للمعلومات تجعل استعادة النص الصريح صعبة حاسوبيًا. وتقترح آليات دفاعية مثل حقن الضجيج أو الخصوصية التفاضلية للحالات عالية الخطورة.

الأهمية والادعاءات
تضع الورقة نفسها كدعوة للعمل للمجتمع العلمي لتغيير طريقة إصدار الاختبارات بشكل جذري. وتكمن أهميتها في:

1. استعادة نزاهة التقييم: من خلال جعل الاختبارات غير قابلة للتعلم، تهدف CRDs إلى استعادة صلاحية تقييم LLM، مما يضمن أن الدرجات تعكس القدرة على التعميم بدلاً من الحفظ.
2. القابلية للتوسع: على عكس الاختبارات الخاصة (التي تخلق اختناقات) أو الاختبارات الديناميكية (التي تكون قصيرة الأمد)، توفر CRDs حلاً ثابتًا وقابلًا للتوسع لا يتطلب إنشاءً مستمرًا أو تحكمًا مركزيًا.
3. مسار عملي للمستقبل: تجادل المؤلفات بأن CRDs هي حل عملي يوازن بين الحاجة إلى تقييم مفتوح وقابل للتكرار وبين واقع تلوث البيانات. وهي تدعو المجتمع إلى:
   • تطوير منهجيات مقاومة للتلوث.
   • تطوير منصات داعمة ونماذج مرجعية معيارية.
   • دمج التحقق من CRD في مسارات العمل الحالية (مثل Hugging Face).

تخلص الورقة إلى أنه على الرغم من أن CRDs تفرض تعقيدات جديدة (مثل التخزين وأعباء الترجمة)، إلا أن هذه التعقيدات يمكن إدارتها وهي ضرورية لضمان الموثوقية طويلة الأمد لاختبارات LLM.