Evaluation of Large Language Models via Coupled Token Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم النماذج اللغوية الكبيرة عبر التوليد المزدوج للرموز (Coupled Token Generation)."

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على التوليد القائم على أخذ العينات (التوليد التكراري غير الحتمي) لإنتاج المخرجات. وبناءً على ذلك، يمكن أن يؤدي نفس الأمر (Prompt) إلى استجابات مختلفة اعتماداً على البذرة العشوائية (Random Seed) المستخدمة أثناء الاستدلال. هذا العشوائية المتأصلة تسبب تبايناً كبيرًا في مقاييس التقييم، مما يجعل من الصعب:

• مقارنة النماذج بشكل موثوق: يتطلب التمييز بين ما إذا كان فرق الأداء ناتجاً عن قدرة النموذج أو عن الصدفة العشوائية عدداً كبيراً من العينات.
• إرساء تصنيفات مستقرة: في بروتوكولات المقارنة الثنائية (مثل "النموذج كحكم" LLM-as-a-Judge)، يمكن أن تؤدي العشوائية إلى تصنيفات غير متسقة، خاصة عند مقارنة أكثر من نموذجين.
• العوامل المربكة: تفشل بروتوكولات التقييم الحالية غالباً في التحكم في هذه العشوائية، مما قد يؤدي إلى عزو "الحظ" في أخذ العينات إلى التفوق الحقيقي للنموذج.

2. المنهجية: التوليد التكراري المزدوج (Coupled Autoregressive Generation)

يقترح المؤلفون طريقة تسمى التوليد التكراري المزدوج للتحكم في العشوائية من خلال مشاركة نفس مصدر الضجيج عبر النماذج المختلفة أثناء التقييم.

الإطار النظري

• النمذجة السببية: صاغ المؤلفون توليد النماذج اللغوية الكبيرة باستخدام نموذج سببي بنيوي (SCM). حيث يعاملون أخذ العينات كآلية سببية تأخذ توزيع الرموز ($D_i$) ومتغير الضجيج ($U_i$) لإنتاج رمز ($T_i$).
• الاستقرار المضاد للواقع (Counterfactual Stability): تعتمد الطريقة على آليات أخذ العينات التي تحقق خاصية الاستقرار المضاد للواقع (مثل آلية Gumbel-Max). تضمن هذه الخاصية أنه إذا تم أخذ عينة لرمز تحت قيمة ضجيج معينة لتوزيع معين، فسيظل هو الرمز المأخوذ إذا تغير التوزيع ليمنح احتمالية أعلى لهذا الرمز، بشرهُ بقاء قيمة الضجيج ثابتة.
• آلية الاقتران (The Coupling Mechanism): بدلاً من تشغيل النماذج $m$ و $m'$ بمتغيرات ضجيج مستقلة ($U$ و $U'$)، تجبر الطريقة النماذج على استخدام نفس تسلسل الضجيج ($U$) لنفس الأمر ($S_q$).
  • التوليد المستقل: $R_m(U, S_q)$ مقابل $R_{m'}(U', S_q)$
  • التوليد المزدوج: $R_m(U, S_q)$ مقابل $R_{m'}(U, S_q)$
• التنفيذ: هذه العملية فعالة حاسوبياً؛ فهي لا تتطلب ذاكرة إضافية أو تعقيداً زمنياً مقارنة بالتوليد التقليدي؛ بل تتطلب فقط تشغيل النماذج بنفس البذرة العشوائية.

3. المساهمات الرئيسية والنتائج النظرية

أ. مجموعات بيانات الاختبار (تقدير الدرجات)

• تقليل التباين: يثبت المؤلفون أنه إذا كانت درجات النموذجين مرتبطة إيجابياً (وهو ما يحدث عندما تكون النماذج متشابهة أو المهمة حتمية)، فإن تباين الفرق في الدرجات يكون أقل تماماً في حالة التوليد المزدوج مقارنة بالتوليد المستقل.
  • $\text{Var}[R_m(U) - R_{m'}(U)] < \text{Var}[R_m(U) - R_{m'}(U')]$
• كفاءة العينات: نظراً لأن تباين الفرق أقل، فإن التوليد المزدوج يتطلب عينات أقل لتقدير فجوة الأداء بين نموذجين بنفس الثقة الإحصائية.
• الضمان النظري: بالنسبة للنماذج المتشابهة بما يكفي (مثل النسخ المعدلة أو النسخ المكممة/Quantized)، فإن تقليل حجم العينات المطلوب يكون كبيراً بشكل مثبت.

ب. المقارنات الثنائية (التصنيف)

• التصنيفات المتباعدة: على عكس درجات الاختبار، حيث يظل الفرق المتوقع كما هو، يوضح المؤلفون أن معدلات الفوز في المقارنات الثنائية يمكن أن تختلف تقاربياً بين التوليد المزدوج والمستقل.
• عدم التعدي (Non-Transitivity): عند تصنيف أكثر من نموذجين، يمكن أن ينعكس الترتيب. فالنموذج الذي يحتل المرتبة الأولى في التوليد المستقل قد يحتل مرتبة أدنى في التوليد المزدوج.
• الآثار المترتبة: قد تكون المزايا الظاهرة في التصنيفات الحالية مجرد نتاج لضوضاء أخذ العينات العشوائية وليس بسبب القدرة الحقيقية للنموذج. يوفر التوليد المزدوج مقارنة "أكثر عدلاً" من خلال ضمان عدم امتلاك أي نموذج "حظاً أفضل" من غيره.

4. النتائج التجريبية

قيم المؤلفون نماذج لغوية كبيرة من عائلات Llama و Mistral و Qwen عبر مجموعات بيانات متعددة (MMLU, GSM8K, HumanEval, و LMSYS Chatbot Arena).

مجموعات بيانات الاختبار (MMLU, GSM8K, HumanEval)

• تقليل العينات: حقق التوليد المزدوج نفس خطأ التقدير الذي حققه التوليد المستقل مع تقليل عدد العينات بنسبة تصل إلى 75%.
• الارتباط: أظهرت النماذج ذات البنى أو الأوزان المتشابهة (مثل Llama-8B مقابل Llama-8B-quantized) ارتباطاً إيجابياً عالياً في الدرجات تحت نظام الاقتران، مما يؤكد تقليل التباين النظري.
• النماذج المتباينة: عند مقارنة نماذج مختلفة جداً (مثل Llama-1B مقابل Llama-8B)، كان الارتباط قريباً من الصفر، وتضاءلت فائدة الاقتران (كما هو متوقع، لأن مخرجاتها غير مرتبطة).

المقارنات الثنائية (LMSYS Chatbot Arena)

• تحولات معدل الفوز: باستخدام نموذج لغوي قوي (GPT-4o) كحكم، وجد المؤلفون أن معدلات الفوز تختلف بشكل كبير بين الطريقتين.
• تغيرات التصنيف:
  • في عائلة Llama، كان كل من Llama-3.1-8B و Llama-3.1-8B-bnb-8bit غير متمايزين إحصائياً وتعادلا في المركز الأول تحت التوليد المستقل. أما تحت التوليد المزدوج، فقد ظل Llama-3.1-8B فقط في الصدارة، بينما تراجع النسخة المكممة (quantized).
  • لوحظت انقلابات مماثلة في التصنيف في عائلات Mistral و Qwen.
• زيادة حالات التعادل: أدى التوليد المزدوج إلى زيادة عدد "حالات التعادل" في المقارنات الثنائية، مما يشير إلى أنه عندما تتشارك النماذج في نفس العشوائية، فإنها غالباً ما تتقارب نحو نفس الإجابات (أو إجابات جيدة مماثلة)، مما يجعل التمييز متعلقاً فقط بتوزيع الاحتمالات الجوهري للنموذج بدلاً من حظ أخذ العينات.

5. الأهمية والتأثير

• دقة التقييم: توفر الورقة إطاراً سببياً صارماً لتقييم النماذج اللغوية الكبيرة، وتجادل بأن البروتوكولات الحالية غالباً ما تخلط بين قدرة النموذج وضوضاء أخذ العينات.
• الكفاءة: تقدم طريقة عملية، بدون تكلفة إضافية، لتقليل التكلفة الحسابية (عدد استدعاءات الاستدلال) المطلوبة لاختبار النماذج، خاصة عند مقارنة متغيرات النماذج المتشابهة (مثل أثناء ضبط المعلمات الفائقة أو التكميم).
• العدالة في التصنيف: تتحدى الورقة استقرار تصنيفات لوحات الصدارة الحالية (مثل Chatbot Arena)، مشيرة إلى أن العديد من الاختلافات الملحوظة قد تكون مجرد ضوضاء إحصائية. يوفر التوليد المزدوج طريقة أكثر قوة لتحديد التفوق الحقيقي للنماذج.
• المصدر المفتوح: أصدر المؤلفون تنفيذاً مفتوح المصدر (coupled-llm-evaluation) لتسهيل اعتماد الطريقة.

الخاتمة

تثبت الورقة أن التحكم في العشوائية عبر التوليد التكراري المزدوج أمر ضروري للتقييم الدقيق للنماذج اللغوية الكبيرة. فهي تقلل من تعقيد العينات اللازمة للاختبار، وتكشف أن التصنيفات الثنائية القياسية يمكن أن تكون غير مستقرة ومربكة بسبب تباين أخذ العينات. ويدعو المؤلفون إلى اعتماد التوليد المزدوج كممارسة قياسية، خاصة عند مقارنة النماذج المتشابهة أو عندما تكون الموارد الحسابية محدودة.