Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين تنبؤات الرمز الأول للنماذج اللغوية الكبيرة في أسئلة الاختيار من متعدد عبر التعبئة المسبقة للمخرجات (Output Prefilling)."

1. بيان المشكلة

يتم تقييم النماذج اللغوية الكبيرة (LLMs) بشكل متكرر في مهام الإجابة على أسئلة الاختيار من متعدد (MCQA) باستخدام احتمالية الرمز الأول (First-Token Probability - FTP). في هذا النهج المعياري، يتم تزويد النموذج بسؤال وخيارات، ويتم تحديد الإجابة باختيار رمز الخيار (مثل 'A'، 'B'، 'C'، 'D') الذي يمتلك أعلى احتمالية كأول رمز يتم توليده.

بينما يعد أسلوب (FTP) فعالاً من حيث الحوسبة (لتجنب فك التشفير التوليدي الكامل)، حدد المؤلفون نمطين حرجين للفشل يقوضان موثوقيته:

• عدم توافق الرمز الأول (First-Token Misalignment): يقوم النموذج بتوليد جملة كاملة أو تمهيد (مثل "أعتقد أن الإجابة هي...") بدلاً من رمز رمزي. وبناءً على ذلك، لا يكون الرمز الأول خياراً صالحاً، مما يجعل التقييم مستحيلاً أو مضللاً.
• سوء تفسير الرمز الأول (First-Token Misinterpretation): يولد النموذج رمزاً صالحاً كأول رمز، لكنه يعمل كوظيفة قواعدية أو أسلوبية بدلاً من الإشارة إلى الخيار الفعلي (على سبيل المثال: "إجابة محتملة هي C"). هنا، يكون الرمز الأول 'A' صحيحاً، لكن الإجابة المقصودة هي 'C'.

تؤدي هذه المشكلات إلى مقاييس دقة مشوشة، ومعايرة سيئة (عدم تطابق بين الثقة والصحة)، ومقارنات مشوهة بين النماذج. الحلول الحالية، مثل استخدام مصنفات خارجية لتحليل التوليد الحر، مكلفة حوسبياً وبطيئة.

2. المنهجية: التعبئة المسبقة للمخرجات (Output Prefilling)

يقترح المؤلفون التعبئة المسبقة للمخرجات (Output Prefilling)، وهو تدخل بسيط وعديم التكلفة يعيد توظيف تقنية كانت تُستخدم أصلاً في سلامة الذكاء الاصطناًعي (هجوم "التعبئة المسبقة") لتوجيه سلوك النموذج.

• المفهوم الجوهري: بدلاً من الاعتماد فقط على المطالبة (Prompt) لتوجيه النموذج، تقوم هذه الطريقة بحقن بادئة لغوية طبيعية مهيكلة وسليمة مباشرة في تدفق مخرجات النموذج (تحديداً بعد رمز بدء المساعد مباشرة).
• التنفيذ:
  • تتبع المطالبة تنسيقات الحوار القياسية (مثل <|user|>السؤال...<|assistant|>).
  • يتم إدراج بادئة ثابتة قبل أن يولد النموذج أي رموز جديدة. القالب الافتراضي المستخدم هو: "بالنظر إلى السؤال والخيارات الممكنة، إجابتي هي: ".
  • هذا يجبر النموذج على معاملة النص المحقون كأنه "تم توليده بالفعل"، مما يجعل توليد الرمز التالي مشروطاً بالاستمرار منطقياً من تلك البادئة.
• الآلية: من خلال فرض هيكل مخرجات محدد ميكانيكياً، يتم توجيه النموذج لتوليد الرمز الرمزي الصحيح (مثل 'C') كرمز تالٍ مباشر، متجاوزاً الميل لتوليد التمهيدات أو الحشوات القواعدية.
• التقييم: تحتفظ الطريقة بكفاءة (FTP) القياسية (تسجيل الرمز الأول) ولكنها تطبقها بعد حقن التعبئة المسبقة. وهي لا تتطلب ضبطاً دقيقاً (Fine-tuning)، أو تعديلاً للمعلمات، أو مصنفات خارجية.

3. المساهمات الرئيسية

1. تحديد العيوب النظامية: تقيس الورقة بدقة مدى انتشار عدم توافق وسوء تفسير الرمز الأول عبر نماذج لغوية متنوعة، وتثبت أن (FTP) القياسي هش حتى في النماذج المضبوطة بالتعليمات (Instruction-tuned).
2. إعادة توظيف التعبئة المسبقة: قدم المؤلفون تطبيقاً جديداً لتقنية التعبئة المسبقة، محولين إياها من طريقة هجومية لتجاوز السلامة إلى أداة تقييم قوية لأسئلة الاختيار من متعدد.
3. كفاءة عديمة التكلفة: تحسن الط المقترحة موثوقية التقييم دون الأعباء الحوسبية لفك التشفيد الكامل أو زمن التأخير الخاص بالمصنفات الخارجية القائمة على النماذج اللغوية الكبيرة.
4. التقييم الشامل: تقيم الدراسة الطريقة عبر 14 معياراً متنوعاً لأسئلة الاختيار من متعدد (بما في ذلك MMLU، وRACE، وARC، وSciQ) و8 نماذج مختلفة من النماذج مفتوحة المصدر والمضبوطة بالتعليمات (تتراوح من 7 مليار إلى 14 مليار معلمة، بما في ذلك عائلات Llama-3 وQwen وGemma وMistral).

4. النتائج التجريبية

أجرى المؤلفون تجارب واسعة النطاق قارنت بين (Standard FTP)، وهندسة المطالبات (Prompt Engineering) (إضافة تعليمات إلى المدخلات)، و**(FTP + Prefilling)**.

• مكاسب الدقة:
  • تفوقت التعبئة المسبقة باستمرار على (Standard FTP) وهندسة المطالبات عبر جميع النماذج ومجموعات البيانات.
  • أظهر نموذج Gemma-2-9B التحسن الأكثر دراماتيكية، بمتوسط زيادة في الدقة قدره +25.9% مقارنة بـ (Standard FTP).
  • تحسن نموذج Gemma-7B بنسبة +14.9%، ونموذج Phi-4-14B بنسبة +7.3%.
  • حتى النماذج القوية مثل Llama-3.1-8B شهدت زيادة متوسطة قدرها +6.0%.
• المقارنة بالتوليد المفتوح:
  • حققت (FTP) مع التعبئة المسبقة مستويات دقة تضاهي، بل وتتجاوز غالباً، طرق التوليد المفتوح المكلفة التي تعتمد على مصنفات خارجية (مثل GPT-3.5، وLlama-3-70B، وxFinder) لتحليل الإجابات.
  • يشير هذا إلى أن التعبئة المسبقة تسد بفعالية الفجوة بين كفاءة تسجيل مستوى الرمز وبين مواءمة الاستدلال الحر.
• تحليل المفردات الكاملة:
  • عندما يُسمح لها بالتوليد من المفردات الكاملة (غير مقيدة)، غالباً ما تؤدي (Standard FTP) إلى نسبة صلاحية 0% لنماذج مثل Gemma-7B (الذي يبدأ دائماً بكلمة "The"). أعادت التعبئة المسبقة معدلات الصلاحية إلى ما يقرب من 100% (على سبيل المثال، ارتفع معدل FTVR لنموذج Gemma-2-9B من 0% إلى 99.8%).
• تحسين المعايرة:
  • حسنت التعبئة المسبقة المعايرة بشكل كبير (مقاسة بـ Adaptive Calibration Error، وBrier Score، وLog Loss). أصبحت النماذج أقل ثقة مفرطة في التنبؤات الخاطئة، مما يشير إلى أن الطريقة تعزز موثوقية تقديرات الاحتمالية.
• هيكل المخرجات:
  • قللت الطريقة بشكل كبير من "تنوع الاستمرارية" (Contellation Diversity) (تنوع الرموز التي تلي رمز الإجابة الأول)، مما يشير إلى أن النماذج توقفت عن توليد تفسيرات مسهبة والتزمت بدقة بالتنسيق الرمزي.

5. الأهمية والخاتمة

يُظهر هذا العمل أن التعبئة المسبقة للمخرجات (Output Prefilling) هي استراتيجية بسيطة، وقوية، وفعالة للغاية لتقييم النماذج اللغوية الكبيرة في سياقات أسئلة الاختيار من متعدد.

• الموثوقية: تعالج المشكلة الأساسية لضعف احتمالية الرمز الأول، مما يضمن أن المقياس يقيس فعلياً قدرة النموذج على الاستدلال بدلاً من مجرد سمات التنسيق الخاصة به.
• الكفاءة: تقدم دفعة "مجانية" في دقة التقييم دون الحاجة إلى موارد حوسبية إضافية، أو ضبط دقيق، أو استراتيجيات فك تشفير معقدة.
• القدرة على التعميم: تعمل الطريقة عبر مختلف بنيات النماذج، وأحجامها، واستراتيجيات المواءمة، مما يجعلها ممارسة فضلى عالمية لمعايير أسئلة الاختيار من متعدد.

يخلص المؤلفون إلى أن الاعتماد على احتمالية الرمز الأول الخام دون شرط هيكلي هو أمر غير كافٍ لتقييم النماذج اللغوية الحديثة. يجب اعتماد التعبئة المسبقة للمخرجات كإجراء قياسي لضمان مقارنات عادلة ودقيقة ومعايرة لقدرات النماذج.