LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "النماذج اللغوية الكبيرة تُشفّر إخفاقاتها: التنبؤ بالنجاح من تنشيطات ما قبل التوليد".

1. بيان المشكلة

تحقق النماذج اللغوية الكبيرة (LLMs) أداءً عالياً في مهام الاستدلال المعقدة (الرياضيات، البرمجة)، ولكن بتكلفة حوسبة كبيرة، خاصة عند استخدام الاستدلال الممتد (مثل سلسلة الأفكو - Chain-of-Thought) أو طرق أخذ العينات (مثل التصويت بالأغلبية - Majority Voting).

• التحدي: يصعب تحديد المدخلات التي تتطلب استدلالاً مكثفاً (حوسبة عالية) وتلك التي يمكن حلها بتكلفة منخفضة بشكل مسبق (a priori). تعتمد أنظمة التوجيه الحالية على مؤشرات غير مباشرة (طول المدخلات، الارتياب - Perplexity) أو تتطلب عمليات تشغيل متعددة ومكلفة لتقدير احتمالية النجاح.
• السؤال الجوهري: هل يمكن التنبؤ باحتمالية نجاح النموذج اللغوي الكبير من حالته الداخلية قبل توليد أي مخرجات، وهل يمكن استخدام هذه الإشارة لتوجيه الاستعلامات بكفاءة؟

2. المنهجية

يقترح المؤلفون إطار عمل يستخدم المجسات الخطية (linear probes) المدربة على تنشيطات ما قبل التوليد للتنبؤ بنجاح النموذج.

أ. البيانات والمعايير المرجعية

• مجموعات البيانات: MATH، GSM8K، AIME، LiveCodeBench، و E2H-AMC (مجموعة فرعية من E2H-AMC).
• أهمية E2H-AMC: تعد هذه المجموعة بالغة الأهمية لأنها توفر كلاً من تسميات الصعوبة البشرية القائمة على نظرية الاستجابة للمفردة (IRT) وتسمح بتقدير صعوبة النموذج الخاصة عبر عمليات تشغيل عشوائية (Monte Carlo rollouts) على نفس الأسئلة.
• النماذج: تم اختبارها عبر بنيات مختلفة تشمل Qwen2.5-Math (1.5B, 7B)، و GPT-OSS-20B (بميزانيات استدلال متغيرة)، ومتغيرات DeepSeek-R1.

ب. أهداف التنبؤ

تميزت الدراسة بين نوعين من الصعوبة:

1. الصعوبة البشرية: بناءً على درجات IRT النفسية ($b(q)$).
2. صعوبة النموذج:
   • معدل النجاح المتوقع: احتمال النجاح المقدر عبر $K$ من عمليات التشغيل العشوائية ($\hat{s}_{MC}$).
   • النجاح الثنائي: ما إذا كان سياسة محددة (مثل Greedy أو Majority Voting @ $K$) ستنجح أم لا.

ج. آلية المجس (The Probe Mechanism)

• المدخلات: تنشيطات المجرى المتبقي (Residual stream activations) المستخرجة عند موضع ما بعد التعليمات (الرموز النهائية قبل بدء التوليد).
• النموذج: مصنفات خطية بسيطة (الانحدار اللوجستي للبيانات الثنائية، والانحدار الخطي للبيانات المستمرة) مدربة للتنبؤ بالهدف (النجاح/الفشل أو درجة الصعوبة).
• المقارنة المرجعية: تمت مقارنتها مع السمات السطحية مثل طول السؤال ومتجهات TF-IDF.

د. استراتيجيات التوجيه (Routing Strategies)

تم تقييم سياستين للتوجيه الموجه بالمجسات:

1. التوجيه المتتالي (Cascade Routing): قاعدة قائمة على العتبة حيث يتم تصعيد الاستعلامات ذات احتمالية النجاح المتوقعة المنخفضة ($\hat{p} < \tau$) من نموذج أصغر/أرخص إلى نموذج أكبر/أغلى.
2. التوجيه القائم على المنفعة (Utility-Based Routing): يختار النموذج الأمثل من مجموعة غير متجانسة عن طريق تعظيم دالة المنفعة: $\hat{p}_i(x) - \lambda \hat{c}_i$، مما يوازن بين النجاح المتوقع وتكلفة الاستدلال.

3. المساهمات الرئيسية

1. الفصل بين الصعوبة البشرية وصعوبة النموذج: تظهر الورقة أن النماذج اللغوية الكبيرة تشفر إشارتين متمايزتين في تنشيطات ما قبل التوليد:

   • الصعوبة البشرية: قابلة للفك الخطي بدرجة عالية ($\rho \approx 0.83-0.87$).
   • صعوبة النموذج: أقل قابلية للفك الخطي ($\rho \approx 0.40-0.64$) ولكنها أكثر قدرة على التنبؤ بأداء النموذج الفعلي.
   • النتيجة الحاسمة: مع استخدام النماذج للاستدلال الممتد، تتباعد رؤيتهم للصعوبة عن الصعوبة البشرية. النماذج تحل المشكلات "الصعبة بشرياً" بكفاءة، ومع ذلك، فإن تمثيلاتها الداخلية لا تزال تتبع الصعوبة البشرية عبر أطوال توليد أطول، مما يحجب إشارات نجاحها الخاصة.

2. القدرة التنبؤية لتنشيطات ما قبل التوليد:

   • تتفوق المجسات الخطية بشكل كبير على السمات السطحية (TF-IDF، الطول) في التنبؤ بالنجاح.
   • تحقق المجسات قدرة تمييز قوية (AUROC > 0.7، وغالباً > 0.8) للنجاح الثنائي تحت سياسات فك التشفير الثابتة (Greedy, Maj@K).
   • التدهور مع الاستدلال: تقل موثوقية المجسات مع زيادة ميزانيات الاستدلال (على سبيل المثال، ينخفض AUROC من 0.78 إلى 0.64 لنموذج GPT-OSS-20B مع انتقال الاستدلال من منخفض إلى مرتفع)، مما يشير إلى أن سلسلة الأفكو الممتدة تجعل إشارات الصعوبة أقل قابلية للفصل الخطي قبل التوليد.

3. توجيه النماذج بكفاءة:

   • يحقق التوجيه الموجه بالمجسات تحسينات في باريتو (Pareto improvements)، حيث يطابق دقة أقوى نموذج واحد مع تقليل تكاليف الاستدلال بنسبة 17% إلى 70%.
   • في معيار MATH، حقق الموجه أداء النموذج الأفضل بتكلفة أقل بنسبة 70%.
   • يتكيف النظام مع صعوبة مجموعة البيانات: حيث يوجه إلى النماذج المكلفة في المهام الصعبة (AIME) ولكنه يختار النماذج الأكثر كفاءة عندما يصل الأداء إلى مرحلة الثبات (GSM8K).

4. النتائج الرئيسية

• تباعد الصعوبة: في GPT-OSS-20B، مع زيادة قدرة الاستدلال، ينخفض الارتباط بين صعوبة النموذج التي يتنبأ بها المجس وصعوبة IRT البشرية (من $\sim0.65$ إلى $\sim0.45$).
• طول سلسلة الأفكو (CoT): يتسبب الاستدلال الممتد في تخصيص النماذج لمزيد من الرموز (tokens) للمشكلات التي يجدها البشر صعبة، حتى عندما يكون النموذج مرجح النجاح. هذا يخلق إشارة طول "متوافقة مع البشر" تنفصل عن عدم اليقين الفعلي للنموذج.
• توفير التكاليف:
  • MATH: تقليل التكلفة بنسبة 70% مع مطابقة الدقة العالية.
  • AIME 2025: تقليل التكلفة بنسبة 37% مع مطابقة أقوى نموذج.
  • GSM8K: حدد الموجه بشكل صحيح أن نماذج الاستدلال العالي المكلفة غير ضرورية، واختار نماذج أرخص بدقة مماثلة.
• العائق (Bottleneck): يكمن القصور الأساسي في التوجيه ليس في خوارزمية التوجيه نفسها، بل في موثوقية المجس. عندما تتدهور المجسات (بسبب الاستدلال الممتد)، تتسع الفجوة في أداء التوجيه مقارنة بسياسة "الأوراكل" (المعرفة المثالية).

5. الأهمية والآثار المترتبة

• الكفاءة العملية: يوفر هذا العمل طريقة لتقليل تكلفة استدلال النماذج اللغوية الكبيرة بنسبة تصل إلى 70% دون التضحية بالدقة، مما يجعل نماذج الاستدلال العالي أكثر جدوى اقتصادياً.
• الرؤية النظرية: يكشف العمل عن تحول جوهري في كيفية تمثيل النماذج اللغوية الكبيرة للصعوبة. مع زيادة قدرة النماذج، تصبح مقاييس "الصعوبة" الداخلية لديها أقل توافقاً مع الحدس البشري وأصعب في الاستخراج خطياً قبل التوليد.
• القيود والعمل المستقبلي:
  • تتدهور المجسات مع الاستدلال الممتد، مما يشير إلى أن إشارات الصعوبة قد تصبح غير خطية أو تنتقل إلى مراحل لاحقة من التوليد.
  • المجسات الحالية مرتبطة بموضع محدد (ما بعد التعليمات)؛ يجب أن يستكشف العمل المستقبلي المواضع المتوسطة أو المجسات غير الخطية.
  • انتقال القدرة عبر المجالات (مثل الرياضيات إلى البرمجة) لا يزال غير مستكشف.

الخلاصة: تثبت هذه الورقة أن النماذج اللغوية الكبيرة "تعرف" إخفاقاتها قبل توليد النص. ومن خلال استغلال هذه الإشارات الداخلية عبر المجسات الخطية، يمكننا بناء أنظمة استدلال تكيفية تخصص الحوسبة ديناميكياً، مما يحقق كفاءة تقترب من كفاءة "الأوراكل" حتى عندما تتباعد مفاهيم الصعوبة البشرية ونماذج الذكاء الاصطناي.