ملخص تقني: سد فجوة المعرفة-التنبؤ في النماذج اللغوية الكبيرة (LLMs) في الأسئلة متعددة الخيارات

1. تعريف المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) بشكل متكرر ما يُعرف بـ "فجوة المعرفة-التنبؤ" (knowledge-prediction gap)، وهي ظاهرة حيث يمتلك النموذج الإجابة الصحيحة ضمن تمثيلاته الداخلية المخفية ولكنه يفشل في توليدها كناتج نهائي. يتضح هذا التباين بشكل خاص في سياق الأسئلة متعددة الخيارات (MCQ)، حيث قد تختار النماذج خيارات غير صحيحة رغم أن الإجابة الصحيحة مشفرة خطياً في مساراتها المتبقية (residual streams). وقد عزت أعمال سابقة مثل هذه الإخفاقات إلى إشارات سطحية، أو تحيزات في الخيارات، أو سمات أسلوبية، إلا أن التفسير الموحد الذي يربط هذه الإخفاقات بالبنية الهندسية الداخلية للنموذج ظل غير مستكشف. وتحديداً، لا يزال من غير الواضح ما إذا كانت هذه الفجوة منتشرة عبر مجالات متنوعة، وما هي البنية الهندسية التي تكمن وراء عدم المحاذاة بين المعرفة الداخلية وسلوك المخرجات، وما إذا كان يمكن التخفيف من هذه الفجوة وقت الاستدلال دون إعادة تدريب.

2. المنهجية

يقترح المؤلفون إطار عمل للتحليل والتدخل يتكون من ثلاث خطوات:

أ. قياس الفجوة عبر الاختبار الخطي (Linear Probing)

يعرّف المؤلفون فجوة المعرفة-التنبؤ بأنها التباين بين المعرفة المشفرة في التمثيلات الداخلية والتنبؤات التي يتم إنتاجها. ولقياس ذلك، قاموا بتدريب نوعين متميزين من الاختبارات الخطية على تنشيطات المسار المتبقي للنماذج اللغوية الكبيرة:

1. اختبار المعرفة (Knowledge Probe): مصنف خطي ذو $k$-فئة مُدرب للتنبؤ بالإجابة الصحيحة ($y$) من الحالات المخفية.
2. اختبار التنبؤ (Prediction Probe): مصنف خطي ذو $k$-فئة مُدرب للتنبؤ بالخيار الذي ولّده النموذج نفسه ($\tilde{y}$).

قاموا بتقييم هذه الاختبارات عبر نماذج متنوعة (مثل Llama 3.1 8B، Qwen 2.5 7B) ومعايير اختبار مختلفة (الاستدلال، المعرفة، الصدق، التحيز). ولقياس الفجوة، استحدثوا مقياسين:

• اتفاق التنبؤ (AGR): وتيرة اختيار اختبار المعرفة ومخرجات النموذج لنفس الخيار.
• التباعد التوزيعي (KLD): actually تباعد كولباك-لايبلر (Kullback-Leibler divergence) بين التوزيعات الاحتمالية لاختبار المعرفة ومخرجات النموذج.

ب. التفسير الهندسي

يفسر المؤلفون متجهات الأوزان للاختبارات المدربة على أنها تُحدد فضاءات فرعية منخفضة الأبعاد داخل المسار المتبقي:

• الفضاء الفرعي للمعرفة (Knowledge Subspace): الممتد بواسطة أوزان اختبار المعرفة.
• الفضاء الفرعي للتنبؤ (Prediction Subspace): الممتد بواسطة أوزان اختبار التنبؤ.

ويفترض المؤلفون أن فجوة المعرفة-التنبؤ الكبيرة تقابل عدم محاذاة منهجي بين هذين الفضاءين الفرعيين. فعندما تكون الفجوة كبيرة، تتباعد إحداثيات الحالة المخفية المسقطة على الفضاء الفرعي للتنبؤ بشكل كبير عن إحداثياتها في الفضاء الفرعي للمعرفة.

ج. KAPPA: التدخل وقت الاستدلال

للتخفيف من هذه الفجوة، قدم المؤلفون KAPPA (المحاذاة التنبؤية للمعرفة عبر الضبط القائم على الإسقاط). يعد KAPPA تدخلاً خفيف الوزن يتم تطبيقه وقت الاستدلال، حيث يطبق تحويلاً أفينياً (affine transformation) على المسار المتبقي.

• الآلية: يقوم بحل مشكلة تحسين مقيدة لزعزعة استقرار الحالة المخفية $h$ بأقل قدر ممكن بحيث تتوافق إحداثياتها في الفضاء الفرعي للتنبؤ مع إحداثياتها في الفضاء الفرعي للمعرفة.
• الصيغة الرياضية: يقوم التحويل $T$ برسم الخريطة من $h$ إلى $h'$ عبر حل:
  $$\min_{h'} \|h' - h\|^2_2 \quad \text{s.t.} \quad W_{pred}^\top h' = W_{know}^\top h$$
  وينتج عن ذلك حل مغلق (closed-form solution) يقوم بتعديل الحالة المخفية فقط ضمن الفضاء الفرعي للتنبؤ، تاركاً المكونات المتعامدة دون تغيير.
• التعميم: تتضمن الطريقة المعلمات الفائقة $\alpha$ و $\beta$ للتحكم في قوة المحاذاة، مما يسمح بتعديل مرن لمدى تأثير المعرفة الداخلية على التنبؤ.

3. المساهمات الرئيسية

1. دليل تجريبي على وجود فجوة واسعة الانتشار: تثبت الدراسة أن فجوة المعرفة-التنبؤ منتشرة عبر معايير الأسئلة متعددة الخيارات المتنوعة وعائلات النماذج المختلفة. وتكون الفجوة أكثر وضوحاً في مهام الاستدلال، والصدق، والتحيز، بينما تكون أقل وضوحاً في المعايير التي تركز على المعرفة المكثفة.
2. التفسير الهندسي: يقدم البحث تفسيراً هندسياً للفجوة، حيث يحددها كعدم محاذاة بين فضاءات فرعية متميزة للمعرفة والتنبؤ في المسار المتبقي.
3. تدخل KAPPA: قدم المؤلفون KAPPA، وهو طريقة وقت الاستدلال تقوم بمعايرة الحالات المخفية هندسياً لمحاذاة تنبؤات النموذج مع معرفته الداخلية. وخلافاً لطرق التوجيه السابقة التي تطبق تصحيحات ثابتة، يقوم KAPPA بتكييف تعديله بناءً على فجوة المعرفة-التنبؤ الخاصة بكل حالة.

4. النتائج

• حجم الفجوة: تفوقت الاختبارات الخطية باستمرار على دقة توليد النموذج الأساسي عبر جميع مجموعات البيانات المختبرة، مما يؤكد أن النماذج تشفر معرفة يمكن الوصول إليها خطياً لكنها تفشل في استخدامها. وتتفاوت الفجوة بشكل كبير حسب المجال، حيث أظهرت TruthfulQA و BBQ أكبر التباينات (على سبيل المثال، $\Delta$ACC يصل إلى +21.3% لنموذج Qwen 2.5 7B).
• تحسين الأداء: نجح KAPPA باستمرار في تقليل الفجوة وتحسين الدقة مقارنة بالنماذج الأساسية وطرق وقت الاستدقاء الموجودة (مثل CAA و DoLA).
  • في TruthfulQA، حسن KAPPA دقة نموذج Llama 3.1 8B بمقدار 8.9 إلى 16.9 نقطة.
  • في معايير الاستدلال (GSM8k, BBH)، حقق KAPPA مكاسب ثابتة تتراوح بين 1.5 و 5.0 نقاط.
  • زاد KAPPA بشكل كبير من معدل الاتفاق (AGR) بين اختبار المعرفة ومخرجات النموذج، مقترباً في كثير من الأحيان من دقة اختبار المعرفة نفسه.
• التعميم:
  • عبر النماذج: يخفف KAPPA الفجوة بفعالية عبر نماذج ذات أحجام مختلفة (من 4B إلى 14B) وببنيات متنوعة (Mistral, Llama, Qwen).
  • النقل بين مجموعات البيانات: على الرغم من أن الفضاءات الفرعية مرتبطة عموماً بمجموعات بيانات محددة، فقد لوحظ نقل ناجح بين المهام التي تتطلب مهارات أساسية متشابهة (على سبيل المثال، من BBH-NLP إلى GSM8K).
  • التوليد الحر (Free-Form Generation): أدى تطبيق KAPPA على حالات التوليد الحر (بدون خيارات متعددة) إلى تحسين الدقة في TruthfulQA، مما يثبت أن المحاذاة الهندسية تمتد إلى ما وراء تنسيقات الاختيار من متعدد.

5. الأهمية والادعاءات

يدعي البحث أن العديد من إخفاقات النماذج اللغوية الكبيرة، وخاصة الهلوسة وأخطاء الاستدلال، لا تنبع من نقص المعرفة، بل من عدم المحاذاة بين ما يشفر النموذج داخلياً وما يتنبأ به في النهاية. ومن خلال تحديد فضاءات فرعية متميزة للمعرفة والتنبؤ، يقدم المؤلفون تفسيراً هندسياً قابلاً للتفسير لهذه الإخفاقات.

يوضح تقديم KAPPA أنه يمكن جسر هذه الفجوة من خلال محاذاة مستوى التمثيل دون تدريب إضافي. ويخلص المؤلفون إلى أن المحاذاة على مستوى التمثيل هي اتجاه واعد لاستخراج تنبؤات أكثر أمانة من النماذج اللغوية الكبيرة. كما يشيرون إلى أنه بينما يركز عملهم على المعرفة التي يمكن الوصول إليها خطياً، فإن هناك حاجة إلى عمل مستقبلي لفهم كيفية محاذاة المعرفة الأكثر تعقيداً والمشفرة بشكل غير خطي.