ملخص تقني: قراءة عدم اليقين المعاير من مسارات النماذج اللغوية

1. بيان المشكلة

تواجه النهج الحالية لتقدير عدم اليقين (Uncertainty Quantification - UQ) في النماذج اللغوية الكبيرة (LLMs) ذات المخرجات المهيكلة مقايضة بين الكفاءة الحسابية والمعايرة. الطريقة الافتراضية، وهي "احتمالية السوفت ماكس القصوى" (Maximum Softmax Probability - MSP)، مجانية حسابياً ولكنها غالباً ما تكون غير معايرة، حيث تمنح ثقة عالية للتنبؤات الخاطئة. وفي المقابل، فإن الطرق الموجودة التي تفحص التنشيطات الداخلية عادةً ما تعامل الحالات المخفية كلقطات ثابتة (سواء من طبقة واحدة أو عبر المتوسط)، مما يؤدي إلى إهمال المسار الطبقي الذي يتشكل من خلاله التمثيل. هذه الرؤية الثابتة تتجاهل كيفية تراكم الأدلة، أو تعزيزها، أو عكسها عبر عمق الشبكة، مما قد يحجب إشارات عدم اليقين الموجودة في المسار الحسابي ولكنها ليست موجودة في توزيع المخرجات النهائي.

2. المنهجية

يقترح المؤلفون طريقة تعامل التنشيطات في النموذج ليس كحالات ثابتة بل كـ مسارات تمثيلية (Representational Trajectories). يتضمن هذا النهج ثلاثة مكونات رئيسية:

2.1. الركيزة: ناقلات الكتابة في الـ MLP

بدلاً من تحليل الحالات المخفية الخام، تركز الطريقة على ناقلات كتابة الـ MLP ($m_\ell$) التي تساهم بها طبقة "المدرك متعدد الطبقات" (MLP) في كل كتلة محول (Transformer block) في التيار المتبقي (Residual Stream). تشير أعمال ميكانيكية التفسير السابقة إلى أن الـ MLPs هي مواقع حاسمة لتخزين المعرفة الواقعية.

• تلتقط الطريقة تسلسل هذه الناقلات عند موضع المطالبة الأخير (موضع القراءة) خلال تمريرة أمامية واحدة.
• تقوم ببناء مسار منفصل في فضاء التمثيل عن طريق حساب المجموع التراكمي لهذه الناقلات: $s_\ell = \sum_{k \le \ell} m_k$.
• يتم تعريف المسار من الحالة الأولية ($s_0 = 0$) إلى النهاية النهائية ($s_L$).

2.2. استخراج الميزات الهندسية

يتم تلخيص المسار باستخدام إحدى عشرة ميزة هندسية ثابتة المقياس لكل طبقة، مصنفة إلى أربع فئات:

1. توزيع العمق: يقيس كيفية توزيع الجهد الحسابي (مقدار التحديث) عبر الطبقات (مثل التركيز في الطبقات الأمامية مقابل الطبقات الخلفية).
2. شكل المسار المحلي: يلتقط الاتساق الاتجاهي (جيب التمام المتتالي)، والتغيرات المفاجئة (الانحناء)، وما إذا كانت التحديثات تعزز أو تناقض الحالة السابقة (محاذاة التحديث مع الحالة).
3. العلاقة بالنهاية: يقيس كيفية ارتباط الطبقات بالاتجاه النهائي، بما في ذلك التقارب (الاتجاه نحو النهاية)، ومحاذاة التحديثات الفردية (التحديث مع النهاية)، وتحديد الطبقات التي تعارض النهاية بنشاط (الدعم المتناقض).
4. الكفاءة: يقيس نسبة الإزاحة الصافية إلى طول المسار الإجمالي (التماسك التراكمي)، مما يشير إلى مدى مباشرة وصول المسار إلى نهايته.

2.3. المسبار الخطي المتناثر

يتم تغذية هذه الميزات في مسبار خطي متناثر (انحدار لوجستي متناثر) للتنبؤ باحتمالية الخطأ.

• المدخلات: متجه الميزات الـ 11 لكل طبقة ($\phi(x)$) ودرجة الـ MSP الخاصة بالنموذج ($p_{msp}$).
• التفاعل: يتضمن النموذج حدود تفاعل بين الميزات والـ MSP، مما يسمح للمسبار بوزن الإشارات الهندسية بشكل مختلف بناءً على ثقة النموذج الأساسية.
• التدريب: يتم تدريب المسبار لتقليل الخطأ في التصنيف الثنائي المتوازن (class-balanced binary cross-entropy) مقابل مؤشر الخطأ، مع استخدام تنظيم "إلاستيك نت" (elastic-net) لفرض التناثر. يسمح هذا للنموذج بتحديد الميزات التنبؤية مباشرة دون الحاجة لمرحلة اختيار منفصلة.

3. المساهمات الرئيسية

1. تقدير عدم اليقين القائم على المسار: يقترح المؤلفون مجموعة مدمجة من الميزات الهندسية التي تصف تطور التمثيلات عبر عمق الشبكة. عند تغذيتها لمسبار خطي متناثر، تتفوق هذه الطة على الـ MSP تحت ظروف الامتناع الانتقائي، حيث تتوسع مكاسب الأداء مع سوء معايرة النموذج الأساسي (تحسن يصل إلى 21 نقطة في AURC).
2. قابلية التفسير من البداية إلى النهاية: على عكس المسبارات الكثيفة الغامضة التي تعمل على التنشيطات الخام، فإن لكل ميزة معنى هندسي بصيغة مغلقة. تكشف معاملات المسبار عن كيفية حدوث الأخطاء: تحديد أي الطبقات تلتزم بالقرار قبل الأوان، وأيها تناقض الحالة الجارية، وحيث تنحرف المسارات عن نهايتها.
3. تقييم تجريبي شامل: تم تقييم الطريقة عبر 9 نماذج لغوية ضخمة مضبوطة للتعليمات (من عائلات Qwen وLlama وDeepSeek، تتراوح من 3 إلى 72 مليار معلمة) على خمس مهام متنوعة في معالجة اللغات الطبيعية (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum).

4. النتائج التجريبية

• الأداء: تفوق المسبار على الـ MSP في 41 من أصل 45 زوجاً من (النموذج-البيانات)، وكانت المكاسب أكثر أهمية حيث كان أداء الـ MSP أسوأ (معايرة سيئة)، مما قلل من الـ AURC بمقدار 11.45 إلى 21.83 نقطة في التكوينات الأكثر صعوبة.
• المقارنة مع النماذج المرجعية: طابقت الطريقة أو تفوقت على "مسبار التنشيط الخام" عالي السعة (المدرب على الحالات المخفية الكاملة) في 24 تكويناً، وظلت ضمن نطاق 2 نقطة AURC في 6 تكوينات أخرى، رغم استخدامها 11 ميزة عددية فقط.
• الانتقائية: ينتج المسبار منحنيات مخاطر-تغطية (risk-coverage curves) سلسة ورتيبة، متجنباً التقلبات غير المستقرة في التغطية المنخفضة التي تُلاحظ غالباً مع الـ MSP. كما أنه يفصل بفعالية بين التنبؤات الصحيحة والخاطئة حتى عندما تكون درجات ثقة الـ MSP متطابقة.
• نتائج التفسير:
  • الصحيح مقابل الخاطئ: تظهر التنبؤات ذات درجات MSP المتطابقة تواقيع مسارية متميزة. على سبيل المثال، غالباً ما تظهر التنبؤات الخاطئة محاذاة مبكرة مع الاتجاه النهائي في الطبقات الأولى، يتبعها "رجوع للخلف" أو انحراف.
  • خصوصية المهمة: تختلف التواقيع الهندسية للأخطاء باختلاف المهمة. في مهمة HaluSum، ظهرت الأخطاء كالتزام مبكر متبوع بتصحيح متأخر يكسر الحالة. وفي CosmosQA، ظهرت الأخطاء كانحراف في منتصف العمق بشكل متعامد مع اتجاه الإجابة.
  • تحليل المعاملات: تحدد معاملات المسبار آليات الخطأ. فعلى سبيل المثال، في HaluSum، تركزت إشارات الخطأ في الربع الأخير من الشبكة، بينما في CosmosQA، كانت موزعة عبر العمق.

5. الأهمية والادعاءات

يزعم البحث أن التعامل مع التنشيطات كـ حركة بدلاً من لقطات ثابتة يوفر "مساراً وسطاً قابلاً للتطبيق" بين غموض المسبرات الكثفة ومحدودية إشارة الـ MSP.

• عدم يقين قابل للتدقيق: نظرًا لأن الميزات قابلة للتفسير بطبيعتها، فإن إشارة الثقة الناتجة تسمح للممارسين بفحص ليس فقط ما إذا كان النموذج غير متيقن، بل أين في حساباته ينشأ عدم اليقين هذا (على سبيل المثال، طبقات معينة أو انحرافات هندسية).
• الكفاءة: تضيف الطريقة تكلفة حسابية ضئيلة عند الاستدلال، حيث تتطلب فقط تمريرة أمامية واحدة وحسابات هندسية بسيطة، مما يتجنب التكلفة العالية لأساليب أخذ العينات أو التجميع (ensembles).
• القيود: يشير المؤلفون إلى أن تحليلهم يقتصر على إعدادات الاختيار المتعدد، وأن المسبار حالياً يتم ضبطه لكل (نموذج، مهمة)، وتظل قابلية النقل عبر النماذج والمهام المختلفة مسألة مفتوحة.

باختصار، يوضح هذا العمل أن هندسة كيفية تجميع النموذج اللغوي للتنبؤ تحتوي على إشارات غنية وقابلة للتفسير حول عدم اليقين، وهي إشارات غير مرئية في توزيع المخرجات النهائي، مما يتيح تنبؤاً انتقائياً أكثر موثوقية وقابلية للتدقيق.