ملخص تقني: ديناميكيات التحديث المنفصلة (DUD) لتقدير اليقين الموثوق في النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

يعد تقدير اليقين (Uncertainty Quantification - UQ) بدقة أمراً ضرورياً للنشر الموثوق للنماذج اللغوية الكبيرة، لا سيالما في البيئات عالية المخاطر. ومع ذلك، تواجه أساليب تقدير اليقين التقليدية قيوداً كبيرة:

• الاعتماد على السطحية: تعتمد الطرق التقليدية، التي تتراوح من اتساق أخذ العينات "الصندوق الأسود" إلى تحليل الـ "logits" "الصندوق الأبيض"، بشكل أساسي على توزيع المخرجات النهائي. وبينما تكون هذه الطرق فعالة في التقاط الغموض الناتج عن البيانات (aleatoric uncertainty)، إلا أنها غالباً ما تفشل في عكس الحالة الإبستيمية (epistemic state) الحقيقية للنموذج.
• مغالطة الصندوق الأسود: من خلال معاملة الاستدلال كصندوق أسود، تغفل هذه الطرق عن الديناميكيات الحسابية الداخلية حيث ينشأ عدم اليقين. ونتيجة لذلك، قد يخرج النموذج درجة احتمالية عالية بينما يكون استدلاجه الداخلي غير مستقر، مما يؤدي إلى سوء معايرة شديد.
• قصور التجميع: تحاول الأساليب الميكانيكية الحديثة استخدام ديناميكيات الحالة الخفية، لكنها عادةً ما تقوم بتجميع تحديثات التدفق المتبقي (residual stream). ويؤدي هذا التجميع إلى خلط الأدوار المتميزة لكل من الذاكرة البارامترية (الشبكات التغذية الأمامية، FFNs) والمعالجة السياقية (الانتباه متعدد الرؤوس، MHSA). ويرى المؤلفون أن هذا التجميع يحجب الصراعات الميكانيكية الدقيقة — وتحديداً عدم المحاذاة بين الذاكرة والسياق — والتي تعد مؤشرات جوهرية لعدم اليقين.

2. المنهجية: ديناميكيات التحديث المنفصلة (DUD)

يقترح البحث إطار عمل ديناميكيات التحديث المنفصلة (DUD)، وهو إطار ينقل تقدير اليقين من التقدير السلبي إلى التشخيص الميكانيكي النشط. الفرضية الأساسية هي أن عدم اليقين يتجلى كأنماط هشاشة مكانية-زمانية متميزة تنشأ من الصراعات بين وحدات FFN وMHSA.

2.1 إطار التتبع السببي

يستخدم DUD عملية تتبع سببي مكونة من ثلاث مراحل لعزل مساهمات الذاكرة والسياق:

1. التشغيل النظيف (Clean Run): تمرير أمامي قياسي للمدخل الأصلي لتخزين التنشيطات النظيفة (الحالات الخفية، مخرجات MHSA، ومخرجات FFN) وتسجيل احتمالية التنبؤ المرجعية ($P_{clean}$).
2. التشغيل الفاسد (Corrupted Run): يتم حقن ضوضاء غاوسية في تضمينات المدخلات لمحاكاة عنق زجاجة للمعلومات، مما يؤدي إلى تدهور احتمالية التنبؤ إلى $P_{corr}$. الفرق بين $P_{clean}$ و $P_{corr}$ يحدد الأثر الكلي (Total Effect - TE) للضوضاء.
3. تشغيل التصحيح المنفصل (Decoupled Patch Run): بدلاً من استعادة الحالة الخفية بالكامل، يقوم إطار العمل بإجراء تدخلات محددة المكونات. لكل طبقة $l$، يتم استعادة تنشيط وحدة معينة ($\phi \in \{MHSA, FFN\}$) من التشغيل النظيف، بينما تظل بقية الشبكة في الحالة الفاسدة. ينتج عن ذلك احتمالية مستعادة $P^{(l,\phi)}_{restored}$.

2.2 قياس درجات الاستعادة

يحسب إطار العمل درجة الاستعادة ($S^{(l)}_{\phi}$) لكل وحدة في كل طبقة، والتي تمثل إزاحة الاحتمالية المعيارية الناجمة عن الاستعادة:
$$S^{(l)}_{\phi} = \frac{P^{(l,\phi)}_{restored} - P_{corr}}{TE}$$

• التفسير: تشير القيمة الصغيرة ($S \approx 0$) إلى المتانة الميكانيكية (النموذج يتحمل عدم المحاذاة الداخلية). بينما تشير القيمة السالبة الكبيرة ($|S| \gg 0$) إلى الهشاشة الميكانيكية، حيث تؤدي استعادة وحدة واحدة إلى انخفاض كارثي في الاحتمالية، مما يكشف أن التوليد يعتمد على توازن داخلي هش.

2.3 بناء مسبار DUD

لتحويل هذه الديناميكيات الدقيقة إلى تقدير شامل لعدم اليقين، يبني المؤلفون مسباراً خفيف الوزن وغير خطي:

• هندسة الميزات: يتم دمج درجات الاستعادة لكل طبقة لكل من FFN والانتباه في متجه ميزات موحد $v \in \mathbb{R}^{2L}$، متبوعاً بمعايرة Z-score.
• البنية: يتم تدريب شبكة MLP مكونة من 4 طبقات للتنبؤ بأخطاء التوليد (تصنيف ثنائي: صحيح مقابل غير يقيني) بناءً على هذه الميزات. تُشتق تسميات الحقيقة الأرضية (Ground truth labels) من درجات ROUGE-L مقابل الإجابات الصحيحة.
• التدريب: يستخدم المسبار خسارة التصنيف الثنائي (Binary Cross-Entropy) مع LeakyReLU وتطبيع الدفعات (Batch Normalization) للتعامل مع درجات الاستعادة السالبة ومنع الإفراط في التخصيص (overfitting).

3. المساهمات الرئيسية

يحدد البحث ثلاث مساهمات رئيسية:

1. إطار عمل سببي منفصل: أول إطار عمل لتقدير اليقين يفصل صراحةً المساهمات السببية لـ FFNs وMHSA. وقد أثبت أن ديناميكيات الوحدات الداخلية توفر وسيطاً أكثر صدقاً للموثوقية من احتمالات المخرجات التقليدية.
2. اكتشاف الهشاشة الميكانيكية: من خلال التتبع السببي الصارم، كشف المؤلفون أن عدم يقين التنبؤ يتجلى مادياً كهشاشة نظامية وصراع بين الوحدات. ومن الجدير بالذكر، حددوا أنماط فشل محددة: عدم استقرار التوجيه (routing instability) في طبقات MHSA المبكرة أثناء ترميز السياق، وانهيار حاد في طبقات FFN المتأخرة أثناء استرجاع المعرفة.
3. الأداء التجريبي: تظهر التجارب المكثفة أن النهج المنفصل يتفوق بشكل كبير على كل من النماذج المعتمدة على الـ logits والمسابير الميكانيكية المجمعة (مثل ICR Probe) في تقدير اليقين والمعايرة، مع إظهار قدرة فائقة على التعميم عبر مجموعات البيانات المختلفة.

4. النتائج التجريبية

تم تقييم DUD-Probe على ثلاثة نماذج لغوية مفتوحة المصدر (Llama-3.1-8B, Qwen2.5-7B, Gemma-2-9B) عبر أربعة اختبارات مرجعية (HaluEval, SQuAD, TriviaQA, HotpotQA).

• دقة متفوقة: حقق DUD-Probe باستمرار درجات AUROC رائدة. على سبيل المثال، في نموذج LLaMA-3.1-8B مع HaluEval، حقق AUROC قدره 0.949، متفوقاً بشكل كبير على Semantic Entropy (0.7745) وICR Probe المجمع (0.7703).
• التعميم عبر مجموعات البيانات: أظهرت الطريقة قدرة استثنائية على الانتقال. فعند تدريبها على مجموعة بيانات واختبارها على أخرى (مثلاً TriviaQA $\to$ SQuAD)، حافظ DUD-Probe على درجات AUROC عالية (0.868)، بينما تدهورت النماذج المرجعية مثل SAPLMA وSEP غالباً إلى ما دون 0.6. وهذا يشير إلى أن الطريقة تلتقط سمات ميكانيكية مستقلة عن المهام بدلاً من مجرد آثار ناتجة عن مجموعة البيانات.
• المعايرة والمتانة: قلل DUD-Probe بشكل كبير من خطأ المعايرة المتوقع (ECE) وحسن نسبة رفض التنبؤ (PRR). كما ظل متيناً عبر عتبات ROUGE-L المتفاوتة (متساهلة، قياسية، صارمة) وعبر أحجام النماذج المختلفة (من 3B إلى 14B).
• دراسات الاستئصال (Ablation Studies): أدى حذف أي من مساري FFN أو Attention إلى تدهور الأداء بشكل كبير، مما يؤكد أن كلا الوحدتين توفران إشارات مكملة لعدم اليقين. علاوة على ذلك، كشف التحليل أنه لا توجد "طبقة ذهبية" واحدة؛ بل يتطلب الكشف الموثوق مساراً ديناميكياً شاملاً من الترميز المبكر إلى الإسقاط النهائي.

5. الأهمية والادعاءات

يزعم البحث أن ديناميكيات التحديث المنفصلة تقدم تحولاً جوهرياً في كيفية فهم وقياس عدم اليقين في النماذج اللغوية الكبيرة:

• ما وراء الثقة السطحية: تسلط الدراسة الضوء على "مفارقة الثقة"، حيث تفشل الـ logits السطحية غالباً في عكس موثوقية التوليد. يكشف DUD عن "الأخطاء العنيدة" (ثقة عالية، استقرار داخلي منخفض) و"الحقائق المتواضعة" (ثقة منخفضة، استقرار داخلي عالٍ) التي تغفلها المقاييس التقليدية.
• التأسيس الميكانيكي: من خلال معاملة عدم اليقين كظهور مادي للصراع الداخلي بين الذاكرة البارامترية والمعالجة السياقية، يوفر DUD "تأسيساً مادياً" للكشف عن أخطاء النموذج.
• الثبات الهيكلي: تشير النتائج إلى أن الصراع الميكانيكي بين FFN وMHSA هو مؤشر عالمي لعدم اليقين عبر مختلف بنيات النماذج اللغوية الكبيرة، مما يؤكد صحة النهج ثنائي المسار كوسيط قوي لموثوقية النموذج.

يقر المؤلفون بالقيود، مشيرين إلى أن DUD، كونه طريقة "صندوق أبيض" تتطلب الوصول إلى التنشيطات الداخلية وعدة تمريرات أمامية (نظيفة، فاسدة، ومصححة)، غير قابل للتطبيق حالياً على نماذج الـ API مغلقة المصدر ويتسبب في زمن استجابة (latency) أعلى من الطرق البسيطة المعتمدة على الـ logits. ويُقترح في العمل المستقبلي تقطير هذه الإشارات في كواشف أخف وزناً.