Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

ملخص تقني: الثقة والمعايرة لأوراكل التنشيط (Activation Oracles) من أجل تفسير موثوق لداخليات النماذج اللغوية

بيان المشكلة
أوراكل التنشيط هي نماذج لغوية يتم ضبطها بدقة لترجمة الحالات الخفية (hidden states) لنموذج مستهدف إلى أوصاف باللغة الطبيعية، مما يتيح تفسير التمثيلات الداخلية مثل الحقائق المحفوظة، أو الأهداف الخفية، أو الكلمات السرية. وبينما أظهرت هذه الأوراكل نتائج واعدة في استعادة المعلومات التي تظهر فقط في التنشيطات، إلا أن مخرجاتها تفتقر حاليًا إلى مفهوم اليقين. إن غياب المعايرة الواثقة أمر بالغ الأهمية لاتخاذ القرارات الإجرائية اللاحقة، مثل تدقيق المواءمة (alignment auditing)، وكشف الخداع، واستخلاص الأهداف الخفية. إن تقنيات تقدير عدم اليقين (UQ) القياسية، التي طُورت للنماذج غير الموجهة، لم يتم تقييمها بصرامة على أوراكل التنشيط، والتي تعمل كـ "نماذج موجهة" حيث يتم استبدال التدفق المتبقي (residual stream) عند الاستدلال بمتجهات من نموذج مستهدف. المشكلة المركزية التي يتناولها البحث هي تحديد أي طرق تقدير الثقة تظل صالحة ومعايرة جيدًا تحت تأثير هذا الاضطراب التوجيهي.

المنهجية
قام المؤلفون بقياس ست طرق متميزة لتقدير عدم اليقين (UQ) على اثنين من أوراكل التنشيط: أوراكل Qwen3-8B المنشور، وأوراكل Qwen3.6-27B تم تدريبه حديثًا (المكيف مع بنية انتباه هجينة خطية بالإضافة إلى الانتباه الكامل). استخدم التقييم مهمة "الكلمة السرية المحظورة" (secret-word taboo)، حيث يتم ضبط النماذج المستهدفة بدقة للحفاظ على سرية كلمة واحدة من بين 20 كلمة محددة. تم تنفيذ المهمة على 6,000 عينة لكل أوراكل (تتكون من 20 كلمة مستهدفة، 100 مطالبة سياقية، و3 مطالبات لفظية).

الطرق الست التي تم تقييمها هي:

1. احتمالية اللوغاريتم (الأساس): احتمالية اللوغاريتم المشتركة لرمز (token) الإجابة المتوقعة.
2. بوتستراب درجة الحرارة (Temperature Bootstrap): أخذ عينات من $k=20$ إجابة عند درجات حرارة متفاوتة ($T \in \{0.3, \dots, 1.5\}$) واستخدام التكرار التجريبي للإجابة الأكثر شيوعًا (modal answer) كدرجة ثقة.
3. التقرير الرقمي المباشر للنفس: توجيه الأوراكل لإخراج درجة ثقة رقمية (0–100) بعد توليد الإجابة.
4. قبول أخذ عينات القوة لـ MCMC: استخدام سلسلة واحدة من "ميتروبوليس-هاستينغز" (MH) ذات كتلة واحدة مع أخذ عينات القوة ($\alpha > 1$) وقياس معدل القبول التجريبي.
5. اتفاق أخذ عينات القوة لـ MCMC: تشغيل $k=10$ سلاسل مستقلة من MH وقياس الاتفاق بين السلاسل (على غرار الاتساق الذاتي).
6. حساسية التوجيه: مسح معامل التوجيه ($c$) حول القيمة الافتراضية وقياس استقرار الإجابة التي تم فك تشفيرها.

تم قياس الأداء باستخدام الدقة (Accuracy)، وخطأ المعايرة المتوقع (ECE)، ودرجة براير (Brier Score)، وسالب لوغاريتم الاحتمالية (NLL)، وAUROC (قدرة التصنيف).

النتائج الرئيسية

• الطريقة الأفضل أداءً: برز تكرار نمط بوتستراب درجة الحرارة كأفضل طريقة معايرة على كلا النموذجين. في Qwen3-8B، كانت درجة الحرارة المثلى هي $T=1.0$ (ECE 5.7%)، وفي Qwen3.6-27B، كانت $T=1.5$ (ECE 10.3%). ترتبط درجة الحرارة المثلى بدقة المهمة؛ فكلما أصبح النموذج أقل دقة (مهمة أصعب)، أدت درجة حرارة أعلى (أخذ عينات أكثر تسطحًا) إلى معايرة أفضل.
• احتمالية اللوغاريتم كأداة فرز: بينما كانت احتمالية اللوغاريتم تمتلك ECE أعلى من تكوين البوتستراب الأمثل، إلا أنها حققت AUROC مرتفعًا (قدرة تصنيفية) وتعمل كإشارة فرز سريعة ومنخفضة التكلفة، خاصة عند تطبيق المعايرة اللاحقة (مثل إعادة القياس الأيزوتوني).
• فشل التقرير الذاتي الرقمي: كان التقرير الرقمي الحر للذات هو الأسوأ معايرة. في أوراكل 27B، كان "عكس المعايرة" (anti-calibrated)، حيث أعرب النموذج عن ثقة أعلى في الإجابات الخاطئة (متوسط 98.9%) منها في الإجابات الصحيحة (97.6%). وهذا يكرر فجوة الثقة بين "المسبار واللفظ" (probe-vs-verbalized) الملاحظة في النماذج اللغوية الكبيرة القياسية، مما يشير إلى أن قناة الاستخراج باللغة الطبيعية تهيمن عليها الأولويات التدريبية بدلاً من الإشارة المرتبطة بالتنشيط.
• فشل قبول MCMC: فشلت نسبة قبول سلسلة MCMC الواحدة في التمييز بين المخرجات الصحيحة والخاطئة (AUROC ~0.53–0.60). ويعزو المؤلفون ذلك إلى أن التوزيع الشرطي الموجه يكون حاد القمة عند الإجابة الجشعة (greedy answer)؛ وبالتالي، تقبل سلسلة MH المقترحات بغض النظر عن الصحة، مما يؤدي إلى تشبع معدل القبول.
• حساسية التوجيه: أنتجت هذه الطريقة قيم ثقة منفصلة خشنة (0.2، 0.4، إلخ) ومعايرة ضعيفة (ECE > 40%)، مما يجعلها غير صالحة كإشارة احتمالية، وإن كانت قد تصلح كتشخيص ثنائي.

المساهمات

1. أول معيار لتقييم عدم اليقين لأوراكل التنشيط: يضع البحث أول تقييم منهجي لتقدير عدم اليقين خصيصًا لأوراكل التنشيط الموجهة، مغطيًا ست طرق عبر نموذجين وأربعة مقاييس للمعايرة.
2. تقييم الطرق المستحدثة: يقدم ويقيم ثلاث طرق مصممة خصيصًا لبيئة أوراكل الموجهة (قبول MCMC، اتفاق MCMC، وحساسية التوجيه)، مع تقديم تفسيرات ميكانيكية لسبب إعطاء قبول MCMC وحساسية التوجيه لنتائج سلبية في هذا السياق.
3. وصفة عملية: يقترح المؤلفون استراتيجية ضبط عملية: اختيار درجة حرارة البوتستراب بحيث يتطابق متوسط تكرار النمط على شريحة كلمات محجوزة مع الدقة التجريبية لتلك الشريحة.
4. تكرار فجوات الثقة: تؤكد الدراسة أن الفجوة بين إشارات التنشيط الداخلية والثقة اللفظية موجودة أيضًا في أوراكل التنشيط، حيث يفشل التقرير الرقمي الحر في التقاط إشارة عدم اليقين الموجودة في الحالات الخفية.
5. إصدار أوراكل جديد: ينشر البحث أول أوراكل تنشيط لبنية انتباه هجينة خطية بالإضافة إلى الانتباه الكامل (Qwen3.6-27B)، مع المدرب المعدل وأوزان اللفظ (verbalizer weights).

الأهمية والادعاءات
يدعي الورقة البحثية أنه بالنسبة للممارسين الذين يبنون أنظمة تعتمد على أوراكل التنشيط، فإن تكرار نمط بوتستراب درجة الحرارة هو إشارة الثقة الجاهزة للإنتاج، مع ضبط درجة الحرارة لتتطابق مع الدقة التجريبية. وبينما تعد احتمالية اللوغاريتم أقل معايرة، إلا أنها تظل بديلًا قابلًا للتطبيق ومنخفض التكلفة للفرز إذا اقترنت بإعادة القياس اللاحقة.

يصرح المؤلفون صراحةً أن نسب قبول MCMC ليست إشارات ثقة مناسبة لهذه المهمة بسبب طبيعة التوزيع اللاحق (posterior) شديد القمة في النموذج الموجه. علاوة على ذلك، يحذرون من أن التقرير الرقمي الحر للنفس غير موثوق ويعاني من "عكس المعايرة" في هذا السياق. تشير الدراسة إلى أنه إذا كان مطلوبًا تقدير عدم اليقين الاستبطاني، فإن تسجيل الملصقات المقيد (تجاوز توليد النص الحر) قد يستعيد الإشارة، كما أظهرت دراسة تجريبية صغيرة.

العمل متواضع في نطاقه، حيث يشير المؤلفون إلى أن النتائج تستند إلى نموذجين من عائلة Qwen ووصفة تدريب واحدة. وبينما يوحي الاتساق عبر النماذج بادعاء على مستوى النموذج ككل، إلا أن المؤلفين لا يدعون التعميم عبر جميع البنيات. تؤكد النتائج أن التفسير الموثوق لداخليات النماذج اللغوية لا يتطلب فقط فك تشفير الحالة الخفية، بل يتطلب أيضًا تحديد الثقة في ذلك التشفير بدقة، وهو ما توفره طرق البوتستراب حاليًا كأكثر الحلول قوة.