Asking Is Not Enough: Protocol Sensitivity in LLM Confidence Calibration

المشكلة
يعد معايرة ثقة النماذج اللغوية الكبيرة (LLM) أمراً بالغ الأهمية للنشر الآمن في المجالات عالية المخاطر. تقارن التقييمات الحالية عادةً بين إشارتين: درجات احتمالية الرموز (المستمدة من الـ logits الداخلية للنموذج) والثقة اللفظية (حيث يبلغ النموذج صراحةً عن احتمالية في شكل نص). وبينما أثبتت الأعمال السابقة أن الثقة اللفظية حساسة لطرق استحثاث المطالبات (prompt elicitation)، تجادل هذه الورقة بأن المقارنة بين الثقة اللفظية والثقة القائمة على الرموز (token-based) حساسة أيضاً لـ "خيارات القياس" التي غالباً ما تظل ضمن الضمنيات. يعتمد الكم المقاس على: (1) أي سلسلة إجابة تتلقى درجة احتمالية الرمز (المولدة ذاتياً مقابل المزودة جاهزة)، (2) كيفية قراءة تلك الدرجة من رموز الإجابة (الرمز الأول مقابل متوسط المدى/السبان)، و(3) سياق الشرط (conditioning context) الذي تُقاس في ظله الاحتمالية (الاستعلام المجرد مقابل بادئة المطالبة المستخدمة لللفظ). ويفترض المؤلفون أنه بدون تحديد بروتوكول صريح، فإن فجوات المعايرة الملحوظة قد تعكس آثاراً ناتجة عن عملية القياس بدلاً من كونها خصائص جوهرية للنموذج أو مكاسب في المحاذاة (alignment).

المنهجية
يجري المؤلفون تحليلاً مضبوطاً للحساسية عبر أربعة معايير للأسئلة والأجوبة (TriviaQA, SciQ, TruthfulQA, MMLU) باستخدام ثلاث عائلات من نماذج الأساس/التعليمات (Base/Instruct) المفتوحة بحجم 7-8 مليار معلمة (Llama-3-8B, Mistral-7B-v0.3, Qwen2.5-7B)، مع فحوصات متانة على متغيرات Qwen2.5 الأكبر (14B, 32B, 72B).

تثبت الدراسة طريقة استحثاث الثقة اللفظية (قالب مطالبة واحد مستمر من 0.0 إلى 1.0) بينما تغير بشكل منهجي "محاور البروتوكول" التي تحدد مقارنة احتمالية الرمز:

1. مصدر الإجابة (Answer Provenance): مقارنة الثقة المستحثة على الإجابات المولدة ذاتياً مقابل الإجابات المزودة (الإجابة الصحيحة "gold"، والإجابة الخاطئة ذات المظهر المعقول، والإجابة الخاطئة غير المتوافقة مع النوع).
2. الإجابة المُسجلة (Scored Answer): مقارنة احتمالات الرموز المخصصة لإجابة النموذج المولدة مقابل مرجع صحيح مفروض من قبل المعلم (teacher-forced gold reference).
3. قراءة الرمز (Token Readout): مقارنة المتوسط الهندسي لمدى الإجابة ($T_1$) مقابل احتمال أول رمز للإجابة ($T_2$).
4. سياق الشرط (Conditioning Context): مقارنة احتمالات الرموز المقاسة تحت استعلام مجرد مقابل بادئة المطالبة اللفظية.
5. المُقدِّر (Estimator): مقارنة خطأ المعايرة المتوقع (ECE) القياسي ذي الـ 10 حاويات مقابل المُقدِّرات الخالية من الحاويات (KDE-ECE, KS-Cal, Smoothed ECE).

المقياس الأساسي هو فجوة المعايرة الموقعة $g = \text{ECE}(c_{\text{verb}}) - \text{ECE}(c_{\text{tok}})$، حيث تشير القيم السالبة إلى أن الثقة اللفظية أفضل معايرة.

المساهمات الرئيسية

1. حساسية البروتوكول مع ثبات الاستحثاث: يوضح المؤلفون أنه حتى مع وجود مطالبة ثقة لفظية ثابتة، فإن المقارنة بين الإشارات اللفظية وإشارات الرموز غير مستقرة. إذ يغير سياق الشرط وخيارات قراءة الرمز من فجوة ECE الملحوظة بشكل مادي، وغالباً ما يعكس إشارة الفجوة. في المقابل، فإن تغيير مُقدِّر ECE ليس له تأثير يُذكر.
2. مصدر الإجابة والمعقولية: تكشف الدراسة أن الثقة اللفظية تتبع معقولية الإجابة ومصدرها بدلاً من الصحة وحدها. فعند تزويد النماذج بإجابات خاطئة ذات مظهر معقول، تمنح النماذج مستويات ثقة مطابقة تقرياً لتلك الممنوحة للإجابات الصحيحة المزودة، بينما ترفض بوضوح التباينات غير المتوافقة مع النوع.
3. قائمة التحقق من التقارير: تقترح الورقة قائمة تحقق لإعداد التقارير حول مقارنات إشارات الثقة تغطي مصدر الاستحثاث، والإجابة المسجلة، وطريقة قراءة احتمالية الرمز، وسياق الشرط لضمان قابلية إعادة إنتاج وتفسير القياس.

النتائج

• عدم استقرار فجوة المعايرة: في ظل بروتوكول "الإجابة المولدة، السياق المجرد" الافتراضي، تظهر نماذج التعليمات (Instruct) تقارباً شبه تام بين الثقة اللفظية وثقة الرموز (متوسط الفجوة $g_A \approx -0.029$)، مما يناقض الادعاءات بوجود مكاسب معايرة كبيرة للثقة اللفظية. ومع ذلك، فإن تغيير سياق الشرط (قياس احتمالية الرمز تحت البادئة اللفظية) يزيح الفجوة بمقدار $\approx -0.090$ في نماذج التعليمات، مما يؤدي غالباً إلى عكس إشارة الفجوة.
• حجم تأثيرات البروتوكول: حجم الإزاحة الناجمة عن سياق الشرط (متوسط الإزاحة المطلقة 0.28) يقارب التباين الناتج عن تغيير عائلة النموذج (0.37) أو مجموعة البيانات (0.17). كما تسبب قراءة الرمز إزاحات كبيرة (0.11)، بينما تسبب اختيار المُقدِّر إزاحات طفيفة (0.01).
• حساسية المصدر: في تحليلات الإجابات المزودة، كان الفرق في الثقة بين الإجابات الصحيحة المزودة والإجابات الخاطئة ذات المظهر المعقول ضئيلاً ($\approx +0.021$)، بينما كان الفرق للإجابات الخاطئة غير المتوافقة مع النوع كبيراً. يشير هذا إلى أن الثقة اللفظية تعكس معقولية النص المقدم بدلاً من تقدير الصحة الحقيقية.
• المتانة: هذه النتائج تظل قائمة عبر مختلف أحجام النماذج (حتى 72B)، ومقاييس المطالبة المختلفة (الأعداد الصحيحة 0-100)، ومختلف مقاييس المعايرة (Brier, NLL, AUROC).

الأهمية والادعاءات
تجادل الورقة بأنه لا ينبغي التعامل مع الثقة اللفظية ولا مع احتمالية الرمز كقراءة مباشرة وخالية من السياق لعدم اليقين في النموذج. بدلاً من ذلك، كلاهما قياس سلوكي يرتبط تفسيره ارتباطاً وثيقاً ببروتوكول القياس. ويدعي المؤلفون أن الادعاءات الرقمية حول تحسين المحاذاة لعدم اليقين المبلغ عنه ذاتياً، أو تفوق الثقة اللفظية على احتمالات الرموز، لا تكون ذات معنى إلا عندما يتم تحديد تكوين القياس المحدد (مصدر الإجابة، طريقة القراءة، سياق الشرط) بشكل صريح. وتعمل هذه الدراسة كتحليل تحذيري، يحث المجتمع على معاملة مقارنات المعايرة كتحليلات حساسية تعتمد على البروتوكول بدلاً من كونها تفكيكاً سببياً لقدرات النموذج.