Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الإنتروبيا وحدها غير كافية للتنبؤ الانتقائي الآمن في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

كثيراً ما تنتج النماذج اللغوية الكبيرة (LLMs) "هلوسات" — وهي إجابات بليغة ولكنها خاطئة واقعياً — وغالباً ما يكون ذلك بثقة عالية. وفي المجالات عالية المخاطر (مثل الرعاية الصحية)، تُقترح أنظمة التنبؤ الانتقائي (Selective Prediction) للتخفيف من حدة هذه المشكلة عبر الامتناع عن الإجابة عندما يكون عدم اليقين مرتفعاً.

ومع ذلك، تواجه طرق تقدير عدم اليقين (UQ) الحالية مشكلتين حرجتين:

1. الفشل المعتمد على النموذج: غالباً ما تفشل الطرق القائمة على الإنتروبيا (التي تقيس مدى انتشار توزيع مخرجات النموذج) في اكتشاف نمط فشل محدد يُعرف باسم "نظام الخطأ الواثق" (confidently wrong regime). في هذا النظام، تولد النماذج هلوسات ذات إنتروبيا منخفضة (ثقة عالية)، مما يجعل درجات المخاطر القائمة على الإنتروبيا تصنفها خطأً على أنها آمنة.
2. التقييم غير المتوافق: تعتمد الأبحاث السابقة في تقييم طرق تقدير عدم اليقين (UQ) على مقاييس عالمية مثل AUROC. يمكن لهذه المقاييس أن تحجب حالات الفشل الحرجة عند النشر، وتحديداً عدم القدرة على الحفاظ على معدلات خطأ منخفضة عند عتبات السلامة الصارمة.

تجادل الورقة بأن الاعتماد فقط على الإنتروبيا غير كافٍ للتنبؤ الانتقائي الآمن، وأن التقييم يجب أن ينتقل نحو مقاييس مواجهة النشر (deployment-facing metrics) التي تعكس التحكم في المخاطر في العالم الحقيقي.

2. المنهجية

2.1 إشارات عدم اليقين

تقوم الدراسة بتقييم ودمج نوعين متمايزين من إشارات عدم اليقين:

• الإشارات القائمة على الإنتروبيا ($u_{ent}$):
  • الاحتمال اللوغاريتمي السلبي للتسلسل (Sequence NLL): الاحتمال اللوغاريتمي السالب للإجابة المولدة (تمريرة واحدة).
  • الإنتروبيا الدلالية (Semantic Entropy - SE): تجميع عدة إكمالات لعينات بناءً على الاستلزام الدلالي لقياس التشتت.
  • مسبار الإنتروبيا الدلالية (SEP): مسبار خطي خفيف الوزن يتم تدريبه للتنبؤ بالإنتروبيا الدلالية الثنائية، مما يقلل من تكلفة أخذ العينات.
• الإشارات القائمة على الصحة ($u_{pc}$):
  • مسبار احتمالية الصحة (PC Probe): مصنف لوجستي (Logistic Regression) يتم تدريبه على تمثيلات المطالبات (prompts) للتنبؤ بما إذا كانت الإجابة صحيحة (باستخدام تسميات أرضية خارجية). يتم تحويل هذه الإشارة إلى درجة مخاطر ($1 - p_{pc}$).

2.2 النهج المدمج

المقترح الأساسي هو درجة مخاطر هجينة يتم إنشاؤها بواسطة انحدار لوجستي ذو ميزتين يدمج إشارة الإنتروبيا ($u_{ent}$) وإشارة مسبار الصحة ($u_{pc}$). تُستخدم هذه الدرجة المدمجة لتحديد ما إذا كان سيتم الإجابة أو الامتناع بناءً على عتبة $\tau$.

2.3 إطار التقييم

تنتقل الدراسة إلى ما وراء مقاييس التصنيف القياسية إلى مقاييس التنبؤ الانتقائي:

• منحنيات المخاطر والتغطية (Risk-Coverage - RC): رسم معدل الهلوسة (المخاطرة) مقابل نسبة الأسئلة التي تمت الإجابة عليها (التغطية).
• المساحة الزائدة تحت منحنى المخاطر والتغطية (E-AURC): تقيس مدى قرب النظام من "النموذج المثالي" (Oracle) الذي يمتنع عن الإجابة بشكل مثالي.
• خطأ المعايرة المستهدف (Target Calibration Error - TCE): يقيس الانحراف بين مستوى المخاطرة المستهدف (مثلاً: "أريد الإجابة فقط عندما تكون المخاطرة < 5%") والمخاطرة المحققة فعلياً في مجموعة الاختبار. هذا أمر بالغ الأهمية لضمان أن النظام يعمل كما هو موعود عند عتبات سلامة محددة.

2.4 الإعداد التجريبي

• مجموعات البيانات: TriviaQA (معرفة عامة)، BioASQ (معلومات طبية حيوية)، وMedicalQA (أسئلة طبية مفتوحة).
• النماذج: أربع عائلات من النماذج (Mistral, Llama, Qwen, Gemma) تتراوح من 3 إلى 8 مليارات معلمة.
• البروتوكول: تولد النماذج إجابات؛ يتم تدريب المسبارات على جزء من البيانات؛ ويتم ضبط العتبات على مجموعة معايرة لتلبية مخاطر مستهدفة معينة ($\alpha \in [0.05, 0.30]$).

3. المساهمات الرئيسية

1. تحديد نظام "الخطأ الواثق": توضح الورقة أن الطرق القائمة على الإنتروبيا تعاني من نمط فشل يعتمد على النموذج، حيث تنتج النماذج هلوسات ذات إنتروبيا منخفضة. على سبيل المثال، في نموذج Qwen، تنهار العديد من الهلوسات إلى إنتروبيا دلالية قريبة من الصفر، مما يجعل من الصعب تمييزها عن الإجابات الصحيحة باستخدام الإنتروبيا وحدها.
2. تكامل الإشارات: يظهر الباحثون أن إشارات الإنتروبيا ومسبار الصحة مرتبطان ارتباطاً متوسطاً فقط (Spearman $\rho \approx 0.5$). ينجح مسبار الصحة في تخصيص درجات مخاطر عالية لحالات "الخطأ الواثق" التي تغفلها الإنتروبيا، بينما تلتقط الإنتروبيا عدم اليقين في أنماط الفشل الأخرى.
3. تفوق الطرق المدمجة: يظهر الدمج أن الطريقة الهجينة تتفوق باستمرار على النماذج المرجعية القائمة على الإنتروبيا فقط عبر جميع مجموعات البيانات والنماذج.
4. التحول في نموذج التقييم: تدعو الورقة إلى تقييم مواجه للنشر. وتوضح أن الطريقة التي تمتلك AUROC عالياً (كشف عالمي جيد) يمكن أن تفشل كارثياً عند عتبات السلامة الصارمة (TCE مرتفع)، بينما تحافظ الطريقة المدمجة على معايرة موثوقة.

4. النتائج الرئيسية

• تحسين الأداء: عبر ثلاثة اختبارات وأربع عائلات من النماذج، تحقق الطريقة المدمجة (الإنتروبيا + مسبار الصحة) عموماً تحسيناً في كل من المفاضلة بين المخاطرة والتغطية (E-AURC أقل) والمعايرة (TCE أقل) مقارنة بالنماذج المرجعية القائمة على الإنتروبيا فقط.
• فشل الإنتروبيا وحدها في أنظمة الثقة العالية:
  • في "نظام الثقة العالية" (المخاطرة المستهدفة $\leq 0.15$)، غالباً ما تصل الطرق القائمة على الإنتروبيا إلى "أرضية مخاطر"، مما يعني أنها لا تستطيع خفض معدل الهلوسة دون الامتناع عن الإجابة على معظم الأسئلة (تغطية صفرية).
  • تخفض الطريقة المدمجة أرضية المخاطر هذه، مما يسمح للنظام بالعمل بأمان عند استهداف مستويات صارمة مع تغطية غير ضئيلة.
• الاعتماد على النموذج: تختلف فعالية الطرق الفردية باختلاف النموذج. على سبيل المثال، تعمل الإنتروبيا الدلالية (SE) بشكل أفضل مع Llama وMistral في TriviaQA، بينما يهيمن مسبار الصحة (PC Probe) في Qwen. وهذا يعزز الحاجة إلى النهج المدمج لضمان المتانة عبر مختلف البنيات.
• المعايرة: تتبع الطريقة المدمجة قطر المعايرة المثالي بشكل أوثق بكثير من الطرق القائمة على الإنتروبيا عند ضبطها على أهداف صارمة، في حين تنحرف الطرق القائمة على الإنتروبيا بشكل حاد، مما يؤدي إلى تقديرات مخاطر غير معايرة.

5. الأهمية والآثار المترتبة

• السلامة عند النشر: تشير النتائج إلى أنه بالنسبة للتطبيقات الحرجة للسلامة (مثل التشخيص الطبي)، فإن الاعتماد فقط على الإنتروبيا أمر خطير. يجب أن تدمج الأنظمة مسابير الصحة أو إشارات مماثلة لاكتشاف الهلوسات "الواثقة الخاطئة".
• معايير التقييم: تتحدى الورقة المجتمع العلمي للتوقف عن الاعتماد فقط على AUROC في أبحاث تقدير عدم اليقين (UQ). بدلاً من ذلك، يجب أن تصبح مقاييس مثل TCE و E-AURC معيارية، لأنها تجيب مباشرة على السؤال: "هل يمكننا الوثوق بهذا النظام للعمل عند مستوى مخاطرة محدد؟"
• الكفاءة: الحل المقترح (مسبار خطي خفيف الوزن مدمج مع الإنتروبيا) لا يتطلب عبئاً حسابياً إضافياً يتجاوز تمريرة واحدة للأمام (للمسبار)، ويقدم مساراً عملياً لنشر أكثر أماناً للنماذج اللغوية الكبيرة دون التكلفة الحسابية العالية لأخذ عينات الإنتروبيا الدلالية الكاملة وقت الاختبار.

القيود

يشير المؤلفون إلى أن الدراسة تقتصر على مهام الأسئلة والأجوبة قصيرة الشكل. ولا يزال من غير الواضح ما إذا كان نمط فشل "الخطأ الواثق" أو تكامل الإشارات سيتعمم على التوليد طويل التنسيق أو مهام الاستدلال المعقدة. بالإضافة إلى ذلك، يتطلب مسبار الصحة تدريباً خاضعاً للإشراف على بيانات مصنفة، مما قد يشكل عائقاً في البيئات محدودة الموارد.