Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

ملخص تقني: الشك المشترك: تقدير الثقة عبر اللغات بنمط "التعلم من المحاولة الصفرية" للنماذج اللغوية الكبيرة

بيان المشكلة
يهدف تقدير الثقة (CE) في النماذج اللغوية الكبيرة (LLMs) إلى قياس مدى موثوقية تنبؤ النموذج، وهو قدرة بالغة الأهمية للتخفيف من حدة الهلوسة والحفاظ على ثقة المستخدم. وبينما حظي تقدير الثقة باهتمام كبير، فإن الغالبية العظمى من الأبحاث الحالية تركز حصرياً على اللغة الإنجليزية. وهذا الإغفال يعد أمراً إشكالياً لأن النماذج اللغوية الكبيرة غالباً ما تظهر انخفاضاً في الموثوقية في اللغات ذات الموارد التدريبية الأقل، مما يجعل التقدير الدقيق للثقة أكثر أهمية في تلك السياقات. علاوة على ذلك، فإن العديد من طرق تقدير الثقة الحالية يتدهور أداؤها أو تتطلب إعادة تدريب عند تطبيقها على لغات غير مرئية، مما يفشل في معالة الواقع متعدد اللغات لنشر النماذج اللغبية الكبيرة. السؤال البحثي المركزي هو ما إذا كانت النماذج اللغوية الكبيرة متعددة اللغات تشفر سمات ثقة مشتركة وقابلة للنقل بين اللغات يمكن استغلالها دون إشراف على اللغة المستهدفة.

المنهجية
يقترح المؤلفون مسباراً خطياً خفيف الوزن مصمماً للتنبؤ بصحة الإجابة مباشرة من التمثيلات الخفية المتوسطة لنموذج لغوي كبير. تعتمد المنهجية على فرضية أن النماذج اللغية الكبيرة متعددة اللغات تمتلك فضاءً فرعيًا مشتركاً ومستقلاً عن اللغة حيث يتم تشفير إشارات الثقة.

• التمثيلات: تستخدم الدراسة نماذج لغوية كبيرة تعتمد على بنية "المحول" (Transformer) من نوع "المفكك فقط" (decoder-only). وهي تستخرج الحالات الخفية من خطوتين زمنيتين محددتين: الرمز الأخير من نص الإدخة (كوكيل لكامل المدخلات) والرمز الأخير من الإجابة المولدة (كممثل للحالة النهائية).
• بنية المسبار: يتعلم المسبار متوسطاً مرجحاً للتمثيلات الخفية للطبقات. ويقدم متجهاً قابلاً للتعلم $w$ لحساب أوزان الطبقات $\alpha_\ell$ عبر دالة "softmax"، مما ينشئ تمثيلاً مجمعاً $\bar{h}_t$. ثم يتم تمرير هذا التمثيل المجمع عبر طبقة خطية مع دالة تنشيط "sigmoid" لإخراج درجة الثقة.
• إعداد التدريب والتقييم: يتم تدريب المسبار أحادي اللغة على لغة مصدر (الفرنسية في التجارب الأساسية، مع الإنجليزية كمصدر ثانوي) باستخدام مجموعات بيانات MKQA (للأسئلة والأجوبة مفتوحة النهايات) وGlobal-MMLU (المحولة إلى أسئلة وأجوبة مفتوحة النهايات). ثم يتم تقييمه في إطار "التعلم من المحاولة الصفرية" (zero-shot) على لغات مستهدفة متنوعة تصنيفياً (الإنجليزية، الإسبانية، البولندية، الروسية، اليابانية) دون أي إشراف على اللغة المستهدفة.
• النماذج المرجعية: تتم مقارنة النهج مع نماذج الفئة الأكثر تكراراً ونماذج الاحتمال المسبق، بالإضافة إلى طرق أخرى لتقدير الثقة تشمل احتمالية التسلسل الموحدة حسب الطول، وP(True)، والثقة المنطوقة، ومسبار الكتلة-المتوسط (mass-mean probe).

النتائج الرئيسية

• النقل عبر المحاولة الصفرية: نجح المسبار، المدرب حصرياً على الفرنسية، في التعميم على لغات غير مرئية عبر عائلات لغية وخطوط كتابية مختلفة. وبينما تتدهور مقاييس التمييز (AUROC, AUPR) مع زيادة المسافة التصنيفية عن اللغة المصدر، فإن مقاييس المعايرة (Brier score, ECE) غالباً ما تظل مستقرة أو حتى تتفوق على "المسابير المثالية" (oracle probes) المدربة على اللغة المستهدفة في حالات محددة.
• أهمية الطبقة: يكشف تحليل أوزان الطبقات المتعلمة ودراسات الاستئصال أن سمات الثقة تتركز في الطبقات العليا-المتوسطة من الشبكة. وهذا يتوافق مع النتائج السابقة التي تشير إلى أن هذه الطبقات تقوم بخرائط المدخلات إلى فضاء تمثيلي مشترك. إن إزالة هذه الطبقات الوسطى يؤثر بشكل كبير على الأداء، لا سيما بالنسبة للمعايرة عبر المحاولة الصفرية.
• توقيت الرمز: تجد الدراسة تميزاً بين فائدة آخر رمز للاستعلام وآخر رمز للإجابة. يوفر الرمز الأخير للاستعلام معايرة أفضل عبر اللغات، بينما يوفر الرمز الأخير للإجابة تمييزاً فائقاً بين الاستجابات الصحيحة والخاطئة.
• المقارنة: يتفوق المسبار العابر للغات على العديد من النماذج المرجعية الشائعة لتقدير الثقة (مثل P(True) والثقة المنطوقة) في إعدادات المحاولة الصفرية، لا سيما في التمييز، رغم أنه قد يتأخر أحياناً عن مسبار "الكتلة-المتوسط" في المعايرة بالنسبة للغات شديدة الاختلاف.

الأهمية والمساهمات
يدعي البحث أنه الأول الذي يثبت نقل تقدير الثقة عبر اللغات بنمط "المحاولة الصفرية" من خلال سبر التمثيلات الخفية للنماذج اللغوية الكبيرة. وتتمثل مساهماته الرئيسية في:

1. إثبات الفضاء الفرعي المشترك: يقدم دليلاً تجريبياً على أن إشارات الثقة المتعلمة في لغة عالية الموارد يمكن أن تنتقل إلى لغات منخفضة الموارد أو بعيدة تصنيفياً دون إعادة تدريب، مما يشير إلى وجود فضاء فرعي مشترك للثقة في النماذج اللغية الكبيرة متعددة اللغات.
2. تحديد موقع الطبقة: يحدد أن المعلومات الأكثر بروزاً للتنبؤ بالثقة عبر المحاولة الصفرية تتركز في الطبقات المتوسطة إلى العليا، مما يعزز النظرية القائلة بأن هذه الطبقات تحتوي على تمثيلات مستقلة عن اللغة.
3. نموذج مرجعي عملي: يقدم النهج المقترح نموذجاً مرجعياً قوياً لا يتطلب إعادة تدريب لتقدير الثقة عبر اللغات، وهو أمر ذو قيمة خاصة للغات التي تعاني من نقص الخدمات حيث تندر البيانات المصنفة.

يحافظ المؤلفون على نبرة متواضعة، مع الإقرار بأن الأداء يتدهور مع زيادة المسافة التصنيفية وأن النهج الحالي يركز حالياً على الأسئلة والأجوبة قصيرة الشكل. ويقترحون أن العمل المستقبلي يمكن أن يشمل التدريب على لغات مصدر متعددة، وتحديد التمثيلات الكامنة الحرجة بدقة أكبر، وتطبيق تقنيات المعايرة اللاحقة لتحسين المتانة بشكل أكبر.