ملخص تقني: معايرة النماذج اللغوية الكبيرة باستخدام المكافأة على المستوى الدلالي

بيان المشكلة

مع نشر النماذج اللغوية الكبيرة (LLMs) في مجالات عالية الخطورة مثل الإجابة على الأسئلة الطبية والاستدلال القانوني، تصبح القدرة على تقدير متى تكون المخرجات مرجحة للصحة أمراً بالغ الأهمية. إن التعلم المعزز بالجوائز القابلة للتحقق (RLVR) القياسي يحسن من الصحة الثنائية (صواب/خطأ) ولكنه يفشل في مراعاة ثقة النموذج. هذه البنية الثنائية للمكافأة لا تبالي بمستويات الثقة، مما يحفز النموذج هيكلياً على التخمين بفرط ثقة لأن التعبير عن اليقين لا يترتب عليه أي عقوبة. ونتيجة لذلك، غالباً ما تُظهر النماذج المدربة بالتعلم المعزز (RL) معدلات متزايدة من الهلوسة وضعفاً في المعايرة.

تتضمن المحاولات الأخيرة لمعالجة ذلك تدريب النماذج على إنتاج درجات ثقة لفظية (مثل "أنا متأكد بنسبة 80%") جنباً إلى جنب مع الإجابات. ومع ذلك، تجادل الورقة بأن الثقة اللفظية هي مؤشر غير موثوق لعدم اليقين. يُظهر التحليل التجريبي أن هذه الدرجات حساسة للغاية لصياغة المطالبات (prompts) وتغيرات نص الإجابة، حتى عندما يظل المعنى الدلالي الأساسي متطابقاً. غالباً ما تفشل الثقة اللفظية في تتبع التوزيع الفعلي للمعاني التي ينتجها النموذج، فهي تقوم بمعايرة واجهة التقرير بدلاً من عدم اليقين الدلالي الحقيقي للنموذج.

المنهجية: المعايرة بالمكافأة الدلالية (CSR)

يقترح المؤلفون المعايرة بالمكافأة الدلالية (CSR)، وهو إطار عمل يعمل على معايرة النماذج اللغوية الكبيرة مباشرة في الفضاء الدلالي، متجاوزاً الحاجة إلى واجهات صريحة للإبلاغ عن الثقة.

المفهوم الجوهري

يؤطر CSR المعايرة من حيث عدم اليقين على المستوى الدلالي: وهو توزيع المعاني التي ينتجها النموذج عند أخذ عينات متكررة من نفس السؤال. يُعت-بر النموذج معايرًا جيدًا إذا كان:

1. التنبؤات الصحيحة تشكل عنقوداً دلالياً مركزاً (اتفاق دلالي عالٍ).
2. التنبؤات الخاطئة تنتج مخرجات مشتتة ومتنوعة دلالياً (اتفاق دلالي منخفض).

يتم تقدير عدم اليقين بعد الواقعة (post hoc) من توزيع الإجابات باستخدام الاعتلاج الدلالي (Semantic Entropy)، دون الحاجة إلى جعل النموذج يولد رمزاً للثقة.

هيكل المكافأة

يستخدم CSR نظام مكافأة مزدوج يتم تحسينه عبر "تحسين السياسة النسبي للمجموعات" (GRPO):

1. مكافأة الصحة القابلة للتحقق ($r_{RLVR}$): مكافأة ثنائية قياسية ($1$إذا تطابقت المخرجات مع الحقيقة الأرضية، و$0$ خلاف ذلك). هذا ينقل الكتلة الاحتمالية نحو الأنماط الدلالية الصحيحة.
2. مكافأة المعايرة الدلالية ($r_{calibration}$): مكافأة مبتكرة توائم بين الاتفاق الدلالي الزوجي والصحة.
   • بالنسبة لمجموعة من $K$ من المخرجات، تقوم المكافأة بمعاقبة المخرج $C^{(j)}$ إذا لم يتوافق اتفاقه مع المخرجات الأخرى $C^{(i)}$ مع صحته بالنسبة للحقيقة الأرضية.
   • وتحديداً، تعمل على تقليل الاعتلاج الثنائي (binary cross-entropy) بين مؤشر الاتفاق الزوجي $J(C^{(j)}, C^{(i)})$ ومؤشر الصحة $J(C^{(j)}, C^*)$.
   • الأثر: هذا يشجع المخرجات الصحيحة على الاتفاق مع بعضها البعض (لتشكيل عناقيد متماسكة) والمخرجات الخاطئة على الاختلاف (لتعزيز الاستكشاف بعيداً عن الأنماط الخاطئة).

هدف التدريب

يلاحظ المؤلفون أن تحسين مكافأة المعايرة بمعزل عن غيرها يؤدي إلى أنماط فشل متدهورة (إما الانهيار إلى إجابة خاطئة واحدة أو توليد إجابات متنوعة خاطئة إلى أقصى حد). ولمنع ذلك، يستخدمون جدول التعلم المنهجي (Curriculum Learning):
$$r_{CSR}^{(j)}(t) = r_{RLVR}^{(j)} + \lambda(t) r_{calibration}^{(j)}$$
حيث $\lambda(t)$ هي دالة غير متناقصة (استُخدم جدول خطي في التجارب). يضمن هذا أن النموذج يثبت أولاً دقة غير صفرية عبر $r_{RLVR}$ قبل أن يقوم إشارة المعايرة بتشكيل بنية التوزيع.

التكامل

يتكامل CSR بسلاسة مع GRPO. بما أن GRPO يقوم بالفعل بأخذ عينات من مجموعة من المخرات لحساب المزايا، فإن CSR يستخدم نفس المجموعة لتقييم الاتفاق الدلالي الزوجي، مما لا يتطلب أي تكلفة إضافية لأخذ العينات.

المساهمات الرئيسية

1. صياغة المعايرة الدلالية: تحول من الثقة اللفظية إلى عدم اليقين على المستوى الدلالي، مما يوفر بديلاً مبدئياً لواجهات الثقة المعتمدة على المطالبات.
2. إطار عمل CSR: طريقة تعلم معزز توائم بين الاتفاق الدلالي الزوجي والصحة، مما يمكن النماذج من تعلم عدم اليقين المعاير دون إشراف صريح على الثقة.
3. التحقق التجريبي: تم إثبات ذلك عبر ثلاث عائلات من النماذج (Llama, Qwen, Mistral) وأربعة مجموعات بيانات للأسئلة والأجوبة (HotpotQA, TriviaQA, MSMARRO, NQ-Open).

النتائج التجريبية

أُجريت التجارب على 10,000 مثال من تدريب HotpotQA، مع التقييم على 1,000 مثال لكل مجموعة بيانات (بما في ذلك مجموعات خارج التوزيع).

• أداء المعايرة: حقق CSR باستمرار أدنى خطأ معايرة متوقع (ECE) وأعلى مساحة تحت منحنى خصائص التشغيل المستقبلي (AUROC) عبر جميع الإعدادات تقريباً.
  • تقليل ECE: انخفاض يصل إلى 40% مقارنة بالنماذج المرجعية للثقة اللفظية (RD, RLCR).
  • تحسين AUROC: تحسن يصل إلى 31% فوق النماذج المرجعية للثقة اللفظية.
  • التعميم: حافظ CSR على أداء معايرة قوي في مجموعات البيانات الخارجة عن التوزيع (OOD)، بينما أظهرت الطرق اللفظية مكاسب غير متسقة.
• الدقة: حافظ CSR على دقة تنافسية مع RLVR القياسي، متجنباً انهيار الدقة الذي يحدث عند تحسين مكافآت المعايرة بمعزل عن غيرها.
• الكفاءة:
  • تكلفة الرموز (Tokens): كانت تكلفة الرموز في CSR مقاربة للنماذج الأساسية وRLVR، وأقل بكثير (من 2.7 إلى 5.7 مرة) من RLCR الذي يتطلب استدلالاً تسلسلياً وتوليد ثقة.
  • كفاءة الحكم (Judge): استكشف المؤلفون استبدال الحكم الدلالي القائم على LLM ببديل خفيف يعتمد على عتبة F1 على مستوى الرمز. وبينما كان حكم الـ LLM أكثر قوة، إلا أن بديل F1 حافظ على معظم مكاسب المعايرة لـ CSR، مما يوفر بديلاً فعالاً من حيث الحوسبة.
• المتانة: استمرت مكاسب المعايرة عبر ميزانيات المخرات المختلفة ($K$) وكانت متينة تجاه اختيار الجدول المنهجي.

الأهمية والادعاءات

تدعي الورقة أن CSR يعالج القصور الجوهري لطرق الثقة اللفظية: اعتمادها على واجهة تقرير حساسة للشكل السطحي وتغيرات المطالبات. من خلال معايرة التوزيع الدلالي للنموذج مباشرة، يحقق CSR ما يلي:

• تعميم قوي: ينتقل سلوك المعايرة بفعالية إلى مجموعات بيانات جديدة ذات محتوى معجمي مختلف ولكن بهياكل عدم يقين دلالي مماثلة.
• الموثوقية: يوفر إشارة عدم يقين أكثر موثوقية لاتخاذ القرار في البيئات عالية الخطورة.
• العملية: يتجنب أخطاء التحليل (parsing) وقيود التنسيق المرتبطة بالثقة اللفظية (مثل آثار الاستدلال في RLCR أو فئات الأعداد الصحيحة في RD)، محققاً معدل تحليل بنسبة 100% عبر جميع الإعدادات المختبرة.

يخلص المؤلفون إلى أن المعايرة على المستوى الدلالي تمثل اتجاهاً واعداً لتقدير عدم اليقين الموثوق، رغم إقرارهم بالتكاليف الحسابية للحكم على التكافؤ الدلالي كعائق حالي، مما يشير إلى أعمال مستقبلية على مقاييس الاتساق القائمة على القواعد.