ملخص تقني: هل يمكن للتفضيلات المعلنة توضيح محاذاة النماذج اللغوية الكبيرة وتوجيهها؟

بيان المشكلة

مع انتقال النماذج اللغوية الكبيرة (LLMs) من مجرد الإجابة على الأسئلة إلى دعم القرارات عالية المخاطر في ظل عدم اليقين (مثل التشخيص الطبي)، تعتمد المحاذاة ليس فقط على الدقة الواقعية، بل أيضاً على كيفية موازنة النماذج ضمنياً بين المقايضات المختلفة للنتائج. تفشل طرق التقييم الحالية التي تعتمد غالباً على الدقة الثابتة أو التقييمات الاستدلالية للتحيز، في توصيف المعتقدات والتفضيلات الضمنية التي تقود الأفعال ذات العواقب الوخيمة بشكل دقيق. وتحديداً، لا يزال من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة تتصرف كوكلاء متسقين موجهين نحو الأهداف، وما إذا كانت أهدافها المعلنة تتطابق مع سياسات اتخاذ القرار الفعلية لديها، وما إذا كان توجيه المستخدم الصريح (steering) يمكن أن يغير سياساتها بشكل موثوق.

المنهجية

يقترح المؤلفون مسار عمل تجريبي قائماً على نظرية القرار وتحليل التفضيلات المعلنة لاستنتاج نماذج المنفعة الضمنية للنماذج اللغوية الكبيرة. يعامل هذا الإطار النموذج اللغوي كوكيل يتخذ قرارات في مشكلة قرار إحصائية، ويمضي في ثلاث مراحل:

1. استقاء المعتقدات والأفعال:

   • المعتقدات: بالنسبة لمهمة قرار معينة بسياق $x$، يتم توجيه النموذج للإبلاغ عن توزيع احتمالي ذاتي $P^E(\theta | x)$ حول الحالة الكامنة $\theta$ (على سبيل المثال، احتمال إصابة المريض بمرض ما).
   • الأفعال: يتم توجيه النموذج لاتخاذ قرار $a \in \mathcal{A}$ (مثل: تشخيص، عدم تشخيص، أو الإحالة لجهة أخرى) بناءً على السياق نفسه.
   • التقارير الذاتية: يُطلب من النموذج أيضاً وصف دالة الخسارة (تكاليف الإيجابيات الكاذبة، السلبيات الكاذبة، والإحالة) التي ينوي استخدامها لفظياً، سواء بشكل عام أو لحالات محددة.

2. تقدير دالة الخسارة (التفضيلات المعلنة):

   • باستخدام المعتقدات المستقاة والأفعال المرصودة، يقوم المؤلفون بملاءمة نموذج اختيار منفصل (تحديداً نموذج لوجيت متعدد الحدود) لاستعادة معاملات دالة الخسارة $\hat{c}$ التي تفسر السلوك المرصود بأفضل شكل ممكن.
   • يتم تمثيل دالة الخسارة كـ $\ell_c(a, \theta) = c_{FP} \cdot I[a=1, \theta=0] + c_{FN} \cdot I[a=0, \theta=1] + c_{defer} \cdot I[a=defer]$.
   • يركز التحليل على نسب هذه التكالب (مثل $c_{FN}/c_{FP}$)، والتي يمكن تحديدها حتى لو لم يكن المقياس المطلق معروفاً.

3. مقاييس التقييم:

   • الاتساق (ILFC): النسبة المئوية للحالات التي يتطابق فيها القرار الفعلي للنموذج مع القرار الأمثل المستمد من دمج معتقداته المستقاة مع دالة الخسارة المستعادة.
   • الصدقية (Veridicality): مقارنة بين نسب التكلفة التي يبلغ عنها النموذج ذاتياً وبين تقديرات التفضيلات المعلنة.
   • تحليل التوجيه (Steering Analysis): يختبر المسار ما إذا كان التوجيه عبر صياغة مطالب تتعلق بدوال تكلفة محددة أو احتمالات حقيقية يمكن أن يزيح التفضيلات الضمنية للنموذج نحو الهدف.
   • التنبؤ بالواقع المضاد (Counterfactual Prediction): يحاكي المؤلفون وكيلاً عقلانياً باستخدام المعتقدات والتفضيلات المستعادة للتنبؤ بفائدة التدخلات (على سبيل المثال: "ما هو خفض الخسارة الذي سيحدث إذا قمنا بإصلاح معتقدات النموذج؟"). وتتم مقارنة هذه التنبؤات بخفض الخسارة الفعلي بعد التوجيه.

المساهمات الرئيسية

1. إطار لاستنتاج المنافع الضمنية: يقدم البحث إجراءً مهيكلاً لاستقاء المعتقدات والقرارات بشكل منفصل، ثم تقدير دالة خسارة تبرر السلوك، مما يتجاوز الدقة الثاتبة إلى المحاذاة القائمة على نظرية القرار.
2. اختبار الاتساق الصارم: يقدم المؤلفون طريقة لاختبار ما إذا كانت النماذج تتصرف كوكلاء متسقين موجهين نحو الأهداف من خلال مقارنة القرارات المرصودة مقابل السياسة المثلى الضمنية في معتقداتهم وتفضيلاتهم المستعادة.
3. تقييم التقارير الذاتية والتوجيه: يختبر الإطار ما إذا كان بإمكان النماذج التعبير لفظياً عن أهدافها بصدق، وما إذا كان التوجيه يمكن أن ينجح في توجيه سياسات اتخاذ القرار لتنفيذ دوال تكلفة يحددها المستخدم.
4. التفكيك بالواقع المضاد: يوضح المؤلفون كيف يمكن للتفضيلات المعلنة أن تتنبأ بفعالية التدخلات، مع التمييز بين التغييرات المدفوعة بتحديثات المعتقدات مقابل تغييرات التفضيلات.

الإعداد التجريبي والنتائج

طُبق مسار العمل على أربعة مجالات تشخيص سريري (أمراض القلب الهيكلية، السكري، الحمى لدى الأطفال، وبكاء الرضع) باستخدام أربعة نماذج رائدة ومفتوحة المصدر (GPT-5 Thinking High/Minimal, DeepSeek R1 671B, Llama-4 Scout 17B).

• الاتساق الداخلي: تظهر النماذج درجة "كبيرة ولكن غير كاملة" من الاتساق الداخلي. فعند دمج المعتقدات والتفضيلات المستعادة، فإنها تفسر حصة كبيرة من القرارات (على سبيل المثال، اتساق يصل إلى 99% لنموذج GPT-5-High مع الاحتمالات الحقيقية)، وهو أفضل بكثير من التفضيلات المبلغ عنها ذاتياً.
• التقرير الصادق: تعاني النماذج من صعوبة في وصف دالة الخسارة التي تفسر قراراتها بدقة. فغالباً ما تبتعد نسب التكلفة المبلغ عنها ذاتياً عن التفضيلات المعلنة (على سبيل المثال، تبالغ النماذج غالباً في تكلفة السلبيات الكاذبة مقارنة بالإيجابيات الكاذبة في تقاريرها اللفظية مقارنة بخياراتها الفعلية).
• قابلية التوجيه:
  • التوجيه عبر دالة التكلفة: إن تحديد نسب التكلفة صراحة في المطالبات (prompts) يحرك التفضيلات الضمنية في الاتجاه الصحيح بالنسبة للخط المرجعي، لكن الحركة غير متجانسة. فغالباً ما تخفق النماذج في الوصول للهدف، أو تتجاوزه، أو تتحرك أحياناً في الاتجاه الخاطئ.
  • التوجيه عبر الاحتمالات: لا يؤدي تقديم الاحتمالات الحقيقية إلى تحديث المعتقدات مع بقاء التفضيلات ثابتة فحسب، بل يغير أيضاً دالة التكلفة الضمنية للنموذج (التفضيلات)، مما يشير إلى أن المطالبات التي تستهدف مكوناً واحداً من عملية اتخاذ القرار لها آثار جانبية على المكونات الأخرى.
• صحة الواقع المضاد: نجح تفكيك التفضيلات المعلنة في التنبؤ بفوائد التوجيه عبر دالة التكلفة (ارتباط عالٍ بين خفض الخسارة المتوقع والمحقق). ومع ذلك، فشل في التنبؤ بفوائد التوجيه الاحتمالي ما لم يتم أخذ التغيير في دالة التكلفة الضمنية في الاعتبار أيضاً.

الأهمية والادعاءات

يزعم البحث أن التفضيلات المعلنة توفر أداة أكثر دقة وصرامة لتقييم شفافية وقابلية توجيه اتخاذ القرار في النماذج اللغوية الكبيرة مقارنة بالطرق الاستدلالية الحالية.

• محدودية التقرير الذاتي: تشير النتائج إلى أن الأهداف المعلنة لفظياً هي أوصاف غير موثوقة لسياسات اتخاذ القرار التشغيلية. لذا، فإن الاعتماد على التقارير الذاتية للتحقق من المحاذاة يعد أمراً غير كافٍ.
• تحديات التوجيه: رغم إمكانية توجيه النماذج، إلا أنها لا تتبنى أهداف المستخدم المحددة بصدق. إن الطبيعة "الصندوق الأسود" لمقايضاتها الداخلية تعني أنه حتى مع التعليمات الصريحة، قد لا تنفذ النماذج دالة التكلفة المطلوبة، كما يمكن للمطالبات أن تسبب تحولات غير مقصودة في التفضيلات.
• فائدة الإطار: تسم un المنهجية المقترحة الباحثين من عزو أخطاء القرار إما إلى أخطاء في المعتقدات الواقعية أو إلى عدم محاذاة التفضيلات، مما يوفر طريقة منظمة لتشخيص وتحسين محاذاة الذكاء الاصطناعي في المجالات عالية المخاطر.

يؤكد المؤلفون أن تقنياتهم تصف سلوكاً قابلاً للملاحظة ضمن إطار "الصندوق الأسود" ولا تدعي الكشف عن الآليات الداخلية، لكنها توفر أساساً للانتقال من الادعاءات غير الرسمية حول السعي نحو الأهداف إلى التأسيس التجريبي القابل للاختبار.