Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests

ملخص تقني: استخدام ألعاب المرجعية كمنصة اختبار لمحاذاة عدم اليقين في النماذج وطلبات التوضيح

بيان المشكلة
في الحوار البشري، يعمل المتحاورون بنشاط على الحفاظ على الفهم المتبادل من خلال إدراك عدم اليقين وبدء طلبات التوضيح (الإصلاح) عند ظهور الغموض. وبينما تُظهر النماذج اللغوية الكبيرة (LLMs) والنماذج اللغوية البصرية (VLMs) طلاقة لغوية، يظل السؤال مفتوحاً حول ما إذا كان بإمكانها لعب دور المستمع بفعالية، وهو الدور الذي يتطلب إدراك عدم اليقين الداخلي وترجمته إلى سلوك توضيح مناسب. غالباً ما تقوم النماذج الحالية بحجب مشكلات الاستيعاب عبر مخرجات سلسة، مما يؤدي إلى المبالغة في تقدير كفاءتها وعدم محاذاة الثقة. كما تشير الأبحاث الحالية إلى أن النماذج اللغوية الكبيرة نادراً ما تبادر بالإصلاح بشكل استباقي، وغالباً ما تفشل في ترسيخ التفاعلات بفعالية. ويكمكم التحدي في تقييم هذه القدرة في بيئات الحوار المفتوحة، حيث تغيب الحقيقة الأرضية (ground truth) للحظات التي يستوجب فيها التوضيح، وتكون مساحة التأويلات غير محدودة.

المنهجية
لمعالجة هذه التحديات، يقترح المؤلفون استخدام ألعاب المرجعية (reference games) كمنصة اختبار محكومة وذاتية الاحتواء. في هذا الإعداد، يقوم "المتحدث" بوصف هدف معين من مجموعة مرشحة (مثل شبكات الألوان)، ويجب على "المستمع" تحديد هذا الهدف. تجعل هذه البيئة احتياجات التوضيح صريحة وقابلة للقياس لأن الغموض ينشأ حصرياً من عدم التطابق بين الوصف ومجموعة المرشحين.

تقيم الدراسة ثلاثة نماذج لغوية بصرية (VLMs) على مجموعة بيانات لعبة مرجع شبكة الألوان (McDowell and Goodman, 2019)، والتي تتضمن 197 لعبة بـ 60 جولة لكل منها، وتتفاوت الصعوبة بناءً على تشابه الألوان (بعيد، منقسم، قريب). النماذج المختبرة هي:

• Qwen2.5-VL-7B و Qwen2.5-VL-72B (تم اختيارهما نظراً لأدائهما السابق القوي في هذه المهمة).
• GPT-5-mini (كنموذج تجاري ممثل).

يتكون التصميم التجريبي من ثلاث مراحل:

1. تجربة خط الأساس (Baseline): تعمل النماذج كمستمعين للتنبؤ بالشبكة المستهدفة بناءً فقط على وصف المتحدث والمدخلات البصرية. لتقدير عدم اليقين، يتم أخذ عينات من النماذج خمس مرات لكل جولة؛ حيث يحدد التصويت بالأغلبية التنبؤ، وتعمل نسبة العينات المتطابقة كمقياس لـ ثقة خط الأساس.
2. تجربة التوضيح: يتم توجيه النماذج صراحة لطلب التوضيح إذا كانت غير متيقنة بشأن المرجع. يتم قياس الأداء من خلال معدل طلب التوضيح (CR-Rate) (تكرار طلبات التوضيح)، والدقة (صحة الاستجابات غير التوضيحية)، والدقة المرنة (الصحة أو نجاح التوضيح).
3. تجربة التفاعل: يقوم إنسان في الحلقة (human-in-the-loop) بتقديم إجابات على طلبات التوضيح الخاصة بالنموذج. تقيم هذه المرحلة صلة المهمة للأسئلة المولدة وتقيس ما إذا كانت التغذية الراجعة البشرية اللاحقة تحسن دقة النموذج وثقته النهائية.

النتائج الرئيسية

• الثقة المفرطة: أظهرت جميع النماذج درجات ثقة عالية بشكل موحد (تتراوح بين 87% و99%) حتى في الظروف الصعبة، مما يشير إلى نزعة نحو الثقة المفرطة التي لا تتناسب مع الدقة الفعلية.
• سلوك التوضيح:
  • أظهر GPT-5-mini السلوك الأكثر محاذاة، حيث قام بتوليد طلبات توضيح في 13% من الحالات. وقد زاد معدل طلباته مع صعوبة المهمة (6% في حالة "بعيد" إلى 17% في حالتي "منقسم/قريب")، وتجاوزت دقته في الاستجابات غير التوضيحية (94%) دقة خط الأساس (91%)، مما يشير إلى أنه نجح في حجب الإجابات عندما كان غير متيقن.
  • قام Qwen2.5-VL-72B بتوليد طلبات توضيح في 24% من الحالات، لكن هذا السلوك لم يكن متوافقاً بشكل منهجي مع صعوبة المهمة أو عدم اليقين الداخلي. فقد انخفضت ثقته بشكل طفيف فقط (من 91% إلى 87%) عند توليد طلب.
  • نادراً ما قام Qwen2.5-VL-7B بتوليد طلبات توضيح (أقل من 0.1%).
• فعالية التوضيح: في تجربة التفاعل، تبين أن 42% فقط من أسئلة التوضيح التي ولدها Qwen2.2.5-VL-72B كانت ذات صلة بالمهمة. والأهم من ذلك، أن تقديم إجابات بشرية لهذه الطلبات لم يحسن دقة النموذج النهائية؛ بل في الواقع، انخفضت الدقة قليلاً في معظم الظروف. وهذا يشير إلى أن النماذج إما فشلت في استخدام المعلومات المقدمة أو أن الطلبات نفسها لم تكن تسعى للمعلومات اللازمة لحل الغموض.

المساهمات الرئيسية

• اقتراح منصة اختبار: تقدم الورقة ألعاب المرجعية كبيئة محكومة وصارمة لتقييم المحاذاة بين عدم اليقين في النماذج وسلوك التوضيح، متجاوزةً قيود تقييم الحوار المفتوح.
• دليل تجريبي على عدم المحاذاة: تقدم الدراسة دليلاً تجريبياً على أن النماذج اللغوية البصرية الحديثة والمتطورة تعاني في ترجمة عدم اليقين الداخلي إلى استجابات تفاعلية مناسبة. فحتى في المهام البسيطة والمقيدة، غالباً ما تفشل النماذج في إدراك متى تكون غير متيقنة أو تفشل في طرح الأسئلة ذات الصلة.
• عدم فعالية التوضيح الحالي: تسلط النتائج الضوء على أن محاولات التوضيح الحالية للنماذج غالباً ما تكون غير معلوماتية أو غير مناسبة، وتفشل في العمل كآليات إصلاح حقيقية لتحسين الفهم المتبادل.

الأهمية
تجادل الورقة بأن ألعاب المرجعية توفر معياراً قياسياً ذا قيمة لاستقصاء الكفاءة البراغماتية (التداولية) للنماذج اللغوية. وتُظهر النتائج فجوة كبيرة في قدرة النماذج اللغوية البصرية على العمل كمستمعين متعاونين يمكنهم إدارة عدم اليقين. ويخلص المؤلفون إلى أنه حتى في الإعدادات التي يكون فيها الغموض قابلاً للقياس والحاجة إلى التوضيح صريحة، تكافح النماذج لتحويل عدم اليقين الداخلي إلى سلوك توضيح ملائم. وهذا يؤكد قيمة ألعاب المرجعية لتشخيص جودة التفاعل في النماذج (البصرية واللغوية)، مما يكشف أن الطلاقة لا تعني التواصل القوي والواعي بذاته.