ملخص تقني: المعرفة دون الإظهار

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد للإجابة على استفسارات المستخدمين، ومع ذلك، فإن هذه الاستفسارات غالباً ما تكون غير محددة بدقة، مما يترك تفاصيل جوهرية ناقصة أو يسمح بتفسيرات متعددة صحيحة. عندما تواجه هذه النماذج مثل هذا الغموض، ينبغي للمساعد الذكي، من الناحية المثالية، أن يدرك حالة عدم اليقين هذه ويسعى لطلب التوضيح بدلاً من تقديم إجابة صامتة. ومع ذلك، غالباً ما تكتفي النماذج الحالية بتقديم إجابة واحدة تُعتبر "أفضل تخمين"، مما يفرض افتراضات خفية يمكن أن تشوه قصد المستخدم وتؤدي إلى انتشار الأخطاء.

تتمثل المشكلة الجوهرية التي يتم استقصاؤها في الفجوة بين الوعي بالغموض لدى النموذج اللغوي الكبير (القدرة على إدراك أن الاستعلام غامض) وبين سلوك التوضيح (الميل إلى التصرف بناءً على هذا الإدراك عبر طرح أسئلة أو رفض الإجابة). ويفترض المؤلفون أنه بينما قد "تعرف" النماذج داخلياً أن الاستعلام غامض، إلا أنها نادراً ما "تُظهر" هذه المعرفة في استجاباتها الافتراضية.

المنهجية

تقيم الدراسة النماذج اللغوية الكبيرة عبر ثلاث حالات متكاملة باستخدام مجموعة بيانات AmigQA، والتي تحتوي على أسئلة غامضة، وأسئلة غير غامضة، وإعادة كتابات لأسئلة غامضة تم توضيحها. يتضمن التقييم 10 نماذج من ثلاث عائلات (OpenAI، وClaude، وQwen) ويشمل:

1. الإجابة على الأسئلة القياسية (QA): يتم توجيه النماذج للإجابة على الأسطئلة مباشرة، مع وجود أو عدم وجود سياق مسترجع (فقرات ويكيبيديا). تُقاس الأداء بناءً على دقة الإجابة مقابل الإجابات المرجعية.
2. الحكم الصريح على الغموض: يُطلب من النماذج أداء مهمة تصنيف ثنائي: تحديد ما إذا كان سؤال معين غامضاً أم غير غامض. هذا الاختبار يستقصي الوعي الصريح للنموذج دون الحاجة لتقديم إجابة.
3. التحليل السلوكي: يقوم نموذج حكم (GPT-5-nano) بتصنيف استجابات النماذج إلى أربع فئات: الرفض، طرح سؤال توضيحي، الإجابة (تقديم إجابة)، والإجابة فقط (تقديم إجابة دون رفض أو توضيح).

كما تحلل الدراسة أنواع الغموض المحددة (الزمني، الهوية، الإصدار، النطاق، الدلالي، الموقع الجغراي، وغيرها) التي تحددها النماذج عندما تدرك وجود غموض، مع مقارنة هذه التوزيعات مقابل التقييمات البشرية.

النتائج الرئيسية

1. فجوة "المعرفة دون الإظهار"

النتيجة الأكثر أهمية هي وجود انفصال واضح بين الإدراك والسلوك.

• الإدراك: عندما يُطلب منها صراحةً الحكم على الغموض، تُظهر النماذج وعياً غير ضئيل؛ حيث يمكنها غالباً تحديد أن الاستعلام غامض بشكل صحيح، محققة دقة تتراوح بين 60-80% في الفئات الغامضة (رغم ميلها غالباً نحو المبالغة في التنبؤ بالغموض).
• السلوك: في إعداد الإجابة على الأسئلة القياسي، تلتزم النماذج بشكل مفرط بالإجابات المباشرة. وتعد الأسئلة التوضيحية نادرة للغاية (عادةً أقل من 1% إلى 5% من الاستجابات)، كما أن حالات الرفض تكاد تكون معدومة. وحتى عندما تحدد النماذج استعلاماً ما على أنه غامض في إعداد الحكم، فإنها تفشل في ترجمة ذلك إلى سلوك توضيحي عند مطالبتها بالإجابة.

2. تأثير السياق المسترجع

تنتج عملية استرجاع السياق (RAG) تأثيرات معاكسة للتوقعات:

• دقة الإجابة على الأسئلة (QA): يحسن السياق دقة الإجابة بشكل كبير لكل من الأسئلة الغامضة وغير الغامية، لا سيما بالنسبة للنماذج الأصغر.
• كبح التوضيح: يجعل وجود السياق النماذج أقل عرضة لطرح أسئلة توضيحية. يعمل السياق كإشارة بأن السؤال قابل للإجابة، مما يجعل النماذج تعامل حتى الاستعلامات الغامضة على أنها غير غامضة فعلياً.
• اتساع الفجوة: بينما يحسن السياق القدرة على الإجابة، فإنه يزيد من اتساع الفجوة بين إدراك الغموض وسلوك التوضيح. تصبح النماذج أكثر تردداً في الإشارة إلى الغموض عند وجود نصوص داعمة.

3. انحياز نوع الغموض

عندما تحدد النماذج الغموض، يكون تصنيفها لـ نوع الغموض منحازاً. فالنماذج تبالغ باستمرار في تعيين غموض الهوية (متعدد الكيانات ذات نفس الاسم) وغموض الإصدار، بينما تقلل بشكل كبير من تعيين غموض النطاق (نقص مستويات التفصيل). يشير هذا إلى أن النماذج تعتمد على إشارات سطحية محددة بدلاً من التفكير العميق في بنية الاستعلام.

الأهمية والادعاءات

يزعم البحث أنه يثبت كيف أن مسارات التدريب الحالية، التي تحفز النماذج لإنتاج استجابات تُصنف بأنها "مفيدة" و"نافعة" من قبل المقيمين البشريين، تعلم النماذج عن غير قصد إخفاء عدم اليقين. ولأن التعبير عن الغموض أو طلب التوضيح غالباً ما لا يتوافق مع المكافآت العالية في مسارات التعلم المعزز من التغذية الراجعة البشرية (RLHF) القياسية، تتعلم النماذج قمع هذا الوعي لصالح تقديم إجابة مباشرة.

ويرى المؤلفون أن لهذا أثرين رئيسيين:

1. أهداف التدريب: لتحسين الصدق والموثوقية، يجب أن تكافئ أهداف التدريب صراحةً التعبير عن عدم اليقين، وطرح الأسئلة التوضيحية، والإقرار بعدم التحديد، بدلاً من التركيز فقط على دقة الإجابة.
2. الحذر عند التقييم: عند اختبار ما "تعرفه" النماذج اللغوية الكبيرة، فإن صياغة المهمة أمر بالغ الأهمية. فقد يظهر النموذج وعياً عالياً بالغموض عند مطالبته بتحليل سؤال ما، لكنه قد يظهر وعياً يقترب من الصفر عند مطالبته بالإجابة عليه.

تخلص الدراسة إلى أن نمط "المعرفة دون الإظهار" هو مشكلة نظامية حيث لا يظهر الوعي الداخلي بشكل موثوق في السلوك الافتراضي، وهي ظاهرة يزداد قمعها بوجود السياق المسترجع.