ملخص تقني: التوضيح، الامتناع، أم الإجابة؟ استراتيجيات الحوار مع التوليد المعزز بالاعتقاد (BAG)

بيان المشكلة

تحدد النماذج اللغوية الكبيرة (LLMs) توزيعاً احتمالياً للنصوص، والذي يعمل كتمثيل لعدم اليقين أو "الاعتقاد". وبينما تستفيد الأبحاث الحالية من هذا التوزيع في مهام ضيقة مثل فك الترميز (مثل: تقليل المخاطر البايزية - Minimum Bayes Risk) أو التنبؤ الانتقائي (مثل: اكتشاف الهلوسة عبر الإنتروبيا الدلالية)، فإن هذه الأساليب تتطلب عادةً تدخلات يدوية، أو أدوات فك ترميز خارجية، أو ضبطاً دقيقاً. والأهم من ذلك، تفتقر النماذج اللغوية الكبيرة القياسية إلى آلية "للتأمل الذاتي" أو الاستغلال المباشر لعدم اليقين الاحتمالي الخاص بها أثناء التوليد. وتشير الأدلة التجريبية إلى أنه بدون توجيه صريح، نادراً ما تقوم النماذج اللقية بتوضيح المدخلات الغامضة أو الامتناع عن الإجابة عند عدم اليقين؛ وبدلاً من ذلك، تميل افتراضياً إلى تقديم إجابات مباشرة، متجاهلةً غالباً غموض المدخلات أو التناقضات الداخلية في الحقائق. يؤدي هذا إلى حدوث هلوسات أو إجابات غير صحيحة في سياقات الأسئلة والأجوبة (QA) متعددة الجولات والغامضة.

المنهجية: التوليد المعزز بالاعتقاد (BAG)

يقترح المؤلفون إطار عمل التوليد المعزز بالاعتقاد (Belief-Augmented Generation - BAG)، وهو إطار عمل لا يتطلب تدريباً، يقوم بربط النماذج اللغوية الكبيرة بحالة الاعتقاد الخاصة بها لتمكين استراتيجيات حوارية أغنى: الإجابة مباشرة، أو طلب التوضيح، أو الامتناع عن الإجابة.

الآلية الجوهرية

يعمل نظام BAG كعملية مكونة من مرحلتين:

1. بناء حالة الاعتقاد: بالنظر إلى مدخل $x$، يقوم النموذج بتوليد $K$ من العينات ($Y^{(1)}, \dots, Y^{(K)}$) عبر أخذ عينات مونت كارلو. وخلافاً للأساليب التي تختزل هذه العينات في مقياس واحد (مثل الإنتروبيا أو التصويت بالأغلبية)، يحتفظ نظام BAG بالمجموعة الكاملة من الردود النصية كـ حالة اعتقاد $B_\theta(x)$. تلتقط هذه الحالة ليس فقط تنوع الإجابات المحتملة، بل أيضاً الإشارات اللغوية مثل التحوط (hedging)، أو الرفض، أو الاختلافات السياقية.
2. الاستدلال على الاستراتيجية: يتم توجيه النموذج بالأسئلة الأصلية للمستخدم ومجموعة $K$ من الإجابات المرشحة (حالة الاعتقاد). ويُطلب منه تحليل هذه الحالة واختيار واحدة من ثلاث استراتيجيات:
   • الإجابة المباشرة: إذا أظهرت حالة الاعتقاد اتساقاً عالياً (عدم يقين منخفض) فيما يتعلق بالإجابة.
   • التوضيح: إذا احتوت حالة الاعتقاد على إجابات متميزة دلالياً ولكنها محتملة، وتعود لتفسيرات مختلفة للسؤال (عدم يقين البيانات/الغموض).
   • الامتناع: إذا احتوت حالة الاعتقاد على حقائق متناقضة تشير إلى نقص المعرفة (عدم يقين معرفي/هلوسة) حيث لا يوجد توضيح مفيد.

متغيرات التوجيه (Prompt Variants)

يستعرض المؤلفون ثلاثة متغيرات للتوجيه (BAG1, BAG2, BAG3) بزيادة في تعقيد التعليمات:

• BAG1: فحص أساسي للاتساق.
• BAG2: يتضمن لغة خاصة بعدم اليقين ويميز بين الغموض (التوضيح) والهلوسة (الامتناع).
• BAG3: يتطلب من النموذج تجميع التوليدات حسب المعنى، وتفسير هذه المجموعات، ثم اتخاذ قرار بشأن الاستراتيجية.
• BAG+: امتداد حيث، إذا اختار النموذج التوضيح، فإنه يحاكي استجابة المستخدم (باستخدام نموذج لغوي مساعد) ويعيد تقييم حالة الاعتقاد لتقرير ما إذا كان سيقدم إجابة نهائية أو يمتنع عن الإجابة مجدداً.

المساهمات الرئيسية

1. الوصول المباشر إلى حالات الاعتقاد: يقدم البحث طريقة لتغذية التمثيل النصي الخام لعدم اليقين الخاص بالنموذج مباشرة في التوجيه، مما يسمح للنموذج بالاستدلال على توزيعه دون أدوات خارجية أو تدريب.
2. اختيار الاستراتيجية: بخلاف الأعمال السابقة التي ركزت على اختيار توليد واحد أو التحوط في الادعاء، يُمكّن BAG النموذج من اختيار ديناميكي بين الإجابة، أو التوضيح، أو الامتناع بناءً على طبيعة عدم اليقين لديه.
3. قابلية التطبيق دون تدريب: لا يتطلب هذا النهج ضبطاً دقيقاً، أو بيانات خارجية، أو الوصول إلى أوزان النموذج، مما يجعله قابلاً للتطبيق على النماذج المفتوحة والمغلقة على حد سواء.
4. التحليل التجريبي للتوجيه (Routing): تقدم الدراسة تحليلاً مفصلاً لكيفية توجيه النماذج للأسئلة إلى استراتيجيات مختلفة وتقييم مدى أمانة هذه القرارات لإنتروبيا حالة الاعتقاد الأساسية.

النتائج

أُجريت التجارب على مجموعة بيانات AmrigQA (1,832 سؤالاً غامضاً) عبر ستة نماذج (OLMo2/3, Qwen3, Gemini-2.5-Flash).

• مكاسب الأداء: يحسن BAG بشكل كبير من دقة الأسئلة والأجوبة مقارنة بالتوليد المباشر القياسي وخطوط الأساس المعتمدة على التوجيه فقط (Strategy-Augmented Generation - SAG). وفي كثير من الحالات، يتفوق BAG+ حتى على "أوراكل إزالة الغموض" (الذي يوفر القصد الصحيح)، مما يثبت أن النموذج يمكنه بنجاح تحديد متى يفتقر إلى المعرفة الحقيقية والامتناع بدلاً من التخمين.
• الأمانة (Faithfulness): قرارات الاستراتيجية في BAG أكثر أمانة لإنتروبيا حالة الاعتقاد الداخلية للنموذج مقارنة بـ SAG. فكلما زادت إنتروبيا حالة الاعتقاد، تختار نماذج BAG بشكل متزايد التوضيح أو الامتناع، بينما نادراً ما تفعل نماذج SAG والتوليد المباشر ذلك.
• تفكيك الاستراتيجية: تعتمد مكاسب الدقة على آليات مختلفة اعتماداً على النموذج. فعلى سبيل المثال، بالنسبة لنماذج Qwen، ينبع التحسن أساساً من استراتيجية الامتناع (تجنب الهلوسة)، بينما بالنسبة لـ Gemini، تكون مساهمات التوضيح والإجابة المباشرة أكثر توازناً.
• تحديات الفصل (Disentanglement): رغم أن BAG يحسن الأداء، إلا أن التمييز بين تباين التفسير (الذي يتطلب توضيحاً) وتباين الهلوسة (الذي يتطلب امتناعاً) لا يزال تحدياً. فأحياناً تولد النماذج "غموضاً متصوراً" لتفسير التناقضات الحقيقية، مما يؤدي إلى أسئلة توضيحية قد تربك المستخدمين.
• مقايضات الإيجاز: استخدام التوجيهات التي تحفز الإيجاز يقلل تكاليف الرموز (Tokens) بشكل كبير (يصل إلى 10 أضعاف) ولكنه قد يجرد السياق اللازم للنموذج لاكتشاف الغموض، مما يؤثر قليلاً على الدقة.

الأهمية والادعاءات

يزعم البحث أن BAG يمثل خطوة نحو تفاعلات أكثر قوة وأمانة للنماذج اللغوية الكبيرة من خلال السماح للنماذج باستغلال عدم اليقين الاحتمالي الخاص بها لتوجيه التدفق الحواري. ويؤكد المؤلفون على ما يلي:

• النماذج اللغوية الكبيرة القياسية تميل افتراضياً للإجابة حتى عند عدم اليقين؛ ويقوم BAG بتصحيح ذلك بجعل عدم اليقين صريحاً وقابلاً للتنفيذ.
• القدرة على الامتناع بناءً على حالات الاعتقاد الداخلية أمر بالغ الأهمية للأسئلة والأجوبة الحقيقية، حيث تنبع العديد من الأخطاء من نقص المعرفة وليس من غموض المدخلات.
• بينما تعد الطريقة فعالة، فإن التمييز بين الغموض والهلوسة في حالة الاعتقاد ليس مثالياً بعد، ويجب أن يركز العمل المستقبلي على تحسين جودة حالات الاعتقاد وصقل منطق التوجيه.
• يعد هذا النهج حلاً عملياً وفورياً لتحسين موثوقية الأسئلة والأجوبة دون تكلفة إعادة التدريب، رغم أنه يتطلب تكلفة حوسبية قدرها $K$ من العينات بالإضافة إلى توجيه الاستدلال.

يخلص المؤلفون إلى أنه بينما يحسن BAG الدقة والأمانة، فإن "الفصل" بين متى يجب التوضيح ومتى يجب الامتناع يظل تحدياً مفتوحاً، خاصة وأن حالات الاعتقاد تعكس المخرجات المحتملة للنموذج وليس الحقيقة المطلقة المضمونة.