ملخص تقني: LaaB (الاتساق المنطقي كجسر)

بيان المشكلة

تتعرض النماذج اللغوية الكبيرة (LLMs) للهلوسة الواقعية، حيث تولد مخرجات تبدو معقولة ولكنها تتعارض مع الحقائق المثبتة أو المنطق السليم. تعيق مشكلة الموثوقية هذه نشر هذه النماذج في التطبيقات الواقعية. تندرج طرق اكتشاف الهلوسة الحالية عموماً ضمن فئتين معزولتين:

1. المكتشفات القائمة على الأنماط الجوهرية (Intrinsic-Pattern-Based Detectors): تقوم باستخراج إشارات عصبية دقيقة (مثل الحالات الخفية، لوجيت التنبؤ، خرائط الانتباه) أثناء التوليد لقياس عدم اليقين. وبينما تلتقط هذه الطرق السلوكيات العصبية الضمنية، إلا أنها غالباً ما تفتقر إلى المعايرة الدلالية وتفشل في تحديد حالات الهلوسة ذات اليقين العالي.
2. المكتشفات القائمة على الحكم الذاتي (Self-Judgment-Based Detectors): تعتمد على الاستدلال الرمزي على المستوى الكلي، من خلال توجيه النموذج اللغوي الكبير للحكم لفظياً على واقعية استجابته. ومع ذلك، فإن هذا النهج عرضة لانحياز التفضيل الذاتي، والإفراط في التفكير، و"الهلوسة الثانوية" حيث يكون الحكم نفسه غير صحيح.

تعامل الأساليب الحالية هذه السلوكيات المترابطة جوهرياً — عدم اليقين العصبي الضمني والاستدلال الرمزي الصريح — بشكل منعزل، مما يؤدي إلى الفشل في استغلال ترابطهما للحصول على رؤية شاملة.

المنهجية: إطار عمل LaaB

يقترح المؤلفون LaaB (الاتساق المنطقي كجسر)، وهو إطار عمل يربط بين الميزات العصبية والأحكام الرمزية لتحسين اكتشاف الهلوسة. الابتكار الجوهري هو التعامل مع الحكم الذاتي للنموذج اللغوي الكبير ليس كحقيقة مطلقة، بل كاستجابة خاصة عرضة للهلوسة، مما يسمح بعملية تعلم متبادلة موجهة بالقيود المنطقية.

1. نمذجة الرؤية المزدوجة

يصمم LaaB عمليتي اكتشاف متوازيتين:

• نمذجة هلوسة الاستجابة ($D_r$): مكتشف يتم تدريبه على الميزات الجوهرية ($F_r$) المستخرجة من الاستجابة الأصلية ($O_r$). تشمل الميزات الحالات الخفية ($H_r$)، ولوجيت التنبؤ ($P_r$)، ودرجات الانتباه ($A_r$).
• نمذجة هلوسة الحكم الذاتي ($D_j$): مكتشف "الحكم الميتافيزيقي" (Meta-judgment) يتم تدريبه على الميزات الجوهرية ($F_j$) المستخرجة من الحكم اللفظي للنموذج اللغوي الكبير ($O_j$، مثل "نعم" أو "لا"). يتنبأ هذا المكتشف بواقعية الحكم نفسه ($L_j$).

2. نمذجة القيد المنطقي

يستفيد إطار العمل من العلاقة المنطقية المتأصلة بين واقعية الاستجابة ($L_r$) وواقعية الحكم الذاتي ($L_j$):

• إذا كان الحكم الذاتي هو "نعم" (تأكيد الاستجابة)، فيجب أن تتطابق واقعية الاستجابة المتوقعة مع واقعية الحكم ($L_r = L_j$).
• إذا كان الحكم الذاتي هو "لا" (دحض الاستجابة)، فيجب أن تكون واقعية الاستجابة هي عكس واقعية الحكم ($L_r = 1 - L_j$).

3. التعلم المتبادل المقيد بالمنطق

لدمج هاتين الرؤيتين، يستخدم LaaB استراتيجية تعلم متبادل:

• دالة الخسارة (Loss Function): تعمل خسارة المنطق ($L_{Logic}$) القائمة على خسارة هوبير (Huber loss) على محاذاة توزيعات الاحتمالات لـ $D_r$ و $D_j$ وفقاً للاعتماد المنطقي المحدد أعلاه.
• الترجيح الواعي بالثقة: لمنع المكتشف الأضعف من تضليل المكتشف الأقوى، يطبق الإطار آلية ترجيح واعية بالثقة. يتم تحديد وزن خسارة المنطق بناءً على نسبة ثقة النظير إلى ثقة الذات.
• استراتيجية التدريب: تُستخدم عملية مكونة من مرحلتين. أولاً، يتم تدريب $D_r$ و $D_j$ بشكل غير متزامن بأسلوب "الدور المتناوب" (round-robin). ثانياً، يتم ضبطهما معاً (fine-tuning) باستخدام هدف مشترك يجمع بين خسارة الإنتروبيا المتقاطعة (cross-entropy loss) وخسارة المنطق المرجحة.
• الاستدلال: أثناء الاستدلال، يتم نشر مكتشف الاستجابة ($D_r$) فقط. وهذا يسمح للنظام بالاستفيد من المعرفة المستخلصة من رؤية الحكم الذاتي دون تحمل التكلفة الحسابية لتوليد الحكم اللفظي.

المساهمات الرئيسية

1. التحول المفاهيمي: يقترح البحث النظر إلى الأحكام الذاتية للنماذج اللغوية الكبيرة كمنتجات توليدية عرضة للهلوسة، وليس كحقائق مطلقة. وهذا يسمح للقيود المنطقية بين الاستجابة والحكم بجسر الفجوة بين الإشارات الجوهرية الدقيقة والاستدلال الرمزي الكلي.
2. التصميم المنهجي: يقدم LaaB إطار عمل للتعلم المتبادل يقوم بمحاذاة التنبؤات من رؤيتين مختلفتين (الاستجابة والحكم الذاتي) عبر التحسين المقيد بالمنطق، مما يدمج بفعالية الأنماط الجوية والأحكام الرمزية.
3. الأداء والكفاءة: أظهر الإطار أداءً فائقاً عبر مجموعات بيانات ونماذج لغوية متعددة دون إدخال تكاليف استدلال إضافية كبيرة، حيث يتم استخدام وحدة الحكم الذاتي أثناء التدريب فقط.

النتائج التجريبية

قيم المؤلفون LaaB على 4 مجموعات بيانات عامة (TriviaQA, MMLU, NQ_Open, HaluEval) باستخدام 4 نماذج لغوية مختلفة (Llama-3.1-8B/70B, Qwen-2.5-32B, Mistral-7B) مقابل 8 نماذج أساسية (baselines).

• مكاسب الأداء: حسن LaaB باستمرار أداء النماذج الأساسية التي تستخدم الأنماط الجوهرية (مثل SAPLMA, Logits Lens, Lookback Lens) في معظم الإعدادات. على سبيل المثال، في نموذج Llama-3.1-8B-Instruct، حقق نموذج SAPLMA المعزز بـ LaaB متوسط F1 كلي قدره 75.20 مقارنة بـ 73.93 للنسخة الأساسية.
• التعميم: أظهرت الطريقة قدرة قوية على التعميم عبر مقاييس وهياكل مختلفة من النماذج. وأشارت تجارب التعميم عبر مجموعات البيانات (ترك مجموعة واحدة خارج الاختبار) إلى أن LaaB يقلل من الاعتماد على الإشارات الخاصة بمجموعة البيانات، مما يحسن المتانة تجاه تغير التوزيعات.
• دراسات الاستئصال (Ablation Studies): أظهرت المتغيرات أن الأنماط الجوهرية للاستجابة تظل هي الإشارات الأكثر معلوماتية. يعمل مكتشف الحكم الذاتي ($D_j$) بشكل أساسي كمكمل لـ $D_r$ أثناء التدريب، حيث يتم استخلاص معظم الفوائد إلى $D_r$ عند وقت الاستدلال.
• الكفاءة: تظل زمن استجابة الاستدلال منخفضة (على سبيل المثال، ~0.02 مللي ثانية لكل حالة للأنواع القائمة على الحالة الخفية)، مما يؤكد أن الإطار لا يضيف أعباء حسابية كبيرة أثناء النشر.

الأهمية والادعاءات

يزعم البحث أن LaaB يوفر رؤية شاملة لاكتشاف الهلوسة من خلال التعامل مع الارتباط بين عدم اليقين العصبي والاستدلال الرمزي كأصل قابل للتعلم بدلاً من كونه عائقاً. ومن خلال رسم الأحكام الرمزية مرة أخرى في مساحة الميزات عبر عملية "الحكم الميتافيزيقي"، ينشئ الإطار جسراً منطقياً يعزز دقة الاكتشاف.

يؤكد المؤلفون أنه بينما قد تكون الهلوسة خاصية متأصلة في النماذج اللغوية الكبيرة، فإن الاكتشاف الدقيق أمر بالغ الأهمية للأنظمة الموثوقة. يقدم LaaB حلاً عملياً يحسن أداء الاكتشاف عبر نماذج ومجموعات بيانات متنوعة دون الحاجة إلى استرجاع معرفة خارجية أو تكاليف إضافية كبيرة في وقت الاستدلال. ويشير العمل إلى أن الاتجاهات المستقبلية يمكن أن تشمل تطبيق هذا الإطار على المقالات الطويلة، وسيناريوهات تعدد الوسائط، ودمجه مع خطوط أنابيب التحقق من الحقائق.