Probing the Lack of Stable Internal Beliefs in LLMs

ملخص تقني لورقة بحثية بعنوان: "استقصاء نقص المعتقدات الداخلية المستقرة في النماذج اللغوية الكبيرة (LLMs)"

1. بيان المشكلة

بينما تبرع النماذج اللغوية الكبيرة (LLMs) في محاكاة الشخصيات والسلوكيات البشرية، إلا أنها غالبًا ما تفتقر إلى التمثيلات الداخلية المستقرة اللازمة للحفاظ على أهداف متسقة عبر التفاعلات الممتدة. ركزت الأبحاث الحالية بشكل أساسي على الاتساق الخارجي (مثل تجنب التناقضات الواقعية أو التناقضات المنطقية الذاتية في المخرجات). ومع ذلك، لا تزال هناك فجوة حرجة تتعلق بـ الاتساق الضمني: وهو قدرة النموذج اللغوي الكبير على الالتزام بهدف داخلي غير معلن (مثل هدف مستهدف تم اختياره سرًا) طوال حوار متعدد الأدوار دون الحاجة إلى تذكيرات صريحة.

يفترض المؤلفون أن النماذج اللغوية الكبيرة الحالية تعاني من انزياح الهدف (goal drift)، حيث تنزاح الحالة الاعتقادية الداخلية للنموذج بعيدًا عن هدفه الأولي حتى عندما تبدو استجاباته الخارجية متماسكة. هذا عدم الاستقرار يقوض موثوقية التطبيقات القائمة على الشخصيات، مثل وكلاء الحوار ومساعدي لعب الأدوار.

2. المنهجية

للتحقيق في هذه الظاهرة، صمم المؤلفون إطارًا تشخيصيًا محكمًا يعتمد على لعبة بنمط الـ 20 سؤالاً.

تصميم المهمة

• الأدوار: يتضمن الإعداد دورين للنموذج: المُقترح (Proposer) (الذي يختار سرًا كيانًا أو رقمًا مستهدفًا) والمخمّن (Guesser) (الذي يطرح أسئلة نعم/لا لتحديد الهدف).
• المهام:
  1. تخمين الرقم: يختار المُقترح رقمًا من 0 إلى 99. تهدف هذه المهمة إلى تقليل التعقيد الدلالي لعزل مشكلات الاتساق.
  2. تخمين الكيان: يختار المُقترح من بين 10 كيانات متنوعة (مثل "برج إيفل"، "باندا"). تختبر هذه المهمة الاتساق في سيناريوهات واقعية غنية دلاليًا.
• آلية الاستقصاء (Probing): لقياس الحالة الداخلية للمُقترح دون تلويث الحوار الرئيسي، يستخدم المؤلفون تقنية استقصاء قائمة على التفرع (branch-based probing). بعد كل دور في الحوار الرئيسي، يتم إنشاء فرع سياقي معزول حيث يُسأل النموذج: "ما هو مؤشر الهدف المحدد الذي اخترته؟" ويتم تسجيل توزيع احتمالات النموذج على المؤشرات المرشحة (0-9) كـ حالة اعتقاد ($b_i$).

تعريفات عدم الاتساق
يصيغ البحث نوعين من عدم الاتساق:

1. عدم الاتساق الخارجي: تناقضات منطقية ملحوظة في الحوار (على سبيل المثال، الإجابة بـ "نعم" على سؤال "هل هو أحمر؟" ثم الإجابة بـ "لا" لاحقًا على نفس السؤال).
2. عدم الاتساق الضمني: تنزاح الحالة الاعتقادية الداخلية من الهدف الأصلي ($e_t$) إلى هدف مختلف ($e'$) مع الحفاظ على اتساق الاستجابات الخارجية. صوريًا: $arg\ max_{e} b_k = e' \neq e_t$، رغم أن الإجابات المقدمة تظل صالحة لكل من $e_t$ و $e'$.

المقاييس

• معدل الانزياح (Drift Rate - D.R.): وتيرة التغيرات المنفصلة في الرقم المستهدف المختار.
• معدل حدوث الانزياح لمرة واحدة (Once Drift Rate): نسبة الحوارات التي يحدث فيها انزياح واحد على الأقل.
• تباعد KL (KL Divergence): يقيس التحول المستمر في توزيع الاحتمالات لحالة الاعتقاد بين الأدوار ($D_{KL}(P_t \parallel P_{t-1})$).
• التحقق من الاتساق الخارجي (E.C.V.): تقييم باستخدام نموذج لغوي كحكم (LLM-as-a-Judge) للكشف عن الانتهاكات المنطقية السطحية.

إطار التدريب
للتخفيف من هذه المشكلة، طبق المؤلفون ضبط التدريب تحت الإشراف (SFT) على دور المُقترح باستخدام دالة خسارة تجمع بين الإنتروبيا المتقاطعة (Cross-Entropy - CE) وتنظيم تباعد KL:
$$L = \sum_{t=1}^{T} [\alpha \cdot D_{KL}(P_{probe}^t \parallel P_{initial}) + \beta \cdot L_{CE}]$$
هذا الهدف يعاقب الانحرافات عن حالة الاعتقاد الأولية ($P_{initial}$)، مما يجبر النموذج على تثبيت أهدافه الداخلية.

3. النتائج الرئيسية

أُجريت التجارب على نماذج متطورة تشمل GPT-4o، وClaude-3.7-Sonnet، وDeepseek-v3.1، وSeed-1.6.

• انزياح الهدف العالمي: أظهرت جميع النماذج المختبرة عدم اتساق ضمني واسع الانتشار.
  • معدل حدوث الانزياح لمرة واحدة: أظهرت معظم النماذج معدل 100%، مما يعني أنه في كل حوار، ينزاح النموذج في النهاية عن هدفه الأصلي.
  • تكرار الانزياح: غيرت النماذجه أهدافها الداخلية في 16.77% إلى أكثر من 50% من أدوار المحادثة.
• نماذج الاستدلال: على عكس المتوقع، فإن النماذج المعززة بالاستدلال (مثل متغيرات "+ Reasoning") أظهرت غالبًا معدلات انزياح أعلى في المهام البسيطة (مثل تخمين الرقم)، مما يشير إلى أن "الإفراط في التفكير" يُدخل تعقيدًا غير ضروري يؤدي إلى زعزعة استقرار الحفاظ على الأهداف البسيطة.
• الخارجي مقابل الداخلي: لم يرتبط الاتساق الخارجي العالي (انخفاض التناقضات المنطقية) بالاستقرار الداخلي. يمكن للنماذج الإجابة على الأسئلة منطقيًا بينما تغير هدفها السري.
• تأثير التدريب:
  • فشل التدريب القياسي (SFT باستخدام CE فقط) في التخفيف من عدم الاتساق الضمني.
  • ساهم تنظيم تباعد KL بشكل كبير في تحسين استمرارية الهدف، حيث خفض معدل الانزياح من ~36% إلى ~14% في مهمة تخمين الرقم، وخفض تحولات تباعد KL.
  • قدم النهج المدمج (CE+KL) توازنًا، حيث حافظ على التماسك السطحي مع تثبيت الأهداف الداخلية.

4. المساهمات الرئيسية

1. صياغة الاتساق الضمني: تقدم الورقة تعريفًا رياضيًا صارمًا يميز بين عدم الاتساق الخارجي (الملحوظ) والضمني (الداخلي)، مما يوفر إطارًا لتشخيص انزياح الهدف.
2. إطار استقصاء موحد: تطوير تقنية استقصاء قائمة على التفرع باستخدام الفهرسة الرقمية لمراقبة حالات الاعتقاد الداخلية باستمرار عبر مهام متنوعة دون تعطيل التفاعل.
3. الدليل التجريبي على عدم الاستقرار: إثبات أن النماذج اللغوية الكبيرة الحالية (SOTA) تعاني عالميًا من صعوبة في تحقيق الاتساق الضمني، حيث يحدث انزياح الهدف في جميع التفاعلات متعددة الأدوار تقريبًا.
4. استراتيجية التخفيف: إثبات أن التدريب الصريح باستخدام تنظيم تباعد KL يمكن أن يثبت الأهداف الضمنية، مما يوفر مسارًا قابلاً للتطبيق نحو نماذج أكثر موثوقية قائمة على الشخصيات.

5. الأهمية والعمل المستقبلي

• الذكاء الاصطناعي الموثوق: تسلط النتائج الضوء على قصور جوهري في النماذج اللغوية الكبيرة الحالية: وهي عدم قدرتها على الحفاظ على "الشخصية" أو "النية" بشكل موثوق بمرور الوقت دون وجود دعامات خارجية. هذا يشكل عائقًا حرجًا أمام نشر الوكلاء المستقلين في التفاعلات طويلة الأمد.
• ما وراء المحاذاة السطحية: تجادل الورقة بأن تقنيات المحاذاة الحالية تركز بشكل مفرط على السلوك السطحي (الاتساق الخارجي) وتتجاهل استقرار التمثيلات الحالة الداخلية.
• الاتجاهات المستقبلية: يقترح المؤلفون أن البنى المستقبلية يجب أن تدمج آليات صريحة لـ الذاكرة، وتتبع حالة الاعتقاد، والتثبيت (anchoring) لتحقيق اتساق حقيقي. هذا أمر ضروري لتطوير مساعدين ذكاء اصطناعي يمكنهم تنفيذ تعليمات المستخدم بأمانة عبر فترات زمنية ممتدة.

ختامًا، تكشف هذه الورقة أنه بينما تبرع النماذج اللغوية الكبيرة في محاكة مظهر الاتساق، فإنها تفتقر إلى الآليات الداخلية للحفاظ على هدف مستقر، وهو عجز يمكن معالجته جزئيًا من خلال تقنيات تنظيم محددة أثناء التدريب.