Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

ملخص تقني: حقائق بلا ملاك

بيان المشكلة
تبحث هذه الورقة في حدود "الذاكرة الحوارية الداخلية"، حيث يقوم النموذج اللغوي (LM) بدمج تاريخ محادثة المستخدم مباشرة في أوزانه عبر الضبط الدقيق (fine-tuning)، بدلاً من "الذاكرة الخارجية" التي تعتمد على استرجاع البيانات من أرشيف. وبينما تعد الذاكرة الداخلية بالقدرة على الصمود ضد فشل الاسترجاع والتكامل السلس مع المعرفة السابقة، إلا أنها تحمل مخاطر مثل الهلوسة وفشل التعلم الاتجاهي. السؤال البحثي المحدد هو: عندما يتم دمج محادثة ذات طول حقيقي في أوزان النموذج، ما هي المعلومات التي تُخزن، وما الذي يُفقد؟ وتحديداً، هل يتعلم النموذج من قال الحقيقة، أم يكتفي بتعلم ماذا قيل فحسب؟

المنهجية
تستخدم الدراسة ثلاث محادثات حقيقية الطول بين شخصين من معيار LoCoMo (conv-42, conv-43, conv-48)، تحتوي كل منها على ما بين 629 إلى 681 دورة حوارية. تتضمن هذه المحادثات فئة عدائية محددة (الفئة 5) تُعرف بأسئلة "تبديل الأشخاص"، حيث يسأل السؤال عن المتحدث (أ) بخصوص حقيقة ذكرها المتحدث (ب) فقط. السلوك الصحيح للنموذج هو الامتناع عن الإجابة، لأن الحقيقة لا تخص المتحدث (أ).

• النموذج والدمج: النموذج الأساسي هو Qwen3-4B. يستخدم المؤلف محول LoRA (التكيف منخفض الرتبة) برتبة (Rank 16) تم تدريبه على أسئلة مولدة ذاتياً. يقرأ النموذج الأساسي نوافذ المحادثة ويكتب أسئلة ذات إجابات قصيرة. ومن الأهمية بمكان أن 15% من الأسئلة حول أحد المتحدثين هي "فخاخ" حيث يتم تبديل الاسم، وتكون الإجابة المستهدفة هي "لم يُذكر".
• وصفة التدريب (D1): تم تدريب المحول على هذه الأسئلة المولدة لثلاث دورات (epochs). ولمنع النسيان الكارثي للمعرفة العامة، يستخدم مصطلح تباعد KL لربط المحول بالنموذج الأساسي بناءً على نصوص مرجعية (SQuAD وطلبات الدردشة).
• التقييم: يتم اختبار النموذج على أسئلة معيار LoCoMo الأصلية (التي لم يراها أثناء التدريب) عبر أربعة مسارات: النموذج الأساسي بدون أرشيف (B0)، النموذج المدمج بدون أرشيف (D)، النموذج الأساسي مع أرشيف (B0S)، والنموذج المدمج مع أرشيف (DS).
• متغيرات التدخل: تم اختبار سبعة متغيرات مسجلة مسبقاً (D2–D6) لمحاولة إصلاح أخطاء الإسناد باستخدام الأوزان فقط أو إشارات النموذج (مثل الأسئلة العكسية، وأمثلة "لا أعرف" مع تبديل المتحدثين، وعتبات الثقة).
• فحص المصدر (D7): تم تنفيذ فحص خالي من النموذج ضد الأرشيف الخام. يقارن الفحص بين الدورات المسترجعة للإجابة وبين المتحدث المذكور في السؤال. إذا كانت الإجابة تتوافق بقوة أكبر مع أدوار المتحدث الآخر، يُجبر النموذج على الامتناع عن الإجابة.
• الدقة: جميع التجارب مسجلة مسبقاً. تم توليد الملصقات بواسطة نموذج لغوي كبير (Claude) باتباع قواعد ثابتة، مع التعامل الصارم مع الحالات الحدية.

النتائج الرئيسية

1. الدمج ينجح في حفظ الحقائق، لا الملاك:

   • بدون أرشيف، يمتنع النموذج الأساسي (B0) في جميع الأسئلة تقريباً (دقة 0.00).
   • النموذج المدمج (D) يسترجع الحقائق بنجاح، محققاً دقة تترا بين 28-39% في الأسئلة القياسية (الفئات 1-4) عبر المحادثات الثلاث.
   • ظلت المعرفة العامة (TriviaQA) مستقرة، مما أظهر عدم وجود ضرر يمكن اكتشافه من عملية الدمج.

2. فشل الإسناد:

   • نمط الفشل المهيمن هو الإسناد (Attribution). في أسئلة "تبديل الأشخاص"، يمتنع النموذج المدمج في 9-33% فقط من الحالات.
   • بدلاً من الامتناع، غالباً ما يجيب النموذج بثقة مستخدماً الحقيقة، رغم أنها تخص المتحدث الخطأ. في حوالي 30% من هذه الأخطاء، تتطابق إجابة النموذج مع دور بصيغة المتكلم للمتحدث الآخر.
   • يتعلم النموذج الارتباط بين الموضوع والإجابة، لكنه يعامل اسم المتحدث كإشارة ضعيفة.

3. عدم فعالية الإصلاحات المعتمدة على الأوزان فقط:

   • المتغيرات التي حاولت تعليم النموذج الامتناع (D2–D6) باستخدام الأسئلة العكسية، أو أمثلة "لا أعرف"، أو عتبات الثقة، فشلت في التكرار على محادثات لم تُستخدم في التدريب.
   • خلقت هذه الطرق خط مقايضة: زيادة الامتناع في أسئلة "تبديل الأشخاص" جاءت على حساب الدقة الإجمالية (فقدان 0.09-0.17 من الدقة مقابل كل زيادة قدرها 0.40 في الامتناع).
   • أمثلة "لا أعرف" علمت النموذج شكل الفخ وليس حدود المعرفة الفعلية. كانت درجات الثقة للنموذج غير قابلة للتمييز بين الإسناد الصحيح والخاطئ (AUROC ~0.54–0.56 في البيانات المستبعدة).

4. كفاءة فحوصات الأرشيف:

   • تفوق فحص المصدر الخالي من النموذج (D7) ضد الأرشيف الخام بشكل ملحوظ على الطرق المعتمدة على الأوزان فقط.
   • رفع هذا الفحص نسبة الامتناع في أسئلة "تبديل الأشخاص" من ~0.17 إلى 0.45–0.47 مع تكلفة ضئيلة في الدقة بلغت 0.005–0.042.
   • هذه التكلفة تمثل خُمس إلى نصف التكلفة التي تسببت بها المتغيرات المعتمدة على الأوزان فقط عند نفس مستوى الامتناع.
   • ملاحظة بشأن التسجيل المسبق: في إحدى التجربتين، تجاوز فقدان الدقة (7.0%) الحد المسجل مسبقاً وهو 5%، مما دفع المؤلف للإبلاغ بأن الفحص "لم يُعتمد" وفقاً لقواعده الصارمة، رغم المكاسب الكبيرة في الكفاءة.

الأهمية والادعاءات
تخلص الورقة إلى أن دمج المحادثة في أوزان النموذج يخزن "ما قيل"، ولكن ليس "من قاله".

• الأدوار المتكاملة: يرى المؤلف أن الذاكرة البارامترية (الأوزان) والأرشيفات الخارجية هي أدوار متكاملة. فالأوزان فعالة في الاحتفاظ بالمعرفة، بينما الأرشيف ضروري للاحتفاظ بـ المصدر (Provenance) (ملكية الحقائق).
• محدودية العلاجات الحالية: التقنيات الحالية لإجبار النماذج على الامتناع (عبر التلاعب ببيانات التدريب أو عتبات الثقة) غير فعالة لأن النموذج يكون "صحيحاً" من الناحية التقنية بشأن الحقيقة، مما يجعل من الصعب على الإشارات الداخلية اكتشاف خطأ الإسناد.
• التوصية العملية: بالنسبة للمساعدين الشخصيين، فإن الاعتماد فقط على دمج الأوزان غير كافٍ للإسناد الدقيق. يجب الاحتفاظ بالأرشيف، ليس بالضرورة لكل عملية استرجاع، ولكن كمصدر لـ فحوصات المصدر للتحقق من ملكية المتحدث للحقيقة.

تؤكد الدراسة أنه بينما يعد دمج الذاكرة آلية قابلة للتطبيق للاحتفاظ بالمعرفة، إلا أنه يفتقر حالياً إلى القدرة الجوهرية على ربط الحقائق بمتحدثيها المحددين دون تحقق خارجي.