ملخص تقني: آليات الخلط في استرجاع الكيانات ضمن السياق

بيان المشكلة

تتفوق النماذج اللغوية (LMs) في الاستدلال داخل السياق، وهي قدرة تعتمد بشكل أساسي على القدرة على ربط الكيانات ذات الصلة داخل النص (على سبيل المثال، ربط "آن" بـ "فطيرة" في جملة "آن تحب الفطيرة") ومن ثم استرجاعها بناءً على استعلام (على سبيل المثال، الإجابة على "من تحب الفطيرة؟"). وبينما أثبتت الأبحاث السابقة أن النماذج اللغوية تستخدم آلية موضعية — أي استرجاع الكيانات بناءً على موقعها في تسلسل السياق — إلا أن هذه الرؤية استُمدت إلى حد كبير من دراسات شملت قوائم قصيرة من مجموعات الكيانات (مثل $n=2$ أو $3$).

المشكلة المركزية التي يعالجها هذا العمل هي مدى موثوقية هذه الآلية الموضعية في الإعدادات الأكثر تعقيداً وواقعية. فكلما زاد عدد مجموعات الكيانات المرتبطة، واجهت النماذج اللغوية صعوبة في الاستدلال عبر السياقات الطويلة، مظهرةً ظواهر مثل تأثير "الضياع في المنتصف" (lost-in-the-middle). ويتحرى المؤلفون ما إذا كانت الآلية الموضعية تتعمم على التسلسلات الأطول أم أن النماذج اللغوية تستخدم استراتيجيات بديلة للحفاظ على دقة الاسترجاع.

المنهجية

يستخدم المؤلفون تقنيات التفسير الآلي (mechanistic interpretability)، وتحديداً تدخلات التبادل (interchange interventions)، لسبر البنية السببية الداخلية للنماذج اللقية.

1. إعداد المهمة: تستخدم الدراسة مهام استدلال داخل السياق تعتمد على القوالب تتضمن "مجموعات كيانات" (أزواج من الكيانات التي تملأ أدواراً محددة، مثل: اسم + طعام). يتم استعلام النموذج لاسترجاع كيان مستهدف بناءً على كيان استعلام ضمن مجموعة معينة.
2. تصميم الواقع المضاد: للتمييز بين الفرضيات المتنافسة، صمم المؤلفون مجموعات بيانات مزدوجة من المدخلات الأصلية والواقع المضاد. تم تصميم هذه الأزواج بحيث تتنبأ ثلاث آليات فرضية — الموضعية، اللفظية، والانعكاسية — بمخرجات متميزة إذا تم إجراء تدخل تبادلي على متغيراتها الوسيطة.
   • الآلية الموضعية ($P$): تسترجع الكيان الموجود في مؤشر المجموعة الخاص بالاستعلام في الواقع المضاد.
   • الآلية اللفظية ($L$): تسترجع الكيان المرتبط بكيان الاستعلام في الواقع المضاد (على سبيل المثال، إذا تغير الاستعلام من "تيم" إلى "آن"، فإنها تسترجع ما تحبه "آن").
   • الآلية الانعكاسية ($R$): تسترجع الكيان المستهدف عبر مؤشر مباشر ينشأ من الكيان المستهدف نفسه، ويتم فكه عبر الاستعلام.
3. بروتوكول التدخل: يقوم المؤلفون بإجراء تدخلات التبادل على تيار المتبقي لآخر رمز (last token residual stream) عند طبقات محددة ($\ell$) تم تحديدها كنقطة تسبق عملية الاسترجاع مباشرة. يتم حقن متجه تيار المتبقي من التشغيل في الواقع المضاد في التشغيل الأصلي ومراقبة توزيع الرمز التالي الناتج.
4. النمذجة السببية: تم تطوير نموذج سببي ($M$) لمحاكاة سلوك النموذج اللغوي. يجمع هذا النموذج بين الآليات الثلاث كخليط مرجح:
   • يتم نمذجة المصطلح الموضعي كتوزيع غاوسي متمركز عند مؤشر الاستعلام، مع تباين يعتمد على المؤشر.
   • يتم نمذجة المصطلحين اللفظي والانعكاسي كتوزيعات أحادية الاتجاه (one-hot).
   • يتم تدريب النموذج للتنبؤ بتوزيع "اللوجيت" (logit) للنموذج اللغوي باستخدام تباعد جينسن-شانون (JSD) كمقياس للخسارة.
5. النطاق: تغطي التجارب تسعة نماذج من ثلاث عائلات (Llama، Gemma، Qwen) تتراوح من 2 مليار إلى 72 مليار معلمة، وتم تقييمها على عشر مهام ربط مختلفة.

المساهمات الرئيسية

1. تحديد ثلاث آليات متميزة

تتحدى الورقة البحثية الرؤية السائدة بأن الاسترجاع هو عملية موضعية فقط. فهي تثبت أن النماذج اللغوية تستخدم خليطاً من ثلاث آليات:

• الموضعية: فعالة للكيانات في البداية والنهاية من السياق، ولكنها تصبح مشوشة ومنتشرة للمواقع الوسطى مع زيادة عدد المجموعات ($n$).
• اللفظية: تسترجع الطرف المقابل المرتبط بكيان الاستعلام (مثل: "فطيرة" $\leftarrow$ "آن"). توفر هذه الآلية إشارة حادة وأحادية الاتجاه.
• الانعكاسية: تستخدم مؤشراً مباشراً من الكيان المستهدف إلى نفسه، والذي يتم استرجاعه عبر الاستعلام. هذا الأمر بالغ الأهمية خاصة عندما يظهر الهدف قبل الاستعلام في الجملة (على سبيل المثال، "تيم يحب الشاي" $\leftarrow$ "من يحب الشاي؟")، وهو سيناريو يصعب فيه النسخ اللفظي معمارياً للنماذج ذات التوليد الذاتي (autoregressive).

2. نمط الموثوقية "على شكل حرف U"

من خلال تجارب التدخل المكثفة، كشف المؤلفون عن نمط ثابت:

• المواقع الأولى والأخيرة: يهيمن الآلية الموضعية على عملية الاسترجاع، وتكون مركزة للغاية وموثوقة.
• المواقع الوسطى: تتدهور الإشارة الموضعية بشكل كبير. وللتعويض عن ذلك، تعتمد النماذج اللغوية بشدة على الآليات اللفظية والانعكاسية، والتي توفر إشارات أكثر حدة لفك الالتباس وتحديد الكيان الصحيح.
• التفاعل: تظهر الآليات "تآزراً تنافسياً". فعندما تتوافق المؤشرات، تتقوى الإشارات؛ وعندما تتباعد، يثبط بعضها بعضاً.

3. النموذج السببي للتنبؤ بالرمز التالي

بنى المؤلفون نموذجاً سببياً يجمع بين هذه الآليات الثلاث. يحقق هذا النموذج توافقاً بنسبة 95% (مقاساً بتشابه جينسن-شانون) مع توزيعات الرمز التالي الفعلية للنماذج اللغوية عبر مختلف المهام وأحجام النماذج. في المقابل، تحقق النماذج التي تعتمد فقط على الآلية الموضعية (الرؤية السائدة) درجات أقل بكثير (~45%)، وتؤدي أداءً أسوأ من خط الأساس الموحد في بعض التكوينات.

4. التعميم على المدخلات الطبيعية

تؤكد الدراسة أن هذه النتائج تظل قائمة في الإعدادات الأكثر طبيعية حيث تتداخل مجموعات الكيانات مع نصوص "حشو" (جمل مفتوحة). وبينما يؤدي إضافة رموز الحشو إلى زيادة الضجيج وإضعاف الآلية اللفظية قليلاً، فإن الاعتماد الجوهري على خليط الآليات الثلاث يستمر، مما يقدم تفسيراً آلياً لظاهرة "الضياع في المنتصف".

النتائج

• سيادة الآلية: في المواقع الوسطى للسياقات الطويلة، تمثل الآلية الموضعية حوالي 20% فقط من سلوك النموذج، بينما تصبح الآليتان اللفظية والانعكاسية المحركين الأساسيين للاسترجاع الصحيح.
• متانة النماذج: نمط الخلط ثابت عبر عائلات النماذج (Llama، Gemma، Qwen) والمقاييس (من 2 مليار إلى 72 مليار معلمة).
• التحقق من الانعكاسية: من خلال تصميمات واقع مضاد محددة حيث لا يوجد جواب الواقع المضاد في السياق الأصلي، أثبت المؤلفون وجود آلية مؤشر انعكاسي متميزة عن رمز الإجابة نفسه.
• دراسات الاستبعاد (Ablation Studies): يؤدي حذف أي آلية واحدة من النموذج السببي إلى تدهور الأداء بشكل كبير، مما يؤكد أن الآليات الثلاث ضرورية لتجريد دقيق لسلوك النموذج اللغوي.

الأهمية والادعاءات

تدعي الورقة أنها أرست صورة أكثر اكتمالاً لكيفية ربط واسترجاع النماذج اللغوية للكيانات داخل السياق. ومن خلال تجاوز الرؤية الموضعية التبسيطية، يقدم المؤلفون تفسيراً آلياً لكل من نقاط القوة (الاسترجاع القوي عبر إشارات متعددة) ونقاط الضعف (الضجيج في المواقع الوسطى الذي يؤدي إلى أخطاء "الضياع في المنتصف") للنماذج اللغوية الكبيرة في إعدادات السياق الطويل.

تشير الدراسة إلى أن ظاهرة "الضياع في المنتصف" ليست مجرد فشل في الانتباه، بل هي تدهور محدد في الإشارة الموضعية، والتي يتم تعويضها جزئياً فقط بواسطة الآليات اللفظية والانعكاسية. وقد أطلق المؤلفون الكود والبيانات الخاصة بهم لتسهيل المزيد من الأبحاث في الآليات السببية للاستدلال داخل السياق.