Transformers Remember First, Forget Last: Dual-Process Interference in LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "المحولات تتذكر أولاً، وتنسى آخراً: التداخل في العمليات المزدوجة في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات مذهلة في التعلم من أمثلة قليلة والاستدلال، إلا أن قدرتها على إدارة التداخل الذاكراتي (memory interference) في السياقات الطويلة لا تزال غير مفهومة بشكل كافٍ. وتحديداً، ليس من الواضح كيف تتعامل هذه النماذج مع المعلومات المتضاربة عندما تحدث تحديثات متعددة لنفس الكيان الدلالي داخل نافذة سياقية واحدة.

تعالج الورقة سؤالين حاسمين:

1. اتجاه التداخل: هل تعاني النماذج اللغوية الكبيرة أكثر من التداخل الارتجاعي (Retroactive Interference - RI) (حيث تعطل المعلومات الجديدة استرجاع المعلومات القديمة) أم من التداخل الاستباقي (Proactive Interference - PI) (حيث تحجب المعلومات القديمة استرجاع المعلومات الجديدة)؟
2. الآلية: هل ينبع كل من RI و PI من "سعة ذاكرة" موحدة أم من آليات حوسبية متميزة؟

هذا يختلف عن "النسيان الكارثي" (تحديث الأوزان أثناء التدريب)؛ حيث تركز الدراسة على التداخل داخل السياق (التنافس بين العناصر خلال تمريرة أمامية واحدة).

2. المنهجية

قام المؤلفون بتكييف نماذج التداخل الكلاسيكية من علم النفس المعرفي (تحديداً مهمة الربط بين الزوج AB-AC) لاختبار 39 نموذجاً لغوياً متنوعاً.

• التصميم التجريبي:
  • المثيرات: عُرِضت على النماذج 46 زوجاً من (الفئة الدلالية: القيمة) (مثال: "الفن البصري: الانطباعية").
  • التحديثات: لكل فئة، تم إدخال عدد $N$ من التحديثات المتداخلة، عبر تخصيص قيم جديدة لنفس الفئة (مثلاً: "الفن البصري: الباروك"). تراوح $N$ من 3 إلى 300.
  • المهام:
    • التداخل الارتجاعي (RI): الاستعلام عن القيمة الأولى (مثلاً: "ما كانت القيمة الأولى للفن البصري؟").
    • التداخل الاستباقي (PI): الاستعلام عن القيمة الأحدث (مثلاً: "ما هي القيمة الحالية للفن البصري؟").
  • التحكم: استخدمت كلتا المهمتين تسلسلات مثيرات متطابقة، واختلف فقط هدف الاستعلام، مما عزل التداخل عن صعوبة البحث.
• النماذج المختبرة: 31 نموذجاً لغوياً كبيراً يتراوح حجمها من 1 مليار إلى 2.5 تريليون معلمة، بما في ذلك بنى مفتوحة الأوزان (Llama, Mistral, Qwen) وبنى مملوكة (GPT-4o, Claude-3.5, o1, o3)، مع نوافذ سياقية تتراوح من 8 آلاف إلى 2 مليون توكن.
• المقاييس:
  • درجة تحمل التداخل الارتجاعي (RIES): المساحة تحت منحنى الدقة عبر مستويات التداخل.
  • درجة تحمل التداخل الاستباقي (PIES): مقياس مكافئ لـ RI.
  • تحليل الأخطاء: تصنيف الإخفاقات إلى فشل في الاسترجاع، وتطفل نفس المفتاح (same-key intrusion)، وتطفل مفتاح متقاطع (cross-key intrusion)، وهلوسة، ومطابقات جزئية.

3. المساهمات الرئيسية

1. ملف التداخل المعكوس: تثبت الدراسة أن جميع النماذج الـ 39 المختبرة تظهر تداخلاً استباقياً أكبر من التداخل الارتجاعي (PI > RI). وهذا عكس الذاكرة البشرية، حيث يهيمن التداخل الارتجاعي عادةً (المعلومات الجديدة تطغى على القديمة).
2. دليل العمليات المزدوجة: أظهر أن RI و PI غير مترابطين ($R^2 = 0.044$) ويتطوران بشكل مختلف، مما يشير إلى أنهما يشغلان آليات حوسبية متميزة بدلاً من سعة ذاكرة موحدة.
3. تصنيف أوضاع الفشل: تميزت الورقة بين الإخفاقات السلبية (RI: عدم القدرة على الاسترجاع) والإخفاقات النشطة (PI: تطفل القيم السابقة)، مع حد أدنى من الهلوسة في كلتا الحالتين.

4. النتائج الرئيسية

أ. عدم التماثل العالمي (PI > RI)

• النتيجة: أظهر كل نموذج تم اختباره مقاومة أعلى بك la PI مقارنة بـ RI.
• الحجم: بلغ متوسط الفرق في درجات التحمل 69.5 نقطة (Cohen's $d = 1.73$, $p < 0.0001$).
• المقارنة بالبشر: يظهر البشر عادةً (RI > PI) (المعلومات الحديثة تعطل القديمة). بينما تظهر النماذج اللغوية العكس: انتباه المحولات يخلق "تحيزاً للأولوية" (primacy bias)، مما يحمي الترميزات المبكرة على حساب المعلومات الحديثة.

ب. قوانين القياس والبنية

• حجم النموذج مقابل RI: يتنبأ عدد المعلمات بقوة بمقاومة RI ($R^2 = 0.49$). النماذج الأكبر (>500 مليار) تحافظ على استرجاع أولي أفضل بكثير من النماذج الأصغر.
• حجم النموذج مقابل PI: لا يتنبأ عدد المعلمات بمقاومة PI ($R^2 = 0.06$, غير دال إحصائياً).
• طول السياق: لم تظهر نافذة السياق أي ارتباط مع مقاومة RI أو PI. فالنموذج بقدر 100 مليار معلمة ونافذة 32 ألف توكن تفوق نموذجاً بقدر 10 مليار معلمة ونافذة 1 مليون توكن.
• نماذج الاستدلال: أظهرت نماذج "سلسلة الأفكـاف" (Chain-of-thought) (مثل o1, o3) تحسناً بنسبة 18% في مقاومة RI ولكنها أدت أداءً ضعيفاً في PI (على سبيل المثال، احتل o1 المرتبة الأولى في RI ولكنه جاء في المرتبة 35 في PI)، مما يشير إلى أن الاستدلال يساعد على الترسخ (consolidation) ولكنه يعيق الوصول إلى الحداثة (recency access).

ج. تحليل الأخطاء وأنماط الفشل

• إخفاقات RI (سلبية): كانت في الغالب فشلاً في الاسترجاع (51%). النموذج لا يستطيع الوصول إلى القيمة الأولية؛ فهي "تُكتب فوقها" أو تصبح غير قابلة للوصول فعلياً.
• إخفاقات PI (نشطة): كانت في الغالب تطفلات نفس المفتاح (56%). يقوم النموذج باسترجاع قيمة سابقة من نفس الفئة بشكل نشط، مما يحجب القيمة الحديثة.
• الهلوسة: منخفضة للغاية (<1%) لكلا النوعين، مما يشير إلى أن المشكلة هي ارتباك في الموقع (position confusion) وليست اختلاقاً للمعلومات.
• الإدراك الميتا-معرفي (Metacognition): رفضت النماذج صراحةً الإجابة في 8.6% من حالات فشل PI (استشعار التنافس) ولكن بنسبة 0% في حالات فشل RI (تقديم القيمة الأكثر انتباهاً بشكل واثق ولكن خاطئ).

د. الاختلافات الهيكلية

• سلسلة O (الاستدلال): عدم تماثل شديد (8.5 ضعف)، حيث تُحسن الدقة التاريخية على حساب الحداثة.
• نماذج Claude: عدم تماثل ضئيل (~1.05 ضعف)، مما يشير إلى تصميم ذاكرة متوازن.
• أنماط الاضمحلال: يختلف اضمحلال RI حسب البنية (أسي، حدودي، لوغاريتمي تربيعي)، بينما يتبع PI اضمحلالاً لوغاريتمياً خطياً عالمياً، مما يدعم أكثر فكرة وجود آليات متميزة.

5. الأهمية والآثار المترتبة

الآثار النظرية

• آلية العمليات المزدوجة: توازي النتائج التمييز بين الترسخ والاسترجاع (consolidation–retrieval) في العلوم المعرفية.
  • RI (الترسخ): يعتمد على السعة. تستخدم النماذج الأكبر ناقلات (vectors) أكثر تعامدية (مما يقلل من "التراكب/superposition)، مما يسمح للترميزات الأولية بالبقاء رغم التحديثات.
  • PI (الاسترجاع): مقيد بالبنية. آلية الانتباه الذاتي (self-attention) تجمع بطبيعتها الانتباه على التوكنات المبكرة ("بالوعات الانتباه/attention sinks")، مما يخلق انحيازاً هيكلياً لا يمكن للمعلمات تجاوزه.
• تحيز المحولات: "حماية الأولوية" هي ميزة للانتباه السببي (causal attention)، حيث تتراكم الانتباهات من التوكنات المبكرة من جميع المواقع اللاحقة، بينما تتجه التوكنات المتأخرة للعودة إلى الوراء فقط.

الآثار العملية

• اختيار النموذج:
  • للذاكرة التاريخية: التطبيقات التي تتطلب استرجاع الحالات الأولية (مثل تحليل الوثائق القانونية، التاريخ الطبي) يجب أن تعطي الأولوية للنماذج الأكبر وبنى الاستدلال (مثل سلسلة O).
  • لتتبع الوقت الفعلي: التطبيقات التي تتطلب تتبع الحالة الأحدث (مثل الحوار، المراقبة الحية) يجب أن تتجنب النماذج كثيفة الاستدلال وتفضل البنى ذات التصميم المتوازن (مثل Claude)، حيث أن التوسع في الحجم لا يحل مشكلة PI.
• أسطورة طول السياق: زيادة حجم نافذة السياق وحدها لا يحل مشكلة التداخل؛ عدد المعلمات (القدرة التمثيلية) هو المحرك الأساسي لمقاومة التداخل.

الاتجاهات المستقبلية

يقترح المؤلفون الانتقة نحو اختبارات أكثر واقعية (سرد قصصي، وثائق متطورة) والتحقق الميكانيكي (فحص الانتباه/attention probing) لتأكيد أن التوكنات المبكرة تجمع انتباهاً غير متناسب. كما يقترحون حلولاً مستهدفة مثل الانتباه المرجح بالحداثة (recency-weighted attention) أو إزالة انحياز الموقع (positional debiasing).