Artificial Aphasias in Lesioned Language Models

ملخص تقني: الحبسات الاصطناعية في النماذج اللغوية المصابة بآفات

المشكلة والدوافع
لطالما استخدم علماء النفس العصبي الأضرار الدماغية الطبيعية (الحبسات/Aphasias) لرسم الخرائط التنظيمية الوظيفية للغة البشرية، وربط مناطق دماغية محددة بأنماط أعراض متميزة. وبالتوازي، يتدخل الباحثون في مجال التفسير الآلي (Mechanistic Interpretability) على النماذج اللغوية (LMs)—غالباً عن طريق إسكات الأوزان أو التنشيطات—لدراسة الارتباطات الناشئة بين البنية والوظيفة. ومع ذلك، عمل هذان المجتمعان بشكل مستقل إلى حد كبير. وبينما حاولت الدراسات الحديثة استحثاث أنواع فرعية من الحبسة البشرية (مثل حبسة بروكا أو فيرنيكه) في النماذج اللغوية عبر إحداث آفات، إلا أن هذه الدراسات غالباً ما تعتمد على تسميات فئوية فضفاضة قد تحجب التباين الجوهري في أنماط الأعراض.

تقدم هذه الورقة تقنية مستوحاة من الحبسة لتوصيف التنظيم الوظيفي الناشئ للنماذج اللغوية بشكل أكثر دقة. ويجادل المؤلفون بأنه بدلاً من مطابقة النماذج اللغوية مع الفئات السريرية الواسعة، يجب على الباحثين توصيف توزيعات الأعراض التفصيلية لفهم كيفية مساهمة مكونات نموذج معينة في فشل المعالجة اللغوية. تهدف الدراسة إلى تحديد ما إذا كانت النماذج اللغوية المصابة بآفات تظهر تنظيماً وظيفياً مشابهاً للبشر، أم أن أنماط الفشل لديها متميزة، مما يضع قيوداً على الفرضيات المتعلقة بالسبب الذي يجعل أعراض الحبسة البشرية تتبع هذا النمط.

المنهجية
يستحث المؤلفون "حبسات اصطناعية" عن طريق إحداث "آفات" (تصفير) لمصفوفات بارامترية محددة في بنى الـ Transformer المكونة من فك تشفير فقط (Decoder-only). يتضمن الإعداد التجريبي ما يلي:

• النماذج: خمسة متغيرات من نماذج بحجم ~1 مليار بارامتر عبر ثلاث عائلات: Llama 3.2، وGemma 3، وOLMo 2.
• أهداف الآفة: يتم استهداف سبعة مكونات محددة عبر الطبقات: مصفوفات الاستعلام (Q)، والمفتاح (K)، والقيمة (V)، والمخرج (O) لآلية الانتباه، ومصفوفات البوابة (Gate)، والرفع (Up)، والخفض (Down) للشبكة العصبية الأمامية (FFN).
• الشدة: تُطبق الآفات عند خمس مستويات من الشدة ($s \in \{0, 0.25, 0.50, 0.75, 1.0\}$)، حيث تمثل $s$ الكسر المتوقع للأوزان التي تم تصفيرها.
• التقييم: يتم تسجيل المخرجات باستخدام بطارية اختبار الحبسة النصية (TAB)، وهي معيار هندسي مصمم خصيصاً للنماذج اللغوية التي تعتمد على النصوص فقط. تخصص (TAB) 21 عرضاً ثنائياً عبر خمس فئات: دلالي (Semantic)، ونحوي (Syntactic)، وطلاقة (Fluency)، وصوتي (Phonological)، وأخرى (تشمل حلقات التكرار، والنمطية، والاستجابات الخارجة عن الموضوع).
• المقارنة: تقارن الدراسة 112,426 مخرجاً مسجلاً للنماذج المصابة بآفات مقابل 6,000 إنتاج من مجموعة بيانات (AphasiaBank) (تغطي أنواعاً فرعية مختلفة من الحبسة البشرية وضوابط التحكم).
• التحليل الإحصائي: يستخدم المؤلفون أسالاً غير معلمية، بما في ذلك إعادة أخذ العينات (Bootstrapping) على مستوى الحالة، واختبارات قلب الإشارة المزدوجة، واختبارات التبديل، لتقييم الاختلافات في ملفات الأعراض بين المكونات وضد المراجع البشرية.

النتائج الرئيسية

1. الملفات الوظيفية المتميزة للانتباه مقابل الشبكة العصبية الأمامية (FFN): تنتج الآفات في آليات الانتباه والشبكات العصبية الأمامية أنماط أعراض تختلف بشكل منهجي.

   • آفات الشبكة العنية الأمامية (FFN): تدفع المخرجات نحو محتوى غامض ("المعنى غير واضح")، أو سلاسل قصيرة أو نمطية، أو استجابات خارجة عن الموضوع، أو حلقات تكرار. وتزيد بشكل غير متناسب من الأعراض في الفئات الدلالية وفئة "أخرى".
   • آفات الانتباه: تضعف بشكل غير متناسب الجوانب الصوتية والطلاقة (مثل الزلات الصوتية أو الكلام المتقطع).
   • البنية الفرعية: ضمن آلية الانتباه، تشكل مصفوفات Q/K و V/O مجموعتين متميزتين ذات تأثيرات متشابهة. وضمن الـ FFN، تسبب آفات المصفوفة (Down) أعلى عبء للأعراض، بينما تؤدي آفات البوابة (Gate) غالباً إلى تقليص المخرجات إلى علامات ترقيم فقط أو كلمات وظيفية مكررة.

2. توطين الأعراض بناءً على العمق: تشكل الطبقة التي تحدث فيها الآفة شكل ملف الأعراض بشكل كبير.

   • الطبقات المبكرة: تسبب الآفات في الطبقات المبكرة عجزاً دلالياً ونحوياً بشكل غير متناسب.
   • الطبقات المتأخرة-المتوسطة: تؤدي الآفات في الطبقات المتأخرة إلى معدلات أعلى من العجز الصوتي والطلاقة.
   • الضرورة مقابل المحتوى: يتعارض هذا مع دراسات فك تشفير الدماغ التي تجد غالباً توافقاً في الطبقات المتوسطة إلى المتأخرة؛ هنا، تبدو الطبقات المبكرة ضرورية بنيوياً للوظيفة الأساسية، بينما تتعامل الطبقات المتأخرة مع التحسينات الأكثر دقة.

3. التباعد عن الحبسة البشرية: بينما تنتج بعض آفات النماذج اللغوية ملفات أعراض أقرب وصفياً إلى أنواع فرعية معينة من الحبسة البشرية من غيرها، إلا أن هناك اختلافات نوعية جوهرية:

   • تركيبة الأعراض: يظهر البشر معدلات أعلى من الأعراض الدلالية والنحوية، بينما تنتج النماذج اللغية المصابة بآفات أعراضاً بكثرة في فئة "أخرى" (حلقات التكرار، النصوص الخارجة عن الموضوع).
   • عبء الأعراض: يظهر البشر عموماً عبئاً إجمالياً للأعراض أعلى من النماذج اللغوية المصابة بآفات.
   • التعايش (Co-occurrence): تظهر الحبسة البشرية أنماط تعايش كثيفة للأعراض (مثل المتلازمات المحددة)، بينما تظهر النماذج اللغية هياكل تعايش أقل وضوحاً.
   • الاستنتاج: تجد الورقة أنه رغم وجود بعض البنية المشتركة، فإن التنظيم الوظيفي الناشئ لنماذج الـ Transformer يختلف نوعياً عن الدماغ البشري. تبدو أعراض الحبسة كخصائص مشروطة بتفاصيل التعلم والمعالجة الخاصة بالدماغ البشري، وليست نتيجة ثابتة للمجال ناتجة عن تعطيل المعالجة اللغوية.

الأهمية والادعاءات
تقدم الورقة أربعة مساهمات رئيسية:

1. إثبات المفهوم: تؤسس "علم نفس عصبي" للنماذج اللغوية باستخدام (TAB) لتوصيف أنماط الفشل التفصيلية بدلاً من الاعتماد على التسميات التشخيصية الفضفاضة.
2. التمايز الوظيفي: تحدد الاختلافات الوظيفية الموثوقة بين آليات الانتباه والشبكة العصبية الأمامية عبر بنيات نماذج متعددة.
3. تأثيرات العمق: تكشف أن العجز الدلالي والنحوي يتمركز بشكل موثوق في الطبقات المبكرة، بينما تظهر العيوب الصوتية والطلاقة في الطبقات المتأخرة.
4. الدقة حول التقارب: تصحح الادعاءات السابقة حول التقارب بين الحبسة البشرية والنموذج اللغوي. فبينما توجد بعض التشابهات السطحية، تجادل الورقة بأن أنماط الأعراض التفصيلية تشير إلى أن متلازمات الحبسة البشرية ليست متأصلة في بنية اللغة نفسها، بل هي خاصة بالتنفيذ البيولوجي لمعالجة اللغة.

يصرح المؤلفون صراحةً بأنهم لا يدعون أن النماذج اللغوية تمتلك حبسة سريرية. بدلاً من ذلك، يستخدمون الإطار السريري كنظام إحداثي لدراسة الوظيفة الناشئة. وتشير النتائج إلى أنه بينما يمكن لآفات النماذج اللغية أن تنتج حالات فشل مفهومة سريرياً، فإن التنظيم الأساسي يختلف عن الدماغ البشري، مما يحذر من المساواة المباشرة بين مكونات الـ Transformer ومناطق الدماغ البشري.