Brain-LLM Alignment Tracks Training Data, Not Typology

ملخص تقني: محاذاة الدماغ والنموذج اللغوي الكبير تتبع بيانات التدريب، لا التصنيف النوعي

بيان المشكلة
بينما تُعد شبكة اللغة في الدماغ البشري عالمية من الناحية التشريحية العصبية عبر 45 لغة، لا يزال مدى محاذاة النماذج اللغوية الكبيرة (LLMs) مع هذه الشبكة عبر اللغات المتنوعة تصنيفياً أمراً غير واضح. لقد أثبتت الأبحاث السابقة وجود محاذاة قوية بين الدماغ والنموذج اللغوي الكبير حصرياً تقريباً باستخدام البيانات الإنجليزية، مما يخلق فجوة معرفية محتملة فيما يتعلق بعالمية هذه التمثيلات. إن أحد المتغيرات المربكة في الأدبيات الحالية هو عدم القدرة على التمييز ما إذا كانت أنماط المحاذاة مدفوعة بـ "ميزة إنجليزية" متأصلة، أو المسافة التصنيفية بين اللغات، أو هيمنة لغات معينة في بيانات تدريب النموذج. علاوة على ذلك، من غير المعروف ما إذا كان التباين عبر اللغات في المحاذاة يتركز في مناطق المعالجة النحوية (Syntactic) أو الدلالية (Semantic)، وهو سؤال له تبعات على نحو النحو البنائي (Construction Grammar - CxG) ونظريات عالمية اللغة.

المنهجية
تستخدم الدراسة بيانات الرنين المغناطيسي الوظيفي (fMRI) لـ 112 مشاركاً يستمعون إلى كتاب "الأمير الصغير" بثلاث لغات: الإنجليزية ($n=49$)، الصينية ($n=35$)، والفرنسية ($n=28$). يستخدم المؤلفون تصميماً تجريبياً منضبطاً يقارن بين سبعة نماذج لغوية كبيرة:

1. مهيمنة للإنجليزية: GPT-2 Medium و LLaMA-2-7B.
2. مهيمنة للصينية: Baichuan2-7B.
3. متعددة اللغات: mBERT، و XLM-R Large، و BLOOM-7B، و Qwen2.5-7B.

من الناحية الجوهرية، تقرن الدراسة بين LLaMA-2-7B و Baichuan2-7B، اللذين يتشاركان في البنية وعدد المعلمات ذاته (7 مليار معلمة، 32 طبقة) ولكنهما يختلفان أساساً في تكوين لغة التدريب (~90% إنجليزية مقابل ~55% صينية).

يتضمن مسار التحليل:

• نماذج الترميز (Encoding Models): انحدار ريدج (Ridge regression) على مستوى الفوكسل (Voxelwise) للتنبؤ بالنشاط العصبي من الحالات الخفية للنموذج اللغوي، مع تطبيع النتائج مقابل سقف الضوضاء بين المشاركين.
• المقاييس التصنيفية (Typological Metrics): حساب المسافة التصنيفية الكمية باستخدام Grambank (195 ميزة قواعدية ثنائية)، مدعومة بـ WALS و lang2vec.

3. تحليل التجزئة (Tokenization Analysis): قياس "خصوبة التجزئة" (عدد الرموز الفرعية لكل كلمة إملائية) لتقييم تأثيرها على ديناميكيات الطبقات.

• الإطار الإحصائي: نماذج التأثيرات المختلطة الخطية (LMM) التي تتحكم في نسبة بيانات التدريب، مع استخدام إعادة أخذ العينات بطريقة Bootstrap العنقودية على مستوى اللغة لمعالجة محدودية درجات الحرية (3 لغات).

المساهمات والنتائج الرئيسية

1. هيمنة لغة التدريب تقود تدرجات المحاذاة:
   النتيجة المركزية هي أن "الميزة الإنجليزية" في المحاذاة بين الدماغ والنموذج اللغوي هي نتاج اصطناعي لتكوين بيانات التدريب، وليست خاصية متأصلة في اللغة الإنجليزية أو الدماغ.

• عكس التدرج: يقوم النموذج المهيمن للصينية (Baichuan2-7B) بعكس تدرج المحاذاة الملاحظ في LLaMA-2-7B. حيث تتوافق Baichuan2 بشكل أفضل مع الأدمغة الصينية ($\tilde{r} = .85$) وأسوأ مع الإنجليزية ($\tilde{r} = .59$)، بينما يظهر LLaMA-2 النمط المعاكس.
• التماثل متعدد اللغات: تُظهر النماذج متعددة اللغات (مثل XLM-R) تماثلاً عالياً عبر اللغات ($\tilde{r} \approx .81-.83$)، مما يشير إلى أن التدريب متعدد اللغات يخلق تمثيلات تتجاوز هيمنة لغة محددة.

2. المسافة التصنيفية الشكلية تتلازم مع المحاذاة:
   بعيداً عن هيمنة التدريب، تتنبأ المسافة التصنيفية الشكلية بشكل مستقل بتدهور المحاذاة.

• في نماذج التأثيرات المختلطة التي تتحكم في نسبة التدريب، ترتبط مسافة Grambank بانخفاض في أداء المحاذاة ($\beta = -0.41$).
• يعامل المؤلفون هذا كنمط وصفي مدعوم جيداً يتطلب التأكيد عبر $\ge10$ لغات نظراً لمحدودية درجات الحرية.

3. خصوبة التجزئة تفسر انزياحات الطبقات:
   تحدد الدراسة انزياحاً نحو اليمين في طبقة الترميز المثلى للغة الصينية (تصل ذروتها عند الطبقة 18 مقارنة بالطبقة 15 للإنجليزية والفرنسية).

• يكشف تحليل خصوبة التجزئة أن الصينية تتطلب عدداً أكبر بكثير من الرموز الفرعية لكل كلمة (2.4 رمز/كلمة لنموذج XLM-R) مقارنة بالإنجليزية (1.4 رمز/كلمة).
• التحكم في الخصوبة يفسر حوالي 60% من هذا الانزياح في الطبقة، مما يشير إلى أن ما يبدو كفرق في المعالجة عبر اللغات هو في الواقع نتاج اصطناعي لعملية التجزئة.

4. التدرجات العصبية النوعية للمناطق (النحو مقابل الدلالة):
   التدرج التصنيفي ليس موحداً عبر الشبكة اللغوية.

• يُظهر التلفيف الجبهي السفلي (IFG)، المرتبط بالمعالجة النحوية، تدرجاً تصنيفياً أكثر حدة بمقدار 2.3 مرة من الفص الصدغي الخلفي (PTL)، المرتبط بالمعالجة المعجمية-الدلالية.
• يشير هذا إلى أن التباين عبر اللغات يتركز في المعالجة الهيكلية/النحوية، بينما تظل التمثيلات الدلالية أكثر عالمية.

الأهمية والادعاءات
يدعي البحث حل جدل "الميزة الإنجليزية" من خلال إثبات أن أنماط المحاذاة مدفوعة بـ هيمنة لغة التدريب. إن التفوق الظاهري للإنجليزية في الدراسات السابقة يعكس هيمنة النماذج الموجهة للإنجليزية وبيانات الرنين المغناطيسي الوظيفي الإنجليزية، وليس علاقة معرفية عصبية خاصة بين الإنجليزية والدماغ.

تدعم النتائج رؤية دقيقة للعالمية: حيث تتقارب المعالجات اللغوية البيولوجية والاصطناعية حول تمثيلات دلالية مشتركة (عالمية عبر اللغات والنماذج) لكنها تتباعد في التمثيلات الهيكلية/النحوية، حيث تلعب المسافة التصنيفية وتوزيع التدريب دوراً حاسماً. تسلط النتائج الضوء أيضاً على أن آثار التجزئة يمكن أن تتنكر في هيئة اختلافات في المعالجة عبر اللغات، مما يستوجب على المجال الإبلاغ عن خصوبة التجزئة جنباً إلى جنب مع نتائج الترميز.

يشير المؤلفون صراحةً إلى أنه بينما يتوافق تدرج الـ IFG/PTL مع نحو البنائي (الذي يفترض التباين في أزواج الشكل-الوظيفة)، فإنه يمكن أيضاً اشتقاقه من نظريات الفصل بين النحو والدلالة العامة أو حسابات التحكم المعرفي. لذلك، يدعي البحث أن النتائج تتوافق مع نحو البنائي (CxG) ولكنها لا تثبته بشكل فريد دون تحليل على مستوى البناء. وبالمثل، يتم تقديم تأثير المسافة التصنيفية كنمط وصفي يتطلب تحققاً واسع النطاق بدلاً من كونه إثباتاً سببياً نهائياً.