Beyond next-word prediction: hierarchical linguistic composition drives LLM-brain alignment in time

ملخص تقني: ما وراء التنبؤ بالكلمة التالية

بيان المشكلة
لوحظ أن التمثيلات الداخلية للنماذج اللغوية الكبيرة (LLMs) ترتبط بالنشاط العصبي البشري أثناء فهم اللغة. ومع ذلك، لا تزال الآلية الكامنة وراء هذا "التوافق بين النموذج اللغوي والدماغ" محل نقاش. تشير إحدى الفرضيات السائدة إلى أن هذا التوافق ينبع مجرد من الحساسية المشتركة للأنماط الإحصائية (مثل القدرة على التنبؤ) المتأصلة في كلا النظامين. أما وجهة النظر البديلة، فتقترح أن هذا التوافق يعكس ظهور تمثيلات لغوية مهيكلة ومشتركة. تبحث هذه الدراسة فيما إذا كان التركيب اللغوي الهرمي —وهي خاصية تُعتبر أساسية في اللغة البشرية— هو المحرك المحدد لهذا التوافق، بشكل مستقل عن مجرد القدرة الإحصائية على التنبؤ.

المنهجية
لفصل البنية اللغوية عن العوامل الإحصائية، استخدم المؤلفون تصميماً تجريبياً محكماً يتضمن كلاً من نموذج لغوي كبير (GPT2-XL) ومشاركين بشريين:

• تلاعب بالمثيرات: تم التلاعب بالجمل الإنجليزية بشكل منهجي عبر ثلاثة أبعاد لغوية: النحو (Syntax)، والدلالات التركيبية (Compositional Semantics)، والدلالات الترابطية (Associative Semantics).
• مطابقة القدرة على التنبؤ: من الناحية الجوهرية، تمت مطابقة المثيرات التي تم التلاعب بها لغوياً من حيث القدرة على التنبؤ. يتيح هذا الضبط للباحثين عزل آثار البنية اللغوية عن آثار الاحتمالية الإحصائية.
• جمع البيانات: خضع المشاركون البشريون لتجربة تخطيط كهربائية الدماغ (EEG) أثناء معالجة هذه الجمل. وفي الوقت نفسه، تم استخراج التضمينات السياقية (Contextual Embeddings) كلمة بكلمة من الطبقات الخفية لنموذج GPT2-XL.
• التحليل: استخدمت الدراسة نموذج ترميز خطي لحساب درجات التوافق بين النموذج اللغوي وتخطيط كهربائية الدماغ (LLM-EEG). ومن خلال مقارنة هذه الدرجات عبر الظروف المتطابقة في القدرة على التنبؤ، قيم المؤلفون كيف تعدل التلاعبات اللغوية المحددة هذا التوافق بين نشاط الدماغ البشري وتمثيلات النموذج.

المساهمات والنتائج الرئيسية
تحدد الدراسة ثلاثة أنماط متميزة فيما يتعلق بكيفية تعديل السمات اللغوية للتوافق بين النموذج اللغي والدماغ، مما يثبت أن هذه الآثار تحدث بما يتجاوز القدرة على التنبؤ:

1. البنية النحوية: يزداد التوافق في تسلسلات الكلمات التي تمتلك بنية نحوية، مما يشير إلى أن كلاً من النموذج اللغوي والدماغ البشري يشفران الهرم النحوي بطريقة متقاربة.
2. الدلالات التركيبية: ينخفض التوافق في الجمل التي تتضمن دلالات تركيبية. ويشير هذا إلى أن ترميز المعنى التركيبي هو أمر فريد أكثر للدماغ البشري وأقل اشتراكاً مع التمثيلات الداخلية للنموذج اللغوي.
3. الدلالات الترابطية: لا يعدل هذا البعد التوافق بشكل ملحوظ، مما يعني أن المعلومات الدلالية الترابطية يتم ترميزها بشكل متشابه بواسطة كل من النموذج اللغوي والدماغ البشري.

الأهمية
تزعم الورقة أن التركيب اللغوي الهرمي هو عامل حاسم يدفع التوافق بين النموذج اللغوي والدماغ، مما يتحدى الرأي القائل بأن التوافق هو مجرد نتاج ثانوي لمطابقة الأنماط الإحصائية. تشير النتائج إلى وجود تباين دقيق في كيفية معالجة هذين النظامين للغة: فبينما يتشارك النموذجان في تمثيلات الدلالات الترابطية وجوانب معينة من البنية النحوية، يمتلك الدماغ البشري قدرة متميزة على ترميز الدلالات التركيبية لا تنعكس بشكل كامل في نموذج GPT2-XL. يقدم هذا العمل دليلاً تجريبياً على أن التوافق بين النموذج اللغوي والدماغ مدفوع بخصائص لغوية محددة وليس بمجرد التواجد الإحصائي المشترك.