Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models
تُظهر هذه الدراسة أنه أثناء تدريب النماذج اللغوية الكبيرة، فإن التنظيم الذاتي للهندسة التمثيلية إلى وحدات منخفضة التعقيد تتميز بانخفاض في الإنتروبيا والانحناء يتنبأ بقوة بالتوافق مع نشاط الدماغ البشري، مما يكشف عن مسارات مكانية-زمانية متميزة عبر المناطق الصدغية والجبهية.
المؤلفون الأصليون:Yixuan Liu, Zhiyuan Ma, Likai Tang, Runmin Gan, Xinche Zhang, Jinhao Li, Chao Xie, Sen Song
تخيل أنك تحاول تعليم روبوت فهم اللغة البشرية. قد تعتقد أن الروبوت يحتاج فقط إلى حفظ المزيد من الكلمات أو تعلم المزيد من القواعد النحوية. لكن العلماء بدأوا يتساءلون: هل يبدأ "دماغ" الروبوت فعلياً في الظهور والعمل مثل الدماغ البشري أثناء تعلمه؟ هذا السؤال يقع عند تقاطع علوم الحاسوب وعلم الأعصاب، وهما مجالان يتحدثان عادةً لغات مختلفة. لفهم هذا، نحتاج إلى النظر في كيفية تخزين المعلومات. فكر في ذاكرة الكمبيوتر ليس كقائمة من الحقائق، بل كمشهد شاسع متعدد الأبعاد. في هذا المشهد، قد تمثل المناطق "المسطحة" أفكاراً بسيطة وواضحة، بينما قد تمثل المناطق "المتعرجة" أو "الملتوية" أفكاراً معقدة أو فوضوية أو مربكة. يطلق العلماء على هذه الأشكال اسم "الهندسة التمثيلية". واللغز الكبير هو: مع تدريب نموذج حاسوبي على ملايين الجمل، هل يصبح مشهله الداخلي أكثر سلاسة ويصبح أكثر شبهاً بمشهد الدماغ البشري؟ إذا حدث ذلك، فهذا يشير إلى أن الطريقة التي يعالج بها البشر اللغة قد تكون قاعدة أساسية للذكاء، وليست مجرد حادث بيولوجي.
تتعمق هذه الورقة البحثية في ذلك السؤال من خلال مراقبة نمو عائلة من نماذج الذكاء الاصطناعي تسمى "Pythia". لم يكتفِ الباحثون بالنظر إلى النماذج المكتملة والمدربة بالكامل؛ بل تصرفوا كعلماء أحياء يسافرون عبر الزمن، حيث راقبوا النماذج في 19 مرحلة مختلفة من تدريبها، من خطواتها الأولى وحتى شكلها النهائي. لقد تتبعوا ميزتين "هندسيين" محددتين لطبقات النماذج الداخلية: الاعتلاج (الإنتروبيا) (مدى انتشار أو فوضوية المعلومات) والانحناء (مدى تعرج أو حدة مسار المعلومات). ثم قارنوا هذه الأشكال المتغيرة بمسوحات الدماغ الحقيقية (fMRI) للبشر أثناء قراءتهم لنفس الجمل.
وجدت الدراسة أنه مع تدريب النماذج، لم تكتفِ طبقاتها بالتحسن في تخمين الكلمة التالية فحسب، بل نظمت نفسها تلقائياً في فريقين متميزين، أو "وحدات". الفريق الأول، وهو وحدة منخفضة التعقيد، أصبح سلساً ومنظماً للغاية، مع اعتلاج وانحناء منخفضين. أما الفريق الآخر، وهو الوحدة عالية التعقيد، فقد ظل متعرجاً وفوضوياً. وهنا يكمن الجزء المثير: الفريق السلس، منخفض التعقيد، كان هو الجزء الذي طابق نشاط الدماغ البشري بشكل أفضل. كان الأمر أشبه باكتشاف أن جزء الروبوت الذي تعلم كيف "يهدأ" وينظم أفكاره هو الجزء الذي فكر بالفعل مثل الإنسان.
ومع ذلك، لم يحدث هذا التوافق في كل مكان وفي وقت واحد. اكتشف الباحثون انقساماً رائعاً بين أجزاء مختلفة من الدماغ. ففي المناطق الصدغية (المناطق القريبة من الأذنين، والمعنية بالسمع ومعنى الكلمات الأساسي)، بدأت طبقات النموذج السلسة ومنخفضة التعقيد في مطابقة الدماغ البشري في وقت مبكر جداً من التدريب واستمرت على هذا النحو. لقد كان إحكاماً سريعاً ومستقراً. ولكن في المناطق الجبهية (مقدمة الدماغ، المعنية بالتخطيط المعقد وبنية الجملة)، كان التطابق متأخراً ومتذبذباً. بدا أن هذه المناطق تنتظر بناء الأساس "السلس" قبل أن تتمكن من الاستقرار، بل وأظهرت أحياناً فترة قصيرة حيث كانت الطبقات "المتعرجة" تتطابق بشكل أفضل قبل أن تتحول أخيراً إلى الطبقات السلسة.
تشير الورقة إلى أن الانحناء (مدى تعرج مسار المعلومات) هو متنبئ رئيسي لهذا التوافق. فمع تدريب النماذج، أصبحت مساراتها الداخلية أكثر سلاسة (انحناء أقل)، وهذا التمهيد تنبأ بقوة بتحسن المطابقة مع نشاط الدماغ البشري. كان هذا التأثير قوياً لدرجة أنه حتى عندما وضع الباحثون في الاعتبار حقيقة أن النموذج أصبح ببساطة أفضل في التدريب بشكل عام، فإن "سلاسة" الهندسة لا تزال مهمة. ومن المثير للاهتمام أن هذه العلاقة أصبحت أكثر وضوحاً وموثوقية في النماذج الأكبر (التي تصل إلى مليار معلمة). في النماذج الأصغر، كانت الإشارة مشوشة قليلاً، ولكن مع كبر حجم النماذج، أصبحت العلاقة بين "الهندسة السلسة" و"نشاط الدماغ الشبيه بالبشري" حقيقة قوية وقابلة للكشف.
باختاً، تجادل الورقة بأن سر جعل النموذج يفكر مثل الإنسان قد لا يكمن فقط في امتلاك المزيد من البيانات، بل في كيفية تنظيم تلك البيانات في أشكال سلسة ومنخفضة التعقيد. إنها تشير إلى أن الدماغ البشري يفضل التمثيلات "السلسة"، ومع تدريب نماذج الذكاء الاصطناعي، فإنها تتطور طبيعياً نحو هذه الحالة، خاصة في أجزاء الدماغ المسؤولة عن فهم المعنى الجوهري للكلمات. وبينما لا تثبت هذه الدراسة أن هذا هو السبب الوحيد لتوافق النماذج مع الأدمغة، إلا أنها تقدم عدسة هندسية جديدة لفهم سبب وكيفية بدء هذه العقول الرقمية في محاكاة عقولنا.
ملخص تقني: النمذجة الوحدوية للهندسة التمثيلية المدفوعة بالتدريب تتنبأ بالتوافق مع الدماغ في النماذج اللغوية
بيان المشكلة
يتمثل التحدي المركزي الذي يعالجه هذا البحث في فهم الآليات التي تتماشى من خلالها النماذج اللغوية الكبيرة (LLMs) مع التمثيل العصبي والحوسبة للغة البشرية. وبينما أثبتت الأبحاث السابقة أن تنشيطات النماذج اللغوية الكبيرة يمكنها التنبؤ باستجابات الرنين المغناطيسي الوظيفي (fMRI) البشرية للمثيرات اللغوية، إلا أن الأسباب الكامنة وراء هذا التوافق لا تزال محل نقاش. تعتمد التفسيرات الحالية غالبًا على سمات لغوية خارجية (النحو، الدلالة) أو الحساسية المشتركة للخصائص الإحصائية منخفضة المستوى، وهو ما قد لا يعكس تماثلاً وظيفياً عميقاً. علاوة على ذلك، تعتمد معظم الدراسات على لقطات ثابتة لنماذج مكتملة التدريب، متجاهلة مسار التطور أثناء التدريب والوحدوية (modularity) الدقيقة التي قد تظهر على مستوى الطبقات. تفترض هذه الدراسة أن الهندسة التمثيلية (تحديداً الإنتروبيا والانحناء) للطبقات هي متغير كامن مشترك، وأن تطورها أثناء التدريب هو ما يقود التوافق مع نشاط الدماغ البشري.
المنهجية
البيانات والنماذج
بيانات الدماغ: استخدمت الدراسة مجموعة بيانات TUCKUTE2024 للرنين المغناطيسي الوظيفي، والتي تضم استجابات عصبية لخمسة مشاركين أثناء القراءة السلبية لـ 1,000 جملة. تم تحليل خمس مناطق اهتمام (ROIs) في الشبكة اللغوية في نصف الكرة المخي الأيسر: IFGorb، وIFG، وMFG، وAntTemp، وPostTemp.
النماذج اللغوية: استخدم المؤلفون مجموعة نماذج Pythia (القائمة على المحولات - Transformer) عبر أربعة أحجام: 70 مليون، 160 مليون، 410 مليون، و1 مليار معلمة (parameter).
ديناميكيات التدريب: غطى التحليل 19 نقطة فحص (checkpoint) موزعة لوغاريتمياً من الخطوة 1 إلى الخطوة 143,000، مما سمح برصد التطور المشترك لتمثيلات النموذج وتقدم التدريب.
المقاييس الهندسية
لكل جملة وطبقة، تم حساب خاصيتين هندسيتين:
الإنتروبيا (E): حُسبت كإنتروبيا "فون نيومان" لمصفوفة "جرام" المعيرة لحالات الرموز الخفية (token hidden states). تشير الإنتروبيا المنخفضة إلى تمثيلات مضغوطة ومنخفضة الرتبة؛ بينما تشير الإنتروبيا العالية إلى حالات موزعة وعالية الأبعاد.
الانحناء (C): عُرِّف بأنه متوسط زاوية الدوران لمسارات الرموز في فضاء التمثيل. يعني الانحناء العالي وجود تغيرات محلية حادة؛ بينما يشير الانحناء المنخفض إلى مسارات أكثر سلاسة واتساقاً على المستوى العالمي.
الإطار التحليلي
النمذجة الوحدوية (Modularization): تم تجميع المسارات الهندسية لكل طبقة (متجهات الإنتروبيا والانحناء عبر نقاط الفحص) باستخدام خوارزمية K-means (K=2) لتحديد وحدات منخفضة التعقيد وعالية التعقيد. تم التحقق من المتانة عبر منهجية "ترك نقطة فحص واحدة خارج الحساب" (LOCO) وإعادة أخذ العينات بطريقة Bootstrap.
التوافق مع الدماغ: قامت نماذج الترميز الخطي (انحدار ريدج مع تقاطع خماسي الطيات) بربط تنشيطات الطبقات بمتوسط استجابات المشاركين في الرنين المغناطيسي الوظيفي. تم قياس التوافق بواسطة معامل ارتباط بيرسون (r).
تحليل الاقتران:
اقتران المسار: الارتباط بين المقاييس الهندسية ودرجات الرنين المغناطيسي الوظيفي عبر مسارات التدريب.
الاقتران الشرطي: نماذج الانحدار ذات التأثيرات الثابتة (fMRI∼Geometry+log(t)+αlayer) لتحديد ما إذا كانت المقاييس الهندسية تتنبأ بدرجات الرنين المغناطيسي بعد التحكم في تقدم التدريب وهوية الطبقة.
تحليل المقياس: تمت مقارنة العلاقة بين الهندسة والتوافق عبر أحجام النماذج المختلفة (من 70 مليون إلى 1 مليار) لتقييم التأثير التثبيتي لسعة النموذج.
النتائج الرئيسية
1. ظهور النمذجة الوحدوية الهندسية
يؤدي التدريب إلى تنظيم ذاتي مستقر للطبقات إلى وحدتين هندسيتين متمايزتين:
وحدة منخفضة التعقيد: تضم الطبقات المتوسطة إلى العليا (مثل الطبقات 4-15 في Pythia-1B)، وتتميز بانخفاض مستمر في الإنتروبيا والانحناء.
وحدة عالية التعقيد: تضم الطبقات الضحلة والمتبقية، وتحافظ على إنتروبيا وانحناء مرتفعين. تظهر هذه النمذجة الوحدوية في منتصف أو أواخر التدريب (الخطوات > 4k) وتظل مستقرة، مع اتساع الفجوة بين المجموعتين مع تقدم التدريب.
2. التباين في التوافق مع الدماغ عبر الوحدات ومناطق الاهتمام (ROIs)
الميزة العالمية: تتفوق وحدة منخفضة التعقيد باستمرار على وحدة عالية التعقيد في التنبؤ باستجابات الرنين المغناطيسي الوظيفي عبر جميع المناطق اللغوية.
التباين المكاني والزماني:
المناطق الزمنية (AntTemp, PostTemp): تظهر ميزة مبكرة (الخطوات ≤ 64) ومستقرة لوحدة منخفضة التعقيد، دون أي علامة على انعكاس الاتجاه.
المناطق الجبهية (IFG, IFGorb): تظهر تمايزاً متأخراً وديناميكياً. ومن الجدير بالذكر أن منطقة IFGorb أظهرت ميلاً مؤقتاً مبكراً نحو الوحدة عالية التعقيد قبل أن تتحول إلى ميزة مستدامة للوحدة منخفضة التعقيد.
منطقة MFG: تظهر أضعف وأقل تخصص وحدة اتساقاً.
3. الانحناء كمؤشر قوي
التطور المشترك: يظهر الانحناء ارتباطاً سلبياً قوياً مع درجات ترميز الرنين المغناطيسي الوظيفي عبر مسار التدريب (مع انخفاض الانحناء، يزداد التوافق).
القدرة التنبؤية الشرطية: حتى بعد التحكم في تقدم التدريب والآثار الثابتة للطبقات، يظل انخفاض الانحناء مؤشراً سلبياً قوياً لدرجات الرنين المغناطيسي في معظم المناطق (AntTemp, IFGorb, PostTemp). في المقابل، تظهر الإنتروبيا تأثيرات شرطية متباينة (إيجابية في بعض المناطق، وغير معنوية في أخرى)، مما يشير إلى علاقة أكثر تعقيداً.
4. تأثير المقياس
التثبيت: تقوى العلاقة بين الهندسة والتوافق مع زيادة حجم النموذج.
قابلية الكشف: في النماذج الأصغر (70 مليون، 160 مليون)، يكون التأثير الشرطي للانحناء ضعيفاً أو غير متسق. أما في النماذج الأكبر (410 مليون، 1 مليار)، فتصبح القدرة التنبؤية السلبية للانحناء ذات دلالة إحصائية ومتسقة عبر جميع مناطق الاهتمام. تعمل النماذج الأكبر كمثبتات، مما يجعل التأثيرات الهندسية الدقيقة قابلة للكشف مقابل ضجيج التدريب.
الأهمية والادعاءات
يدعي البحث أنه وضع الهندسة التمثيلية كظاهرة وسيطة حاسمة تربط ديناميكيات التدريب بالتوافق بين النموذج والدماغ. وتشمل المساهمات الرئيسية ما يلي:
البصيرة الميكانيكية: توضح الدراسة أن التمايز التلقائي للطبقات إلى مجموعات منخفضة وعالية التعقيد هو إعادة تنظيم وظيفي مدفوع بالتعلم، وليس مجرد نتاج معماري.
المعقولية البيولوجية: يشير التفوق المستمر للوحدة منخفضة التعقيد إلى أن الدماغ يفضل التمثيلات المضغوطة في فضاءات (manifolds) منخفضة الأبعاد، مما يسهل عملية القراءة الخطية.
الأدوار الحوسبية المتميزة: يعكس التباين بين مسارات التوافق الزمنية (مستقرة، مبكرة) والجبهية (متأخرة، ديناميكية) المتطلبات الحوسبية المتميزة: المناطق الزمنية تتطلب أكواداً مستقرة ومنخفضة الغموض للاسترجاع، بينما تتطلب المناطق الجبهية أنماط تفاعل مرنة من أجل التوحيد (unification) تستقر في مراحل لاحقة.
الانحناء مقابل الإنتروبيا: يقترح المؤلفون أن الانحناء (سلاسة الفضاء/المانيفولد) هو شرط مسبق عالمي للترجمة الخطية للاستجابات العصبية ("الأكثر تسطحاً هو الأفضل")، بينما تعمل الإنتروبيا كـ "سلاح ذي حدين" يوازن بين الضغط والسعة، مما يؤدي إلى علاقات غير رتيبة مع التوافق.
دور المقياس: تم تحديد مقياس النموذج ليس فقط كمعزز للأداء، بل كمثبت يكشف عن الرابط الميكانيكي الأساسي بين بنية الفضاء (manifold structure) والترميز العصبي، مما يجعل الاقتران بين الهندسة والتوافق قابلاً للكشف فقط في النماذج الكبيرة بما يكفي.
تخلص الدراسة إلى أن النمذجة الوحدوية المدفوعة بالتدريب توفر عدسة مكملة للمنظورات اللغوية التقليدية لفهم آليات التوافق بين النموذج والدماغ، مما يشير إلى أن تنعيم التمثيل يسهل المعالجة اللغوية الشبيهة بالمعالجة العصبية.