Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport

إليك ملخص تقني مفصل لورقة البحث بعنوان "المحاذاة التمثيلية عبر طبقات النماذج ومناطق الدماغ باستخدام النقل الأمثل متعدد المستويات" (ICLR 2026).

1. بيان المشكلة

تعتمد الطرق الحالية لمقارنة التمثيلات العصبية (سواء بين الشبكات العصبية الاصطناعية أو بين نماذج الذكاء الاصطناعي والدماغ البشري) على المطابقة الجشعة لكل زوج من الطبقات (pairwise layer-wise matching). في هذا النهج القياسي، يتم مطابقة كل طبقة في الشبكة المصدر بشكل مستقل مع الطبقة "الأفضل" في الشبكة الهدف بناءً على مقياس تشابه (مثل RSA أو CKA أو القدرة التنبؤية الخطية).

حدد المؤلفون ثلاث عيوب جوهرية في هذا النموذج:

1. الارتباط الصارم واحد لواحد (One-to-One): يفشل هذا النهج عندما تكون للشبكات أعماق مختلفة ($L \neq M$) أو عندما تتوزع الميزات في طبقة واحدة عبر طبقات متعددة في شبكة أخرى.
2. عدم التماثل والافتقار إلى الاتساق العالمي: تتم عملية المطابقة بشكل مستقل لكل طبقة، مما يتجاهل بنية التنشيط العالمية. يؤدي هذا إلى نتائج غير متماثلة (المطابقة من $A \to B$ تختلف عن $B \to A$) ولا يوفر درجة موحدة واحدة لمحاذاة الشبكة بأكملها.
3. الحساسية للضجيج: من خلال تحسين المطابقات محلياً، تخاطر هذه الطرق بالإفراط في التناسب (overfitting) مع الضجيج في الطبقات الفردية، وتفشل في التقاط مبادئ التنظيم الهرمي (مثل مطابقة الطبقات المبكرة بالطبقات المبكرة).

2. المنهجية: النقل الأمثل متعدد المستويات (MOT)

تقترح الورقة النقل الأمثل متعدد المستويات (Multi-Level Optimal Transport - MOT)، وهو إطار عمل موحد يستنتج بشكل مشترك علاقات اقتران ناعمة ومتسقة عالمياً على مستويين: من عصبون إلى عصبون ومن طبقة إلى طبقة.

أ. الإطار الأساسي

يعمل MOT عن طريق حل مشكلة نقل أمثل (OT) هرمية:

1. المستوى الداخلي (نقل من عصبون إلى عصبون):

   • لكل زوج مرشح من الطبقات $(\ell, m)$، يحسب MOT مصفوفة اقتران ناعمة $Q_{\ell m}$.
   • يتم ذلك عن طريق تقليل تكلفة النقل بين ملفات الضبط (tuning profiles) للعصبونات في الطبقة $\ell$ والطبقة $m$ (باستخدام مقياس عدم تشابه مثل مسافة الارتباط).
   • على عكس طرق التبديل الصلبة (hard permutation)، تسمح $Q_{\ell m}$ للعصبونات في طبقة ما بالارتباط بـ مزيج من العصبونات في طبقة أخرى، مما يعالج اختلاف عرض الطبقات.

2. المستوى الخارجي (نقل من طبقة إلى طبقة):

   • تشكل التكاليف الداخلية مصفوفة تكلفة على مستوى الطبقة $C \in \mathbb{R}^{L \times M}$.
   • يحل MOT مشكلة OT ثانية لإيجاد مصفوفة اقتران طبقات عالمية $P \in \mathbb{R}^{L \times M}$.
   • القيود: تُضبط المشكلة بواسطة متعدد طيات النقل (transportation polytope) حيث:
     • توزع كل طبقة مصدر بالضبط 100% من "كتلتها" التمثيلية عبر الطبقات المستهدفة.
     • يتم موازنة إجمالي الكتلة المستلمة من قبل كل طبقة مستهدفة.
   • النتيجة: بدلاً من فرض مطابقة صلبة $1:1$، تمثل $P_{\ell m}$ كسر التمثيل الذي تفسره الطبقة $\ell$ بواسطة الطبقة $m$. وهذا يعالج طبيعياً عدم تطابق العمق (على سبيل المثال، توزيع طبقة ضحلة واحدة لكتلتها عبر ثلاث طبقات عميقة).

3. إعادة البناء والتقييم:

   • يتم تقييم جودة المحاذاة عن طريق إعادة بناء تنشيطات الطبقة المصدر ($\hat{X}_\ell$) باستخدام الطبقات المستهدفة الموزونة بـ $P$ و $Q$.
   • الدرجة العالمية هي متوسط الارتباط بين التنشيطات الأصلية والمعاد بناؤها على بيانات خارج مجموعة التدريب.

ب. الامتداد الثابت تحت الدوران (MOT + R)

بما أن العديد من التمثيلات العصبية (خاصة في نماذج Vision Transformers) ثابتة تجاه دوران القواعد (basis rotations)، فقد قدم المؤلفون MOT + R.

• يقدم هذا المتغير مصفوفات دوران متعامدة $R_{\ell m}$ لكل زوج من الطبقات.
• يقوم بتقليل خطأ إعادة البناء $\|X_\ell R_{\ell m} - Y_m Q_{\ell m}^\top\|_F^2$ عبر التقليل المتناوب (تحديث $Q$ و $R$ بشكل تكراري).
• يضمن هذا التقاط التكافؤات الهندسية حتى لو اختلفت قواعد الإحداثيات.

ج. MOT ثلاثي المستويات (مسارات التدريب)

تم توسيع الإطار إلى MOT ثلاثي المستويات لمحاذاة مسارات التدريب. يضيف ذلك مشكلة OT على مستوى نقطة التحقق (checkpoint-level) فوق مشكلة مستوى الطبقة، مما يسمح بمحاذاة نموذجين عبر تاريخ تدريبهما الكامل، وليس فقط عند لحظة زمنية واحدة.

3. المساهمات الرئيسية

1. إطار نظري: طريقة محاذاة عالمية مبدئية تنتج تعيينات متسقة عالمياً ومتماثلة مع درجة واحدة للشبكة، مما يتجنب عيوب التحسين المحلي الجشع.
2. معالجة عدم تطابق العمق: من خلال السماح بخرائط ناعمة (متعدد لمتعدد)، تقوم MOT بمحاذاة الشبكات ذات الأعماق المختلفة دون فرض ارتباطات صلبة $1:1$ غير مناسبة.
3. الثبات تحت الدوران: يلتقط امتداد MOT + R التشابهات الهندسية في الفضاءات المدارة، وهو أمر بالغ الأهمية لبنى الـ Transformers.
4. البنية الهرمية الناشئة: دون قيود صريحة، تستعيد MOT بشكل طبيعي التنظيم الهرمي (مبكر-إلى-مبكر، عميق-إلى-عميق) وتكشف كيف تقوم الشبكات الأعمق بتفكيك الحسابات التي تضغطها الشبكات الأقل عمقاً في طبقات واحدة.
5. إثبات المفهوم للمسارات: أظهر القدرة على محاذاة مسارات التدريب بأكملها، مما كشف عن ارتباطات نقاط التحقق التي فاتتها الطرق القياسية.

4. النتائج التجريبية

قيم المؤلفون MOT عبر ثلاثة مجالات:

• النماذج اللغوية الكبيرة (LLMs):

  • الإعداد: قارن بين نموذجي LLaMA-3.2 و Qwen-2.5 بأحجام مختلفة.
  • النتيجة: حققت MOT درجات إعادة بناء أعلى بكثير من النماذج المرجعية الزوجية.
  • الاستنتاج: كشفت MOT عن خطط نقل قطرية سلسة (مبكر $\leftarrow$ مبكر). وأظهرت أن طبقة واحدة في نموذج أصغر توزع كتلتها عبر عدة طبقات متتالية في نموذج أكبر، مما يعكس عملية صقل الميزات.

• القشرة البصرية البشرية (fMRI):

  • الإعداد: محاذاة استجابات fMRI لأربعة أشخاص يشاهدون مشاهد طبيعية (مناطق V1–V4).
  • النتيجة: حققت MOT درجات إعادة بناء مماثلة للنقل الزوجي (pairwise OT) ولكن مع ارتباطات مهيكلة من منطقة إلى أخرى (مثل محاذاة V1 مع V1) والتي فشلت الطرق الزوجية في استعادتها.
  • الأهمية: يثبت أن المحاذاة العالمية تلتقط التماثل البيولوجي بشكل أفضل من المطابقة المحلية.

• نماذج الرؤية (Vision Transformers):

  • الإعداد: مقارنة نماذج DINOv2 و ViT-MAE.
  • النتيجة: أظهرت MOT التقليدية نتائج مختلطة بسبب الحساسية للدوران. ومع ذلك، تفوق MOT + R بشكل كبير على جميع النماذج المرجعية (بما في ذلك pairwise + R)، محققاً دقة إعادة بناء أعلى ومحاذاة هرمية واضحة.
  • الاستنتاج: الثبات تحت الدوران أمر بالغ الأهمية لمحاذاة تمثيلات الـ Transformer.

• مسارات التدريب:

  • الإعداد: محاذاة نماذج Pythia-14M عبر 154 نقطة تحقق.
  • النتيجة: كشف MOT ثلاثي المستويات عن ارتباط قطري متماسك بين نقاط تحقق التدريب لبذور (seeds) مختلفة، بينما أنتجت المطابقة الزوجية خرائط ضوضائية وغير مهيكلة.

5. الأهمية والخاتمة

تعالج هذه الورقة فجوة حرجة في تحليل التمثيل: عدم القدرة على مقارنة الشبكات ذات البنى أو الأعماق المختلفة بطريقة متسقة عالمياً.

• القابلية للتفسير: يوفر MOT "خطة نقل ناعمة" هي أكثر قابلية للتفسير من مجرد قائمة بأفضل الطبقات المتطابقة. فهو يكشف كيف تتوزع التمثيلات عبر العمق، مما يقدم رؤى جديدة حول كيفية تأثير العمق على تعلم الميزات.
• الشمولية: تعمل الطريقة عبر النماذج الاصطناعية (LLMs, ViTs) والبيانات البيولوجية (fMRI)، مما يشير إلى وجود مبدأ عالمي للمحاذاة التمثيلية.
• التأثير المستقبلي: من خلال توفير أساس قياس صارم للمحاذاة، تمكن MOT الأبحاث المستقبلية في لماذا تتقارب الأنظمة المختلفة نحو تمثيلات متشابهة (مثل اختبار "فرضية التمثيل الأفلاطوني" أو "مبدأ التباين العكسي").

باخت-صار، تستبدل MOT الرؤية المحلية الجشعة لمقارنة الشبكات بمنظور نقل أمثل عالمي، مما يتيح مقارنات أغنى وأكثر قوة وملاءمة بيولوجياً للأنظمة العصبية.