ملخص تقني: MapFormers

بيان المشكلة

تظهر أنظمة الذكاء الاصطناعي الحالية القائمة على المحولات (Transformers)، رغم أدائها المثير للإعجاب في المهام المتوافقة مع التوزيع (in-distribution)، هشاشة ملحوظة عند مواجهة سيناريوهات خارج التوزيع (OOD). فهي غالبًا ما تفشل في التعميم على المواقف الجديدة التي يتعامل معها البشر والحيوانات بسهولة. ويعزو المؤلفون هذه الفجوة إلى نقص التحيزات الهيكلية التي تسمح للأدمغة البيولوجية ببناء خرائط معرفية (cognitive maps): وهي نماذج داخلية تفك الارتباط بين البنية المجردة والثابتة للبيئة وبين محتواها المحدد والمتغير.

تعاني المحاولات الحالية لنمذجة الخرائط المعرفية، مثل آلة تولمان-إيتشنباوم (TEM) التي تستخدم مصفوفات تعتمد على الأفعال في الشبكات العصبية المتكررة (RNNs)، من مشكلتين حرجتين:

1. عدم القابلية للتوسع: تتطلب ضرب المصفوفات المتسلسل لتحديث المواقع، مما يمنع المعالجة المتوازية.
2. الأفعال المحددة مسبقًا: غالبًا ما تتطلب أن تكون مجموعة الأفعال (مثل الاتجاهات الأصلية) محددة برمجياً بدلاً من تعلمها من البيانات.

علاوة على ذلك، فإن الترميزات الموضعية القياسية (مثل RoPE) هي ترميزات ثابتة أو تعتمد على استدلالات لا تدعم التكوين الديناميكي للأفعال المطلوب لعملية التكامل المساري (path integration) في البيئات غير المعروفة.

المنهجية

يقدم البحث فئة من معماريات المحولات تسمى MapFormers، وهي مصممة لتعلم الخرائط المعرفية والقيام بالتكامل المساري عبر التنبؤ بالرمز التالي (next-token prediction) دون إشراف. يكمن الابتكار الجوهري في استخدام مصفوفات تعتمد على المدخلات لتحديث الترميزات الموضعية، والمستمدة من نظرية زمر لي (Lie-group theory).

الإطار النظري

• صيغة زمرة لي (Lie-Group Formalism): ينمذج المؤلفون الأفعال كعناصر في زمرة لي (تحديداً الزمر المتراصة مثل $SO(2)$ للدوران). بدلاً من تعلم مصفوفة منفصلة لكل فعل ممكن، يتعلم النموذج مولدات جبر لي (Lie-algebra generators).
• التكامل المساري عبر الخرائط الأسية (Exponential Maps): يتم تمثيل الأفعال كمولدات متناهية الصغر في جبر لي. ويتم إجراء التكامل المساري (تركيب تسلسل من الأفعال) عن طريق جمع هذه المولدات في الجبر (التراكم الخطي)، ثم تطبيق خريطة أسية واحدة للحصول على التحويل النهائي في زمرة لي.
  • بالنسبة للخرائط التبادلية (مثل التنقل في شبكة ثنائية الأبعاد)، يسمح هذا بإجراء التكامل المساري بالتوازي عبر الجمع التراكمي، يليه عملية أسية مصفوفة واحدة.
  • يقلل هذا النهج من التحيز الاستقرائي من عدد الأفعال إلى التعقيد الهيكلي للجبر.

المتغيرات المعمارية

يقترح البحث متغيرين من MapFormers، يوحدان بين الترميز الموضعي المطلق والنسبي مع نماذج ذاكرة متميزة:

1. MapEM (الذاكرة العرضية - Episodic Memory):

   • يستخدم تضمينات موضعية مطلقة لتمثيل الخريطة المعرفية.
   • يفك الارتباط بين المحتوى (الملاحظات) والبنية (الموقع) إلى مجموعات عصبية منفصلة.
   • يحسب الانتباه على حاصل الضرب بين المحتوى والموقع ($Q_G = \text{vec}(Q^T \cdot P)$)، مما يعمل فعلياً كقناع انتباه حيث تُحدث ترميزات الموقع بشكل مستقل عن المحتوى.
   • مناسب للمهام التي تتطلب استدعاءً قوياً لحالات محددة.

2. MapWM (ذاكرة العمل - Working Memory):

   • يستخدم ترميزاً موضعياً نسبياً (مشابه لـ RoPE ولكنه ديناميكي).
   • يمثل البنية ضمنياً عن طريق تدوير النشاط العصبي (المفاتيح والاستعلامات) إلى فضاءات فرعية متميزة عبر مصفوفات دوران تعتمد على المدخلات ($R_{\theta PI}$).
   • يتم اشتقاق زاوية الدوران $\theta$ من إسقاط منخفض الرتبة لرمز المدخلات، مما يسمح للنموذج بتعلم أي الرموز تعمل كأفعال (لتحديث الموقع) وأيها تعمل كملاحظات (لترك الموقع دون تغيير).

آلية الاعتماد على المدخلات

تستخدم كلتا المعماريتين إسقاطاً من مرحلتين لتحديد "مدة التكامل" ($\Delta_t$) لكل رمز:

1. الإسقاط الداخلي: يربط رمز المدخل إلى تمثيل فعل منخفض الأبعاد.
2. الإسقاط الخارجي: يسقط هذا التمثيل إلى مدة تكامل لكل كتلة (per-block).
   الزاوية النهائية للدوران هي $\theta_t = \omega \odot \Delta_t$، حيث $\omega$ هو متجه سرعة زاوية قابل للتعلم. ويتم حساب التكامل المساري عبر الجمع التراكمي لهذه الزوايا ($\theta_{0 \to t} = \text{cumsum}(\theta_t)$).

المساهمات الرئيسية

1. معمارية MapFormers: متغير جديد من المحولات يتعلم الخرائط المعرفية عبر فك الارتباط بين البنية والمحتوى باستخدام ترميزات موضعية تعتمد على المدخلات مستمدة من مولدات جبر لي.
2. التكامل المساري المتوازي: من خلال الاستفادة من زمر لي التبادلية (مثل $SO(2)^k$)، تحقق نماذج MapFormers تكاملاً مسارياً متوازياً، مما يتجاوز عنق الزجاجة التسلسلي لنماذج الخرائط المعرفية السابقة القائمة على RNN.
3. توحيد نماذج الذاكرة: يقدم العمل رابطاً نظرياً بين الترميز الموضعي المطلق والنسبي وبين الذاكرة العرضية وذاكرة العمل، موضحاً كيف يمكن اشتقاق كليهما من نفس المبادئ القائمة على نظرية زمر لي.
4. القابلية للتوسع إلى الخرائط غير التبادلية: تم توسيع الإطار ليشمل المشكلات غير التبادلية (مثل أشجار العائلة) باستخدام مولدات متعددة، رغم أن هذا يتطلب تكاملاً مسارياً تسلسلياً.

النتائج التجريبية

قام المؤلفون بتقييم MapFormers في ثلاث مهام رسمية تستهدف قدرات معرفية متميزة:

1. النسخ الانتقائي (البوابات - Gating):

   • المهمة: نسخ تسلسل مع تجاهل الرموز المشتتة.
   • النتيجة: حققت MapFormers (كلا النوعين EM و WM) تعميماً مثالياً خارج التوزيع (OOD)، بينما فشلت النماذج المرجعية القياسية (RoPE, TAPE). يثبت هذا القدرة على تعلم آليات بوابات ديناميكية.

2. التنقل في الشبكة (1D و 2D):

   • المهمة: التنبؤ بالملاحظات في تسلسل من الأفعال والملاحظات العشوائية المتناوبة، مما يتطلب من النموذج استنتاج الطوبولوجيا الكامنة وإجراء التكامل المساري للموقع.
   • النتيجة: حققت MapFormers دقة تقارب الكمال في تسلسلات OOD (بأطوال وكثافات متغيرة)، بينما فشلت النماذج المرجعية (بما في ذلك CoPE و PathAtt) في التعميم.
   • التحليل العصبي: تعلمت النماذج إسقاط رموز الملاحظات إلى دوران صفري (الهوية) ورموز الأفعال إلى اتجاهات دوران محددة، مما أدى فعلياً إلى فك الارتباط بين المحتوى والبنية.

3. Dyck-2 (التسلسلات الهرمية المتداخلة):

   • المهمة: التنبؤ بالتكملات الصالحة لتسلسلات الأقواس، مما يتطلب تتبع مكدس (stack).
   • النتيجة: عممت MapFormers بشكل مثالي على تسلسلات أطول وأعمق مما رأته في التدريب باستخدام طبقة واحدة فقط. تطلبت النماذج المرجعية طبقات متعددة ومع ذلك فشلت في بيانات OOD.
   • الآلية: قامت النماذج بتضمين المكدس مباشرة في الترميز الموضعي باستخدام أبعاد متعامدة لأنواع الأقواس المختلفة واتجاهات متضادة للأقواس المفتوحة والمغلقة.

4. توسع اللغة الطبيعية:

   • المهمة: التدريب المسبق على OpenWebText.
   • النتيجة: أظهر نموذج MapWM المكون من 12 طبقة تحسناً مستمراً في الـ Perplexity مقارنة بـ RoPE ($18.79$مقابل$19.14$) وتحسيناً أفضل في استقراء الطول (length extrapolation). ومع ذلك، في اختبار BLIMP النحوي، لم تظهر MapWM مكاسب كبيرة مقارنة بـ RoPE، مما يشير إلى أن التكامل المساري التبادلي وحده قد لا يكون كافياً لنمذجة جميع البنى النحوية.

الأهمية والادعاءات

يزعم البحث أن MapFormers توفر تحيزاً هيكلياً حرجاً يتيح التعميم المنهجي خارج التوزيع (OOD) عبر التقاط البنى الكامنة عبر التكامل المساري بدلاً من الاعتماد على الاستدلالات.

• المتانة: تظهر النماذج أن فك الارتباط بين العلاقات المجردة والمحتوى يسمح بتعميم قوي على أطوال التسلسل، وعمقها، وكثافة البيئات غير المرئية.
• القابلية للتوسع: يتيح استخدام الحساب المتوازي على الخرائط التبادلية تطبيق هذه المبادئ على نطاق واسع في المجالات الواقعية، كما هو موضح في نتائج اللغة الطبيعية.
• الملاءمة البيولوجية: يجسّر هذا النهج الفجوة بين الخرائط المعرفية البيولوجية (التي تفصل "ماذا" عن "أين") وبين التعلم العميق الحديث، مما يوفر مساراً لأنظمة ذكاء اصطناي يمكنها التفكير عبر مشكلات جديدة من خلال فهم الهندسة الكامنة لبيئتها.

ظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن التكامل المساري غير التبادلي ليس قابلاً للتوازي، وأن القيد التبادلي الحالي قد يحد من نمذجة بعض البنى النحوية المعقدة في اللغة. واقترحوا أن العمل المستقبلي يمكن أن يستكشف معماريات هجينة أو توسعات غير تبادلية للتعامل مع الاستدلالات العلاقاتية الأكثر تعقيداً.