ملخص تقني: امنحها مساحة! فك الارتباط الصريح بين التمثيلات الموضعية والدلالية في أجهزة الترميز (Encoders)

بيان المشكلة

يعد الترميز الموضعي (Positional Encoding - PE) أمراً جوهرياً لكيفية تمثيل الترتيب التسلسلي في نماذج المحولات (Transformers) التي لا تبالي بالتبديل، ومع ذلك، فإن الآليات الداخلية لكيفية معالجة وتخزين المعلومات الموضعية تظل غير مفهومة بشكل كافٍ. غالباً ما تعاني الأساليب الحديثة، ولا سيما أساليب الترميز الموضعي النسبي (RPE) مثل الترميز الموضعي الدوراني (RoPE)، في فهم السياق الطويل ومهام الاسترجاع. علاوة على على ذلك، تعتمد أساليب RPE الحالية على استدلالات (مثل الاضمحلال طويل الأمد) قد تخلق تحيزات موضعية وتعيق الأداء. وبينما تشير الأدلة إلى أن الإشارات الموضعية والدلالية تشغل فضاءات فرعية شبه متعامدة في نماذج المحولات المدربة، فإن البنى القياسية تدمج هذه الإشارات، مما يجعل من الصعب عزل أدوارها المحددة أو تحسينها بشكل مستقل. ويفترض المؤلفون أن الفصل الصريح بين هذه التدفقات يمكن أن يوفر رؤى ميكانيكية ويؤدي إلى تمثيلات موضعية أفضل.

المنهجية

يقترح المؤلفون بنية مبتكرة، DSTG-NeoBERT، والتي تفك الارتباط صراحةً بين ثلاثة تدفقات معلوماتية: الدلالية (Semantic)، الموضعية المطلقة (AP)، والموضعية النسبية (RP).

التعديلات الهيكلية

بناءً على بنية NeoBERT، يعالج النموذج هذه التدفقات من خلال تعديلات متميزة:

1. التمثيلات المدخلة: يتم تمثيل كل رمز (token) عبر تضمينين منفصلين: تضمين AP بأبعاد $d_{AP}$ وتضمين دلالي بأبعاد $d_{sem}$. الحجم الخفي الإجمالي هو $d_{model} = d_{AP} + d_{sem}$.
2. آلية الانتباه (Attention Mechanism):
   • يتم حساب الاستعلامات (Queries) والمفات keys (Keys) بشكل مستقل لكل تدفق داخل كل رأس انتباه.
   • يكون لوغاريتم الانتباه (attention logit) هو مجموع انحياز الموضعية النسبية (RP)، ووزن الانتباه الدلالي، ووزن انتباه AP.
   • يتم حساب القيم (Values) بشكل منفصل لكل تدفق وتظل في فضاءاتها الخاصة.
   • يعد اختيار التصميم الرئيسي هو إسقاط كلا التدفقين إلى نفس حجم الرأس لضمان مطابقة التباين، مما يمنع الفضاء عالي الأبعاد من الهيمنة.
3. تطبيع الطبقة (Layer Normalization): يتم تطبيق طبقات RMSNorm منفصلة على تضمينات AP والتضمينات الدلالية قبل وبعد الانتباه لتجنب الاعتماد المتبادل.
4. شبكة التغذية الأمامية (SwiGLU): يتم دمج التضمينات الدلالية والموضعية وإسقاطهما في مساحة خفية. ومن الأهمية بمكان أن عملية الإسقاط لأسفل تعيد فصل المعلومات إلى تدفقات AP ودلالية متميزة. هذا هو المكون الوحيد حيث تتفاعل التدفقات مباشرة، مما يسمح بتحديثات هيكلية مشروطة دلالياً.
5. هدف التدريب (فك تشفير MLM): يتم تطبيق رأس فك تشفير نمذجة اللغة المقنعة (MLM) فقط على الجزء الدلالي من الحالة الخفية النهائية. لا يتلقى مكون AP في الطبقة النهائية أي تدرج (gradient) من هدف MLM، مما يحرر فعلياً الفضاء الفرعي الموضعي من ضغط التنبؤ.
6. النماذج المرجعية (Baselines): يقارن المؤلفون DSTG-NeoBERT بثلاثة نماذج مرجعية تم تدريبها على نفس البيانات (FineWeb) مع معاملات فائقة متطابقة:
   • RoPE-NeoBERT: يستخدم الترميز الموضعي الدوراني.
   • AP-NeoBERT: يستخدم تضمينات موضعية مطلقة متعلمة (متداخلة).
   • RP-NeoBERT: يستخدم انحياز موضعي نسبي متعلم.

النتائج الرئيسية والمساهمات

1. ظهور متشعب هيكلي منخفض التردد

ينهار الفضاء الفرعي المعزول لـ AP تلقائياً في نموذج فك الارتباط إلى متشعب ثنائي الأبعاد منخفض التردد.

• تقليل الأبعاد: يكشف تحليل المكونات الرئيسية (PCA) على مصفوفة تضمين AP المتعلمة أن أول مكونين رئيسيين يستحوذان على 94.1% من إجمالي التباين المكاني.
• تحليل التردد: تؤكد تحويلات جيب التمام المتقطعة من النوع الثاني (Type-II DCT) أن هذه المكونات تعمل عند ترددات منخفضة، حيث تتركز معظم القوة الطيفية في أول أربعة صناديق (bins).
• التباين: في المقابل، يظل نموذج AP-NeoBERT المتداخل عالي الأبعاد ومهيمناً بالإشارات عالية التردد، حيث لا يستحوذ إلا على 23.4% من التباين في أول مكونين رئيسيين.

2. تخصص رؤوس الانتباه

تكشف بنية فك الارتباط عن تصنيف وظيفي واضح حيث تتخصص رؤوس الانتباه حصرياً تقريباً في مجموعتين:

• الرؤوس الموجهة نحو الهيكل: تتأثر بشدة بمعلومات AP.
• الرؤوس الموجهة نحو الدلالة: مدفوعة بالمحتوى الدلالي.
• دور RP: وجد المؤلفون عدم وجود رؤوس موجهة لـ RP بشكل نقي. بدلاً من ذلك، يعمل انحياز RP كآلية دعم محلية للرؤوس الدلالية (على سبيل المثال، منع التركيز في الانتباه الذاتي على السياق البعيد)، بينما يعمل AP كتدفق معلومات هيكلي متميز.

3. الحفاظ على الهيكل الكلي (Macroscopic Structure)

تفشل عمليات الترميز الموضعي القياسية في الاحتفاظ بالهيكل الوثائقي الكلي بمتانة:

• AP المتداخل: بينما يقوم AP-NeoBERT بترميز المعلومات الهيكلية في الطبقات المتوسطة، فإنه يفقد معظم هذه المعلومات في الطبقة النهائية بسبب التداخل من هدف تنبؤ MLM (حيث يتم إعادة توظيف الأبعاد الموضعية للتنبؤ الدلالي).
• الأساليب النسبية (RoPE/RP): تفشل هذه الأساليب إلى حد كبير في ترميز الهيكل الوثائقي الكلي في حالاتها الخفية تحت تدريب MLM.
• حل فك الارتباط: من خلال نقل عبء الموضع إلى فضاء فرعي معزول واستبعادها من رأس MLM، يحافظ DSTG-NeoBERT على المعلومات الهيكلية (مثل حدود الجمل/الفقرات) عبر الشبكة، بما في ذلك الطبقة النهائية.

4. نتائج الاختبار الاستقصائي (Probing)

قيم المؤلفون النماذج باستخدام اختبارات خطية (linear probes) على ثلاثة مستويات هرمية وعلى معيار Flash-Holmes:

• مستوى الرمز (Token) ومستوى الجزء (Segment) لـ AP: يحافظ DSTG-NeoBERT على درجات $R^2$ عالية للموضع المطلق ومستوى الجزء في الطبقة النهائية، بينما تظهر نماذج AP المتداخلة والنسبية تدهوراً كبيراً.
• الموضع داخل الجزء (Intra-Segment): من المثير للاهتمام أن معلومات الموضع داخل الجزء يمكن استرجاعها من الفضاء الفرعي الدلالي في جميع النماذج، مما يشير إلى أن هذه المعلومة المحلية المحددة لا تتطلب تدفق AP.
• الأمانة اللغوية (Flash-Holmes): تحسن بنية فك الارتباط من نتائج الاختبار الاستقصائي في 49 من أصل 65 ظاهرة لغوية عبر خمسة مجالات (الصرف، النحو، الدلالة، الخطاب، والاستدلال). والجدير بالذكر أنها تتفوق على جميع النماذج المرجعية في النحو، والدلالة، والخطاب.

الأهمية والادعاءات

يدعي البحث أن فك الارتباط الصريح بين التدفقات الموضعية والدلالية يوفر "دراسة ميكانيكية نظيفة" لبواطن نماذج المحولات. تكمن الأهمية الأساسية في إثبات ما يلي:

1. أن المعلومات الموضعية هي بطبيعتها منخفضة الأبعاد وهيكلية، وتنتظم في متشعب بسيط عندما لا تُجبر على التنافس مع التنبؤ الدلالي.
2. أن فقدان المعلومات الهيكلية في النماذج القياسية هو نتيجة مباشرة لهدف MLM الذي يطغى على الأبعاد الموضعية في الطبقات النهائية.
3. أن فك الارتباط بين هذه التدفقات يسمح بتضمينات أغنى تحافظ على الهيكل الوثائقي الكلي، مما يؤدي إلى تمثيلات لغوية أفضل دون تراجع في الأداء القياسي (تظل نتائج GLUE، MTEB، SQuAD مقاربة للنماذج المرجعية).

يشير المؤلفون إلى أن هذا النهج يقدم اتجاهاً جديداً لتصميم الترميزات الموضعية التي لا تتداخل مع التمثيلات الدلالية، ويمكن أن يتيح تطبيقات عملية مثل تخزين التمثيلات الدلالية المستقلة عن الموضع (position-independent) لاستخدامها في RAG، أو التلاعب بالمتشعب الموضعي منخفض الأبعاد لتعميم الطول (length extrapolation). ومع ذلك، يلاحظون أن هذه النتائج محدودة حالياً بنماذج الـ encoder فقط ونطاق صغير نسبياً (6 طبقات، 22 مليار توكن).