ملخص تقني: الانتباه المبوّب بالطاقة وتشفير الموجات المويجية الموضعي

1. بيان المشكلة

تعاني آليات الانتباه في نماذج "ترانسفورمر" (Transformer) القياسية، التي تحسب تشابه الرموز (tokens) عبر ضرب النقط (dot-product attention)، من محدوديتين بنيويتين فيما يتعلق بالانحيازات الاستقرائية:

1. الافتقار إلى البروز الطيفي: يعامل الانتباه القياسي جميع الرموز على أنها متساوية في البروز، حيث يزنها بناءً على تشابه المحتوى مع الاستعلام (query) فقط. وهو يفتقر إلى آلية لتمييز الرموز ذات الكثافة المعلوماتية الجوهرية العالية (مثل الحدود المورفولوجية، أو الرؤوس النحوية) عن رموز الخلفية (مثل كلمات الوظيفة، أو الأنماط المتكررة).
2. الافتقار إلى المحلية التكيفية: تقوم التشفيرات الموضعية القياسية (مثل التشفير الجيبي الثابت) بتعيين ترددات ثابتة لأبعاد التضمين دون أغلفة مكانية. ونتيجة لذلك، يساهم كل موضع بالتساوي عند كل مقياس، مما يفشل في تكييف مدى التأثير الموضعي مع المقياس الطبيعي للظواهر اللغوية أو طول السياق. وبينما تقوم "تشفيرات الموضع الدوارة" (RoPE) بترميز الموضع النسبي، إلا أنها لا تزال تستخدم ترددات ثابتة دون محلية غاوسية.

تفترض الورقة أن هاتين الفجوتين — ماذا نولي له الانتباه (البروز) و أين يعمل الانتباه عند كل مقياس (المحلية) — هما أمران متكاملان ومتعامدان.

2. المنهجية

يقترح المؤلفون مكونين بسيطين قابلين للتعلم لمعالجة هذه الفجوات: الانتباه المبوّب بالطاقة (EGA) و تشفير مورليت الموضعي (MOPE).

2.1 الانتباه المبوّب بالطاقة (EGA)

يقدم EGA آلية بروز عبر تبويب تجميع القيم بناءً على تقدير طاقة مُتعلم لتمثيلات مفاتيح الرموز (key embeddings).

• الآلية: يقوم إسقاط خطي واحد ($w_{proj}^T x_j$) بتقدير "طاقة" الرمز. يتم تطبيع هذا الرقم (z-normalization) وتمريره عبر بوابة سيجمويد ($g_j$).
• الوظيفة: تعمل البوابة على كبح الرموز منخفضة الطاقة (الخلفية/الحشو) وتضخيم الرموز عالية الطاقة (كثيفة المعلومات).
• الكفاءة: يضيف معاملات ضئيلة جداً ($d+2$ لكل رأس، أقل من 0.3% من العبء الحسابي) ولا يسبب أي تكلفة حسابية.
• الأساس النظري: يُفسر الإسقاط على أنه تقدير للطاقة الموزونة طيفياً عبر متطابقة بارسيفال (Parseval's identity)، رغم أن المؤلفين يشيرون إلى أن الإشارة المتعلمة قد تمثل بروزاً معلوماتياً عاماً (مثل الندرة، أو الحدود) وليس طاقة طيفية صارمة.

2.2 تشفير مورليت الموضعي (MOPE)

يستبدل MOPE التشفيرات الموضعية الجيبية الثابتة بموجات مويجية (wavelets) ذات نافذة غاوسية متعلمة لتوفير تحديد زمني-ترددي تكيفي.

• الصياغة: بالنسبة لبعد التضمين $i$ والموضع $b$:
  $$MOPE(b, 2i) = \cos(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  $$MOPE(b, 2i + 1) = \sin(\omega_i b) \cdot e^{-b^2/2\sigma_i^2}$$
  حيث $\omega_i$ (التردد المركزي) و $\sigma_i$ (نطاق المحلية) هما معلمات متعلمة.
• التعميم: يعد MOPE تعميماً صارماً لتشفير Sin/Cos (يتم استرداده عندما $\sigma_i \to \infty$) ويربط بـ RoPE (هيكل الطور في الحد الأقصى) و ALiBi (محلية التردد الصفري).
• بنية الارتباط المتبادل: يؤدي تعويض MOPE في الارتباط المتبادل للانتباه إلى نواة مورليت في فضاء التأخر (lag space)، حيث $C_i(\tau) \propto e^{-\tau^2/4\sigma_i^2} \cdot \cos(\omega_i \tau)$. وهذا يسمح للأبعاد بالتقاط مقاييس مختلفة من البنية اللغوية (مثل مستوى الحرف مقابل مستوى الجملة) بناءً على $\sigma_i$ المتعلمة.

2.3 النموذج المدمج

يطبق نموذج EGA-MORALE بوابة EGA على أوزان الانتباه المحسوبة باستخدام MOPE. ويفترض المؤلفون وجود تراكب فوقي (superadditivity): بما أن EGA يتحكم في أي الرموز يتم الانتباه إليها، و MOPE يتحكم في أين يمتد التأثير عند كل مقياس، فإن الجمع بينهما يجب أن يؤدي إلى أداء أكبر من مجموع أجزائهما الفردية.

3. المساهمات الرئيسية

1. تفسير الارتباط المتبادل: تعيد الورقة صياغة انتباه الضرب النقطي كقيمة التأخر صفر ($C_{ij}(0)$) لدالة ارتباط متبادل أكثر ثراءً، مشيرة إلى أن الانتباه القياسي يتجاهل انتقائية المقياس، وبنية التأخر، والبروز الطيفي.
2. بنية MOPE: تشفير موضعي مويجي محلي يعمم بدقة تشفير sin/cos ويوفر جسراً نظرياً لـ ROPE و ALiBi، مما يوفر ترددًا ومحلية تكيفية.
3. التكامل التجريبي: إثبات أن EGA و MOPE هما انحيازات استقرائية متكاملة. يحقق دمجهما نتائج فوقية (superadditive)، بينما تظهر المكونات الفردية أداءً مختلطاً أو محايداً في العزل.
4. النماذج المسبقة المهيكلة مقابل المتعلمة: دراسة استقصائية مهيكلة توضح أن عمليات الإسقاط المتعلمة غير المقيدة تتفوق باستمرار على المسبقات الطيفية المهيكلة (مثل مرشحات Daubechies، أو التهيئة ذات المقياس الثابت) في النماذج اللغوية، إلا عندما يوفر المكون المهيكل (مثل MOPE) معلومات مكملة حقاً (محلية تكيفية) لا يمكن اكتشافها بواسطة الانحدار الاشتقاقي (gradient descent) القياسي على ضرب النقط.

4. النتائج التجريبية

أُجريت التجارب على TinyShakespeare (على مستوى الحرف، $L=6, H=8, d=256$، $\le 6M$ معلمة) على مدار 5,000 خطوة.

• النتيجة الرئيسية (التراكب الفوقي):

  • النموذج المرجعي (الانتباه القياسي): خسارة التحقق = 1.4742.
  • EGA بمفرده: تحسن قدره +0.092 (الخسارة = 1.3821). البروز انحياز استقرائي قوي.
  • MOPE بمفرده: تراجع قدره -0.032 (الخسرة = 1.5060). المحلية التكيفية بدون بروز غير كافية وقد تكون ضارة قليلاً.
  • EGA + MOPE: تحسن قدره +0.119 (الخسارة = 1.3550).
  • التحليل: الربح المشترك (+0.119) يتجاوز مجموع الأرباء الفردية (+0.092 - 0.032 = +0.060) بمقدار +0.059. وهذا يدعم فرضية التكامل.

• الدراسات الاستقصائية (Ablation Studies):

  • انتباه التلافيف (Convolution Attention): توسيع الانتباه ليشمل تأخيرات غير صفرية (+0.007) يؤكد أن بنية التأخر تحمل معلومات.
  • تهيئة المقياس: لم توفر تهيئة الرؤوس عند ترددات محددة أي فائدة (-0.007)، مما يشير إلى أن الانحدار الاشتقاقي يكتشف المقاييس المثلى من التهيئة العشوائية.
  • التدفق الطيفي (Spectral Flux): وفر استخدام معدلات تغير الطاقة إشارة تبويب قدمت ربحاً إيجابياً صغيراً (+0.012)، مما يشير إلى أن كشف الحدود مفيد.
  • تماسك الطور (Phase Coherence): أدت استخدام معلومات الطور إلى تأثير سلبي طفيف (-0.007).

• المعلمات المتعلمة: تجمعت معلمات MOPE في أربع مناطق متميزة تقابل مقاييس الحرف، والكلمة، والجملة، والفقرة، مما يشير إلى أن النموذج يتعلم المقاييس الزمنية الطبيعية لغوياً من البيانات.

5. الأهمية والادعاءات

تدعي الورقة أن البروز الطيفي و المحلية الانتقائية للمقياس هما انحيازان استقرائيان متكاملان يفتقر إليهما الانتباه القياسي.

• التكامل: لا يكفي أي منهما وحده في هذا المقياس؛ تفاعلهما ينتج عنه تراكب فوقي.
• التعلم مقابل المسبقات: فشل المسبقات المهيكلة (مثل بوابات الموجات الثابتة) المستمر يشير إلى أن الأساس الأمثل لتضمينات مستوى الحرف ليس جيبياً بل هو خاص بالمتن (corpus-specific). التعلم غير المقيد هو المفضل ما لم يقدم المكون المهيكل (مثل محلية MOPE التكيفية) معلومات متعامدة مع ما يكتشفه الانحدار الاشتقاقي طبيعياً.
• التواضع: يذكر المؤلفون صراحة أن جميع تجاربهم صغيرة النطاق (بذرة واحدة، مستوى الحرف). تعتبر النتيجة الأساسية موثوقة عند هذا المقياس، لكن الآثار الثانوية تتطلب تحققاً بعدة بذور. لا تدعي الورقة أن هذه الطرق تحل مشاكل السياق الطويل بعد، لكنها تحددها كاتجاه عالي الأولوية للعمل المستقبلي (تحديداً لـ $T \ge 4096$).

يُقدم هذا العمل كجزء من سلسلة حول الطرق الطيفية في انتباه الترانسفورمر، مع توفير الكود لضمان قابلية التكرار.