ملخص تقني: محول E∆-MHC-Geo

1. بيان المشكلة

يعتمد التعلم العميق الحديث بشكل كبير على الاتصالات المتبقية ($X_{l+1} = X_l + F(X_l)$) لتسهيل تدفق التدرج في الشبكات العميقة. ومع ذلك، تفتقر الوصلات المتبقية الجمعية القياسية إلى الضمانات الهندسية، مما يؤدي إلى انحراف المعيار (norm drift) ومحدودية القدرة التعبيرية في الخلط بين الطبقات. تشمل المحاولات الأخيرة لمعالجة ذلك ما يلي:

• الروابط الفائقة المقيدة بالمنوع (mHC): تستخدم إسقاطات Sinkhorn-Knopp لإنشاء مصفوفات خلط ثنائية التوزيع (doubly stochastic). ورغم أنها تقتربية من التعامد، إلا أن الأخطاء تتراكم عبر التسلسلات الطويلة، كما أن عملية الإسقاط هي عملية تكرارية حسابياً.
• تعلم دلتا العميق (DDL): يستبدل الاختصار المحايد بمؤثر Householder يعتمد على المدخلات ($H_\beta = I - \beta kk^\top$). ورغم كونه تكيفياً، إلا أنه يكون متعامداً تماماً فقط عندما تكون قيمة المعامل $\beta \in \{0, 2\}$. وأثناء التدريب، تتغير $\beta$ باستمرار، مما يكسر التماثل (isometry) ويسبب عدم استقرار التدرج.

علاوة على ذلك، غالباً ما تفشل النهج الهندسية الحالية في الوصول إلى المجموعة المتعامدة الكاملة $O(n)$. وتحديداً، فإن تحويل Cayley، وهو أداة شائعة لتوليد الدورات، عاجز جبرياً عن إنتاج قيمة ذاتية قدرها $\lambda = -1$ (أي نفي أو انعكاس صرف)، مما يحد من فائدته للمهام التي تتطلب عكس الإشارة أو تصحيحها بسرعة.

2. المنهجية

يقترح E∆-MHC-Geo Transformer بنية مبتكرة توحد الهندسة التكيفية مع المدخلات والتعامد غير المشروط.

2.1 دوران Cayley المعتمد على البيانات

الابتكار الجوهري هو تحويل Cayley المعتمد على البيانات. بخلاف الطرق السابقة حيث تكون مستويات الدوران ثابتة عند التهيئة، يقوم هذا النهج بحساب مولد الدوران ديناميكياً بناءً على المدخل $x$.

• بناء المولد: تقوم شبكتان عصبيتان بحساب المتجهين $u(x)$ و $v(x)$ من المدخل.
• المولد متماثل مائل (Skew-Symmetric): يتم إنشاء مصفوفة $A(x) = u(x)v(x)^\top - v(x)u(x)^\top$. ومن المهم ملاحظة أن هذه المصفوفة متماثلة مائلاً ($A^\top = -A$) من خلال البناء الجبري، بغض النظر عن كيفية اشتقاق $u$ و $v$.
• التحويل: يتم تعريف مؤثر الخلط المتبقي كالتالي:
  $$Q(x) = \left(I + \frac{\beta(x)}{2}A(x)\right)^{-1}\left(I - \frac{\beta(x)}{2}A(x)\right)$$
  حيث $\beta(x)$ هو مقدار قابل للتعلم ويعتمد على المدخلات.
• الضمان النظري: يثبت المؤلفون (النظرية 4.1) أنه نظراً لأن $A(x)$ متماثلة مائلاً، فإن $Q(x)$ هي متعامدة غير مشروطة ($Q^\top Q = I$) وتحافظ على المعيار لأي مدخل ولأي قيمة لـ $\beta(x)$. وهذا يتناقض مع DDL، الذي يفقد التعامد عندما لا تكون $\beta \in \{0, 2\}$.

2.2 البنية الهجينة والنفي

هناك قصور معروف في تحويل Cayley، وهو أنه لا يمكنه إنتاج قيمة ذاتية قدرها $\lambda = -1$ (النظرية 4.6)، حيث إنه يؤول إلى المجموعة المتعامدة الخاصة $SO(n)$ (محدد +1). وللتعامل مع المهام التي تتطلب النفي (مثل "في الواقع، لا")، قدم المؤلفون E∆-MHC-Geo Hybrid:

• اختيار المؤثر: يجمع النموذج بين دوران Cayley $Q(X)$ وانعكاس Householder ثابت $H_2(k)$ (حيث $\beta=2$) عبر بوابة متعلمة $\gamma(X) \in (0, 1)$:
  $$G_\gamma(X) = \gamma(X) Q(X)X + (1 - \gamma(X)) H_2(k(X))X$$
• تنظيم الانهيار عند المنتصف (Midpoint Collapse Regularization): لضمان استخدام النموذج للمكونات المتعامدة لـ $O(n)$ بدلاً من البقاء في الداخل غير المتعامد (حيث $\gamma \in (0, 1)$)، يتم تطبيق منظم $L_{gate} = 4\gamma(1-\gamma)$. هذا يشجع $\gamma$ على الانهيار نحو الحدود ($0$أو$1$)، مما يؤدي فعلياً إلى "القفز" بين مكونات الدوران والانعكاس في المجموعة المتعامدة.

2.3 دمج البنية

يحل المؤثر الهندسي محل الاختصار المحايد القياسي في كتلة المحول (Transformer block). تتضمن البنية خرائط مسبقة ولاحقة متعلمة ($H_{pre}, H_{post}$) مشابهة لـ mHC، ولكن الخلط المتبقي يتم الآن بواسطة المؤثر المتعامد الدقيق والتكيفي مع المدخلات $G_\gamma$.

3. المساهمات الرئيسية

1. التعامد غير المشروط: أول بنية توفر تعامداً دقيقاً وغير تكراري لجميع المدخلات وجميع خطوات التدريب عبر تحويل Cayley المعتمد على البيانات، دون الاعتماد على العقوبات الناعمة أو الإسقاطات.
2. الوصول الهجين إلى $O(n)$: آلية بوابة مبتكرة تسمح للنموذج بالوصول إلى كلا المكونين المتصلين للمجموعة المتعامدة ($SO(n)$ للدوران و $O(n) \setminus SO(n)$ للانعكاس)، مما يحل "مشكلة النفي" المتأصلة في طرق Cayley النقية.
3. التحليل النظري للتنظيم: "نظرية التدرج الصفري الشامل" (النظرية 7.3) التي تشرح سلوك المنظمات المتماثلة عند المنتصف، مما يوفر تبريراً مبدئياً لاستراتيجية الانهيار عند المنتصف.
4. التحقق التجريبي: اختبار صارم مقابل أربعة نماذج مرجعية (بما في ذلك JPmHC المتزامن) مع مطابقة عدد المعلمات (~1.79M)، مما أظهر تفوقاً في الاستقرار والدقة الهندسية.

4. النتائج التجريبية

أُجريت التجارب على معايير اصطناعية مصممة لعزل الخصائص الهندسية، مع متوسط النتائج عبر ثلاث بذور عشوائية.

• الاستقرار طويل الأمد: في اختبار الاستقرار (التنبؤ بتسلسلات الصدى عبر 127 خطوة)، حقق E∆-MHC-Geo أدنى خسارة، متفوقاً على JPmHC بمقدار 1.9× وعلى GPT بمقدار 3.8×. وقد حافظ على حفظ المعيار بانحراف متوسط قدره 0.001 فقط، مما يؤكد صحة التماثل النظري.
• مهمة الجيروسكوب (الدوران): في مهمة تتطلب تنبؤ الدوران المستمر، حقق JPmHC أدنى خسارة مطلقة (مستفيداً من تمثيل أوسع، $n_{embd}=512$). ومع ذلك، تفوق E∆-MHC-Geo بشكل كبير على النماذج المرجعية غير الهندسية (3.7× فوق GPT) رغم استخدامه 33% طبقات أقل وتمثيلاً أضيق ($n_{embd}=128$).
• النفي والانعكاس: في مهمة تشخيصية تتطلب تعلم $y = -x$، نجحت بوابة E∆-MHC-Geo في الانهيار إلى $\gamma \approx 0.05$، مختارة فرع انعكاس Householder لتحقيق محاذاة جيب التمام (cosine alignment) قدرها 0.96. في المقابل، فشلت كل من JPmHC (التي تفتقر إلى فرع الانعكاس) و DDL (التي واجهت صعوبة في تقريب $\beta$ إلى 2 تماماً) في تحقيق محاذاة النفي الدقيقة.
• الدوران القريب من $\pi$: أظهر النموذج متانة في الاقتراب من الحد الفاصل بين الدوران والانعكاس، حيث وصل إلى خسارة منخفضة حتى بالنسبة للزوايا القريبة من $\pi$ (مثل $179.9^\circ$)، رغم أن $\pi$ الدقيقة تتطلب فرع الانعكاس.

5. الأهمية والادعاءات

يزعم البحث أن E∆-MHC-Geo يمثل خطوة كبيرة للأمام في التعلم العميق الهندسي من خلال توحيد نقاط القوة في النهج السابقة:

• فهو يحتفظ بـ التكيف مع المدخلات الخاص بـ Deep Delta Learning (DDL) وإطار العمل متعدد المسارات الخاص بـ mHC.
• ويوفر تعامداً جبرياً دقيقاً يظل قائماً بشكل غير مشروط، على عكس التعامد التقريبي لإسقاطات Sinkhorn أو التعامد المشروط لـ DDL.
• ويحل فريداً مشكلة النفي عبر تهجين دورات Cayley مع انعكاسات Householder، مما يسمح للنموذج بالوصول إلى المجموعة المتعامدة الكاملة $O(n)$.

يؤكد المؤلفون أنه بينما قد يتفوق JPmHC في المهام التي تتطلب تعبيراً عالياً في كل مسار (بسبب بنيته الأوسع)، فإن E∆-MHC-Geo يقدم استقراراً، وحفظاً للمعيار، ودقة هندسية متفوقة باستخدام طبقات أقل. يضع هذا العمل أساساً نظرياً وتجريبياً لاستخدام التحويلات المتعامدة التكيفية مع المدخلات وغير المشروطة، مما يشير إلى أن بنية التحويلات بين الطبقات لا تقل أهمية عن كميتها. ويشير المؤلفون إلى أن النتائج الحالية تعتمد على معايير اصطناعية محكومة، وأن التوسع إلى مهام اللغة الطبيعية أو الرؤية واسعة النطاق يظل مجالاً للعمل المستقبلي.