Bases of Steerable Kernels for Equivariant CNNs: From 2D Rotations to the Lorentz Group

إليك ملخص تقني مفصل لورقة البحث "أسس النواوات القابلة للتوجيه للشبكات العصبية الالتفافية المتكافئة: من الدورات ثنائية الأبعاد إلى مجموعة لورنتز" للباحث آلان غاربارز.

1. بيان المشكلة

تتناول الورقة تصميم الشبكات العصبية الالتفافية المتكافئة القابلة للتوجيه (Steerable Equivariant CNNs). في هذه الشبكات، تتحول خرائط الميزات وفقًا لتمثيلات محددة لمجموعة تناظر $G$ (مثل الدورات، أو تعزيزات لورنتز). لكي يكون النواة (Kernel) $K$ لطبقة التفافية متكافئة، يجب أن يستوفي قيد التوجيه (steerability constraint) التالي:
$$K(g \cdot x) = \frac{1}{|\det g|} \rho_{\text{out}}(g) K(x) \rho_{\text{in}}(g)^{-1}$$
حيث $\rho_{\text{in}}$ و $\rho_{\text{out}}$ هما تمثيلا خرائط الميزات للمدخلات والمخرجات.

التحدي:
إن إيجاد أساس للحلول لهذا القيد لمجموعات وتنسيقات (tensor types) عشوائية هو أمر معقد رياضيًا. تعتمد الطرق الحالية عادةً على:

1. تفكيك نواتج التنسور إلى تمثيلات غير قابلة للاختزال (الأساس المقترن - coupled basis).
2. حساب معاملات كليبش-غوردان (Clebsch-Gordan coefficients) للتحويل بين الأسس غير المقترنة والمقترنة.
3. استخدام دوال الأساس التوافقية (harmonic basis functions) على الفضاءات المتجانسة.

هذه النهج مكلفة حوسبيًا (خاصة للمجموعات غير المتراصة مثل مجموعة لورنتز) وتتطلب معرفة عميقة بنظرية التمثيل، مما يخلق حاجزًا أمام التنفيذ العملي في التعلم العميق.

2. المنهجية

يقترح المؤلف استراتيجية هندسية مباشرة لحل قيد التوجيه دون الحاجة لحساب معاملات كليبش-غوردان مسبقًا أو الانتقال إلى أساس مقترن. الجوهر يكمن في اختزال المشكلة إلى إيجاد المتداخلات (intertwiners/homomorphisms) عند نقطة واحدة $x_0$ ثم "توجيهها" إلى بقية المدار (orbit).

الخوارزمية:

1. اختيار نقطة مرجعية: اختيار نقطة $x_0$ على مدار محدد لمجموعة $G$.
2. تحديد المثبت (Stabilizer): تحديد المجموعة الجزئية الاستقرارية $H = \text{Stab}(x_0)$، التي تترك $x_0$ ثابتة.
3. حل القيد المحلي: إيجاد فضاء الخرائط الخطية $K(x_0): V_{\text{in}} \to V_{\text{out}}$ التي تتبادل مع فعل $H$.
   • يصبح الشرط: $K(x_0) = \rho_{\text{out}}(h) K(x_0) \rho_{\text{in}}(h)^{-1}$ لكل $h \in H$.
   • نظرًا لأن $H$ غالبًا ما تكون مجموعة أبسط (مثل $SO(2)$ داخل $SO(3)$)، فإن التمثيلات $\rho|_H$ تتفكك إلى مجموعات مباشرة من التمثيلات غير القابلة للاختزال.
   • بموجب تمهيدية شور (Schur's Lemma)، يتكون فضاء الحل من مصفوفات قطرية كتلية (block-diagonal)، حيث توجد الكتل غير الصفرية فقط بين الفضاءات غير القابلة للاختزال المتماثلة في المدخلات والمخرجات.
4. التوجيه إلى المدار: بمجرد إيجاد أساس الحلول عند $x_0$، يتم توليد النواة عند أي نقطة عشوائية $x = g \cdot x_0$ عن طريق تطبيق فعل المجموعة:
   $$K(x) = \rho_{\text{out}}(g) K(x_0) \rho_{\text{in}}(g)^{-1}$$
   هذه الخطوة تولد بشكل طبيعي الاعتماد الدالي المطلوب (مثل التوافقيات الكروية أو عوامل تعزيز لورنتز) دون حساب صريح لمعاملات كليبش-غوردان.

3. المساهمات الرئيسية

• إلغاء معاملات كليبش-غوردان: تتجاوز هذه الطريقة الحاجة لحساب أو تخزين معاملات كليبش-غوردان، والتي يصعب اشتقاقها للمجموعات غير المتراصة وتعتبر ثقيلة حوسبيًا للأبعاد الكبيرة.
• إطار عمل موحد: توفر استراتيجية واحدة متسقة قابلة للتطبيق لكل من المجموعات المتراصة (SO(2), O(2), SO(3), O(3)) والمجموعات غير المتراصة (مجموعة لورنتز $SO^+(1,3)$).
• أسس حقيقية ومركبة صريحة: تشتق الورقة أسسًا جاهزة للاستخدام للنواوات التي تعمل على خرائط ميزات لأنواع تنسور مختلفة (سكالر، فيكتور، تنسور، سبينور) للمجموعات المذكورة أعلاه.
• التفسير الهندسي: تعيد الورقة صياغة التوجيه (steerability) كمسألة إسقاط؛ فبالنسبة للسبينات الصحيحة، تعمل المتداخلات عند $x_0$ كـ مساقط (projectors) على الفضاءات الثابتة (على سبيل المثال، إسقاط رباعي المتجهات على مكوناته الزمانية أو المكانية).

4. النتائج الرئيسية والأمثلة

تفصل الورقة اشتقاق الأسس لعدة مجموعات:

• SO(2) & O(2):

  • بالنسبة للدورات ثنائية الأبعاد، يكون المثبت بديهيًا (المحايد)، مما يجعل القيد المحلي بديهيًا. عملية التوجيه تولد طبيعيًا الدوال المثلثية ($\cos, \sin$) المقابلة لزوايا الدوران.
  • بالنسبة لـ O(2) (بما في ذلك الانعكاسات)، يتضمن المثبت مصفوفة انعكاس، مما يفرض قيودًا على التماثل (parity) على مكونات النواة، مما يقلص فضاء الحل.

• SO(3) & O(3):

  • مثبت نقطة على كرة هو $SO(2)$. تقوم الطريقة بتفكيك تمثيلات 3D إلى تمثيلات $SO(2)$ غير قابلة للاختزال (الموسومة بالأعداد الكمية المغناطيسية $m$).
  • يتحدد فضاء الحل عبر مطابقة قيم $m$ في المدخلات والمخرجات. تُعبر النواوات الناتجة مباشرة عن مصفوفات ويغنر D (أو التوافقيات الكروية الحقيقية)، متجنبة الاستخدام الصريح لرموز 3j/6j.

• مجموعة لورنتز $SO^+(1,3)$:

  • الجسيمات الضخمة (المدارات الزمانية - Timelike orbits): المثبت هو $SO(3)$. تقوم الطريقة بتفكيك تمثيلات لورنتز $(j_L, j_R)$ إلى سبينات $SO(3)$. تُبنى النواوات عن طريق توجيه مساقط $SO(3)$ (مثل الإسقاط على المتجه الموازي لـ $u^\mu$).
    • النتيجة: صيغ صريحة للنواوات التي تعمل على رباعيات المتجهات، وتنسورات الرتبة الثانية، والسبينورات، مُعبر عنها باستخدام تنسور الإسقاط $\Delta^{\mu}_{\nu} = \delta^{\mu}_{\nu} - u^\mu u_\nu$.
  • الجسيمات عديمة الكتلة (المدارات الضوئية - Lightlike orbits): تبسط الورقة هذا الأمر بالنظر فقط إلى المجموعة الجزئية $SO(2)$ (متجاهلة جزء الترجمة غير شبه البسيط الذي لا علاقة له فيزيائيًا بالجسيمات القياسية).
    • النتيجة: تُبنى النواوات باستخدام مسقط مستعرض $\Delta^{\mu\nu} = \eta^{\mu\nu} - n^\mu \bar{n}^\nu - n^\nu \bar{n}^\mu$، حيث $n$ هو الاتجاه الصفري (null direction).

5. الأهمية والأثر

• الكفاءة الحوسبية: من خلال تجنب تحويل الأساس المقترن، تقلل الطريقة من العبء الحوسبي المرتبط بتوليد الطبقات المتكافئة، خاصة للتنسورات عالية الرتبة والمجموعات غير المتراصة.
• سهولة الوصول: يعتمد النهج على الجبر الخطي الأساسي (تمهيدية شور) وأفعال المجموعات بدلاً من نظرية التمثيل المتقدمة، مما يجعله متاحًا لجمهور أوسع من ممارسي التعلم الآلي.
• المرونة: تسمح الطريقة بوضع حدود قطع (cutoffs) مستقلة لتمثيلات خرائط الميزات للمدخلات والمخرجات، مما قد يؤدي إلى بنيات شبكات أكثر تعبيرًا ومرونة مقارنة بنهج الأساس المقترن الثابت.
• تطبيقات الفيزياء النسبية: يتيح البناء الصريح لنواوات لورنتز القابلة للتوجيه تصميم شبكات CNN للأنظمة النسبية (مثل محاكاة فيزياء الجسيمات، وتحليل البيانات الكونية) حيث تفشل الشبكات المتكافئة الإقليدية القياسية.

في الختام، يقدم غاربارز إطار عمل قويًا، عامًا، وفعالًا حوسبيًا لبناء النواوات القابلة للتوجيه، مما يسد الفجوة بين نظرية المجموعات المجردة والتطبيق العملي للتعلم العميق لكل من التناظرات الإقليدية والنسبية.