ملخص تقني: شبكة PP-CPCANet القائمة على البحث عن الإسقاط (Projection Pursuit) لتعميم النطاق

1. بيان المشكلة

يسعى تعميم النطاق (Domain Generalization - DG) إلى تعلم تمثيلات من نطاقات مصدر متعددة تظل فعالة في النطاقات المستهدفة غير المرئية ذات التوزيعات المختلفة للبيانات. وبينما أظهرت طرق المحاذاة الهندسية مثل CPCANet نتائج واعدة عبر استخراج هياكل ثابتة للنطاق باستخدام تحليل المكونات الرئيسية المشتركة (CPCA)، إلا أنها تواجه عائقاً حرجاً في بيئات التعلم العميق الحديثة: نقص رتبة تقدير مصفوفة التباين (rank-deficient covariance estimation).

في تدريب الدفعات الصغيرة (mini-batch training)، غالباً ما يتجاوز بُعد الميزات ($p$) حجم الدفعة ($N_k$). ويعتمد نموذج CPCA الكلاسيكي على تقدير مصفوفات التباين، وهو ما يصبح ناقص الرتبة عندما يكون $N_k < p$. وهذا يجبر النموذج على استعادة فضاء مشترك مبتور، مما يؤدي إلى التخلص من معلومات هندسية قد تكون مهمة ويحد من قدرة النموذج على التقاط الهياكل الكاملة الثابتة للنطاق.

2. المنهجية: PP-CPCANet

يقترح المؤلفون إطار عمل PP-CPCANet، وهو إطار عمل خالٍ من مصفوفة التباين (covariance-free) مصمم لتجاوز عقبة حجم العينة الصغير مع الاحتفاظ بالقدرة على تعلم قواعد متعامدة عالمية.

2.1. تحسين متشعب ستيفل البارامتري (Parametric Stiefel Manifold Optimization)

بدلاً من حساب مصفوفات التباين لكل دفعة، تتعلم PP-CPCANet قاعدة متعامدة عالمية ($\beta_t$) بشكل مباشر.

• التمثيل البارامتري (Parameterization): يتم تمثيل القاعدة المتعامدة عبر متجه غير مقيد $\theta_t$ يُرسم إلى مصفوفة مائلة (skew-symmetric matrix) $A_t$.
• تحويل كايلي (Cayley Transform): يتم الحصول على القاعدة باستخدام تحويل كايلي:
  $$\beta_t = \left(I - \frac{1}{2}A_t\right)\left(I + \frac{1}{2}A_t\right)^{-1}$$
  يضمن هذا بقاء $\beta_t$ ضمن "متشعب ستيفل" (Stiefel manifold) (أي أنها متعامدة) دون قيود صريحة، مما يسمح بالتحسين المشترك مع معاملات الشبكة.
• الإسقاط (Projection): يتم إسقاط الميزات المدخلة على هذه القاعدة المتعلمة: $U_t = Z_t \beta_t$.

2.2. تشتت قوي لكسر التماثل (Symmetry-Breaking Robust Dispersion)

يهدف "البحث عن الإسقاط" (Projection Pursuit - PP) القياسي إلى تعظيم تشتت الميزات المسقطة. ومع ذلك، بما أن القاعدة متعامدة، فإن إجمالي التباين يكون ثابتاً تحت الدوران (rotationally invariant)، مما لا يوفر أي إشارة تحسين للقاعدة نفسها. ولمعالجة ذلك، قدم المؤلفون:

• أوزان كسر التماثل (Symmetry-Breaking Weights): يعمل متجه أوزان متناقص رتيب $w_t$ (على سبيل المثال، يتناسب مع $[d_t, d_t-1, \dots, 1]$) على تشجيع تركيز التباين في المكونات الرائدة.
• تشتت $L_1$ بالوسيط المنفصل (Detached-Median L1 Dispersion): للتعامل مع القيم المتطرفة وتحولات النطاق بمتانة، تستبدل الطريقة مقياس تباين $L_2$ بمقياس تشتت $L_1$ يعتمد على الانحراف المطلق عن الوسيط (MAD).
  • المتانة (Robustness): الوسيط أقل حساسية للقيم المتطرفة مقار بالمتوسط.
  • الاستقرار (Stability): يتم تطبيق عامل "إيقاف التدرج" (stop-gradient) على مرساة الوسيط ($m_{t,k}$) لمنع التدرجات المتفرقة وغير المستقرة أثناء الانتشار العكسي (backpropagation).
  • الهدف (Objective): يتم تعريف درجة التشتت $s_{t,k}$ كمجموع موزون للانحرافات المطلقة عن الوسيط المنفصل.

2.3. البنية والتدريب

• التتابع المتدرج للاختناق (Progressive Bottleneck Cascade): تستخدم الشبكة تسلسلاً (cascade) بعمق $T$ حيث يضيق بُعد الكامن عند كل خطوة ($d_1 > d_2 > \dots > d_T$)، مما يعمل على تصفية التباينات النوعية للنطاق ذات الإنتروبيا العالية بشكل تكراري.
• تعديل الميزات الموجه بالنطاق (Domain-Guided Feature Modulation): في كل عمق، تتنبأ شبكات MLP مخصصة بعوامل القياس ($\gamma_t$) والإزاحة ($\Delta F_t$) لتعديل الميزات المحيطة، مما يلتقط الهيكل الهندسي الأساسي.
• دالة الخسارة (Loss Function): تجمع الدالة الإجمالية بين خسارة تصنيف المهمة ($L_{task}$) وسالب مجموع درجات تشتت PP ($L_{ppcpca}$)، والتي يتم تطبيعها عبر النطاقات وأعماق التتابع:
  $$L_{total} = L_{task} + \lambda_{ppcpca} L_{ppcpca}$$

3. المساهمات الرئيسية

1. تجاوز نقص رتبة مصفوفة التباين: يقضي الإطار على محدودية حجم العينة الصغيرة المرتبطة بتقدير مصفوفة التباين لكل دفعة، مما يمنع بتر التمثيل المتأصل في نماذج CPCA العميقة السابقة.
2. هدف إسقاط قوي: إن تقديم هدف تشتت $L_1$ بالوسيط المنفصل مع أوزان كسر التماثل يتيح تعلماً قوياً ومستقراً مع إشارات تحسين كثيفة، حتى في وجود قيم متطرفة وتحولات في النطاق.
3. التعلم المتعامد العالمي: من خلال تحسين قاعدة متعامدة عالمية عبر تحويل كايلي على متشعب ستيفل، تتعلم الطريقة بشكل مشترك الهياكل الثابتة للنطاق دون الاعتماد على إحصائيات الدفعة.

4. النتائج التجريبية

تم تقييم الطريقة على أربعة معايير قياسية لتعميم النطاق: PACS، VLCS، OfficeHome، وTerraIncognita، باستخدام بنى تحتية من نوع ResNet-50، وViT (DeiT)، وState Space Model (VMamba).

• الأداء: حققت PP-CPCANet أداءً هو الأفضل في فئتها (SOTA) أو أداءً تنافسياً عبر بنيات تحتية متعددة. على سبيل المثال، مع بنية VMamba-B، حققت أعلى متوسط دقة لتعميم النطاق (77.2%) بين النماذج التي تم تقييمها.
• الكفاءة: سجلت الطريقة باستمرار تكاليف تدريب أقل (ذاكرة GPU ووقت) مقار بـ CPCANet، خاصة بالنسبة للنماذج ذات البنى الضخمة (مثل ViT-B و VMamba-B).
• دراسات الاستئصال (Ablation Studies):
  • بُعد الإسقاط ($d_1$): لوحظ أفضل أداء عند $d_1 = 128$.
  • عمق التتابع ($T$): خلافاً للتوقعات بأن التتابعات الأكثر عمقاً أفضل، فإن التكوين الضحل ($T=1$) حقق أعلى دقة. زيادة العمق إلى $T \ge 2$ لم تقدم أي تحسن بل أدت غالباً إلى تدهور الأداء، مما يشير إلى أن مقياس التشتت القوي فعال معمارياً دون الحاجة إلى تتابعات عميقة.

5. الأهمية والادعاءات

يدعي البحث أن PP-CPCANet تنجح في معالجة العقبة الأساسية للمحاذاة الهندسية القائمة على التباين في الشبكات العميقة. ومن خلال استبدال تقدير التباين بتحسين عالمي لمتشيف ستيفل واستخدام هدف تشتت $L_1$ بالوسيط المنفصل القوي، تمكنت الطريقة من استخراج المكونات الرئيسية المشتركة (CPCs) الثابتة للنطاق مع تدرجات كثيفة ومقاومة للقيم المتطرفة.

يؤكد المؤلفون أن التحليل الهيكلي يثبت كفاءة الطريقة: حيث يكفي تتابع بعمق واحد لموازنة قمع الضوضاء مع سعة التمثيل. وبناءً على ذلك، تحقق PP-CPCANet أداءً هو الأفضل (SOTA) عبر المعايير القياسية مع الحفاظ على عملية تحسين مستقرة، مما يقدم بديلاً قابلاً للتطبيق للنهج القائمة على التباين.