Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقليم الفضاء الجزئي لـ كوبمان في فضاءات هيلبرت المترددة (RKHS) عبر المتجهات الرئيسية" من تأليف دروف شاه وخورخي كورتيس.

1. بيان المشكلة

تعالج الورقة البحثية قصوراً حرجاً في النمذجة القائمة على البيانات للأنظمة الديناميكية غير الخطية باستخدام مؤثر كوبمان (Koopman operator).

• السياق: يقوم إطار عمل مؤثر كوبمان برفع الديناميكيات غير الخطية إلى فضاء ملاحظات (observables) ذي أبعاد لانهائية. وتعمل التطبيقات العملية، مثل تحليل النمط الديناميكي الممتد (EDMD) ومتغيرها القائم على النواة (Kernel EDMD)، على تقريب هذا المؤثر عن طريق إسقاطه على فضاء جزئي ذي أبعاد محدودة يتم إنشاؤه بواسطة قاموس من الدوال.
• التحدي: تعتمد دقة هذه التقريبات بشكل كبير على القرب من الثبات (invariance proximity) للفضاء الجزئي المختار. فإذا لم يكن الفضاء الجزئي ثابتاً تحت تأثير مؤثر كوبمان (أي أن المؤثر ينقل الدوال خارج الفضاء الجزئي)، فستحدث أخطاء في الإسقاط، مما يؤدي إلى ضعف الأداء التنبؤي.
• الفجوة الحالية: توجد تقنيات "تقليم الفضاء الجزئي" (subspace pruning) لإزالة الاتجاهات غير المتوافقة هندسياً وتحسين الثبات في الأطر الإقليدية القياسية (باستخدام الضرب الداخلي $L_2$)، لكنها لم تُمدد بعد إلى فضاءات هيلبرت المترددة (RKHS).
• العقبات المحددة:
  1. الهندسة: حساب الزوايا الرئيسية (وهي مقياس للثبات) في RKHS أمر غير بسيط لأن عناصر القاموس هي تركيبات خطية ضمنية لأجزاء النواة (kernel sections)، وليست متجهات صريحة.
  2. القابلية للتوسع: تتطلب عملية Kernel EDMD الدقيقة وإجراءات التقليم المرتبطة بها عمليات على مصفوفات النواة بحجم $N \times N$ (حيث $N$ هو عدد نقاط البيانات)، مما يؤدي إلى تعقيد حسابي قدره $O(N^3)$، وهو أمر مرهق للبيانات الضخمة.

2. المنهجية

يقترح المؤلفون إطار عمل لحساب الزوايا والمتجهات الرئيسية ضمن هندسة RKHS لتمكين تقليم الفضاء الجزئي، مقدمين طريقة دقيقة وطريقة تقريبية قابلة للتوسع.

أ. الأساس النظري: الزوايا الرئيسية في RKHS

تُعرف الورقة القرب من الثبات $\delta(S)$ بأنها جيب أكبر زاوية رئيسية بين فضاء جزئي $S$ وصورته تحت مؤثر كوبمان، $KS$.

• الحساب الدقيق (Kernel-SPV):
  • اشتق المؤلفون روتيناً جبرياً لحساب الزوايا الرئيسية دون الحاجة لبناء الدوال ذات الأبعاد اللانهائية صراحةً.
  • استخدموا خدعة النواة (kernel trick) للتعبير عن الضرب الداخلي عبر مصفوفات النواة ($K_{X,X}$ و $K_{T(X),X}$).
  • الاشتقاق الرئيسي: أثبتوا أن متجهات القاعدة لصورة كوبمان ($KV$) يمكن تمثيلها كتركيبات خطية لأجزاء بيانات النواة ($\Phi_X$) عن طريق حل نظام خطي: $K_{X,X} W_{KV} = K_{T(X),X} W_V$.
  • التعامد (Orthogonalization): نظراً لأن مصفوفات غرام (Gram matrices) قد تكون ناقصة الرتبة، تستخدم الطريقة التفكيكات الطيفية المبتورة للحصول على قواعد مستقرة ومتعامدة للمساحات الجزئية.
  • تفكيك القيم المفردة (SVD): يتم استخراج الزوايا والمتجهات الرئيسية أخيراً عبر تفكيك القيم المفردة (SVD) لـ "مصفوفة جيب التمام" (cosine matrix) التي يتم إنشاؤها من هذه القواعد المتعامدة.

ب. التقريب القابل للتوسع: طريقة نيستروم (Approximate Kernel-SPV)

للتغلب على اختناق $O(N^3)$، قدم المؤلفون نهجاً قابلاً للتوسع باستخدام تقريب نيستروم (Nyström approximation).

• أخذ عينات المعالم (Landmark Sampling): يتم اختيار مجموعة فرعية صغيرة من نقاط "المعالم" $D \ll N$ من مجموعة البيانات.
• بناء خريطة الميزات: يتم إنشاء خريطة ميزات صريحة ذات أبعاد محدودة $\psi: \mathbb{R}^n \to \mathbb{R}^D$ باستخدام التفكيك الطيفي لمصفوفة النواة للمعالم. وهذا يسمح بتقريب مصفوفة النواة $K_{X,X}$ كـ $\Psi(X)^\top \Psi(X)$.
• تصميم المصفوفة المستهدفة:
  • بدلاً من حل النظام الخطي المكلف $O(N^3)$ لمعاملات صورة كوبمان، تقوم الطريقة بإنشاء مصفوفات مستهدفة ($Z_V$ و $Z_{KV}$) مباشرة في فضاء الميزات.
  • يُستخدم حل تيكهونوف المنظم (Tikhonov-regularized) لحساب صورة كوبمان المستهدفة، مما يضمن الاستقرار العددي ويتجنب قلب مصفوفة النواة الكاملة.
• فصل الرتبة (Rank Separation): للتعامل مع تضخم الرتبة الناتج عن التقريب والتنظيم، يطبق المؤلفون تفكيك SVD مبتور مع عتبات تعتمد على البيانات على المصفوفات المستهدفة. يضمن هذا أن المساحات الجزئية المحسوبة تطابق الرتب الهندسية الحقيقية للمشكلة الأساسية.
• التعقيد: انخفض التعقيد من $O(N^3)$ إلى $O(NDs + D^3)$، حيث $s$ هو بُعد الفضاء الجزئي و $D$ هو عدد المعالم.

ج. خوارزمية التقليم (SPV)

تُستخدم المتجهات الرئيسية المحسوبة في استراتيجية تقليم المتجه الرئيسي الواحد (SPV) التكرارية:

1. حساب الزوايا الرئيسية بين الفضاء الجزئي الحالي وصورة كوبمان الخاصة به.
2. تحديد المتجه الرئيسي المرتبط بأكبر زاوية (الاتجاه الأقل ثباتاً).
3. إزالة هذا الاتجاه من القاموس.
4. التكرار حتى يسقط القرب من الثبات تحت عتبة محددة $\epsilon$.

3. المساهمات الرئيسية

1. صياغة RKHS: أول اشتقاق صارم للزوايا والمتجهات الرئيسية خصيصاً لهندسة RKHS، مما يتيح تقليم الفضاء الجزئي لـ Kernel EDMD.
2. الخوارزمية الدقيقة (Kernel-SPV): روتين حسابي يحل مشكلة الزاوية الرئيسية باستخدام مصفوفات غرام والقطع الطيفي، مما يوفر خط أساس نظري.
3. الخوارزمية القابلة للتوسع (Approximate Kernel-SPV): دمج مبتكر لتقريب نيستروم وتنظيم تيكهونوف يسمح بتقليم الفضاء الجزئي على مجموعات بيانات ضخمة ($N \gg D$) بتعقيد خطي بالنسبة لـ $N$.
4. التبرير النظري: إثبات أن تقريب نيستروم يتقارب نحو الحجج الرئيسية الحقيقية وأن التنظيم يحافظ على البنية الهندسية اللازمة للتقليم.

4. نتائج المحاكاة

تحقق المؤلفون من نهجهم باستخدام متذبذب دوفينج المخمد (damped Duffing oscillator) ($N=5000$ نقطة بيانات).

• التقارب: مع زيادة عدد معالم نيستروم ($D$)، انخفضت بقايا التعامد للقواعد التقريبية، مما أكد التقارب إلى هندسة RKHS الدقيقة.
• الدقة: مع $D=2000$، نجح النهج التقريبي في تحديد نفس الفضاء الجزئي الثابت الذي حدده النهج الدقيق، على الرغم من أن القواعد لم تكن متعامدة تماماً. يشير هذا إلى أن الطريقة تلتقط الهندسة الجوهرية للتقليم بكفاءة.
• تحسين الأداء:
  • قلل التقليم بُعد الفضاء الجزئي من $s=200$ إلى $s^*=5$.
  • خطأ التنبؤ: انخفض خطأ التنبؤ لـ 5 خطوات للدالة الذاتية الرائدة لكوبمان (وهي بالغة الأهمية للديناميكيات طويلة المدى) بشكل ملحوظ بعد التقليم مقارنة بنموذج Kernel EDMD غير المقلم.

5. الأهمية

• الربط بين النظرية والتطبيق: يوحد هذا العمل بين القواميس الغنية المعتمدة على البيانات لـ RKHS وقدرات تقليل الفضاء الجزئي، معالِجاً فجوة حيث كانت طرق التقليم السابقة مقتصرة على الأطر الإقليدية.
• القابلية للتوسع: من خلال تقليل التعقيد الحسابي من التكعيب إلى القريب من الخطي، تجعل هذه الورقة النمذجة عالية الدقة لكوبمان وتقليل النماذج أمراً ممكناً للأنظمة الديناميكية واسعة النطاق ومجموعات البيانات الضخمة.
• تطبيقات التحكم: النماذج المختزلة الناتجة ضرورية لتوليد وحدات تحكم قابلة للتنفيذ بناءً على ديناميكيات الحالة المرفوعة، وهو مطلب رئيسي في نظرية التحكم الحديثة.
• المتانة: يضمن إدخال التنظيم وعتبات فصل الرتبة استقرار الطريقة عددياً حتى عند التعامل مع بيانات ضوضائية أو مصفوفات نواة سيئة التكييف.

باختدال، توفر الورقة إطاراً رياضياً وخوارزمياً كاملاً لتنقية نماذج كوبمان في RKHS، مما يضمن دقة تنبؤية أعلى وكفاءة حسابية من خلال تقليم الفضاء الجزئي القائم على المبادئ.