Fast Quadratic Manifold Learning For Nonlinear Dimensionality Reduction in Large-scale Systems using Riemannian Optimization

ملخص تقني: تعلم المانيفولد التربيعي السريع لتقليل الأبعاد غير الخطي

بيان المشكلة
تعد الأنظمة الفيزيائية واسعة النطاق، مثل تلك التي تحكمها المعادلات التفاضلية الجزئية (PDEs)، مكلفة حاسوبياً للمحاكاة، مما يعيق التطبيقات في الوقت الفعلي مثل التصميم والتحسين. تعالج تقنيات تقليل النماذج (ROMs)، وتحديداً تقليل الأبعاد، هذه المشكلة من خلال تقريب ديناميكيات النظام في فضاءات فرعية ذات أبعاد أقل. وبينما يعد تحليل المكونات الرئيسية المتعامدة (POD) هو المعيار للتقليل الخطي للأبعاد، فإنه غالباً ما يفشل في التقاط الانحناء الجوهري لمانيفولد الحلول عالية اللاخطية (مثل التدفقات المضطربة) دون الحاجة إلى أبعاد فضاء فرعي ضخمة بشكل مفرط.

تقدم المانيفولد التربيعية (QM) حلاً عبر تعزيز الإسقاطات الخطية بمصطلحات تصحيح تربيعية مهيكلة. ومع ذلك، تواجه طرق الـ QM الحالية قيوداً كبيرة:

1. اختيار غير أمثل للقاعدة: تعتمد الطرق القياسية على المكونات الرئيسية (أنماط POD) للفضاء الفرعي الخطي. ورغم أنها مثالية لإعادة البناء الخطي، إلا أن هذه الأنماط غالداً ما تكون غير مثالية لالتقاط التفاعلات غير الخطية المطلوبة للتصحيحات التربيعية.
2. التعقيد التوليفي: تحاول طرق الاختيار الجشعة (Greedy selection) تحسين القدرة التمثيلية من خلال البحث في مجموعة أكبر من الأنماط المرشحة. ومع ذلك، فإن هذه الطرق هي بطبيعتها منفصلة وتوليفية، وتعاني من تعقيد عاملي (factorial complexity) مع نمو مجموعة المرشحين، مما يحد من أحجام القاعدة الممكنة عملياً.
3. القابلية للتوسع: العديد من النهج القائمة على التحسين لبناء الـ QM تتضمن دوال تكلفة تتناسب مع بُعد فضاء الحالة الكامل ($N$)، مما يجعلها غير قابلة للتطبيق حسابياً للأنظمة واسعة النطاق.

المنهجية: FastQM
يقترح البحث إطار عمل FastQM، الذي يعيد صياغة تحديد التقريب التربيعي الأمثل كمسألة تحسين مستمرة على مانيفولد ستيفل (Stiefel manifold).

• تحديد الفضاء الفرعي المستمر: بدلاً من الاختيار المنفصل لأنماط POD، يعامل FastQM تحديد القاعدة كعملية إيجاد إطار متعامد أمثل ضمن نطاق محدد مسبقاً من المتجهات المنفردة المرشحة. يتم بناء الفضاء الفرعي الخطي ($V_r$) وفضاء التصحيح التربيعي ($V_q$) كتركيبات خطية من $m$ من الأنماط المرشحة (عادةً ما تكون أول $m$ من المتجهات اليسرى المنفردة لبيانات اللقطات).
• التحسين الريماني (Riemannian Optimization): تتم صياغة البحث عن القاعدة المثلى كتقليل لدالة هدف المربعات الصغرى المنتظمة مع مراععة قيود التعامد. متغيرات التحسين هي مصفوفات الدوران $Q_r$ و $Q_q$ التي تربط القاعدة المرشحة بالفضاءات الخطية والتربيعية المثلى. يتم حل هذه المسألة باستخدام التحسين الريماني (تحديداً باستخدام مكتبة Pymanopt و JAX للتفاضل التلقائي وتسريع الأجهزة).
• صياغة فضاء الميزات: الابتكار الحاسم هو إعادة صياغة دالة الهدف لضمان الكفاءة الحسابية. من خلال الحساب المسبق لإسقاط بيانات اللقطات على القاعدة المرشحة ($\tilde{S} = \tilde{V}^T S$) واستخدام متطابقات الأثر (trace identities)، يصبح تقييم دالة التكلفة وتدرجاتها يتناسب مع عدد الأنماط المرشحة ($m$) والأبعاد المختزلة ($r, q$)، بدلاً من بُعد حالة الحالة الكاملة ($N$). وهذا يضمن بقاء الطريقة قابلة للتوسع للأنظمة واسعة النطاف حيث $N \gg m$.
• الخوارزمية: تتضمن العملية:
  1. حساب SVD لمصفوفة اللقطات المركزية.
  2. اختيار أعلى $m$ من المتجهات المنفردة كالنطاق المرشح.
  3. حل مسألة التحسين المقيدة على مانيفولد ستيفل $St(m, r+q)$ لإيجاد مصفوفات الدوران المثلى $Q_r$ و $Q_q$.
  4. إعادة بناء القواعد المثلى وحل مصفوفة الوزن التربيعي $\Xi$ عبر المربعات الصغرى الخطية.

المساهمات الرئيسية

1. إطار تحسين مبتكر: يقدم البحث تحولاً من اختيار القاعدة المنفصل والتوليفي إلى تحديد الفضاء الفرعي المستمر عبر التحسين الريماني، مما يسمح بـ "تدوير" القاعدة لتتلاءم بشكل أفضل مع الهياكل غير الخطية.
2. دالة هدف قابلة للتوسع: اشتقاق دالة هدف يكون تقييمها مستقلاً عن بُعد فضاء الحالة الكامل $N$، مما يتيح التطبيق على الأنظمة واسعة النطاق.
3. التحقق من الأداء: مقارنة شاملة تظهر تفوق FastQM على كل من POD، و POD-based QMs، و Greedy QMs في دقة إعادة البناء.

النتائج العددية
تم إثبات فعالية FastQM على محاكاة دوامية كبيرة (LES) لآثار الجناح المضطرب (NACA 0012 عند $Re=23,000$)، والتي تتميز ببُعد حالة قدره $N \approx 6.6 \times 10^5$.

• الدقة: عبر مختلف الأبعاد المختزلة ($r$) وأعداد الأنماط غير الخطية ($q$)، حقق FastQM باستمرار أدنى خطأ نسبي في إعادة البناء مقارنة بـ POD و POD-based QM و Greedy QM.
• المقارنة مع الطرق الجشعة: بينما قدم Greedy QM أداءً مشابهاً لـ POD-based QM عند الأبعاد المنخفضة (بسبب تطابق الاختيار الأولي مع المتجهات المنفردة الرائدة)، تجنب FastQM هذا القصور من خلال تحسين الدوران المستمر للقاعدة، مما سمح بالتقاط الميزات غير الخطية الحرجة التي فاتتها عملية الاختيار المنفصلة.
• بنية النمط: كشف التحليل البصري للأنماط المحسنة أنها تحل مقاييس أدق بكثير مقارنة بأنماط POD القياسية، مما يسهل التقريب التربيعي.
  truly.
• التقارب: تقارب التحسين بكفاءة (على سبيل المثال، خلال 86 تكراراً لحالة LES) مع بصمة حسابية يمكن إدارتها (حوالي 20 ثانية للحالة الاختبارية المحددة).

الأهمية والادعاءات
يزعم المؤلفون أن FastQM يمثل خياراً قابلاً للتطبيق لمهام تقليل النماذ واسعة النطاق من خلال التغلب على عدم مثالية المانيفولد التربيعية القياسية القائمة على POD. ويؤكد البحث أن:

• مثالية إحداثيات POD تقتصر حصرياً على التقريبات الخطية؛ فبالنسبة للمانيفولد التربيعية، يجب تحسين نظام الإحداثيات.
• يوفر التحسين المستمر على مانيفولد ستيفل فضاء بحث أغنى من الاختيار الجشع، حيث يحسن التآزر بين الحدود الخطية والتربيعية دون الانفجار التوليفي.
• تحقق الطريقة دقة إعادة بناء فائقة بأقل تكلفة حسابية، مما يجعلها مناسبة للأنظمة عالية الأبعاد حيث تكون النهج التقليدية للتحسين غير قابلة للتطبيق.

يخلص العمل إلى أنه رغم أن التطبيق المحدد كان لآثار جناح مضطرب، إلا أن إطار العمل عام، ويهدف العمل المستقبلي إلى توسيع هذا ليشمل مجموعة متنوعة من المشكلات الهندسية لتقييم القدرة على التعميم.