Fixed-Point Neural Optimal Transport without Implicit Differentiation

ملخص تقني: النقل الأمثل للشبكات العصبية بنقطة ثابتة دون تمايز ضمني

بيان المشكلة
يسعى النقل الأمثل (OT) إلى إيجاد علاقة بين التوزيعات الاحتمالية التي تقلل تكلفة نقل محددة. وبينما مكنت النهج الحديثة في التعلم العميق من حلول نقل أمثل قابلة للتوسع، إلا أنها تعتمد تكراراً على تحسين (min–max) التنافسي (مثل WGANs) أو بنيات متعددة الشبكات تشمل خرائط النقل والجهود المزدوجة. تعاني هذه الطرق غالباً من عدم استقرار التدريب، والحساسية للمعلمات الفائقة (hyperparameters)، وصعوبات التقارب، لا سيال في الأبعاد العالية. وتتطلب النهج البديلة القائمة على التدفقات المستمرة حل معادلات تفاضلية عادية (ODEs)، مما يترتب عليه عبء حوسبي كبير، بينما تواجه صياغات هاميلتون-جاكوبي-بيل (HJB) صعوبة في التوسع في الأبعاد العالية. علاوة على ذلك، تتطلب العديد من الطرق الحالية شبكات مساعدة أو إجراءات تحسين تبادلية لفرض الجدوى المزدوجة.

المنهجية
يقترح المؤلفون إطار عمل يعتمد على شبكة واحدة للنقل الأمثل التربيعي، والذي يلغي التدريب التنافسي والتمايز الضمني. الجوهر في هذه الطريقة هو صياغة عصبية ضمنية مشتقة من مسألة كانتوروفيتش المزدوجة.

1. تمثيل المعلمة للجهد الواحد: يتم تمثيل الجهد المزدوج $\phi$ كـ سالب دالة محدبة $g_\theta$ ممثلة بشبكة عصبية واحدة ($\phi_\theta(x) = -g_\theta(x)$). يستفيد هذا من نظرية برينيه (Brenier's theorem)، التي تنص على أن خريطة النقل المثلى هي تدرج جهد محدب.
2. إعادة صياغة النقطة الثابتة القريبة (Proximal Fixed-Point): تحت هذا التمثيل، تتحول تحويل الـ $c$-transform (وهو مكون رئيسي في الهدف المزدوج) إلى مسألة تحسين قريبة شديدة التحدب:
   $$(-g_\theta)^c(z) = \inf_{y \in \mathbb{R}^d} \left\{ \frac{1}{2}\|y - z\|^2 + g_\theta(y) \right\}$$
   المُقلل $y^*_\theta(z)$ لهذه المسألة يحدد خريطة النقل الخلفية ($T_{\nu \to \mu}(z) = y^*_\theta(z)$)، بينما تُعطى الخريطة الأمامية بواسطة $T_{\mu \to \nu}(x) = x + \nabla g_\theta(x)$.
3. التدريب عبر تكرار النقطة الثابتة: يتضمن هدف التدريب تقليل خسارة الجهد السالب. ومن الأهمية بمكان أن عملية التصغير الداخلية (المُعامل القريب/proximal operator) تُحل باستخدام تكرارات النقطة الثابتة القياسية (مثل خطوات التدرج النازل) بدلاً من التحسين غير المفتوح (unrolled optimization) أو التمايز الضمني.
4. حساب التدرج دون تمايز ضمني: هناك رؤية نظرية أساسية مفادها أن تدرج الخسارة بالنسبة لمعلمات الشبكة $\theta$ لا يتطلب الانتشار العكسي (backpropagation) عبر تكرارات النقطة الثابتة. بسبب شروط الأمثلية من الدرجة الأولى للمُعامل القريب، تلغي الحدود التي تتضمن مشتقة النقطة الثابتة بالنسبة لـ $\theta$ ($dy^*/d\theta$) بعضها البعض تماماً. وبناءً على ذلك، يعتمد التدرج فقط على المشتقات الصريحة لـ $g_\theta$ عند عينات المدخلات وحلول النقطة الثابتة التقريبية. وهذا يسمح بالتدريب الفعال باستخدام الانتشار العكسي القياسي.
5. التقارب: يثبت المؤلفون أن التدرج النازل العشوائي (SGD) يتقارب إلى نقطة مستقرة حتى عندما يتم حل مسألة النقطة الثابتة الداخلية بشكل تقريبي (ضمن حد معين من التسامح)، بشرط أن يكون خطأ التقريب محدوداً.
6. التمديد الشرطي للفئات: يمتد إطار العمل بشكل طبيعي إلى النقل الأمثل الشرطي للفئات من خلال ربط الجهد $g_\theta(x, k)$ بتسميات الفئات $k$، مما يسمح لشبكة واحدة بالتعامل مع مهام نقل متعددة في آن واحد.

المساهمات الرئيسية

• إعادة صياغة الشبكة الواحدة: اشتق المؤلفون صياغة للنقل الأمثل التربيعي تتطلب فقط شبكة عصبية واحدة لاستعادة كل من خرائط النقل الأمامية والخلفية، مما يلغي الحاجة إلى إعدادات (min–max) التنافسية أو شبكات مترافقة مساعدة.
• التدريب الخالي من التمايز الضمني: أثبتوا أنه يمكن اشتقاق الهدف دون الحاجة إلى التمايز الضمني، بالاعتماد على الإلغاء الدقيق للحدود الناتج عن شروط الأمثلية للمُعامل القريب.
• ضمانات التقارب: يقدم البحث براهين نظرية لتقارب (SGD) إلى نقطة مستقرة تحت تقييمات النقطة الثابتة غير الدقيقة، مما يعالج الواقع العملي حيث لا يتم حل الحلقة الداخلية بدقة الآلة.
• إطار عمل موحد: تستعيد الطريقة خرائط النقل الأمامية والخلفية في آن واحد وتتمدد طبيعياً إلى الإعدادات الشرطية للفئات دون تغييرات في البنية.

النتائج التجريبية
تم تقييم الطريقة المقترحة على معايير غاوسية عالية الأبعاد، وبيانات فيزيائية من العالم الحقيقي (UCI)، ومهام ترجمة الصور (MNIST إلى Fashion-MNIST).

• توزيعات غاوس عالية الأبعاد: في معايير غاوس، في أبعاد تصل إلى $d=64$، حققت الطريقة نسبة تباين غير مفسر (UVP) أقل بكثير مقارنة بالنماذج المرجعية مثل NOT، MM-v1، MM:R، NCF، وWGAN-QC. حافظت الطريقة على استقرار الدقة مع زيادة الأبعاد، بينما أظهرت النماذج المرجعية تدهوراً.
• الكفاءة الحوسبية: أظهرت الطريقة كفاءة حوسبية وكفاءة في الذاكرة، حيث تطلبت معلمات ووقت تدريب أقل من الطرق القائمة على التدفق المستمر (FFJORD، RNODE) ونهج النقل الأمثل العصبي الأخرى.
• بيانات العالم الحقيقي: في مجموعات بيانات UCI المتنوعة (Power, Gas, HEPMASS, MINIBOONE) وقطع صور BSDS300، حققت الطريقة أداءً تنافسياً أو متفوقاً في مطابقة التوزيع (مقاساً بـ Maximum Mean Discrepancy) مع أحجام نماذج أصغر بكثير.
• ترجمة الصور: في مهام ترجمة الصور الشرطية للفئات، حققت الطريقة أدنى مسافة فريه (FID) وأعلى دقة تصنيف بين النماذج المرجعية، مما يشير إلى تفوق في الحفاظ على البنية الفئوية والمحتوى الدلالي.
• دراسات الاستئصال (Ablation Studies): أظهرت التجارب أن الطريقة قوية تجاه حد التوقف لمحلل النقطة الثابتة؛ حيث يوفر عدم الدقة المتوسط في الحلقة الداخلية مقايضة مواتية بين الدقة والسرعة. بالإضافة إلى ذلك، بينما أدى فرض التحدب الصارم عبر إسقاط الوزن إلى استقرار تكرارات النقطة الثابتة، إلا أنه أدى إلى تدهور دقة النقل الإجمالية، مما يشير إلى أن التقييد غير المحدب (بدون إسقاط صلب) يوفر توازناً أفضل بين القدرة التعبيرية والاستقرار.

الأهمية والادعاءات
يزعم البحث أن هذا الإطار يقدم بديلاً مستقراً وفعالاً وقابلاً للتوسع لأساليب النقل الأمثل العصبية الحالية. من خلال إلغاء التدريب التنافسي والعبء الحوسبي لحل معادلات ODE أو حل معادلات HJB عبر النطاق بأكمله، توفر الطريقة آلية "خالية من السببية" لفرض شروط الأمثلية. يؤكد المؤلفون أن نهجهم قابل للتطبيق على نطاق واسع، وقادر على التعامل مع الأبعاد العالية والمسائل الشرطية للفئات مع استعادة خرائط نقل دقيقة في كلا الاتجاهين. يضع هذا العمل الخطوة نحو تبسيط مشهد تحسين النقل الأمثل، بالانتقال من صياغات (min–max) المعقدة نحو مسألة تقليل هدف واحد ذات أساس نظري وكفاءة عملية.