ملخص تقني: FlowADMM: خوارزمية ADMM بنظام "الوصل والتشغيل" مع أولويات إعادة الضجيج وإزالة الضجيج القائمة على التدفق

بيان المشكلة

تعتبر المسائل العكسية في التصوير، مثل إزالة الضجيج، وإزالة التغبيش، وتكبير الدقة (super-resolution)، وإكمال البيانات المفقودة (inpainting)، مسائل غير محددة جيداً (ill-posed) في الغالب، وتُصاغ كعملية استعادة صورة $x$ من قياسات متدهورة $y = Ax + \nu$. وبينما تقدم التعلم العميق خرائط مباشرة قوية، إلا أنها غالباً ما تفتقر إلى القابلية للتفسير والضمانات النظرية. تصيغ النهج المتغيرة (variational approaches) الكلاسيكية هذه المسألة كتقليل حد مطابقة البيانات مضافاً إليه حد التنظيم، ويتم حلها غالباً عبر خوارمازميات تقريبية (proximal algorithms) مثل تقسيم الأمامي-الخلفي (Forward-Backward Splitting - FBS).

تعمل طرق "الوصل والتشغيل" (Plug-and-Play - PnP) على تحسين هذه النتائج باستبدال المؤثر التقريبي (proximal operator) لمنظم مصمم يدوياً بمزيل ضجيج متعلم. مؤخراً، قدمت نماذج التدفق والانتشار التوليدية عائلات من مزيلات الضجيج تعتمد على الزمن $\{D_t\}$ والمتكيفة مع مستويات ضجيج محددة. ومع ذلك، يبرز تحدٍ رئيسي: خلال عمليات إعادة البناء التكرارية، غالباً ما تنحرف التكرارات الوسيطة عن توزيع الضجيج $p_t$ الذي تم تدريب مزيل الضجيب عليه. تعالج طرق PnP القائمة على التدفق (مثل PnP-Flow وFlower) هذه المشكلة من خلال دمج خطوات إعادة الضجيج-إزالة الضجيج (renoise-denoise) صريحة، حيث يتم تشويب التكرار الحالي باتجاه مستوى الضجيج المناسب قبل عملية إزالة الضجيج. وتستخدم هذه الطرق أحياناً متوسط عينات ضجيج متعددة لاستقرار العملية.

رغم نجاحها التجريبي، فإن طرق PnP القائمة على إعادة الضجيج وإزالة الضجيج تُصاغ كـ خوارزميات عشوائية، مما يجعل تحليل سلوك تقاربها صعباً من الناحية النظرية. وتحديداً، لم يتم توصيف المؤثر الحتمي (deterministic operator) الضمني الناتج عن متوسط مخرجات مزيل الضجيج عبر توزيع الضجيج الكامن، مما ترك خصائص تقارب هذه الطرق غير مفهومة بشكل جيد.

المنهجية

مؤثر متوسط إعادة الضجيج وإزالة الضجيج

حدد المؤلفون وصاغوا المؤثر الحتمي الكامن وراء طرق PnP القائمة على التدفق العشوائية. بالنظر إلى شبكة سرعة التدفق $v_\theta$ المدربة مسبقاً والتي تحدد مزيل ضجيج MMSE يعتمد على الزمن $D_t = I + (1-t)v_\theta^t$، تتضمن الخطوة العشوائية القياسية إعادة تشويب تكرار $x$ بضجيج $\epsilon \sim \mathcal{N}(0, I)$ للحصول على $tx + (1-t)\epsilon$، متبوعاً بإزالة الضجيج.

يعرف البحث مؤثر متوسط إعادة الضجيج وإزالة الضجيج $\bar{S}_t(x)$ كقيمة التوقع لهذه العملية عبر توزيع الضجيج:
$$\bar{S}_t(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)} [D_t(tx + (1-t)\epsilon)]$$
يمثل هذا المؤثر الحد الحتمي للعمليات العشوائية المستخدمة في طرق مثل PnP-Flow. يحلل المؤلفون شكل البواقي الخاص به $R_t(x) = \bar{S}_t(x) - x$، مفسرين إياه كحقل متجه يوفر تصحيحات محلية نحو فضاء البيانات (data manifold). وتحت افتراضات MMSE المثالية، تكون النقاط الموجودة على فضاء البيانات هي نقاط ثابتة لهذا المؤثر.

خوارزمية FlowADMM

بناءً على هذه الرؤية، يقترح المؤلفون FlowADMM، الذي يدمج مؤثر متوسط إعادة الضجيج وإزالة الضجيج في إطار عمل طريقة "الخوارزمية المتناوبة لتعظيم لاغرانج" (ADMM). بخلاف FBS، يسمح ADMM باستخدام عدة مؤثرات أولية ويتعامل مع حدود البيانات غير القابلة للاشتقاق دون قيود على حجم الخطوة تعتمد على المؤثر.

تحل الخوارزمية المسألة المقيدة $\min_{x,z} F_y(x) + R(z)$ بشرط $x=z$ عن طريق تقليل لاغرانج المعزز. التحديثات هي:

1. اتساق البيانات: $x^{k+1} = \text{prox}_{\tau F_y}(z^k - u^k)$
2. تحديث الأولوية: $z^{k+1} = \bar{S}_{t_k}(x^{k+1} + u^k)$
3. تحديث الثنائي (Dual): $u^{k+1} = u^k + x^{k+1} - z^{k+1}$

بما أن التوقع في $\bar{S}_t$ غير قابل للحساب مباشرة، يتم تقريبه عبر أخذ عينات مونت كارلو. يقترح المؤلفون استراتيجية أخذ عينات تعتمد على الخطوة الزمنية: استخدام عدد أقل من العينات في التكرارات المبكرة (حيث تتم التصحيحات الخشنة ويكون المؤثر أقل حساسية للضجيج) وزيادة عدد العينات في التكرارات اللاحقة (حيث يتم صقل التفاصيل الدقيقة وتصبح الدقة أمراً حرجاً).

تحليل التقارب

يضع البحث ضمانات تقارب لـ FlowADMM تحت شروط ليبشيتز (Lipschitz) الضعيفة على شبكة التدفق الأساسية:

• الجدول الزمني الثابت: بالنسبة لخطوة زمنية ثابتة $t$، يُضمن التقارب إذا كان ثابت ليبشيتز للشبكة التدفقية $L_v$ يحقق $L_v < \frac{1}{1-t}$. هذا الشرط أضعف بكثير من شرط الانكماش الصارم ($L < 1$) المطلوب من قبل العديد من طرق PnP الأخرى، خاصة عندما تقترب $t$ من $1$.
• الجداول الزمنية غير المستقرة: تم توسيع التحليل ليشمل الجداول الزمنية $(t_k)_k$ التي تتقارب نحو حد $t_{max} < 1$. يثبت المؤلفون تقارب الخوارزمية نحو نقطة ثابتة للمؤثر النهائي $T_{t_{max}}$ بشرط أن تقترب سلسلة المؤثرات من الحد بسرعة كافية وأن يكون التدفق مستمراً بالنسبة للزمن $t$ وفق شرط ليبشيتز.

المساهمات الرئيسية

1. التوصيف النظري: حدد المؤلفون وحللوا المؤثر الحتمي المتوسط الكامن وراء طرق PnP القائمة على التدفق العشوائية، ووصفوا هيكل بقاياها وسلوك ليبشيتز الخاص بها.
2. اقتراح الخوارزمية: اقترحوا FlowADMM، وهي خوارزمية PnP تدمج هذا المؤثر المتوسط مباشرة في إطار عمل ADMM.
3. ضمانات التقارب: اشتقوا معايير التقارب لـ FlowADMM تحت افتراضات ليبشيتز الضعيفة، والتي تغطي الجداول الزمنية الثابتة وغير الثابتة (المتغيرة زمنياً).
4. استراتيجية أخذ العينات: اقترحوا استراتيجية أخذ عينات مونت كارلو من "الخشن إلى الناعم" (coarse-to-fine) تزيد من عدد العينات في التكرارات اللاحقة، مدفوعة بسلوك المؤثر المتوسط.
5. الأداء التجريبي: أظهروا أداءً يضاهف أحدث النتائج (state-of-the-art) عبر عدة مسائل عكسية مع تطلب عدد أقل من تقييمات اتساق البيانات مقارنة بالنهج العشوائية السابقة.

النتائج التجريبية

قيم المؤلفون FlowADMM على مجموعتي بيانات CelebA وAFHQ-Cat عبر خمس مهام: إزالة الضجيج، إزالة التغبيش، تكبير الدقة، إكمال البيانات العشوائي، وإكمال البيانات في صندوق (box inpainting).

• الأداء: حقق FlowADMM نتائج رائدة في مقاييس التشوه (PSNR وSSIM) في 7 من أصل 10 مهام مقارنة بطرق PnP الحديثة القائمة على التدفق والانتشار (بما في ذلك PnP-Flow، وFlower، وOT-ODE، وD-Flow، وDiffPIR). لوحظت تحسينات ملحوظة في مهام تكبير الدقة وإكمال البيانات.
• الكفاءة: بينما يضاهي FlowADMM إجمالي عدد تقييمات التدفق (forward passes للشبكة) للمنافس الرائد Flower5-OT، فإنه يتطلب عدداً أقل بكثير من تقييمات المؤثر التقريبي لحد البيانات. وذلك لأن Flower5-OT يقوم بمتوسط مسارات إعادة البناء الكاملة، بينما يقوم FlowADMM بمتوسط خطوة الأولوية فقط داخل كل تكرار.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن جدول أخذ العينات "الثقيل في النهاية" (الذي يزيد العينات في التكرارات المتأخرة) يحسن الأداء بشكل كبير مقارنة بأخذ العينات الثابت. علاوة على ذلك، فإن تطبيق هذا الجدول على PnP-Flow حسن نتائجه، لكن FlowADMM ظل يتفوق عليه، مما يشير إلى أن صياغة ADMM توفر ميزة بحد ذاتها.
• القصور: يعتمد تحليل التقارب على ثوابت ليبشيتز للشبكة المدربة مسبقاً والتي لا يتم فرض عقوبات صريحة عليها أثناء التدريب. بالإضافة إلى ذلك، تنطبق الضمانات النظرية على المؤثر المتوسط الحتمي، بينما تستخدم النسخة العملية تقريبات مونت كارلو العشوائية.

الأهمية والادعاءات

يدعي البحث أنه من خلال الصياغة الصريحة للمؤثر الحتمي الكامن وراء طرق إعادة الضجيج وإزالة الضجيج العشوائية، فإنه يسد الفجوة بين النجاح التجريبي والفهم النظري في مجال PnP القائم على التدفق. يوفر العمل:

• تقارب مثبت: على عكس طرق PNT العشوائية السابقة، يأتي FlowADMM مع ضمانات تقارب تحت شروط ليبشيتز واقعية للشبكة التدفقية.
• كفاءة خوارزمية: يسمح التكامل في إطار ADMM باستخدام أكثر كفاءة للموارد الحسابية (خطوات أقل لاتساق البيانات) مقارمة بطرق متوسط المسارات.
• رؤية نظرية للمؤثر: يشير التحليل إلى أنه يمكن استغلال سلوك "الخشن إلى الناعم" للمؤثر المتوسط من خلال جداول أخذ عينات تكيفية، وهو مبدأ يفيد كلاً من ADMM ونهج FBS.

يخلص المؤلفون إلى أن FlowADMM يقدم إطاراً قوياً ومبنياً على أسس نظرية لحل المسائل العكسية باستخدام أولويات التدفق، رغم إقرارهم بأن العمل المستقبلي يمكن أن يركز على فرض قيود ليبشيتز أثناء التدريب لتعزيز ضمانات الاستقرار.