ملخص تقني: أخذ عينات من التوزيع البعدي المستوحى من لانجفنز المنفصل (∆LPS)

بيان المشكلة

تتناول الورقة البحثية تحدي حل المشكلات العكسية في فضاءات الحالة المنفصلة. تتضمن المشكلات العكسية استعادة إشارة مجهولة $x$ من قياسات غير مباشرة، متفرقة، وضوضائية $y$ (تُنمذج كـ $y = A(x) + n$). وبينما أصبحت نماذج الانتشار المستمرة هي المعيار لحل مثل هذه المشكلات عبر أخذ عينات من التوزيع البعدي، إلا أن نظيراتها المنفصلة لا تزال غير مستكشفة بشكل كافٍ.

تعاني الطرق الحالية لأخذ عينات التوزيع البعدي المنفصل من ثلاث عيوب رئيسية:

1. التخفيفات المستمرة (Continuous Relaxations): تقوم طرق مثل G2D2 بتخفيف المتغيرات الفئوية (categorical) إلى فضاءات مستمرة لاستخدام التوجيه بالاشتقاق (gradient guidance)، مما يغير هندسة الاستدلال ويخاطر بعدم اتساق فك تشفير الرموز (tokens) المنفصلة بعد إسقاطها.
2. التحديثات المتسلسلة: تعتمد طرق مثل SGDD على تحديثات شبيهة بأسلوب جيبس (Gibbs-style)، وهي متسلسلة وبطيئة في الاختلاط (mixing) في الفضاءات عالية الأبعاد.
3. التخصص: طرق مثل APS مرتبطة ارتباطاً وثيقاً بعمليات إفساد محددة (مثل الانتشار المقنع/masked diffusion) ونماذج تدريب معينة، مما يحد من عموميتها.

الهدف هو تطوير أخذ عينات من التوزيع البعدي يظل منفصلاً بالكامل، ويحدث جميع أبعاد الرموز بالتوازي، ويكون محايداً تجاه نموذج التدريب الخاص بنموذج الانتشار المنفصل.

المنهجية: ∆LPS

يقترح المؤلفون ∆LPS (أخذ عينات التوزيع البعدي المستوحى من لانجفنز المنفصل)، وهو خوارزمية لا تتطلب تدريباً تستخدم معلومات الاشتقاق لتوجيه الانتقالات المنفصلة دون مغادرة فضاء الحالة المنفصلة.

الصيغة الجوهرية

تتم صياغة المشكلة في فضاء الكوامن المنفصل $z_0 \in \{1, \dots, K\}^L$ لنموذج الترميز وفك الترميز (encoder-decoder). الهدف هو أخذ عينات من التوزيع البعدي $p(z_0|y) \propto p(y|z_0)p_\theta(z_0)$، حيث $p_\theta$ هو نموذج انتشار منفصل مدرب مسبقاً. يقوم أخذ العينات بتقريب انتقال التوزيع البعدي $p(z_s|z_t, y)$ عن طريق استنتاج أول لـ $z_0$ نظيف يتوافق مع القياس ومع النموذج الأولي (prior)، ثم إعادة إضافة الضجيج إليه للوصول إلى الخطوة الزمنية التالية.

مقترح لانجفنز المنفصل

الابتكار الرئيسي هو تكييف ديناميكيات لانجفنز مع الفضاءات المنفصلة. في الإعدادات المستمرة، يقوم تحديث لانجفنز بتحريك عينة $z_0$ في اتجاه اشتقاق جهد اللوغاريتم البعدي $U(z_0) = \log p(y|z_0) + \log p_\theta(z_0; z_t)$. وبما أن $z_0$ منفصل، فإن المؤلفين لا يضيفون متجه اشتقاق مباشرة. بدلاً من ذلك، يستخدمون توزيع الاقتراح الغاوسي (Gaussian proposal distribution) من ديناميكيات لانجفز المستمرة لتحديد احتمالات الانتقال عبر المرشحين المنفصلين الصالحين $z'_0$:

$$q(z'_0|z_0; z_t, y) \propto \exp\left( -\frac{1}{4\eta} \|z'_0 - z_0 - \eta \nabla_{z_0} U(z_0; z_t, y)\|_2^2 \right)$$

من خلال توسيع الأس والتقييس عبر المجموعة المحدودة من الرموز الصالحة، يتجزأ عامل الاقتراح عبر إحداثيات الرمز. هذا يسمح لأخذ العينات بحساب توزيع فئوي (categorical distribution) لكل موضع رمز $\ell$ بشكل مستقل:
$$q_\ell(z'_0[\ell]) = \text{Cat}\left( \sigma\left( \frac{1}{2} \nabla_{z_0[\ell]} U \cdot (k - z_0[\ell]) - \frac{(k - z_0[\ell])^2}{4\eta} \right) \right)$$

تتيح هذه الآلية تحديثات متوازية بالكامل عبر جميع أبعاد الرمونة $L$، مما يتجنب عنق الزجاجة المتسلسل لأخذ عينات جيبس.

التعميم والتهيئة المسبقة (Preconditioning)

• حياد النموذج الأولي (Prior Agnosticism): تتطلب الطريقة فقط احتمالات تنبؤية فوق الحالات الفئوية، مما يجعلها متوافقة مع نماذج الانتشار المقنع (MDLM) ونماذج الانتشار ذات الحالة الموحدة (Duo).
• المشكلات العكسية العمياء: بالنسبة للمشغلات الأمامية غير القابلة للاشتقاق أو غير المعروفة، يتم استبدال اشتقاق الاحتمالية بـ بديل تبايني (contrastive surrogate) متعلم (باستخدام مشفرات للبيانات والقياسات) لتوفير إشارة توجيه سلسة.
• تهيئة Adam المسبقة: للتعامل مع الاشتقاقات ضعيفة القياس في الفضاءات الكامنة عالية الأبعاد، يتم استبدال الاشتقاق الخام باتجاه مهيأ بـ Adam. يقوم هذا بتغيير حجم التحديثات تكيفياً، مما يخمد الاشتقاقات الكبيرة والمزعجة مع الحفاظ على الاشتقاقات المفيدة باستمرار، مما يحسن الاختلاط والتقارب.

المساهمات الرئيسية

1. أخذ عينات من التوزيع البعدي المنفصل بالكامل: ∆LPS هو أخذ عينات لا يتطلب تدريباً يبقي كل تكرار في فضاء الحالة المنفصلة، متجنباً تحسين الرموز الناعمة (soft-token optimization) وأخطاء الإسقاط.
2. تحديثات متوازية فعالة: من خلال تجزئة الاقتراح عبر الإحداثيات، تقوم الطريقة بتحديث جميع أبعاد الرموز بالتوازي، مما يحسن الكفاءة بشكل كبير مقارنة بأخذ عينات جيبس المتسلسلة.
3. تصميم محايد للنموذج الأولي: الطريقة ليست مرتبطة بعملية إفساد محددة (مقنع مقابل موحد) وتعمل مع أي نموذج انتشار منفصل مدرب مسبقاً يوفر احتمالات تنبؤية.

النتائج التجريبية

قيم المؤلفون ∆LPS على مجموعة متنوعة من المشكلات العكسية عبر MNIST وCIFAR-10 وFFHQ، لتشمل الإعدادات الخطية وغير الخطية والعمياء.

• ترميم الصور (FFHQ): في مهام تشمل ملء الفراغات (inpainting)، وإزالة الضباب الغاوسي (Gaussian deblurring)، وتكبير الدقة (super-resolution)، والمدى الديناميكي العالي (HDR)، وإزالة ضباب الحركة (motion deblurring)، يحقق ∆LPS أداءً يضاهي أو يتفوق على النماذج المستمرة (مثل DPS وPSLD) ويتفوق على النماذج المنفصلة الحالية (SGDD وG2D2 وAPS) في الجودة الإدراكية (LPIPS).
• المهام المنفصلة (MNIST/CIFAR): تُظهر الطريقة متانة عبر مستويات صعوبة متفاوتة (سهل، متوسط، صعب). وهي تتفوق باستمرار على SGDD وG2D2 في دقة الرموز وفي PSNR، حتى مع ميزانيات حوسبة أقل بكثير (عدد أقل من تقييمات الدالة) من نسخة SGDD "الكاملة".
• المشكلات العكسية العمياء: في مهمة الخرائط المكانية (استنتاج مخططات الأرض من مسارات المشي حيث يكون المشغل الأمامي غير معروف)، يتفوق ∆LPS على النماذج المستمرة (CoGuide ومتغيرات DPS) في مقياس F1 وIntersection over Union (IoU).

الأهمية والادعاءات

تدعي الورقة أن أخذ عينات التوزيع البعدي المنفصل بالكامل والموجه بالاشتقاق يوفر مساراً قابلاً للتوسع وعاماً لحل المشكلات العكسية عبر التمثيلات المنفصلة.

• القابلية للتوسع: تعالج آلية التحديث المتوازي قيود سرعة الاختلاط في الفضاءات عالية الأبعاد.
• العمومية: تفصل الطريقة خوارزمية الاستدلال عن نموذج التدريب الخاص بالنموذج الأولي، مما يسمح بالاستفادة من النظام البيئي المتنامي لنماذج الانتشار المنفصلة (النصوص، الأكواد، الصور، الصوت).
• العملية: من خلال تجنب التخفيفات المستمرة، يضمن ∆LPS أن تكون العينات النهائية رموزاً منفصلة صالحة، مما يمنع "فجوة الإسقاط" حيث يفشل التقريب المستمر في فك التشفير إلى إشارة منفصلة متسقة.

يخلص المؤلفون إلى أنه مع توسع النماذج التوليدية المنفصلة، ستصبح طرق الاستدلال المنهجية مثل ∆LPS بالغة الأهمية للتطبيقات في تصميم الجزيئات الحيوية، والموسيقى الرمزية، وإكمال الأكواد، وغيرها من المجالات حيث تكون البيانات منفصلة بطبيعتها.