ملخص تقني: محاذاة النماذج التوليدية ذات الخطوات القليلة عبر الاستدلال التبايني القائم على العينات

بيان المشكلة

تمثل محاذاة النماذج التوليدية ذات الخطوات القليلة (مثل GANs، ونماذج الاتساق، وخرائط التدفق، والنماذج الانجرافية) مع أهداف محددة، مثل دالات المكافأة أو التفضيلات البشرية، تحديًا كبيرًا. تعتمد أطر المحاذاة الحالية عادةً على افتراضات هيكلية مقيدة غالبًا ما تنتهكها النماذج التوليدية ذات الخطوات القليلة:

1. الاحتمالية القابلة للحساب (Tractable Likelihoods): تتطلب العديد من الطرق تقييم الاحتمالية الصريح عبر مسارات إزالة الضجيج، وهو أمر غير متاح للنماذج الضمنية مثل GANs أو خرائط الخطوة الواحدة.
2. المحللات المحددة (Specific Solvers): تعتمد النهج القائمة على التحكم الأمثل العشوائي (SOC) أو التعلم التعزيزي (RL) غالبًا على حلول معادلات تفاضلية عادية (ODE) أو معادلات تفاضلية عشوائية (SDE) محددة وعمليات إزالة ضجيج متسلسلة.
3. خصوصية النموذج (Model Specificity): غالبًا ما يتم تصميم الصيغ لتناسب عائلات نماذج معينة (مثل نماذج الانتشار)، مما يؤدي إلى الفشل في التعميم على بنيات متنوعة للخطوات القليلة مثل VAEs أو خرائط التدفق.

وبناءً على ذلك، هناك نقص في إطار عمل عام للمحاذاة يمكنه ضبط النماذج التوليدية المتنوعة ذات الخطوات القليلة مع الحفاظ على ميزتها الجوهرية: الاستدلال السريع ذو الخطوة الواحدة.

المنهجية: FAV

يقترح المؤلفون FAV (محاذاة النماذج التوليدية ذات الخطوات القليلة عبر الاستدلال التبايني القائم على العينات)، وهو إطار عمل عام يفصل عملية المحاذاة عن عائلة المولد وديناميكيات أخذ العينات. يصيغ FAV المحاذاة كعملية أخذ عينات من توزيع مائل للمكافأة (reward-tilted distribution) مرتكز على توزيع مرجعي:
$$q^*(x) \propto p_{\text{ref}}(x) \exp(\beta \cdot r(x))$$
حيث $p_{\text{ref}}$ هو التوزيع المرجعي (مثل مولد مدرب مسبقًا أو بيانات تجريبية) و $r(x)$ هي دالة الهدف.

تتم العملية عبر ثلاث مراحل رئيسية:

1. التقريب القائم على العينات عبر SVGD

يقرب FAV التوزيع المستهدف $q^*$ باستخدام تدرج التباين لستاين (Stein Variational Gradient Descent - SVGD). بدلاً من طلب تقييم الكثافة، يستخدم SVGD الجسيمات لتمثيل التوزيع وينقلها تكراريًا نحو الهدف. يتم اشتقاق حقل سرعة ستاين الأمثل $\phi^*$ لتعظيم انخفاض تباعد KL:
$$\phi^*_{q_\theta, q^*}(x) = \mathbb{E}_{x' \sim q_\theta} \left[ k(x', x) \nabla_{x'} \log p_{\text{ref}}(x') + \beta \cdot k(x', x) \nabla_{x'} r(x') + \nabla_{x'} k(x', x) \right]$$
يتكون هذا الحقل من ثلاثة مكونات:

• محاذاة الأولوية (Prior Alignment): تدفع العينات نحو التوزيع المرجعي $p_{\text{ref}}$.
• توجيه المكافأة (Reward Guidance): تدفع العينات نحو مناطق المكافأة العالية.
• فرض التنوع (Diversity Enforcement): يمنع انهيار النمط (mode collapse) عبر حد تدرج النواة (kernel gradient).

2. تقدير الدرجة غير المعلمي (KDE)

يتمثل التحدي الحرج في أن الدرجة (score) $\nabla \log p_{\text{ref}}$ غالبًا ما تكون غير قابلة للحساب للبيانات التجريبية أو المولدات الضمنية. يعالج FAV ذلك بتقدير الدرجة بشكل غير معلمي باستخدام تقدير كثافة النواة (Kernel Density Estimation - KDE). من خلال إجراء عملية التفاف (convolution) للتوزيع المرجعي مع نواة غاوسية، يتم تقريب الدرجة كمتوسط مرجح للفروقات بين عينات المرجع والجسيمات الحالية، مما يتجاوز الحاجة إلى احتماليات صريحة.

3. الإهلاك (Amortization) عبر انحدار النقطة الثابتة

للحفاظ على سرعة الاستدلال السريعة للنماذج ذات الخطوات القليلة، لا يقوم FAV بتحديثات SVGD التكرارية أثناء الاستدلال. بدلاً من ذلك، يقوم بـ إهلاك (amortization) عملية النقل في معاملات المولد $\theta$ عبر انحدار النقطة الثابتة. يتم تدريب المولد لتقليل المسافة بين مخرجاته والهدف "المنقول":
$$\mathcal{L}(\theta) = \mathbb{E}_{\epsilon} \left[ \| \text{stopgrad}(f_\theta(\epsilon) + \hat{\phi}^*_{q_\theta, q^*_\sigma}(f_\theta(\epsilon))) - f_\theta(\epsilon) \|_2^2 \right]$$
هنا، تعمل العينة المنقولة كهدف انحدار مستقر. يسمح هذا للمولد بتعلم إنتاج عينات محاذية في تمريرة أمامية واحدة (single forward pass).

التوسع إلى المكافآت الصندوق الأسود (Black-Box Rewards): بالنسبة للمكافآت غير القابلة للاشتقاق، يستخدم FAV تقدير تدرج الرتبة صفر (Gaussian smoothing) لتقريب $\nabla r(x)$، مما يسمح بالمحاذاة حتى عندما تكون دالة المكافأة عبارة عن صندوق أسود.

المساهمات الرئيسية

1. إطار عمل عام للمحاذاة: يعد FAV أول إطار عمل يحاذي المولدات المتنوعة ذات الخطوات القليلة (بما في ذلك VAEs، وGANs، ونماذج الاتساق، وخرائط التدفق) دون الحاجة إلى احتماليات قابلة للحساب، أو حلول ODE/SDE محددة، أو مسارات متعددة الخطوات.
2. صياغة VI القائمة على العينات: من خلال صياغة المحاذاة كأخذ عينات من توزيع مائل للمكافأة باستخدام SVGD وKDE، يفصل FAV عملية المحاذاة عن الديناميكيات الداخلية للمولد.
3. الحفاظ على الكفاءة: من خلال الإهلاك عبر انحدار النقطة الثابتة، يحافظ FAV على كفاءة الاستدفت بخطوة واحدة للمولد الأساسي، متجنبًا العبء الحسابي لعمليات أخذ العينات التكرارية أو عمليات التقطير (distillation).
4. التوافق مع الصندوق الأسود: يسمح دمج تقدير تدرج الرتبة صفر لـ FAV بتحسين مكافآت الصندوق الأسود التعسفية.

النتائج التجريبية

قيم المؤلفون FAV في مجالين رئيسيين: التحكم في الروبوتات وتوليد الصور.

1. التحكم في الروبوتات (التعلم التعزيزي غير المتصل وغير المتصل-إلى-المتصل)

• الاختبارات المعيارية: 56 مهمة تعلم تعزيزي غير متصل (OGBench وD4RL) و30 مهمة من غير متصل إلى متصل.
• الأداء: حقق FAV أداءً رائدًا (state-of-the-art) عبر جميع المهام، متفوقًا على 10 نماذج أساسية بما في ذلك تدرجات السياسة المعاد تمثيلها، ومطابقة اللاحق (Adjoint Matching)، وسياسات التوليد المقطرة (مثل FQL وIFQL).
• النتيجة الرئيسية: أظهر FAV قدرات فائقة في استخراج السياسة وأداء الانتقال من التعلم غير المتصل إلى المتصل، حتى بدون نماذج توليدية مساعدة أو عمليات إزالة ضجيج متعددة الخطوات.

2. محاذاة مولد الصور

• المقاييس: تراوحت التجارب من ImageNet-256 (256x256) إلى توليد الصور عالية الدقة (1024x1024).
• النماذج: تم الاختبار على StyleGAN-XL، والنماذج الانجرافية، وiMeanFlow، وSANA-Sprint.
• المقاييس: تم التقييم مقابل درجات الجمالية، ودرجات التفضيل البشري (HPS)، وكواشف السلامة (NSFW).
• الأداء:
  • حقق FAV باستمرار أفضل جبهة باريتو (Pareto frontier) بين تحسين المكافأة وتنوع/جودة العينات، مما قلل من مشكلة الإفراط في تحسين المكافأة بشكل أفضل من النماذج الأساسية مثل DRaFT وAdjoint Matching.
  • كفاءة الاستدلال: أنتج FAV عينات محاذية بسرعة أكبر بحوالي 180 إلى 280 مرة من طرق المحاذاة أثناء الاستداف (مثل Best-of-N وReNO) مع الحفاظ على جودة صور تنافسية.
  • القابلية للتوسع: نجح الأسلوب في التوسع من دقة 256x256 إلى 1024x1024 وتعمم عبر بنيات نماذج مختلفة.

الأهمية والادعاءات

يدعي البحث أن FAV يوفر حلاً موحداً ومستقلاً عن النموذج لمحاذاة النماذج التوليدية ذات الخطوات القليلة. تكمن أهميته في:

• إزالة العوائق الهيكلية: فهو يلغي الحاجة إلى احتماليات قابلة للحساب أو مسارات أخذ عينات محددة، مما يجعل المحاذاة متاحة لفئة أوسع من النماذج التوليدية الضمنية.
• الموازنة بين الكفاءة والجودة: نجح في التوفيق بين توليد مكافأة عالية والكفاءة الحسابية للاستدلال ذي الخطوات القليلة، وهو تحدٍ أدى فيه النهج السابق غالبًا إلى تدهور الأداء أو تطلبت عمليات تقطير معقدة.
• المتانة: أظهر الإطار متانة عبر مهام متنوعة، من التحكم منخفض الأبعاد إلى توليد الصور عالية الدقة، ويتعامل مع دالات المكافأة القابلة للاشتقاق والصندوق الأسود على حد سواء.

يخلص المؤلفون إلى أن FAV يمثل نهجًا قويًا وعام الغرض لاستخراج السياسة في التعلم التعزيزي ومحاذاة المكافأة في توليد الصور، مما يقدم بديلًا عمليًا للطرق الأكثر تعقيدًا والتي تعتمد على افتراضات كثيرة.