🤖 machine learning

Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models

تقدم هذه الورقة طريقة "تعزيز مطابقة الـ adjoint" (RAM)، وهي طريقة قابلة للتوسع للتدريب اللاحق باستخدام التعلم المعزز لنماذج الانتشار ومطابقة التدفق، تحقق محاذاة فائقة مع المكافآت عبر اشتقاق فقد اتساق بسيط يصحح أهداف ما قبل التدريب دون الحاجة إلى عمليات تدفق SDE مكلفة، أو مسوحات adjoint خلفية، أو تدرجات مكافأة.

المؤلفون الأصليون: Andreas Bergmeister, Stefanie Jegelka, Nikolas Nüsken, Carles Domingo-Enrich, Jakiw Pidstrigach

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Andreas Bergmeister, Stefanie Jegelka, Nikolas Nüsken, Carles Domingo-Enrich, Jakiw Pidstrigach

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً بارعاً قضى سنوات في تعلم الرسم من خلال نسخ الآلاف من الصور. هذا الفنان بارع للغاية في إعادة إنتاج ما يراه، لكنه لا يعرف بالضرورة كيفية اتباع تعليمات محددة وصعبة مثل "ارسم حماراً وحشياً أحمر بجانب شاحنة زرقاء" أو "اكتب كلمة 'HELLO' بوضوح على درع".

لتعليم هذا الفنان هذه المهارات الجديدة، نستخدم عادةً طريقة تسمى التعلم المعزز (Reinforcement Learning - RL). فكر في هذا الأمر كأنه ناقد فني صارم ينظر إلى اللوحة، ويعطيها درجة، ثم يقول للفنان: "أدِّ بشكل أفضل في المرة القادمة".

الطريقة القديمة: الناقد المكلف والبطيء

في السابق، كان تدريب هؤلاء الفنانين من الذكاء الاصطناوي باستخدام ناقد يشبه محاولة تعليم شخص السباحة عبر إلقائه في المحيط ومراقبته وهو يتخبط.

العملية: يقوم الذكاء الاصطناعي بإنشاء صورة كاملة (عملية "السباحة")، ثم يقوم الناقد بتقييمها، وبعد ذلك يحاول النظام معرفة أي ضربة فرشاة بالضبط هي التي تسببت في الدرجة الجيدة أو السيئة.
المشكلة: للقيام بذلك، كان على الذكاء الاصطناعي محاكاة عملية الرسم بأكملها من البداية إلى النهاية، مراراً وتكراراً، فقط للحصول على قطعة واحدة من الملاحظات. كان الأمر بطيئاً، ومكلفاً حاسوبياً، وغير مستقر في كثير من الأحيان (مثل محاولة حساب سرعة الرياح بينما يغرق القارب).

الطريقة الجديدة: RAM (مطابقة الملحق المعزز)

أدرك مؤلفو هذه الورقة البحثية، أندرياس بيرجميستر وفريقه، أن هناك طريقة أذكى بكسم. لقد وجدوا "اختصاراً" يحافظ على سرعة وبساطة عملية التدريب، تماماً مثل مرحلة التدريب المسبق الأصلية.

إليك كيف يعمل نظام RAM، باستخدام تشبيه بسيط:

1. خدعة "النقطة النهائية النظيفة"
تخيل أن عملية الرسم تشبه فيلماً يعمل بالعرض المعكوس. يبدأ الفيلم بلوحة فارغة (ضجيج/نويز) وينتهي بلوحة مكتملة.

الطريقة القديمة: كان على الذكاء الاصطناعي مشاهدة الفيلم بأكمله، وتقييم النهاية، ثم إعادة الفيلم إطاراً تلو الآخر ليرى أين أخطأ.
طريقة RAM: أدرك المؤلفون أنه إذا كنت تعرف اللوحة النهائية (النقطة النهائية النظيفة)، فلا داعي لمشاهدة الفيلم بأكمله لفهم العملية. يمكنك ببساطة أخذ تلك اللوحة المكتملة، و"إضافة ضجيج" إليها رياضياً بشكل فوري لإنشاء نسخة فوضوية منها، تماماً كما فعل التدريب الأصلي.

2. التغذية الراجعة "لمرة واحدة وانتهى الأمر"
بدلاً من محاكة عملية الرسم بأكملها للحصول على ملاحظات، يقوم RAM بما يلي:

التوليد: يرسم الذكاء الاصطناعي صورة مكتملة (النقطة النهائية).
التقييم: يعطي الناقد درجة (مثلاً: "عمل رائع في كتابة النص!").
الرجوع الفوري: بدلاً من محاكاة عملية الرجوع، يقوم الرياضيات فوراً بإنشاء نسخة "ضوضائية" من تلك الصورة.
التعلم: يتعلم الذكاء الاصطناعي كيفية تحويل تلك النسخة الضوضائية المحددة مرة أخرى إلى الصورة ذات الدرجة العالية.

البصيرة السحرية:
تثبت الورقة البحثية أن قواعد كيفية "إضافة الضجيج" إلى صورة ما لا تتغير، حتى عندما تحاول جعل الصورة أفضل. الشيء الوحيد الذي يتغير هو أي الصور التي يقرر الذكاء الاصطناعي رسمها في المقام الأول. ولأن "قواعد الضجيج" تظل كما هي، يمكن للذكاء الاصطناعي استخدام نفس الرياضيات البسيطة التي استخدمها أثناء تدريبه الأصلي، ولكن مع هدف جديد.

لماذا يعد هذا أمراً بالغ الأهمية؟

السرعة: تزعم الورقة أن RAM أسرع من 34 إلى 50 مرة من الطرق السابقة. إنه يصل إلى نفس مستوى المهارة في جزء ضئيل من الوقت.
البساطة: لا يتطلب حسابات معقدة وغير مستقرة (مثل "تدفقات SDE" أو "مسحات الملحق الخلفية"). إنه مجرد مهمة انحدار بسيطة، مشابهة للتدريب الأصلي.
الجودة: عندما اختبروه على Stable Diffusion 3.5M، أصبح الذكاء الاصطناعي أفضل بكثير في:
- التركيب (Composability): وضع الأشياء في أماكنها الصحيحة (مثل وضع شاحنة يسار ثلاجة).
- رسم النصوص: كتابة الكلمات بوضوح في الصور.
- تفضيلات البشر: جعل الصور التي يحب البشر النظر إليها حقاً.

الخلاية

فكر في RAM كمنح الفنان "ممحاة سحرية" و"بطاقة تقييم سحرية". بدلاً من إجبار الفنان على إعادة رسم اللوحة بأكملها ليرى أين أخطأ، تظهر له الممحاة السحرية فوراً نسخة فوضوية من أفضل أعماله، وتخبره بطاقة التقييم بالضبط كيف يصلح ذلك الفوضى المحددة. هذا يسمح للذكاء الاصطناعي بتعلم مهارات معقدة جديدة دون التكلفة الحسابية الثقيلة للطرق السابقة.

ملخص تقني: مطابقة الـ Adjoint المعززة (Reinforce Adjoint Matching - RAM)

بيان المشكلة

تحقق نماذج الانتشار (Diffusion) ومطابقة التدفق (Flow-matching) جودة عالية في التوليد لأن تدريبها المسبق يعتمد على الانحدار الخاضع للإشراف: حيث يتم إضافة ضجيج تحليلي لعينة نظيفة، ويقوم النموذج بعملية انحدار (Regression) تجاه هدف ذي صيغة مغلقة. ومع ذلك، فإن محاذاة هذه النماذج مع دالات المكافأة (مثل الصحة التركيبية، أو رسم النصوص، أو التفضيلات البشرية) عبر التعلم التعزيزي (RL) بعد التدريب، يخل بهذا الهيكل الفعال.

تواجه طرق التعلم التعزيزي الحالية في مرحلة ما بعد التدريب عقبات حوسبية وهيكلية كبيرة:

طرق تدرج السياسة (Policy Gradient Methods): تعامل عملية إزالة الضجيج كعملية قرار ماركوف (MDP)، مما يتطلب عمليات سحب (rollouts) لعمليات SDE عشوائية وتحسين الحدود الدنيا التباينية (variational lower bounds). وهذا يؤدي إلى تباين عالٍ ويتطلب خطوات أخذ عينات عديدة.
طرق التحكم الأمثل العشوائي (Adjoint Methods): تستهدف هدف تعظيم المكافأة المنظم بـ KL بدقة، ولكنها تتطلب عمليات مسح (sweeps) خلفية للـ adjoint على مسارات SDE المخزنة وتدفق تدرجات المكافأة عبر عملية أخذ العينات. هذا الأمر غير مستقر عددياً ومكلف حوسبياً، لا سيما لنماذج مطابقة التدفق حيث تتباعد جداول الضجيج بالقرب من الطرف الصاخب.
الخسائر البديلة (Surrogate Losses): تستبدل الطرق الحديثة الاحتمالات المستعصية بخسائر بديلة (مثل ELBO أو النهايات التباينية)، مما يضحي بهيكل الانحدار النقي الذي يسمح بتوسع التدريب المسبق.

التحدي الجوهري هو اشتقاق هدف للتعلم التعزيزي في مرحلة ما بعد التدريب يحافظ على بساطة وقابلية توسع إطار الانحدار الخاص بالتدريب المسبق مع تحقيق تحسين فعال للمكافآت.

المنهجية: مطابقة الـ Reinforce Adjoint (RAM)

يقترح المؤلفون طريقة Reinforce Adjoint Matching (RAM)، وهي طريقة توسع هيكل انحدار التدريب المسبق لتشمل التعلم التعزيزي في مرحلة ما بعد التد training دون الحاجة إلى عمليات سحب SDE، أو مسحات adjoint خلفية، أو تدرجات للمكافأة.

الأساس النظري

تستند الطريقة إلى تعظيم المكافأة المنظم بـ KL بصيغته كمسألة تحكم أمثل عشوائي.

هيكل العملية الأمثل: تحت تنظيم KL، تقوم العملية التوليدية المثلى بإمالة توزيع النهايات الطرفية النظيفة ( $X_0$ ) نحو العينات ذات المكافأة العالية ( $p^*_0 \propto p_{ref}^0 \exp(r)$ ) ولكنها تترك القانون الشرطي للحالات الصاخبة بالنسبة لنهاية طرفية نظيفة دون تغيير. وتحديداً، تظل المسارات من $X_0$ ثابتة إلى حالة صاخبة $X_t$ هي نفسها نواة Gaussian التحليلية المستخدمة في التدريب المسبق.
شرط مطابقة الـ Adjoint: يحقق التحكم الأمثل $u_t$ شرط النقطة الثابتة حيث يساوي التحكم سالب التدرج المقياس لدالة القيمة (الـ adjoint): $u_t = -\sigma_t \nabla_x V_t(x)$ .
تفكيك REINFORCE: لتجنب حساب $\nabla r$ (الذي قد يكون غير قابل للاشتقاق)، يطبق المؤلفون متطابقة مشتق اللوغاريتم (REINFORCE) على دالة القيمة. هذا يفكك الـ adjoint إلى حد مكافأة موزون بدرجة جسر عكسي (backward bridge score) وحد تصحيح تكلفة المسار.

هدف RAM

تقوم RAM بتقريب الـ adjoint عبر إسقاط تصحيح تكلفة المسار (مبرر بانخفاض التباين والاستقرار عند النطاق الواسع) واستغلال الرؤية الهيكلية التي تظل فيها نواة الضجيج تحليلية.

أخذ عينات النهاية الطرفية: بدلاً من محاكاة SDE متحكم به، تسحب RAM نهاية طرفية نظيفة $X_0$ من توزيع النموذج الحالي باستخدام أي عينة ODE جاهزة.
إضافة الضجيج التحليلي: يتم إضافة الضجيج إلى $X_0$ المسحوبة تحليلياً لتوليد حالات التدريب $X_t = (1-t)X_0 + t\epsilon$ ، تماماً كما في التدريب المسبق.
الهدف ذو الصيغة المغلقة: يتم اشتقاق هدف الانحدار لمجال السرعة $v_\theta$ عن طريق استبدال حد المكافأة ودرجة جسر Bayes (التي لها صيغة مغلقة للضجيج الخطي) في شرط الـ adjoint.

دالة الخسارة الناتجة هي:
$L_{RAM}(\theta) = \mathbb{E}_t \left[ \left\| v_\theta^t(X_t) - \text{sg}\left( v_{ref}^t(X_t) + r(X_0) \left( (\epsilon - X_0) - v_\theta^t(X_t) \right) \right) \right\|^2 \right]$
حيث $X_0 \sim p_\theta^0$ ، و $\epsilon \sim \mathcal{N}(0, I)$ ، و $\text{sg}(\cdot)$ تمثل عامل إيقاف التدرج (stop-gradient).

آليات الكفاءة الرئيسية

لا عمليات سحب SDE: يتم توليد حالات التدريب عبر إضافة الضجيج لنهاية طرفية واحدة $K$ من المرات باستخدام ناقلات ضجيج مستقلة. يوفر هذا $K$ من العينات التدريبية المستقلة شرطياً لكل تمريرة أمامية للنموذج، مما يوفر إشارة تدرج أكثر لكل خطوة مقارنة بالطرق التي تعتمد على مسارات SDE مفردة.
്യത لا تدرجات للمكافأة: تعمل الطريقة مع مكافآت "الصندوق الأسود".
لا مسحات خلفية: الطبيعة التحليلية لنواة الضجيج تلغي الحاجة إلى التكامل الخلفي للـ adjoint.

المساهمات الرئيسية

التوسيع الهيكلي: يثبت البحث أن هيكل الانحدار للتدريب المسبق يمتد إلى التعلم التعزيزي في مرحلة ما بعد التدريب تحت تنظيم KL. فالعملية المثلى تغير فقط توزيع النهاية الطرفية، وليس قانون إضافة الضجيج الشرطي.
خوارزمية RAM: خسارة اتساق مبتكرة تصحح هدف التدريب المسبق بمعلومات المكافأة باستخدام درجة جسر Bayes ذات الصيغة المغلقة، متجنبة الاختناقات الحوسبية للطرق الموجودة.
التبرير النظري: اشتقاق يوضح أن النقطة الثابتة لـ RAM تقابل الأمثل لـ KL المنظم، مع ضمان الدقة للحالات المرجعية الغاوسية تحت المكافآت الخطية والاتفاق من الدرجة الأولى بشكل عام.
تحليل التباين: تحليل لمقدرات تكلفة المسار يظهر أن إسقاط تصحيح تكلفة المسار (كما تفعل RAM) يقلل التباين بشكل كبير مقارنة بمقدرات الـ adjoint كاملة الأفق أو المحلية، مما يجعلها المقدر الوحيد القابل للتطبيق في مرحلة ما بعد التدريب للصور ذات الأبعاد الكبيرة.

النتائج التجريبية

قيم المؤلفون RAM على نموذج Stable Diffusion 3.5 Medium (SD3.5M) عبر ثلاث مهام:

توليد الصور التركيبية (GenEval): قياس صحة الكائنات، والسمات، والعلاقات المكانية.
رسم النصوص البصرية (OCR): قياس مقروئية النصوص في الصور المولدة.
المحاذاة مع التفضيلات البشرية (PickScore): المحاذاة مع التفضيلات البشرية.

الأداء:

تعظيم المكافأة: حققت RAM أعلى مكافآت تدريب في المهام الثلاث، متفوقة على النماذج المرجعية بما في ذلك Flow-GRPO و DiffusionNFT و AWM.
كفاءة التدريب: وصلت RAM إلى ذروة مكافأة Flow-GRPO في 50 ضعفاً أقل من الخطوات لـ GenEval، و 4 48 ضعفاً أقل لـ OCR، و 34 ضعفاً أقل لـ PickScore.
جودة الصورة: على عكس بعض النماذج المرجعية التي عانت من "اختراق المكافأة" (degrading aesthetic quality for task metrics)، حافظت RAM على جودة الصور أو حسنتها (Aesthetic, DeQA, ImageReward, HPSv2) أثناء تعظيم مكافآت المهام.
التوافق مع CFG: تظل RAM متوافقة مع التوجيه الخالي من المصنف (CFG) بعد مرحلة ما بعد التدريب، بينما شهدت نماذج مثل DiffusionNFT و AWM انخفاضاً كبيراً في مكافآت المهام عند تطبيق CFG.

الأهمية والادعاءات

يزعم البحث أن RAM تمثل تحولاً جذرياً في التعلم التعزيزي لما بعد التدريب لنماذج الانتشار ومطابقة التدفق. من خلال الاستفادة من الخصائص الهيكلية المحددة لمسألة التحكم الأمثل، تعيد RAM نموذج "الانحدار البسيط" الذي جعل التدريب المسبق قابلاً للتوسع.

يؤكد المؤلفون أن:

RAM تلغي الحاجة إلى عمليات سحب SDE المكلفة ومسحات adjoint الخلفية، والتي كانت العوائق الرئيسية أمام توسيع نطاق التعلم التعزيزي لتوليد الصور عالية الدقة.
الطريقة "بسيطة وقابلة للتوسع"، حيث تحقق نتائج رائدة مع عدد خطوات أقل بكثير وتكاليف حوسبة لكل خطوة مماثلة للطرق الموجودة.
ينجح النهج في محاذاة النماذج مع المكافآت المعقدة (التركيبية، النصوص، التفضيلات) دون تدهور مرئي في الجودة أو اختراق للمكافأة، مما يثبت أن هيكل التدريب المسبق قوي بما يكفي للتعامل مع محاذاة ما بعد التدريب عندما تتحقق الشروط النظرية الصحيحة.