🤖 machine learning

DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models

تقترح الورقة البحثية DreOPD، وهي طريقة استخلاص (distillation) جديدة قائمة على السياسة (on-policy) لنماذج مطابقة التدفق (flow-matching models)، تقوم بتحويل استقراء المكافأة الضمنية إلى انحدار سرعة ذي صيغة مغلقة وتستفيد من مرجع متدهور لتحقيق تدريب لاحق مستقر وعالي الأداء يتفوق على كل من الاستخلاص القياسي القائم على السياسة وخطوط الأساس لتعلم التعزيز متعدد المهام.

المؤلفون الأصليون: Mingfeng Lin, Chengfei Cai, Lin Xu, Yuxiang Wei, Liang Han

نُشر 2026-08-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mingfeng Lin, Chengfei Cai, Lin Xu, Yuxiang Wei, Liang Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً تتعلم فيه الحواسيب الرسم، والكتابة، والحلم. لفترة طويلة، كان العلماء يعلمون هذه الآلات باستخدام طريقة تسمى "مطابقة التدفق" (Flow-Matching). فكر في هذا الأمر كأنك نحات يبدأ بكتلة من الرخام المليئة بالضجيج والتشويش، ثم يبدأ بنحتها ببطء، مزيلاً الفوضى حتى يظهر تمثال مثالي. يتعلم الكمبيوتر التنبؤ بدقة بكيفية إزالة الضجيج في كل خطوة لإنشاء صورة جميلة من وصف نصي. لكن هنا تكمن المشكلة: بينما يبرع هؤلاء النحاتون الرقميون في صنع "شيء ما"، إلا أنهم لا يبرعون دائماً في صنع "ما تريده بالضبط". قد يواجهون صعوبة في اتباع التعليمات المعقدة، أو كتابة الكلمات الصحيحة داخل الصورة، أو جعل المشهد يبدو جذاباً من الناحية الجمالية.

ولإصلاح ذلك، يحاول الباحثون عادةً استخدام حيلتين رئيسيتين. الحيلة الأولى هي "التعلم التعزيزي" (Reinforcement Learning)، وهو يشبه توظيف ناقد فني صارم يعطي الكمبيوتر درجة بعد كل محاولة؛ حيث يحاول الكمبيوتر مراراً وتكراراً على أمل الحصول على درجة أعلى. المشكلة؟ هذه عملية فوضوية. قد يرتبك الكمبيوتر بسبب التغذية الراجعة، أو إذا طلبت منه تعلم ثلاث مهارات مختلفة في آن واحد (مثل كتابة النصوص، ورسم الحيوانات، وجعل المظهر جميلاً)، فقد تتصادم التعليمات ويصبح الكمبيوتر عالقاً. أما الحيلة الثانية فهي "التقطير" (Distillation)، وهي تشبه وجود رسام ماهر (المعلم) يقف بجانب الطالب ويقول له: "افعل تماماً ما أفعله". هذه الطريقة مستقرة وآمنة، لكن الطالب لا يمكنه أبداً أن يصبح أفضل من المعلم؛ بل يصبح مجرد نسخة منه. السؤال الكبير الذي يطرحه العلماء هو: هل يمكننا تعليم الطالب ليس فقط تقليد المعلم، بل تجاوزه أيضاً، خاصة عندما يكون لدينا عدة معلمون لكل منهم تخصصاته المختلفة؟

تقدم هذه الورقة البحثية طريقة ذكية جديدة تسمى DreOPD (التقطير على السياسة الاستباقية للمراجع المتدهورة - Degraded-reference Extrapolative On-policy Distillation) لحل هذا اللغز. فقد وجد الباحثون طريقة تجمع بين استقرار تقليد المعلم وطموح التفوق عليه. فبدلاً من مجرد إخبار الطالب بتقليد ضربات فرشاة المعلم، تعطي DreOPD الطالب نسخة "غير كاملة" أو "متدهورة" من المعلم ليقارن نفسه بها. تخيل طالباً ينظر إلى عمل رسام ماهر، ولكنه ينظر أيضاً إلى نسخة ضوئية باهتة ومنخفضة الجودة لنفس اللوحة. من خلال قياس الفرق بين النسخة الباهتة والأصلية الواضضحة، يمكن للطالب أن يدرك بالضبط الاتجاه الذي يجب أن يدفع به لوحته الخاصة لتصبح حتى أفضل من الأصل.

تشير الورقة البحثية إلى أنه باستخدام هذا "المرجع المتدهور"، يمكن للكمبيوتر حساب مسار رياضي دقيق للتحرك إلى ما وراء قدرات المعلم. الأمر يشبه امتلاك جهاز تحديد مواقع (GPS) لا يخبرك فقط بمكان المعلم، بل يشير إلى الاتجاه بعيداً عن النسخة السيئة من المعلم، مما يوجه الطالب مباشرة نحو وجهة جديدة ومحسنة. اختبر الباحثون هذه الطريقة على مولد صور قوي (SD3.5-M)، ووجدوا أن طريقتهم سمحت لنموذج الطالب بالتفوق على المعلمين المتخصصين في معظم المجالات. على سبيل المثال، في مهام مثل عد الأشياء بشكل صحيح (GenEval) أو كتابة النصوص داخل الصور (OCR)، سجل طالب DreOPD درجات أعلى من الخبراء الذين تدرب عليهم.

تستبعد الورقة البحثية صراحةً فكرة أن مجرد نسخ المعلم كافٍ للحصول على أفضل النتائج، كما تجادل بأن "التعلم التعزيزي" القياسي غالباً ما يكون غير مستقر وعرضة للأخطاء عند محاولة تعلم مهارات متعددة في وقت واحد. بدلاً من ذلك، يقترح المؤلفون أن نهج "الاستنباط" الخاص بهم — باستخدام الفجوة بين معلم جيد ومرجع أسوأ قليلاً — هو المفتاح. وقد قاسوا ذلك بدرجات محددة: فعلى سبيل المثال، في اختبار عرض النصوص، حسنت طريقتهم الدرجة من 0.9239 إلى 0.9364، متفوقة بذلك على المعلم. كما أظهروا أنه إذا كان "المرجع المتدهور" ضعيفاً جداً، فلن يحصل الطالب على الدفعة الكافية، ولكن إذا كان فوضوياً جداً، فسيصاب الطالب بالارتباك. وقد وجدوا أن "النقطة المثالية" كانت تدهوراً طفيفاً، مثل التكميم بـ 8 بت (8-bit quantization) لمخرجات المعلم، مما وفر القدر المناسب من التباين لتوجيه الطالب نحو آفاق جديدة.

باختصار، DreOPD هي طريقة جديدة لتدريب فناني الذكاء الاصطناعي تحول مفهوم "التقليد" إلى "التجاوز". فمن خلال استخدام نسخة معيبة قليلاً من المعلم كحجر زاوية، يتعلم الطالب القفز إلى مسافة أبعد مما استطاع المعلم الوصول إليها، مما يخلق صوراً ليست جيدة فحسب، بل أفضل من مجموع أجزائها. ويشير المؤلفون إلى أن هذا قد يغير قواعد اللعبة لجعل الذكاء الاصطناعي أكثر موثوقية، وأكثر قدرة على اتباع التعليمات، وأكثر قدرة على خلق فن أجمل، وكل ذلك دون عدم الاستقرار الفوضوي لطرق التدريب التقليدية.

ملخص تقني: DreOPD

بيان المشكلة

أصبحت نماذج مطابقة التدفق (Flow-matching models) نموذجاً سائداً في توليد الصور من النصوص. ومع ذلك، فإن تكييف هذه النماذج مع أهداف متنوعة لاحقة — مثل اتباع الأوامر النصية، وتصوير النصوص، والجماليات، وتفضيلات البشر — يتطلب عادةً تدريباً لاحقاً (Post-training). ويواجه هذا التكيف تحديين رئيسيين:

تضارب الأهداف: غالباً ما تظهر أهداف التحسين الخاصة بالمهمة تضارباً ضمنياً، مما يجعل من الصعب على نموذج واحد تحسين قدرات متعددة في آن واحد.
محدودية طرق التدريب اللاحق الحالية:
- التعلم التعزيزي (RL): بينما يتيح التعلم التعزيزي التحسين المباشر لمكافآت مهام محددة وإمكانية التحسين بما يتجاوز النماذج الموجودة، إلا أن التحسين على مستوى المسار (Trajectory-level optimization) غالباً ما يعاني من تباين عالٍ في التدرجات، واستغلال المكافأة (Reward exploitation)، والتداخل بين الأهداف غير المتجانسة.
- التقطير على السياسة نفسها (On-Policy Distillation - OPD): يوفر الـ OPD إشرافاً كثيفاً ومستقراً من خلال مطابقة مخرجات الطالب (Student rollouts) مع تنبؤات المعلم (Teacher predictions). ومع ذلك، فإن الـ OPD التقليدي هو عملية تقليد؛ حيث يقوم الطالب بالاستيفاء (Interpolation) بين معلمين متخصصين بدلاً من تجاوزهما بشكل منهجي.

يطرح سؤال عملي: كيف يمكن لطالب أن يدمج عدة معلمين أقوياء، ويستفيد من النماذج الأضعف المتاحة بسهولة (مثل نقاط التحقق المبكرة أو النسخ المتدهورة)، ويتحسن بما يتجاوز المعلمين أنفسهم؟

المنهجية: DreOPD

يقترح المؤلفون DreOPD (التقطير على السياسة نفسها القائم على الاستقراء بمرجع متدهور - Degraded-reference extrapolative On-Policy Distillation)، وهي طريقة تجسر الفجوة بين التقليد المستقر واستقراء المكافأة (Reward extrapolation) لنماذج مطابقة التدفق.

1. من استقراء المكافأة الضمني إلى أهداف السرعة ذات الصيغة المغلقة

المساهمة النظرية الجوهرية هي ترجمة مبدأ استقراء المكافأة على مستوى التوزيع (الذي تم إثباته سابقاً للنماذج اللغوية ذات التوليد الذاتي) إلى هدف انحدار السرعة الأصلي لمطابقة التدفق.

الاشتقاق النظري: تحت افتراض انتقالات غاوسية مشتركة التباين، اشتق المؤلفون مُحسِّناً ذا صيغة مغلقة لهدف الانتقال الشرطي.
الهدف: يكون هدف السرعة الأمثل $v^\star_\lambda$ $v_{λ}^{⋆}$ عند حالة زارها الطالب هو:
$v^\star_\lambda = v_T + (\lambda - 1)(v_T - v_{ref})$
حيث $v_T$ $v_{T}$ هي سرعة المعلم، و $v_{ref}$ $v_{r e f}$ هي سرعة المرجع، و $\lambda \ge 1$ $λ \geq 1$ هو قوة الاستقراء.
- عند $\lambda = 1$ ، يتقلص الهدف إلى تقليد المعلم ( $v_T$ ).
- عند $\lambda > 1$ ، يتحرك الهدف إلى ما وراء المعلم على طول الاتجاه المحدد بواسطة التباين بين المعلم والمرجع.
التدريب: يتم تدريب الطالب عبر انحدار على السياسة نفسها (On-policy regression)، من خلال تقليل المسافة بين سرعته المتوقدة والهدف المستقر $v^\star_\lambda$ على مساراته المولدة.

2. تفسير المكافأة والشروط

تحدد الورقة الشروط التي يتوافق فيها هذا الاستقراء الهندسي مع تعظيم المكافأة.

افتراض ميل المكافأة (Reward-Tilt Assumption): إذا كان المعلم حلاً لمشكلة تحسين مكافأة منظمة بـ KL (أي أن $p_T \propto p_{ref} \exp(r/\beta)$ )، فإن نسبة كثافة اللوغاريتم بين المعلم والمرجع تستعيد إشارة المكافأة.
الرتابة (Monotonicity): تحت هذا الافتراض، تزداد المكافأة المتوقعة للتوزيع المستقر رتابياً مع زيادة $\lambda$ ، بشرط أن تكون المكافأة غير ثابتة. وهذا يبرر الاستقراء لما وراء المعلم.

3. تضخيم الاستقراء باستخدام مرجع متدهور

تتحدد magnitude (مقدار) الاستقراء من خلال المتجه $(v_T - v_{ref})$ . المرجع القريب من المعلم يعطي إشارة ضعيفة.

الاستراتيجية: قدم المؤلفون مرجعاً متدهوراً بشكل طفيف ( $v_{deg}$ ) لتوسيع التباين بين المعلم والمرجع مع الحفاظ على السلامة الهيكلية للمولد.
التنفيذ: يتم تحقيق التدهور عبر فساد متحكم به، مثل تكميم الأوزان (Weight quantization) (مثلاً 8-bit) أو حقن ضوضاء طفيفة في مخرجات السرعة للنموذج الأساسي.
التبرير النظري: تثبت المبرهنة 3 أنه ضمن نموذج محاذاة المكافأة، فإن استخدام مرجع ذي محاذاة مكافأة أقل ( $\rho_d < \rho_n < 1$ ) يزيد من معامل ميل المكافأة الفعال ومعدل تغير المكافأة المحلي دون تغيير اتجاه المكافأة.

4. إجراء التدريب

تكرر حلقة التدريب (الخوارزمية 1) المهام:

عينة من الأوامر (Prompts) لمهمة محددة.
تشغيل (Rollout) الطالب الحالي لتوليد المسارات.
استعلام المعلم الخاص بالمهمة والمرجع المتدهر المشترك عند الحالات المزورة.
حساب هدف الاستقراء ذي الصيغة المغلقة $v^\star_\lambda$ .
تحديث الطالب عبر الانحدار نحو هذا الهدف.

المساهمات الرئيسية

اشتقاق الهدف ذي الصيغة المغلقة: اشتق المؤلفون هدف سرعة ذا صيغة مغلقة يوسع الـ OPD القائم على التدفق من مجرد تقليد المعلم إلى استقراء المكافأة.
توصيف التباين: وصفوا الشروط التي يكون فيها التباين بين المعلم والمرجع متوافقاً مع المكافأة، وقدموا تدهوراً متحكماً به للمرجع لتقوية هذا التباين.
التفوق التجريبي: عبر إعدادات المعلم الواحد والمتعدد، حقق DreOPD أفضل متوسط أداء بين النماذج المرجعية وتفوق على المعلمين المتخصصين في معظم المقاييس.

النتائج التجريبية

أُجريت التجارب باستخدام SD3.5-M على ثلاث مهام: GenEval (اتباع الأوامر التركيبية)، وOCR (تصوير النصوص)، وAesthetics (التفضيلات البشرية).

تقطير المعلم الواحد

تفوق DreOPD على نماذج OPD القياسية (Flow-OPD, DiffusionOPD) وعلى المعلمين المتخصصين أنفسهم.
المقاييس: حسّن GenEval من 0.9470 (المعلم) إلى 0.9710، وOCR من 0.9239 إلى 0.9364، وHPSv2.1 من 0.3460 إلى 0.3497.
وفر استخدام المرجع المتدهور مكاسب ثابتة مقارنة بالنسخة غير المتدهورة.

تقطير المعلمين المتعددين

في إعداد يدمج ثلاثة معلمين متخصصين، حقق DreOPD أعلى متوسط درجة (0.9939) مقارنة بنماذج RL متعددة المهام (Flow-GRPO, GRPO-Guard, DiffusionNFT) وطرق OPD الأخرى.
تفوق على المعلمين المقابلين في مقاييس GenEval، وOCR، وHPSv2.1، وAesthetic، وImageReward، بينما حافظ على أو استعاد الأداء في PickScore وClipScore.
أكدت دراسات الاستئصال (Ablation studies) أن قوة الاستقراء $\lambda = 1.25$ وفرت أفضل توازن عبر المهام، وأن تكميم السرعة بـ 8-bit كان استراتيجية التدهور الأكثر فعالية.

الأهمية والادعاءات

تدعي الورقة أن Dre-OPD تؤسس استقراء المكافأة كإطار فعال لدمج نماذج التدفق المتخصصة. ومن خلال تحويل استقراء المكافأة الضمني إلى انحدار سرعة ذي صيغة مغلقة، تحافظ الطريقة على استقرار التقطير على السياسة نفسها مع تمكين الطالب من تجاوز معلميه بشكل منهجي. ويُبرز تقديم المرجع المتدهور كآلية عملية لتقوية إشارة الاستقراء دون تعطيل البنية التوليدية. تشير النتائج إلى أن نموذجاً واحداً يمكن تدريبه للعمل بشكل جيد عبر أبعاد متنوعة، متجاوزاً المقايضات التي توجد عادة في التعلم التعزيزي متعدد المهام أو التداخل البسيط بين المعلمين.