💻 computer science

Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization

يُعد Flash-GRPO إطار تدريب أحادي الخطوة يتغلب على الاختناقات الحسابية وعدم الاستقرار في أساليب تحسين السياسة النسبية للمجموعات (GRPO) الحالية لنماذج الانتشار بالفيديو، وذلك عبر إدخال التجميع متساوي الزمن وتصحيح التدرج الزمني لتحقيق جودة محاذاة رائدة مع تقليل تكاليف التدريب بشكل كبير.

المؤلفون الأصليون: Xiaoxuan He, Siming Fu, Zeyue Xue, Weijie Wang, Ruizhe He, Yuming Li, Dacheng Yin, Shuai Dong, Haoyang Huang, Hongfa Wang, Nan Duan, Bohan Zhuang

نُشر 2026-05-18

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaoxuan He, Siming Fu, Zeyue Xue, Weijie Wang, Ruizhe He, Yuming Li, Dacheng Yin, Shuai Dong, Haoyang Huang, Hongfa Wang, Nan Duan, Bohan Zhuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم فنان موهوب للغاية ولكنه فوضوي (وهو نموذج انتشار فيديو - Video Diffusion Model) كيف يرسم لوحات يحبها البشر حقاً. هذا الفنان بارع في صنع الأشياء، لكن النتائج أحياناً تكون غريبة، أو ضبابية، أو لا تتبع تعليماتك بدقة. ولإصلاح ذلك، تستخدم "مدرباً" (خوارزمية تسمى GRPO) يراقب الفنان، ويقدم له الملاحظات، ويساعده على التحسن.

ومع ذلك، هناك مشكلة ضخمة: الفنان يعمل بالحركة البطيئة. لتقديم ملاحظات جيدة، يتعين على المدرب عادةً مشاهدة عملية الرسم بأكملها من البداية إلى النهاية، إطاراً تلو الآخر. وهذا يستغرق وقتاً طويلاً ويتطلب حاسوباً عملاقاً بحجم مدينة صغيرة (مئات الأيام من معالجة وحدات معالجة الرسومات - GPU).

حاولت الطرق "السريعة" الموجودة سابقاً التحايل على ذلك عبر مراقبة بضع إطارات عشوائية فقط. لكن هذا أتى بنتيجة عكسية. كان الأمر أشبه بالحكم على عداء ماراثون من خلال النظر إليه لثانية واحدة فقط في نقطة عشوائية من السباق. أحياناً تضبطه وهو يركض بسرعة، وأحياناً أخرى تضبطه وهو يربط حذاءه. يصاب المدرب بالارتباك، وتصبح عملية التدريب غير مستقرة، ولا يتعلم الفنان الجري بشكل صحيح أبداً.

Flash-GRPO هو طريقة تدريب ذكية وجديدة تحل هذه المشكلة. فهي تسمح للمدرب بالتعلم بفعالية من خلال مراقبة لحظة واحدة فقط من عملية الرسم، ولكنها تفعل ذلك دون أن يصاب بالارتباك. وإليك كيف يعمل ذلك، باستخدام خدعتين بسيطتين:

1. قاعدة "نفس الطقس" (التجميع المتزامن زمنياً - Iso-Temporal Grouping)

المشكلة: تخيل أنك تحكم على مجموعة من العدائين. إذا قارنت بين العداء (أ) (الذي يركض في عاصفة ثلجية) والعداء (ب) (الذي يركض في حديقة مشمسة)، فلن تتمكن من معرفة من هو العداء الأفضل فعلياً. الطقس (أي "الخطوة الزمنية" أو مستوى الضجيج في الفيديو) يربك النتائج.

حل Flash-GRPO: تقول الورقة البحثية: "لنضمن أن الجميع في مجموعة المقارنة يركضون في نفس الطقس تماماً".

بدلاً من اختيار لحظات عشوائية لكل عداء، يختار Flash-GRPO لحظة محددة واحدة (مثلاً: "عند مرور 30% من السباق") لمجموعة كاملة من المحاولات.
جميع الفنانين في تلك المجموعة يحاولون الرسم عند نفس المرحلة تماماً من العملية.
يضمن هذا أنه عندما يقارن المدرب بينهم، يكون الفرق الوحيد هو جودة اللوحة، وليس صعوبة اللحظة. هذا يزيل "الضجيج" بحيث يعرف المدرب بالضبط ما الذي يجب إصلاحه.

2. خدعة "مقبض التحكم في الصوت" (تصحيح التدرج الزمني - Temporal Gradient Rectification)

المشكلة: في عملية رسم الفيديو، تكون بعض اللحظات "صاخبة" بطبيعتها أكثر من غيرها. من الناحية الرياضية، تكون الإشارات من المراحل الأولى للرسم ضخمة، بينما تكون الإشارات من المراحل المتأخرة ضئيلة جداً. إذا استمع المدرب إلى الإشارات الخام، فسيستمع فقط إلى المراحل المبكرة ويتجاهل البقية، مما يؤدي إلى خروج الفنان عن السيطعة (تدريب غير مستقر).

حل Flash-GRPO: تقدم الورقة البحثية "مقبض تحكم في الصوت" يقوم بتعديل الصوت تلقائياً.

تقوم الخوارزمية بحساب مدى صخب كل لحظة يجب أن تكون، فتقوم بخفض مستوى الصوت للأجزاء الصاخبة ورفع مستوى الصوت للأجزاء الهادئة.
هذا يجعل كل لحظة من عملية الرسم تساهم بالتساوي في التعلم. لا مزيد من الصراخ في البداية والهمس في النهاية.

النتيجة

من خلال استخدام هاتين الخدعتين، يحقق Flash-GRPSO شيئاً مذهلاً:

السرعة: إنه يتدرب أسرع بـ 6 مرات من الطرق السابقة لأنه يحتاج فقط لمعالجة خطوة واحدة في كل مرة.
الجودة: رغم كونه أسرع، إلا أنه ينتج فيديوهات هي في الواقع أفضل من طرق العملية الكاملة البطيئة. الفيديوهات تمتلك حركة أفضل، وتبدو أكثر جمالاً، وتتبع التعليمات بدقة أكبر.
الاستقرار: عملية التدريب لا تتعطل أو تخرج عن السيطرة؛ بل تتحسن بثبات، مثل طالب بدأ أخيراً بفهم الدرس.

باخت_صار: Flash-GRPO يشبه مدرباً عبقرياً أدرك أنه لتعليم مهارة معقدة، لا تحتاج لمشاهدة الفيلم كاملاً في كل مرة. أنت فقط بحاجة لمشاهدة المشهد الصحيح، في الظروف الصحيحة، مع ضبط مستوى الصوت بشكل مثالي. هذا يوفر كميات هائلة من الوقت والطاقة مع جعل الفيلم النهائي تحفة فنية.

ملخص تقني: Flash-GRPO

بيان المشكلة

حققت نماذج انتشار الفيديو (Video diffusion models) تقدماً كبيراً في توليد محتوى واقعي، ومع ذلك، لا يزال مواءمة هذه النماذج مع التفضيلات البشرية (مثل الجودة الجمالية، والالتزام بالوصف، والمعقولية الفيزيائية) يمثل تحدياً حرجاً. وبينما برز التعلم التعزيزي (RL)، وتحديداً تحسين المجموعة النسبية (Group Relative Policy Optimization - GRPO)، كنموذج مهيمن لهذا النوع من المواءمة، فإنه يواجه اختناقاً حوسبياً شديداً. يتطلب نظام GRPO القياسي استرجاع التدرجات (backpropagating gradients) عبر مسارات إزالة الضجيج الزمانية-المكانية الكاملة، مما يستلزم مئات الأيام من استخدام وحدات معالجة الرسومات (GPU) للنماذج الضخمة (مثل 14 مليار معلمة).

تحاول طرق الكفاءة الحالية تخفيف هذه التكلفة عن طريق أخذ عينات فرعية من الخطوات الزمنية (على سبيل المثال، نهج النافذة المنزلقة). ومع ذلك، يرى المؤلفون أن استراتيجيات أخذ العينات الفرعية الساذجة هذه تقوض عملية التحسين بشكل جوهري؛ فهي تظهر عدم استقرار شديد في التدريب وتفشل في الوصول إلى سقف الأداء الذي يحققه التدريب ذو المسار الكامل. ويعزو البحث هذا الفشل إلى سببين جذريين:

تقدير الميزة المرتبط بالخطوة الزمنية (Timestep-Confounded Advantage Estimation): يؤدي خلط الخطوات الزمنية داخل مجموعات الميزة إلى تشابك تباين المكافأة مع الصعوبة الذاتية لمستويات الضجيج المختلفة، مما يحجب إشارة السياسة (policy signal) الحقيقية.
تدرج الحجم المعتمد على الزمن (Time-Dependent Gradient Scaling): يحتوي تدرج السياسة بطبيعته على عامل قياس يعتمد على الزمن مستمد من تفكيك المعادلات التفاضلية العشوائية (SDE discretization). هذا العامل يتفاوت بعدة رتب مقدارية عبر مسار الانتشار، مما يؤدي إلى هيمنة الخطوات الزمنية المبكرة على تحديثات المعلمات بغض النظر عن أهميتها الفعلية، مما يسبب خللاً في التوازن التحسيني.

المنهجية: Flash-GRPO

يقترح المؤلفون إطار عمل Flash-GRPO، وهو إطار تدريب بخطوة واحدة مصمم لتحقيق أداء المسار الكامل مع استخدام خطوة زمنية واحدة فقط لكل دورة تدريبية. يعالج هذا الأسلوب حالات عدم الاستقرار المحددة من خلال آليتين أساسيتين:

1. التجميع المتساوي زمنياً (Iso-Temporal Grouping)

للقضاء على التباين المرتبط بالخطوة الزمنية، يفرض Flash-GRPO اتساقاً زمنياً ضمن مجموعات الوصف (prompt groups).

الآلية: لكل وصف معطى، تتشارك جميع الـ $G$ من عمليات التشغيل (rollouts) في المجموعة نفس الخطوة الزمنية $t_k$ بالضبط، ولكن يتم تهيئتها بضجيج غاوسي مختلف.
العملية: تقوم المجموعة بإجراء انتقال خطوة واحدة من ODE إلى SDE عند الخطوة الزمنية $t_k$ المخصصة لتمكين الاستكشاف وحساب التدرج. تستخدم جميع الخطوات الزمنية الأخرى في المسار عينات المعادلات التفاضلية العادية (ODE) لضمان توليد عالي الجودة وإشارات مكافأة دقيقة.
الأثر: يعمل هذا على تحليل حساب الميزة، مما يعزل التباين الناتج عن السياسة عن التباين الناتج عن الخطوة الزمنية. وهذا يضمن أن المقارنات النسبية للأداء تتم تحت ظروف إزالة ضجيج متطابقة، مما يفصل أداء السياسة عن صعوبة الخطوة الزمنية.

2. تصحيح التدرج الزمني (Temporal Gradient Rectification)

لحل مشكلة تباين حجم التدرج، اشتق المؤلفون تدرج السياسة الصريح لعملية التوليد العكسي.

الاشتقاق: تبين أن التدرج يتم قياسه بمعامل يعتمد على الزمن $\lambda(t) = \frac{\sqrt{\Delta t}}{\sigma_t} + \frac{\sigma_t\sqrt{\Delta t}(1-t)}{2t}$ . وفي حالة الخطوة الواحدة مع خطوات زمنية متنوعة، يتسبب هذا في تباين هائل في أحجام التدرج.
الآلية: يقدم Flash-GRPO تقنية تصحيح التدرج الزمني، والتي تقوم صراحةً بتطبيع التدرج بواسطة $1/\lambda(t)$ .
الأثر: يجبر هذا العامل $\lambda(t)$ على أن يقترب من $1$ لجميع الخطوات الزمنية، مما يضمن مساهمة موحدة في تحديثات المعلمات بغض النظر عن موقع الخطوة الزمنية في مسار الانتشار. وهذا يلغي الانحياز الناتج عن التفكيك ويؤدي إلى استقرار ديناميكيات التحسين.

المساهمات الرئيسية

تحديد مصادر عدم الاستقرار: يقدم البحث اشتقاقات نظرية وتحققات تجريبية لسببين محددين لعدم الاستقرار في نموذج GRPO للفيديو بخطوة واحدة: تقدير الميزة المرتبط بالخطوة الزمنية وتدرج الحجم المعتمد على الزمن.
إطار عمل Flash-GRPO: إطار تدريب خطوة واحدة مبني على أسس علمية يجمع بين التجميع المتساوي زمنياً لتقدير دقيق للميزة، وتصحيح التدرج الزمني لتحقيق تحسين متوازن.
القابلية للتوسع والكفاءة: التحقق من الكفاءة عبر نماذج تتراوح من 1.3 مليار إلى 14 مليار معلمة، مما يثبت أن الطريقة تلغي المقايضة التقليدية بين الكفاءة والجودة، محققةً أفضل أداء في المواءمة مع تقليل التكاليف الحوسبية بشكل كبير.

النتائج التجريبية

قام المؤلفون بتقييم Flash-GRPO على نماذج فيديو Wan2.1 (بمعلمات 1.3 مليار و14 مليار) باستخدام نموذج مكافأة HPSv3 ومقاييس VBench.

كفاءة التدريب: يحقق Flash-GRPO تسريعاً بمقدار 6 أضعاف في تكلفة التدريب مقارنة بطرق المسار الكامل القياسية.
الاستقرار: على عكس الطرق الساذجة ذات الخطوة الواحدة (مثل Flow-GRPO-Fast1) التي تعاني من انهيار تحسيني كارثي وتباين في المكافأة، يحافظ Flash-GRPO على نمو مستقر ورتيب للمكافأة.
الأداء:
- في نموذج 1.3 مليار، حقق Flash-GRPO أعلى جودة جمالية (66.43) واتساق موضوعي (98.70) بين الطرق المقارنة، متفوقاً على كل من Flow-GRPO وFlow-GRPO-Fast1.
- في نموذج 14 مليار، أظهر Flash-GRPO استقراراً ثابتاً ونمواً رتيباً، بينما أظهر Flow-GRPO تقارباً أبطأ وعدم استقرار.
- التحسينات النوعية: تظهر المقارنات البصرية تحسناً في الديناميكيات الزمنية (تقليل الوميض)، وتحسناً في الدقة البصرية (تفاصيل أغنى)، والتزاماً أفضل بالوصف مقارنة بالنماذج المرجعية الأساسية.

الأهمية والادعاءات

يزعم البحث أن Flash-GRPO يحل المقايضة الجوهرية بين الكفاءة الحوسبية وجودة المواءمة في نماذج انتشار الفيديو. ومن خلال معالجة الآثار الرياضية المحددة للتحسين بخطوة واحدة (التباين المختلط وتدرج الحجم)، تمكن الطريقة من جعل مواءمة نماذج الفيديو عالية الجودة أمراً عملياً وقابلاً للتوسع. ويؤكد المؤلفون أن نهجهم يسمح للنماذج بالوصول إلى سقف أداء التدريب ذي المسار الكامل مع العمل تحت ميزانيات حوسبية منخفضة، مما يجعله بديلاً قوياً لمواءمة نماذج الفيديو واسعة النطاق.