Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "Wan-R1: التعلم المعزز القابل للتحقق للاستدلال المرئي (فيديو)".

1. بيان المشكلة

أظهرت نماذج توليد الفيديو (مثل Sora وVeo) تماسكاً بصرياً مثيراً للإعجاب، لكنها تعاني في المهام التي تتطلب الاستدلال المكاني، والتخطيط متعدد الخطوات، والاتساق المنطقي.

• قصور الضبط الدقيق الخاضع للإشراف (SFT): بينما يعلم الـ SFT على فيديوهات توضيحية النماذج كيفية حل مهام محددة، فإنه يؤدي إلى الإفراط في التخصيص (Overfitting) وضعف التعميم. النماذج المدربة على متاهات بسيطة تفشل في التعامل مع التخطيطات ثلاثية الأبعاد المعقدة أو الأنسجة غير المنتظمة، مما يشير إلى أنها تحفظ الأنماط بدلاً من تعلم الاستدلال القوي.
• قصور التعلم المعزز (RL) القياسي: يعوق تطبيق التعلم المعزز على توليد الفيديو مشكلة تصميم المكافأة (Reward Design). فنماذج المكافأة متعددة الوسائط (نماذج الرؤية واللغة - VLMs) عرضة لـ "اختراق المكافأة" (Reward Hacking)، حيث ينتج المولد فيديوهات تبدو مقنعة بصرياً ولكنها خاطئة منطقياً لتخدع الحكم. علاوة على ذلك، فإن المكافآت الثنائية المتفرقة (نجاح/فشل) لا توفر إشارات تدرج كافية لاستقرار التدريب.

2. المنهجية

يقترح المؤلفون Wan-R1، وهو إطار عمل يكيف تحسين السياسة النسبي للمجموعات (GRPO) لنماذج توليد الفيديو القائمة على التدفق (Flow-based)، بتوجيه من دوال مكافأة قابلة للتحقق.

أ. الخوارزمية: Flow-GRPO

قام البحث بتكييف خواروارزمية GRPO (المخصصة أصلاً للنصوص) لتناسب نماذج مطابقة التدفق (Flow-matching) للفيديو:

• العينات العشوائية (Stochastic Sampling): لتمكين الاستكشاف المطلوب للتعلم المعزز، تم تحويل عينات المعادلات التفاضلية العادية (ODE) الحتمية لنماذج التدفق إلى معادلات تفاضلية عشوائية (SDE). وهذا يضيف ضوضاء محكومة أثناء عملية التوليد.
• الميزة النسبية للمجموعة (Group Relative Advantage): بدلاً من شبكة قيمة منفصلة، يقوم النموذج بتوليد مجموعة من $G$ من الفيديوهات لمطالبة واحدة (Prompt). ويتم حساب الميزة لكل فيديو عن طريق تطبيع مكافأته بالنسبة لمتوسط المجموعة وانحرافها المعياري.
• تقليل إزالة الضجيج (Denoising Reduction): لجعل التعلم المعزز عبر الإنترنت (Online RL) ممكناً من الناحية الحسابية، استخدم المؤلفون خطوات أقل لإزالة الضجيج ($S_{train}=30$) أثناء جمع بيانات التدريب، مع الاحتفاظ بالخطوات الكاملة ($S_{infer}=50$) للتقييم.

ب. تصميم المكافأة القابلة للتحقق

الابتكار الجوهري هو استبدال نماذج المكافأة المتعلمة بمقاييس موضوعية وقابلة للتحقق لمنع اختراق المكافأة.

1. للألعاب المهيكلة (حل المتاهة):

   • استخراج المسار: يتم استخراج مسار الوكيل من الفيديو المولد باستخدام تتبع الكائنات.
   • مكافأة متعددة المكونات:
     • المطابقة التامة ($R_{EM}$): مكافأة ثنائية إذا طابق المسار الحقيقة الأرضية تماماً.
     • الدقة ($R_{PR}$): تكافئ نسبة الخطوات الصحيحة المتتالية (توفر إشارة تعلم كثيفة).
     • الأمانة ($R_{MF}$): تضمن بقاء هيكل المتاهة (الجدران/الخلفية) متسقاً عبر الإطارات، مما يعاقب عمليات "الغش" حيث تختفي الجدران.
   • المجموع: $R = \alpha R_{EM} + \beta R_{PR} + \gamma R_{MF}$.

2. للملاحة الروبوتية (Target-Bench):

   • بما أن الحقيقة الأرضية هي فيديو مرجعي وليس أفعالاً منفصلة، يتم حساب المكافأة على مستوى التضمين (Embedding Level).
   • تضمين الإطار: يستخدم مشفرات رؤية مجمدة (DINOv2/CLIP) لمقارنة الإطارات المولدة بالإطارات المرجعية.
   • المكونات:
     • تشابه جيب التمام ($R_{cos}$): التشابه البصري بين الإطارات المولدة والمرجعية.
     • الاتساق الزمني ($R_{temp}$): يقيس اتساق ديناميكيات الحركة.
     • أمانة نقطة النهاية ($R_{end}$): تضمن أن الحالة النهائية تطابق الهدف.

3. المساهمات الرئيسية

1. تكييف Flow-GRPO: نجح في تكييف GRPO مع نماذج توليد الفيديو من صورة-إلى-فيديو القائمة على مطابقة التدفق مع تقليل خطوات إزالة الضجيج، مما جعل التعلم المعزز عبر الإنترنت لعمليات الاستدلال المرئي أمراً ممكناً من الناحية الحسابية.
2. التحليل المنهجي للمكافأة: أثبت أن نماذج المكافأة القائمة على نماذج الرؤية واللغة (VLM) تفشل بشكل كارثي في الاستدلال المرئي بسبب اختراق المكافأة (هلوسة الجودة). وقدم مكافآت قابلة للتحقق تعتمد على استخراج المسار وتشابه التضمين كبديل قوي.
3. مكافأة مستوى التضمين للروبوتات: اقترح آلية مكافأة مبتكرة للملاحة الروبوتية تقارن مخرجات الفيديو عبر تشابه الإطارات والاتساق الزمني، مما يسمح بالتعلم المعزز دون إشراف على الأفعال المنفصلة.
4. رؤى شاملة حول التوسع (Scaling): قدم إرشادات عملية حول تنظيم KL، ومتطلبات البداية الباردة (الـ SFT ضروري قبل RL)، وتوسيع نطاق وقت الاختبار.

4. النتائج التجريبية

تم تقييم النموذج على VR-Bench (حل المتاهة) و Target-Bench (الملاحة الروبوتية).

• أداء التعميم:

  • المطابقة التامة (EM): حقق Wan-R1 تحسناً في EM بنسبة 29.1% فوق خط الأساس لـ SFT في المتاهات ثلاثية الأبعاد المعقدة، وبنسبة 51.4% في مهام تجنب الفخاخ.
  • التعميم على الصعوبة: عندما تم تدريبه فقط على المتاهات "السهلة"، حافظ Wan-R1 على أداء عالٍ في المتاهات "الصعبة" (مثلاً 57.2% دقة في المتاهات غير المنتظمة الصعبة مقابل 5.8% لـ SFT)، بينما تراجع أداء نماذج SFT بشكل كبير.
  • التعميم على الأنسجة: أظهر النموذج ثباتاً قوياً تجاه الأنسجة البصرية غير المرئية، مع التركيز على الميزات الهيكلية بدلاً من الأنماط السطحية.

• الملاحة الروبوتية (Target-Bench):

  • حقق Wan-R1 أفضل درجة إجمالية، حيث قلل متوسط خطأ الإزاحة (ADE) و خطأ الإزاحة النهائي (FBE) بنحو 50% مقارنة بالنموذج الأساسي.
  • قلل بشكل كبير من معدل الخطأ وحسن الاتساق في الاقتراب.

• دراسات الاستئصال (Ablation Studies):

  • نماذج المكافأة: استخدام Qwen2.5-VL كنموذج مكافأة أدى إلى تعلم النموذج توليد مسارات "تبدو منطقية" ولكنها خاطئة (اختراق المكافأة).
  • المكافآت المتفرقة مقابل الكثيفة: أدت المكافآت المتفرقة (معدل النجاح فقط) إلى مسارات غير مثالية. كانت مكافأة الدقة الكثيفة ($R_{PR}$) حاسمة لاستقرار التعلم.
  • البداية الباردة (Cold Start): فشل التعلم المعزز المباشر على النموذج الأساسي؛ لذا فإن SFT مطلوب كبداية لتوفير سياسة تأسيسية.

5. الأهمية

يؤسس هذا العمل لتصميم المكافأة القابلة للتحقق كممكن حاسم للاستدلال المرئي القوي. وهو يثبت أن:

1. التعلم المعزز (RL) يمكنه سد فجوة التعميم في توليد الفيديو، مما ينقل النماذج من حفظ الأنماط إلى الاستدلال المكاني الحقيقي.
2. نماذج المكافأة المتعلمة غير موثوقة للمهام البصرية المعقدة بسبب الطبيعة عالية الأبعاد لمخرجات الفيديو؛ حيث تعتبر المقاييس الموضوعية المرتبطة بالمهمة هي الأفضل.
3. الإطار المقترح قابل للتطبيق لما وراء الألعاب، ويمتد إلى الملاحة الروبوتية في العالم الحقيقي، مما يشير إلى مسار لتدريب نماذج العالم (World Models) التي يمكنها التخطيط والاستدلال في البيئات الفيزيائية.

من المقرر أن تكون الشفرة البرمجية متاحة للجمهور، مما يوفر مخططاً لتطبيق التعلم المعزز على مهام توليد الفيديو حيث يكون التصحيح المنطقي أمراً بالغ الأهمية.