DEVIS-GRPO: Unleashing GRPO on Dynamic Extreme View Synthesis

ملخص تقني: DEVIS-GRPO

بيان المشكلة
تعد عملية توليد الفيديو المتحكم بها عبر المسارات (Trajectory-controlled video generation) أمراً ضرورياً لتطبيقات مثل الواقع الافتراضي، ومحاكاة القيادة الذاتية، والإنتاج السينمائي. وبينما تعمل الطرق الحالية بشكل جيد في حالات حركة الكاميرا ذات الزوايا الصغيرة (عادةً ضمن 40 درجة)، إلا أن أداءها يتدهور بشكل كبير عند التعامل مع تغييرات وجهات النظر واسعة النطاق أو "القصوى" (التي تتجاوز 90 درجة). تتبع المنهجيات الحالية عموماً نموذجين: نمذجة تضمين الكاميرا الضمنية (implicit camera embedding modeling) ونمذجة إعادة الإسقاط الصريحة (explicit reprojection modeling). وكلاهما يعاني مع وجهات النظر القصوى: فالطرق الضمنية غالباً ما تفشل في اتباع مسار الكاميرا المحدد بدقة، بينما تفشل الطرق الصريحة في الحفاظ على الاتساق بين محتوى المقدمة والخلفية بين الفيديو المصدر والفيديو المُولد. ويعود هذا القصور إلى ندرة مجموعات البيانات للفيديوهات المتزامنة التي تتميز بتغييرات وجهات نظر قصوى، حيث يمثل الحصول على مثل هذه البيانات من الواقع تحدياً كبيراً. فمجموعات البيانات الموجودة عادةً ما تحتوي فقط على حركات بزوايا صغيرة أو مشاهد ثابتة، مما يمنع النماذج من التعميم على وجهات النظر الديناميكية القصوى.

المنهجية
يقترح المؤلفون DEVIS-GRPO (توليد الرؤية الديناميكية القصوى - GRPO)، وهو إطار عمل يدمج تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO) في توليد الفيديو المتحكم به عبر المسارات. يكمن الابتكار الجوهري في استراتيجية أخذ عينات جديدة تسمى توليد الرؤية الديناميكية القصوى التراكمي (ADEVIS).

1. استراتيجية ADEVIS: بدلاً من محاولة توليد فيديو بزاوية كبيرة في خطوة واحدة، تقوم ADEVIS بتفكيك حركة الكاميرا الكبيرة ($\Delta T$) إلى سلسلة من الزيادات المسارية الصغيرة ($\Delta T_1, \Delta T_2, \dots, \Delta T_n$). يقوم النموذج بتراكم هذه الخطوات الصغيرة تدريجياً لصقل الرؤية المولدة. وتستفيد هذه الطريقة من المعرفة المسبقة من الخطوات السابقة للحفاظ على الاتساق الهندسي أثناء الانتقالات القصوى.
2. متغيرات التراكم: للحصول على المعرفة الهندسية المسبقة اللازمة لكل خطوة، يبحث البحث في أربع استراتيجيات تراكم:
   • تراكم الفيديو المرجعي (RFA): يستخدم الفيديو المصدر الأصلي لإعادة الإسقاط في كل خطوة.
   • تراكم فيديو إعادة الإسقاط (RVA): يعيد إسقاط الفيديو الذي تم توليده في الخطوة السابقة ($\hat{V}_{i-1}$).
   • تراكم منطقة الانسداد (ORA): يدمج إعادة الإسقاط من الخطوة السابقة مع الخطوة الحالية، ويستهدف تحديداً المناطق الأقرب أو المناطق المستمرة حيث يكون تقدير العمق أكثر موثوقية (ORA-dt و ORA-cc).
   • تراكم وقت الرصاصة (BTA): ينشئ انتقال "وقت الرصاصة" (bullet time) عن طريق تكرار الإطار الأول من الفيديو المصدر وتفكيك الحركة الأولية إلى تغييرات أصغر متزايدة بالتتابع. وقد وُجد أن هذه الاستراتيجية هي الأكثر فعالية في تقليل عدم المحاذاة عند نقاط الالتقاء.
3. تحسين GRPO: يستخدم إطار العمل GRPO لتحسين نموذج السياسة دون الحاجة إلى نموذج قيمة منفصل.
   • أخذ العينات العشوائي: أثناء التدريب، يقوم النموذج بأخذ عينات من مجموعات مسارية متنوعة عن طريق عشوائية عدد خطوات التراكم ($n$) وحجم الحركة في كل خطوة.
   • دالة المكافأة: تقوم دالة مكافأة متعددة المستويات من حيث الاتساق والجودة بتقييم العينات المولدة بناءً على الدقة على مستوى البكسل (PSNR، SSIM في المناطق المرئية)، والدقة على المستوى الدلالي (LPIPS)، ومقاييس جودة الفيديو (الوميض الزمني، سلاسة الحركة، الجمالية، وجودة التصوير).
   • الميزة النسبية للمجموعة: يتم تحديث النموذج من خلال تعظيم الهدف بناءً على المزايا النسبية للعينات داخل المجموعة، بدلاً من الدرجات المطلقة.
4. الاستدلال: على عكس مرحلة التدريب التي تستخدم التراكم متعدد الخطوات، تستخدم عملية الاستدلال النموذج المُحسن لتوليد فيديوهات بزوايا كبيرة مباشرة في خطوة واحدة، مما يضمن الكفاءة.

المساهمات الرئيسية

• أول تطبيق لـ GRPO على توليد الرؤية القصوى: يقدم البحث DEVIS-GRPO كأول طريقة تدرج سياسة عبر الإنترنت مصممة خصيصاً لتوليد الفيديو المتحكم به عبر المسارات تحت وجهات نظر قصوى.
• استراتيجية أخذ عينات ADEVIS: اقتراح توليد الرؤية الديناميكية القصوى التراكمي، الذي يلغي الحاجة إلى مجموعات بيانات فيديوهات ضخمة ومزدوجة لتجهيز نموذج السياسة. فهو يحقق حركات واسعة الزوايا من خلال تراكم زيادات الزوايا الصغيرة.
• استراتيجيات تراكم متنوعة: تصميم وتقييم أربع استراتيجيات تراكم متميزة (RFA، RVA، ORA، BTA) لاستكشاف نموذج التوليد التدريجي للرؤية، حيث تم تحديد BTA كنهج متفوق.
• دالة مكافأة متعددة المستويات: تطوير دالة مكافأة توازن بين الاتساق (البكسلي والدلالي) مع جودة الفيديو لتوجيه عملية التعلم المعزز.

النتائج
أُجريت التجارب على مجموعات بيانات Kubric-4D و iPhone و DL3DV.

• الأداء الكمي: في مجموعة بيانات Kubric-4D، حقق DEVIS-GRPO تحسينات نسبية قدرها 21.57% في PSNR و 7.31% في SSIM في المناطق غير المحجوبة مقارنة بالمنهجية الثانية الأفضل. وفي مجموعة بيانات iPhone، انخفض مقياس LPIPS بنسبة 18.56%.
• الاتساق والالتزام: أظهرت الطريقة أداءً فائقاً في الحفاظ على التماسك الزمني والنسيجي، وكذلك الالتزام الصارم بمسار الكاميرا المحدد، متفوقة على النماذج المرجعية مثل GCD و EX-4D و TrajectoryCrafter.
• دراسات الاستئصال (Ablation Studies): أظهرت المقارنات مع Vanilla-GRPO أن DEVIS-GRPO يولد عينات أكثر تنوعاً مع مقاييس اتساق أفضل. كما أكدت المقارنات مع نماذج SFT (الضبط الدقيق الخاضع للإشراف) و DPO (تحسين التفضيل المباشر) أن نهج GRPO مع المزايا النسبية للمجموعات يحقق أفضل أداء.

الأهمية
يزعم البحث أن DEVIS-GRPO يعالج العقبة الحرجة المتمثلة في ندرة البيانات في توليد الرؤية القصوى. ومن خلال الاستفادة من استراتيجية أخذ عينات تراكمية، فإنه يتيح تدريباً فعالاً دون الحاجة إلى إشراف متعدد الرؤى متزامن أو أزواج فيديوهات واسعة الزوايا باهظة الثمن. نجح إطار العمل في سد الفجوة بين التحكم في الزوايا الصغيرة وتوليد فيديوهات عالية الجودة ومتسقة تحت حركات كاميرا قصوى، مما يضع معياراً جديداً لتوليد الفيديو المتحكم به عبر المسارات.