CanvasMAR: Improving Masked Autoregressive Video Prediction With Canvas

1. بيان المشكلة

أظهرت نماذج التوليد التلقائي المقنع (MAR) واعداً في توليد الصور والفيديو من خلال الجمع بين النمذجة المقنعة والمشفرات المستمرة (لتجنب أخطاء التكميم الخاصة بالرموز المنفصلة). ومع ذلك، فإن تطبيق MAR على تنبؤ الفيديو يواجه عقبة حرجة:

• الافتقار إلى الأولوية العالمية (Global Prior): يبدأ أخذ عينات MAR القياسي من حالة مقنعة بالكامل ويولد الرموز بترتيب عشوائي. في خطوات أخذ العينات المبكرة، يفتقر النموذج إلى بنية عالمية منظمة، مما يؤدي إلى مخرجات مشوهة للغاية.
• المقايضة بين الدقة والسرعة: للحفاظ على الجودة، يتطلب MAR القياسي خطوات أخذ عينات عديدة (غالباً ما تتبع جدول جيب التمام/cosine schedule). في توليد الفيديو، حيث يكون التماسك الزمني أمراً بالغ الأهمية، يؤدي استخدام خطوات قليلة إلى تدهور شديد في البنية العالمية وتماسك الأجسام.
• التضخم الزمني: تتفاقم المشكلة في الفيديو لأن الأخطاء في الإطارات أو الخطوات المبكرة تتراكم بمرور الوقت، مما يجعل التنبؤ طويل المدى صعباً.

2. المنهجية: CanvasMAR

يقترح المؤلفون CanvasMAR، وهو إطار عمل مبتكر يربز بين التوليد التلقائي الزمني السريع والتوليد التلقائي المكاني البطيء باستخدام آلية "اللوحة" (Canvas). يعمل النموذج عبر عملية توليد تلقائي زمنية-مكانية مجزأة.

أ. إطار العمل التلقائي ثنائي المستوى

1. المستوى الزمني: يقوم Temporal ViT بتشفير الإطارات التاريخية ($f^{(<i)}$) إلى تضمين زمني ($z_t$). هذا يلتقط الحركة والسياق الزمني.
2. المستوى المكاني: يقوم Spatial MAR بتوليد الإطار التالي ($f^{(i)}$) رمزاً تلو الآخر (في مجموعات) مشروطاً بـ $z_t$.

ب. آلية "اللوحة" (الابتكار الجوهري)

لحل مشكلة الافتقار إلى البنية العالمية في خطوات أخذ العينات المبكرة، يقدم CanvasMAR وحدة Canvas ViT وسيطة:

• العملية: قبل أن يبدأ Spatial MAR في توليد الرموز، تأخذ Canvas ViT التضمين الزمني ($z_t$) والإطار الأخير ($f^{(i-1)}$) للتنبؤ بـ تقدير خطوة واحدة ضبابي وعالمي للإطار التالي ($z_c$).
• الوظيفة: تعمل هذه "اللوحة" كـ قناع غير منتظم وكأولوية مكانية قوية. بدلاً من البدء بقناع منتظم (ضوضاء عشوائية)، يبدأ Spatial MAR ببنية خشنة ومتماسكة عالمياً.
• الفائدة: يسمح هذا للنموذج بإجراء أخذ عينات "عدواني" (خطوات أقل) مع الحفاظ على التماسك العالمي، حيث توفر اللوحة الهيكل الكلي فوراً.

ج. ترتيب أخذ العينات التكيفي المدرك للحركة

إدراكاً منه أن المناطق الديناميكية أصعب في التنبؤ من المناطق الثابتة، قدم المؤلفون منهجاً تعليمياً من السهل إلى الصعب:

• رأس الثبات (Staticness Head): يتنبأ رأس خفيف الوزن بـ "درجة الثبات" لكل رقعة (patch) من اللوحة (بناءً على تباين خطأ إعادة البناء).
• استراتيجية أخذ العينات: يعطي النموذج الأولوحة لتوليد المناطق منخفضة الحركة (الثابتة) أولاً، ويؤجل المناطق عالية الحركة (الديناميكية) إلى خطوات لاحقة. هذا يثبت عملية التوليد التلقائي ويقلل من عيوب الحركة.

د. التوجيه المركب الخالي من المصنف (Compositional Classifier-Free Guidance - CFG)

لتحسين الدقة بشكل أكبر، طبق المؤلفون Compositional CFG الذي يعزز شرطين بشكل مشترك:

1. الشرط الزمني ($z_t$): يضمن التماسك الزمني.
2. الشرط المكاني ($z_c$): يضمن الالتزام بهيكل اللوحة العالمي.
   يتم تطبيق مقاييس التوجيه ($w_t, w_s$) على دالة الدرجة (score function) لرفع وزن الاحتمالات الزمنية والمكانية، مما يحسن جودة التوليد بشكل كبير.

3. المساهمات الرئيسية

1. الاشتراط القائم على اللوحة: آلية مبتكرة تتنبأ بتقدير عالمي ضبابي (اللوحة) ليعمل كقناع غير منتظم، مما يتيح توليد فيديو عالي الدقة بعدد خطوات أقل بكثير من عمليات التوليد التلقائي.
2. المنهج التعليمي المدرك للحركة: ترتيب أخذ عينات تكيفي يجمع المناطق المستقرة قبل الديناميكية، مما يثبت عملية التوليد.
3. التوجيه المركب: استراتيجية توجيه تدمج إشارات الاشتراط الزمني والمكاني بفعالية.
4. الكفاءة: يحقق إطار العمل أداءً يضاهي أحدث المعايير (state-of-the-art) مع زمن انتقال (latency) أقل بكثير مقارنة بالنماذج المرجعية القائمة على الانتشار (diffusion-based).

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات BAIR و UCF-101 و Kinetics-600.

• الأداء مقابل النماذج المرجعية للتوليد التلقائي:
  • في BAIR، يحقق CanvasMAR أفضل أداء تحت تقييم FVD غير منحاز، متفوقاً على نماذج قوية مثل MAGVIT.
  • في Kinetics-600، يحقق FVD قدره 6.2 (عند 12 خطوة)، لينافس MAGVIT-v2 (4.3) ويتفوق بشكل كبير على نماذج التوليد التلقائي الأخرى مثل MAGI (11.5).
• الأداء مقابل نماذج الانتشار (Diffusion Models):
  • ينافس CanvasMAR الطرق المتقدمة القائمة على الانتشار (مثل DFoT، FVD 4.3) في الجودة، ولكنه أسرع بـ ~5.7 مرة في زمن انتقال الاستدلال (وقت الوصول لأول إطار) و أسرع بـ ~2.7 مرة في إجمالي وقت التوليد.
• دراسات الاستئصال (Ablation Studies):
  • إزالة اللوحة (Canvas) تؤدي إلى تدهور شديد في البنية العالمية، خاصة مع عدد خطوات قليل (2–8 خطوات).
  • إزالة أخذ العينات المدرك للحركة يقلل من الأداء في أنظمة الخطوات المنخفضة.
  • إزالة Compositional CFG يضعف الدقة المكانية والزمنية.
• توليد الفيديوهات الطويلة: نجح النموذج في توليد فيديوهات طويلة (مثلاً 60 إطاراً) مع تماسك زمني مستقر، بينما تفشل النماذج المرجعية غير المزودة باللوحة في الحفاظ على البنية.

5. الأهمية

• سد الفجوة: نجح CanvasMAR في سد الفجوة بين سرعة نماذج التوليد التلقائي وجودة نماذج الانتشار. لقد أثبت أن MAR يمكن أن يكون منافساً للانتشار إذا تم إدخال أولوية عالمية قوية (اللوحة).
• التطبيقات التفاعلية: إن التقليل الكبير في زمن انتقال الاستدلال يجعل توليد الفيديو بالتوليد التلقائي قابلاً للتطبيق في التطبيقات التفاعلية (مثل محركات الألعاب، أو المحاكيات) حيث يكون زمن الانتقكن المنخفض أمراً حاسماً.
• القابلية للتوسع: يظهر النهج أن نماذج التوليد التلقائي القائمة على الرموز يمكن أن تتوسع لتشمل مجموعات بيانات كبيرة ومعقدة (Kinetics-600) دون الاعتماد على عمليات إزالة الضجيج التكرارية الثقيلة الخاصة بالنماذج الانتشارية.

6. القيود

• التركيز على تنبؤ الفيديو: يركز التقييم الحالي على تنبؤ الفيديو (المشروط بالإطارات السابقة). وبينما يمكنه التوليد من الصفر (عبر تخطي اللوحة للإطار الأول)، إلا أن هذا لم يكن التركيز الأساسي.
• عيوب الحركة العالية: في التسلسلات ذات الحركة الشديدة، قد تكون اللوحة الضبابية الأولية غير دقيقة للغاية، مما يؤدي إلى تشوهات لا يستطيع Spatial MAR تصحيحها بالكامل.
• حجم النموذج: إن Spatial MAR الحالي أصغر من نموذج NOVA؛ ومن المتوقع أن يؤدي توسيع حجم النموذج إلى تحسين قدرات التصحيح الذاتي.