Probing into Camera Control of Video Models

ملخص تقني: استقصاء التحكم في الكاميرا لنماذج الفيديو

بيان المشكلة
تمتلك نماذج توليد الفيديو مسبقات (priors) غنية للبنية المكانية والديناميكيات الزمنية، ومع ذلك، يظل تمكين التحكم في حركة الكاميرا تحدياً كبيراً. تعتمد الأساليب الحالية عادةً على الضبط الدقيق (fine-tuning) لنماذج الفيديو باستخدام مجموعات بيانات لزوايا الكاميرا المقترنة عبر وحدات كاميرا إضافية (مثل المحولات، أو التضمينات، أو تعديلات الانتباه). يحدد المؤلفون ثلاثة قيود أساسية في هذا النموذج:

1. رسم خرائط ضمني وغير قابل للتفسير: العلاقة بين حركة الكاميرا والمحتوى مشفرة ضمنياً، وغالباً ما تتعلم ارتباطات خاصة بمجموعة البيانات بدلاً من الهندسة الأساسية.
2. محدودية البيانات: غالباً ما تكون مجموعات البيانات الملحقة ببيانات الكاميرا محدودة في الحجم، والتنوع، والديناميكيات (غالباً ما تكون اصطناعية أو مستمدة من بنية الحركة من الصور - SfM)، مما يحد من القدرة على التعميم للأنماط الحركية الواقعية والمشاهد المعقدة.
3. تدهور المسبقات (Prior Degradation): يميل الضبط الدقيق على مجموعات بيانات متخصصة إلى تحيز النموذج نحو توزيع مخرجات أضيق، مما يؤدي إلى تجاوز المسبقات المتنوعة التي تعلمها النموذج أثناء التدريب واسع النطاق وتدهور الجودة البصرية.

علاوة على ذلك، تعتمد الطرق الحالية الخالية من التدريب (training-free) غالباً على عمليات غير قابلة للاشتقاق (مثل إعادة بناء السحابة النقطية، أو ملء الفراغات)، مما يجعل التحسين الشامل (end-to-end optimization) غير ممكن حسابياً.

المنهجية: CamProbe
يقترح البحث CamProbe، وهو طريقة خالية من التدريب تعيد صياغة التحكم في الكاميرا ليس كمسألة تعلم توليدي، بل كشكل من أشكال التوجيه الهندسي المطبق عبر حقول الإزاحة.

• صياغة حقل الإزاحة: بدلاً من تعلم رسم خرائط من مسارات الكاميرا إلى الفيديو، تقوم الطريقة ببناء مجموعة من حقول الإزاحة ($\mathcal{F}$) لمسار كاميرا معين. بالنظر إلى مسار كاميرا $T_f = (R_f, t_f)$، تحسب الطريقة التحويلات النسبية بالنسبة للإطار الأول. تقوم برفع إحداثيات البكسل الكامنة إلى نقاط شبه ثلاثية الأبعاد باستخدام مقدر عمق جاهز ($D_f$)، ثم تطبق تحويل الكاميرا، وتعيد إسقاطها على مستوى الصورة لاشتقاق شبكة تشويه كثيفة (حقل إزاحة).
• إعادة أخذ العينات القابلة للاشتقاق في الانتشار (Diffusion): يتم دمج حقول الإزاحة هذه في عملية إزالة الضجيج لنموذج انتشار الفيديو. في كل خطوة زمنية $t$ (تحديداً خلال المرحلة المبكرة $t \in [T, 0.8T]$)، يتم تشويه الـ latent النظيف المقدر $\hat{z}_0$ باستخدام حقل الإزاحة عبر عامل إعادة أخذ عينات قابل للاشتقاق ($\circ$).
  • يتبع التحديث شكل التوجيه الخالي من التصنيف (classifier-free guidance): $\hat{z}'_{0,f} = \hat{z}_{0,f} + \omega (\mathcal{F}_f \circ \hat{z}_{0,f} - \hat{z}_{0,f})$.
  • يُستخدم التقدير المعدل لتحديث الـ latent المشوش $z_t$ (أو السرعة $v_t$ في تدفق المطابقة - flow matching) قبل خطوة أخذ العينات التالية.
• الطبيعة الخالية من التدريب: لا تتطلب الطريقة أي وحدات إضافية، أو ضبط دقيق، أو بيانات مقترنة. يمكن تعريف حقول الإزاحة بشكل تجريبي (كما هو متبع في هذا العمل باستخدام التشويه القائم على العمق) أو تعلمها.

المساهمات الرئيسية

1. إعادة صياغة التحكم في الكاميرا: يقترح المؤلفون معاملة التحكم في الكاميرا كمجموعة من حقول الإزاحة المطبقة عبر إعادة أخذ العينات القابلة للاشتقاق أثناء عملية إزالة الضجيج، مما يسمح بالتحكم دون تدريب أو تغييرات هيكلية.
2. مسبار للتحليل (Probe for Analysis): تعمل الطريقة كمسبار معياري لعزل وتحليل قدرات التحكم في الكاميرا الكامنة في نماذج التأسيس الفيديوية الأساسية، وفصل سلوك النموذج عن الآثار الناجمة عن التكييف النصي أو مجموعات البيانات التدريبية المحددة.
3. تحديد الانحيازات العالمية: باستخدام المسبار، حدد المؤلفون سلوكيات منهجية عبر نماذج فيديو ممثلة:
   • التقليل من القدرة: تؤدي النماذج أداءً أفضل تحت التوجيه الهندسي مقارنة بالطلبات النصية، مما يشير إلى أن القيود تكمن في آلية التوجيه وليس في النموذج نفسه.
   • التسرب غير المتماثل: الحركات الانتقالية (translational) أسهل في التوليد من الحركات الدورانية؛ حيث غالباً ما تتسرب الأوامر الدورانية إلى الحركة الانتقالية، بينما يحدث العكس بشكل أقل شيوعاً.
   • التفضيل الاتجاهي: تُظهر النماذج انحيازاً نحو الحركة الأفقية على حساب الحركة الرأسية.
   • انزياح النمط (Mode Shift): يمكن أن يؤدي الإفراط في قوة التحكم إلى "انزياح النمط" حيث تتحول الحركة السلسة إلى انتقالات مفاجئة.
4. اختبار تعدد المشاهد (Multi-View Benchmarking): يقدم البحث بروتوكول تقييم متعدد المستويات (2D، 2.5D، و3D) لتقييم اتساق تعدد المشاهد ويختبر خمسة نماذج فيديو تحت حركات الكاميرا المدارية.

النتائج

• الأداء مقابل النماذج المضبوطة دقيقاً: مقارنة بالأساليب المتطورة التي تعتمد على الضبط الدقيق (مثل Gen3C، وTrajectoryCrafter، وReCamMaster)، يحقق CamProbe جودة بصرية تنافسية مع انخفاض طفيف فقط في دقة التحكم في الكاميرا (مقاساً بخطأ الوضع النسبي). والأهم من ذلك، أنه يحافظ على المسبق التوليدي للنموذج الأساسي، مما يؤدي إلى تدهور أقل في جودة التصوير وسلاسة الحركة مقارنة بالأساليب التي تتطلب ضبطاً دقيقاً.
• الكفاءة: لا تسبب الطريقة عبئاً إضافياً يذكر على ذاكرة وحدة معالجة الرسومات (GPU). التكلفة التشغيلية الرئيسية تأتي من تقدير العمق وإعادة أخذ عينات الـ latent، والتي يمكن تقليلها باستخدام عمق ثابت أو تخطي خطوات معينة من إعادة أخذ العينات.
• نتائج المسبار:
  • المشهد الفردي: تُظهر النماذج مقايضة بين قوة الحركة والجودة. أظهر كل من HunyuanVideo-1.5 وWan2.2-I2V-A14B أفضل توازن.
  • تعدد المشاهد: بينما تنتج بعض النماذج (مثل LTX-2.3) مشاهد ثابتة عالية الجودة، تحقق نماذج أخرى (مثل HunyuanVideo-1.5) توازناً أفضل بين الاتساق الهندسي والمحاذاة الحركية، مما يشير إلى إمكانات أعلى لمهام 3D/4D.
  • المقارنة مع CamTrol: ينتج CamProbe ديناميكيات أقوى من الطريقة الخالية من التدريب CamTrol مع الحفاظ على جودة بصرية مماثلة، ويعزى ذلك إلى الحفاظ على الديناميكيات الجوهرية للنموذج بدلاً من نشر مرجع ثابت واحد.

الأهمية والادعاءات
يجادل البحث بأن التحكم في الكاميرا في توليد الفيديو لا يلزم معاملته كمسألة تعلم ضمني تتطلب مجموعات بيانات ضخمة وضبطاً دقيقاً. بدلاً من ذلك، يمكن حل ذلك بفعالية من خلال التوليد الموجه بحقل الإزاحة. ويدعي المؤلفون أن حتى حقل الإزاحة المحدد تجريبياً يعمل كإشارة قوية بما يكفي لتحفيز حركة الكامل دون المساس بجودة النموذج الأساسي.

تكمن أهمية هذا العمل في مجالين:

1. الفائدة العملية: يوفر آلية بسيطة وخالية من التدريب للتحكم في حركة الكاميرا في نماذج الفيديو الحالية، مع الحفاظ على قدراتها التوليدية عالية الدقة.
2. الرؤية التحليلية: يوفر أداة "لاستقصاء" القدرات الكامنة لنماذج التأسيس، وكشف أن العديد من النماذج تمتلك فهماً هندسياً جوهرياً غالباً ما يكون محجوباً بطرق التقييم الحالية (التي تعتمد على الطلبات النصية) أو نماذج التدريب. وتشير النتائج إلى أن القيود في التحكم الحالي في الكاميرا غالباً ما تعود إلى آلية الاستحثاث وليس عدم قدرة النماذج على توليد محتوى متسق هندسياً.

يقر المؤلفون بالقيود، مشيرين إلى أن حقل الإزاحة التجريبي الحالي قد يكون أقل موثوقية في المشاهد ذات العلاقات المكانية المعقدة وأن التوجيه الهندسي يعتبر عاماً. ويقترحون أن العمل المستقبلي يمكن أن يركز على تعلم حقول الإزاحة أو تحسين استراتيجيات تحديث الانتشار لمزيد من الدقة.