💻 computer science

ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation

يُعد ConfCtrl إطار عمل للتدخل البيني للفيديو يعتمد على الوعي بالثقة، والذي يتيح تحكماً دقيقاً في الكاميرا في نماذج انتشار الفيديو لتوليد مناظر جديدة عبر الجمع بين إسقاطات السحب النقطية الموزونة بالثقة وآلية تنبؤ وتحديث مستوحاة من مرشح كالمان لتحقيق التوازن بين توجيه الوضعية والاتساق الهندسي مع إعادة بناء المناطق غير المرئية.

المؤلفون الأصليون: Liudi Yang, George Eskandar, Fengyi Shen, Mohammad Altillawi, Yang Bai, Chi Zhang, Ziyuan Liu, Abhinav Valada

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Liudi Yang, George Eskandar, Fengyi Shen, Mohammad Altillawi, Yang Bai, Chi Zhang, Ziyuan Liu, Abhinav Valada

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إعادة إنشاء مشهد سينمائي ثلاثي الأبعاد، ولكن ليس لديك سوى صورتين فقط: واحدة التُقطت من أقصى اليسار، والأخرى من أقصى اليمين. هدفك هو توليد جميع الإطارات التي تقع بينهما، كما لو كانت الكاميرا تنزلق بسلاسة من اليسار إلى اليمين، لتكشف عن أجزاء من الغرفة لم ترها من قبل.

هذا هو التحدي الذي تعالجه ورقة البحث ConfCtrl. وإليك كيف حلوا هذه المعضلة، بأسلوب مبسط:

المشكلة: خياران سيئان

حالياً، هناك طريقتان لمحاولة القيام بذلك، وكلتاهما تعانيان من عيوب:

"المهندس الصارم" (طرق الانحدار - Regression Methods): هذه النماذج تشبه المهندسين المعماريين الجامدين. فهي تحاول حساب الشكل ثلاثي الأبعاد الدقيق للغرفة بناءً على صورتيك فقط.
- العيب: إذا كان هناك كرسي مخفي خلف طاولة في صورك، فإن المهندس يرتبك. لا يمكنه "تخيل" الكرسي، لذا يترك فجوة ضبابية أو خللاً غريباً في الفيديو. هم جيدون في الهندسة لكنهم سيئون في الإبداع.
"الفنان الحالم" (نماذج الانتشار - Diffusion Models): هؤلاء فنانون ذكاء اصطناعي أقوياء تدربوا على ملايين الفيديوهات. هم بارعون في تخيل شكل الكرسي المخفي.
- العيب: هم سيئون جداً في اتباع التعليمات. إذا قلت لهم: "حرك الكاميرا 5 أقدام بالضبط جهة اليمين"، فقد ينحرفون عن المسار، أو يميلون الكاميرا بشكل غريب، أو ينسون أين بدأوا. هم مبدعون لكنهم غير قابلين للتحكم.

الحل: ConfCtrl (الـ "ملاح الذكي")

ابتكر المؤلفون نظام ConfCtrl، وهو يجمع بين أفضل ما في العالمين. فكر فيه كأنه ملاح ذكي يوجه سائقًا مبدعًا.

إليك كيف يعمل في ثلاث خطوات بسيية:

1. "خريطة الثقة" (معرفة ما يجب الوثوق به)

ينظر النظام أولاً إلى البيانات ثلاثية الأبعاد التي يحصل عليها من الصورتين. لكنه يعلم أن هذه البيانات "مشوشة" (مثل إشارة GPS تقفز أحياناً بشكل عشوائي).

التشبيه: تخيل أنك تتجول في رحلة مع خريطة تحتوي على بعض المناطق الضبابية وغير الواضحة. المتنزه العادي قد يضيع في الضباب، أما ConfCtrl فهو مثل المتنزه الذي يحمل خريطة ثقة. تقول الخريطة: "أنا أثق بعلامات الطريق هنا (ثقة عالية)، لكني لست متأكداً من هذه المنطقة المستنقعية (ثقة منخفضة)".
السحر: بدلاً من اتباع الخريطة ثلاثية الأبعاد المهتزة بشكل أعمى، يستخدم الذكاء الاصطناعي خريطة الثقة هذه ليقرر مدى الثقة في الهندسة. فهو يعتمد على الأجزاء الصلبة ويتجاهل الأجزاء المهتزة.

2. حلقة "التنبؤ والتحديث" (مرشح كالمان - Kalman Filter)

هذا هو عقل العملية، وهو مستوحى من كيفية ملاحة الغواصات أو السيارات ذاتية القيادة.

التنبؤ: يخمن الذكاء الاصطناعي أين يجب أن تكون الكاميرا تالياً بناءً على تعليماتك (مثلاً: "تحرك يميناً").
التحديث: بعد ذلك، يتحقق من خريطته ثلاثية الأبعاد "المشوشة".
- إذا اتفقت الخريطة مع التنبؤ، فهذا رائع!
- إذا كانت الخريطة مهتزة أو خاطئة (مثل المنطقة المستنقعية)، يقول الذكاء الاصطناعي: "أرى أن الخريطة مرتبكة، لذا سألتزم بخطتي الأصلية".
- إذا كانت الخريطة واضحة، يقول: "حسناً، الخريطة صحيحة، دعنا نعدل المسار قليلاً".
النتيجة: تضمن رقصة "التنبؤ والتحديث" هذه ذهاب وإياب الكاميرا على المسار الدقيق الذي أردته، دون أن تضل طريقها بسبب الضجيج.

3. البداية بـ "دفعة قوية" (التهيئة - Initialization)

معظم مولدات فيديو الذكاء الاصطناعي تبدأ بضوضاء ساكنة بحتة (مثل تشويش التلفاز) وتحاول تحويلها إلى فيديو. لكن ConfCtrl أكثر ذكاءً.

التشبيه: بدلاً من بدء السباق من نقطة الصفر تماماً، يبدأ ConfCtrl السباق وهو في منتصف الطريق بالفعل. فهو يأخذ "خريطة الثقة" ويمزجها مع الضوضاء في البونة مباشرة.
لماذا يساعد هذا: هذا يعطي الذكاء الاصطناعي تلميحاً قوياً حول شكل الغرفة فوراً، حتى لا يضطر للتخمين كثيراً. الأمر يشبه إعطاء الفنان رسماً تخطيطياً أولياً قبل أن تطلب منه رسم اللوحة الفنية.

النتيجة

من خلال استخدام نهج "الملاح الذكي" هذا، يستطيع ConfCtrl أن:

يتبع التعليمات بدقة: تتحرك الكاميرا تماماً حيث أخبرتها، دون أي انحراف.
يملأ الفراغات: يمكنه "تخيل" أجزاء المشهد التي لم ترها في الصور الأصلية، مثل ظهر الكرسي، بجودة عالية.
يعمل في أي مكان: نظرًا لأنه تعلم من نموذج فيديو ضخم، يمكنه التعامل مع بيئات جديدة وغير مرئية دون الحاجة إلى إعادة تدريبه.

باختصار: ConfCtrl هو مثل نظام GPS يعرف متى تكون الإشارة سيئة ويتجاهل الأعطال، مما يضمن بقاء رحلتك الإبداعية في الفيديو على المسار الدقيق الذي خططت له، حتى عندما تصبح المناظر الطبيعية معقدة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ConfCtrl: تمكين التحكم الدقيق في الكاميرا في انتشار الفيديو عبر الاستيفاء الواعي بالثقة (Confidence-Aware Interpolation)."

1. بيان المشكلة

تعالج الورقة تحدي تخليق المنظور الجديد (Novel View Synthesis - NVS) من صورتين مدخلتين فقط (sparse input images) تحت تغيرات كبيرة في زوايا الرؤية. تواجه الطرق الحالية مقايضة بين الدقة الهندسية والقدرة التوليدية:

الطرق القائمة على الانحدار (Regression-based methods): هذه النماذج ذات التغذية الأمامية (مثل متغيرات Gaussian Splatting) يمكنها اتباع مسارات الكاميرا جيداً، لكنها تفتقر إلى الضوابط التوليدية (generative priors). وبناءً على ذلك، تفشل في إعادة بناء المناطق غير المرئية، مما يؤدي إلى ظهور عيوب وتخيلات (hallucinations) عندما تكون المناظر المدخلة شحيحة.
الطرق القائمة على الانتشار (Diffusion-based methods): تستفيد هذه الطرق من الضوابب التوليدية القوية المستمدة من التدريب المسبق واسع النطاق، لكنها تعاني من صعوبة في الالتزام الصارم بوضعيات الكاميرا المستهدفة. وغالباً ما تنحرف عن المسارات المقصودة بسبب إسقاطات السحب النقطية (point cloud projections) الضوضائية أو عدم كفاية التكييف (conditioning)، مما يؤدي إلى عدم اتساق هندسي.

التحدي الجوهري هو تصميم نظام يجمع بين القدرة التوليدية لنماذج الانتشار والدقة الهندسية للمناهج القائمة على الانحدار، وتحديداً التعامل مع عدم اليقين المتأصل في الضوابب ثلاثية الأبعاد المستمدة من النماذج التأسيسية.

2. المنهجية: ConfCtrl

يقترح المؤلفون ConfCtrl، وهو إطار عمل للاستيفاء المرئي (video interpolation) يعتمد على نموذج استيفاء فيديو مدرب مسبقاً (Wan2.1-Interpolation). يقدم هذا المنهج ابتكارين رئيسيين لسد الفجوة بين الاستيفاء وتخليق المنظور الجديد:

أ. تهيئة الضجيج الواعية بالثقة (Confidence-Aware Noise Initialization)

بدلاً من تهيئة عملية تدفق التصحيح (rectified flow diffusion) بضجيج غاوسي نقي، يقوم ConfCtrl بتهيئة الفضاء الكامن (latent space) عبر مجموع مرجح من كامنة السحابة النقطية المسقطة والضجيج.

الآلية: تقوم خريطة ثقة نقطية (مشتقة من نموذج تأسيسي ثلاثي الأبعاد مثل VGGT) بقياس مدى موثوقية كل نقطة ثلاثية الأبعاد مقدرة.
الصيغة: $z_0 = \lambda_1 \cdot (w \odot \hat{z}_{pc}) + \lambda_2 \cdot \epsilon$ $z_{0} = λ_{1} \cdot (w ⊙ \overset{z}{^}_{p c}) + λ_{2} \cdot ϵ$
- حيث تمثل $w$ أوزان الثقة، و $\hat{z}_{pc}$ هي كامنة السحابة النقطية المسقطة، و $\epsilon$ هو الضجيج الغاوسي.
الفائدة: يوفر هذا توزيعاً أولياً أكثر موثوقية يكيف النموذج من "الاستيفاء الزمني" إلى "تخليق المنظور الجديد"، مستفيداً من الضوابب الهندسية القوية للنموذج التأسيسي مع مراعاة حالة عدم اليقين الخاصة به.

ب. تكييف الكاميرا بنمط التنبؤ والتحديث (المستوحى من مرشح كالمان)

للتخفيف من حدة عدم اليقين في الضوابب الهندسية ثلاثية الأبعاد (مثل التشوه أو غموض المقياس)، قدم المؤلفون آلية تنبؤ وتحديث مستوحاة من مرشح كالمان (Kalman Filter) مدمجة في كتل محول الانتشار (Diffusion Transformer - DiT).

وحدة التنبؤ الفرعية: تكيّف الحالة الكامنة بناءً على وضعية الكاميرا المستهدفة فقط (مدخل التحكم $u$ ). وهي تولد تنبؤاً بالمشهد بناءً على المسار المطلوب.
وحدة التحديث الفرعية: تعامل السحابة النقطية المسقطة كـ "قياس ضوضائي". وهي تتعلم تصحيحاً متبقياً ( $\Delta$ $Δ$ ) لتنقية التنبؤ عبر دمجه مع الملاحظة الهندسية.
- $z_{update} = z_{pred} + \Delta(z_{pred}, \hat{z}_{pc})$
الوظيفة: تسمه هذه البنية النموذج من الموازنة الديناميكية بين "الاعتقاد" في مسار الكاميرا وبين "الملاحظة" من الضابط ثلاثي الأبعاد. فإذا كانت السحابة النقطية غير مؤكدة (ثقة منخفضة)، يعتمد النموذج أكثر على وضعية الكاميرا؛ وإذا كانت الوضعية غامضة، فإنه يميل نحو الهندسة.

ج. هدف التدريب

يتم تدريب النموذج باستخدام هدف التدفق المصحح (Rectified Flow).

دالة الخسارة: خسارة مطابقة التدفق القياسية ( $L_{RF}$ ) مدمجة مع حد تنظيم التدرج الكامن ( $L_{grad}$ ).
التنظيم: يعمل $L_{grad}$ على فرض محاذاة التدرجات المكانية في الفضاء الكامن، مما يضمن الحفاظ على التفاصيل عالية التردد وتقليل آثار الوميض (flickering) أثناء تغيرات زاوية الرؤية السريعة.

3. المساهمات الرئيسية

الاستفادة من ضوابب الاستيفاء: أثبتت الدراسة أن نماذج استيفاء الفيديو المدربة مسبقاً توفر اتساقاً ثلاثي الأبعاد متفوقاً لتخليق المنظور الجديد (NVS) تحت المدخلات الشحيحة مقارنة بنماذج توليد الفيديو القياسية.
التهيئة الواعية بالثقة: قدمت استراتيجية تهيئة مبتكرة باستخدام كامنات السحابة النقطية المرجحة بالثقة، مما سمح بالتكيف الفعال من الاستيفاء إلى تخليق المنظور الجديد.
تكييف التنبؤ والتحديث: اقترحت آلية تكييف مستوحاة من مرشح كالمان تقوم بترميز وضعيات الكاميرا والضوابب ثلاثية الأبعاد الضوضائية بشكل مشترك، مما يحقق هندسة قوية وتحكماً دقيقاً في الكاميرا دون الحاجة إلى بيانات إعادة تدريب واسعة.
أداء رائد (State-of-the-Art): حققت تحسينات ثابتة على جميع النماذج المرجعية (سواء القائمة على الانحدار أو الانتشار) عبر مجموعات بيانات متعددة، مع قدرات تعميم قوية خارج نطاق التدريب (zero-shot).

4. النتائج التجريبية

تم تقييم المنهج على مجموعات بيانات CO3D-Hydrant و CO3D-Teddybear و DL3DV، بالإضافة إلى اختبارات عبر المجموعات (RealEstate10k, GraspNet).

الأداء الكمي: تفوق ConfCtrl على جميع النماذج المرجعية (بما في ذلك PixelSplat, AnySplat, CameraCtrl, ViewCrafter) في:
- جودة الصورة: قيم أعلى لـ PSNR و SSIM، وقيم أقل لـ LPIPS.
- التحكم في الكاميرا: تقليل كبير في خطأ الإزاحة ( $E_t$ ) وخطأ الدوران ( $E_r$ )، مما يشير إلى الالتزام الصارم بالوضعيات المستهدفة.
- مقاييس التوليد: درجات FID و FVD أقل مقارنة بطرق الانتشار الأخرى، مما يشيد بجودة بصرية أفضل.
النتائج النوعية: نجح المنهج في إعادة بناء المناطق المحجوبة والحفاظ على التفاصيل الحادة تحت تغيرات كبيرة في زوايا الرؤية، بينما عانت طرق الانحدار من العيوب وعانت طرق الانتشار من الانحراف عن مسار الكاميرا.
التعميم (Zero-Shot): أظهر النموذج أداءً قوياً على مجموعات البيانات الخارجة عن نطاق التوزيع دون ضبط دقيق، مما يثبت قوة الضوابب الهندسية المتعلمة.
دراسات الاستئصال (Ablation Studies): أكدت أن إزالة إما التهيئة الواعية بالثقة أو وحدة التنبؤ والتحديث يؤدي إلى تدهور الأداء بشكل كبير، مما يثبت ضرورة كلا المكونين.

5. الأهمية والأثر

يمثل ConfCtrl خطوة كبيرة للأمام في توليد الفيديو القابل للتحكم وإعادة البناء ثلاثي الأبعاد.

سد الفجوة: إنه يجسّر الفجوة بفعالية بين الدقة الهندسية لطرق الـ 3D ذات التغذية الأمامية والقدرة التوليدية لنماذج الانتشار.
التعامل مع عدم اليقين: من خلال نمذجة عدم اليقين صراحةً عبر إطار عمل مستوحى من مرشح كالمان، فإنه يقدم حلاً قوياً للسيناريوهات التي تكون فيها الضوابب ثلاثية الأبعاد (مثل خرائط العمق) ضوضائية أو غير مكتملة.
التطبيق العملي: إن القدرة على توليد مناظر جديدة عالية الجودة ومتسقة هندسياً من صورتين فقط مع تحكم دقيق في الكاميرا أمر بالغ الأهمية لتطبيقات الواقع المعزز والافتراضي (AR/VR)، والروبوتات، وصناعة المحتوى الرقمي، حيث تكون تغيرات زاوية الرؤية الكبيرة شائعة ولكن البيانات شحيحة.

المحددات: يشير المؤلفون إلى أن النهج الحالي مقيد ببنية Video VAE، والتي تم تحسينها للانتقالات الزمنية السلسة وليس لحركات الكاميرا المفاجئة. قد يتضمن العمل المستقبلي تحسين الـ VAE أو إزالته تماماً للتعامل بشكل أفضل مع التغيرات الموضعية الكبيرة.