Controllable Video Object Insertion via Multi-View Priors
تقترح هذه الورقة إطار عمل لإدراج الكائنات في الفيديو يستفيد من مسبقات الكائنات متعددة المشاهد والاشتراط المتسق مع الرؤية للتغلب على القيود في الأساليب الحالية، مثل انحراف الهوية وعيوب الحدود، وبالتالي تحقيق جودة بصرية فائقة، واتساق في الهوية، وتكامل سلس بين المقدمة والخلفية.
المؤلفون الأصليون:Qi Xia, Peishan Cong, Yichen Yao, Ziyi Wang, Yaoqin Ye, Yuexin Ma
تخيل أنك مخرج في موقع تصوير فيلم، ولكن بدلاً من بناء ديكورات ضخمة، أنت تعمل داخل شاشة كمبيوتر. لديك مقطع فيديو لشارع مزدحم، وتريد إضافة شخصية جديدة تماماً، مثل فيل ضخم، يمشي وسط حركة المرور. هذا هو عالم إدراج الكائنات في الفيديو (video object insertion)، وهو فرع من فروع الرؤية الحاسوبية حيث يعلم العلماء الذكاء الاصطنيعي كيفية لصق أشياء جديدة في فيديوهات موجودة بالفعل. الجزء الصعب هو أن الفيديوهات كائنات حية؛ فالكاميرا تتحرك، والشمس تتغير، والأجسام تلتف حول نفسها. إذا قمت فقط بلصق صورة مسطحة لفيل في فيديو متحرك، سيبدو الأمر وكأنه ملصق لا ينتمي للمكان. قد يبدو الأمر غريباً عندما يحرك الفيل رأسه، أو قد يبدو وكأنه يطفو فوق الأرض بدلاً من المشي عليها. ولحل هذه المشكلة، حاولت الطرق السابقة استخدام صورة واحدة فقط للفيل أو وصف نصي بسيط، لكن هذا يشبه محاولة تخمين شكل ظهر تمثال بمجرد رؤية مقدمته. والنتيجة غالباً ما تكون فوضى متذبذبة ومشوهة يتغير فيها الشكل أو اللون أثناء تشغيل الفيديو.
الآن، تعرف على فريق البحث الجديد من جامعة شنغهاي للتكنولوجيا (ShanghaiTech University) الذين قرروا حل "مشكلة الملصق" هذه بحيلة ذكية. لقد أدركوا أنه لجعل الكائن يبدو واقعياً في فيديو متحرك، عليك معرفة كيف يبدو من كل زاوية، وليس من زاوية واحدة فقط. حلهم يشبه منح الذكاء الاصطناعي جولة لمدة 360 درجة حول الكائن قبل أن يحاول وضعه في الفيديو. فبدلاً من عرض صورة مسطحة واحدة للفيل، يقومون أولاً بتحويل هذه الصورة إلى نموذج ثلاثي الأبعاد ثم يلتقطون مئات "اللقطات" له من جوانب مختلفة. هم يسمون هذا المقدمات متعددة المشاهد (Multi-View Priors). فكر في الأمر كفرق بين إعطاء رسام صورة واحدة لوجه ما، وبين إعطائه نموذجاً حياً يمكنه التجول حوله.
لكن امتلاك كل هذه الصور الإضافية ليس كافياً؛ إذ يحتاج الذكاء الاصطناعي لمعرفة أي صورة يستخدم في اللحظة المناسبة تماماً. إذا التفت الفيل في الفيديو جهة اليسار، يحتاج الذكاء الاصطناعي إلى سحب صورة "الجانب الأيسر" من بنك الذاكرة الخاص به، وليس صورة "المقدمة". لقد بنى الباحثون وحدة شرطية متسقة مع المشاهد (View-Consistent Conditioning Module) تعمل كأمين مكتبة فائق الذكاء. فعندما تتحرك كاميرا الفيديو، يجد هذا الأمين فوراً الزاوية المثالية للفيل لتتناسب مع المشهد. كما أضافوا نظام "فحص جودة"؛ فأحياناً، قد تسوء عملية تحويل صورة مسطحة إلى نموذج ثلاثي الأبعاد، مما ينتج أجزاءً غريبة أو ضبابية أو مفقودة. يتم تعليم الذكاء الاصطناعي تجاهل هذه اللقطات السيئة والتركيز فقط على اللقطات الواضحة، مما يضمن عدم تحول الفيل فجأة إلى كتلة من البكسلات.
أخيراً، وللتأكد من أن الفيل لا يبدو وكأنه يطفو في الهواء أو يتوهج بهالة غريبة، أضافوا وحدة متسقة مع التكامل (Integration-Aware Consistency Module). هذا الجزء من النظام يعمل ككاشف للعمق. فهو يتحقق من مدى عمق الفيل مقارنة بالأشجار والسيارات في الخلفية، مما يضمن اختفاء الفيل خلف شجرة إذا مشى خلفها، وأن يترك الظلال الصحيحة. كما أضافوا قاعدة للتأكد من أن الفيل لا يرتعش أو يتذبذب بين الإطارات، مما يحافظ على حركته سلسة وطبيعية.
عندما اختبروا إطار عملهم الجديد، كانت النتائج مبهرة. في تجاربهم، أنتجت طريقتهم فيديوهات تبدو أكثر واقعية بكثير من المحاولات السابقة. حافظت الكائنات المدرجة على مظهرها الأصلي (اتساق الهوية) حتى عندما دارت الكاميرا حولها، واندمجت في الخلفية دون أن تبدو كعملية قص ولصق. على سبيل المثال، عندما اختبروا نظامهم على مجموعة بيانات تسمى DAVIS، حققت طريقتهم درجة 23.22 في وضوح الصورة (PS-NR) و 0.9026 في التشابه الهيكلي (SSIM)، متفوقة على أفضل الطرق الأخرى. حتى أنهم أظهروا أن نظامهم يمكن أن يعمل بمجرد وصف نصي، محولاً الكلمات إلى نموذج ثلاثي الأبعاد ثم إلى فيديو، مما يثبت أنك لست بحاجة دائماً إلى صورة مثالية للبدء. ورغم أن النظام ليس مثالياً ولا يزال يعتمد على جودة التحويل ثلاثي الأبعاد الأولي، إلا أن الباحثين يشيرون إلى أن استخدام "بنوك الذاكرة" متعددة المشاهد هذه يعد خطوة كبيرة للأمام في جعل تحرير الفيديو يبدو كالسحر بدلاً من كونه لغزاً مليئاً بالتشوهات.
ملخص تقني: إدراج الكائنات في الفيديو القابل للتحكم عبر الأولويات متعددة المشاهد
بيان المشكلة يهدف إدراج الكائنات في الفيديو إلى دمج كائنات يحددها المستخدم في مشاهد ديناميكية موجودة مع الحفاظ على التماسك البصري. تعتمد الطرق الحالية عادةً على مطالبات نصية أو صورة مرجعية واحدة لتحديد مظهر الكائن. ويخلق هذا النهج قيوداً كبيرة:
انحراف الهوية والتشوه: تفشل الملاحظات أحادية المنظور في ضبط مظهر الكائن تحت تغيرات زاوية الرؤية، مما يؤدي إلى انحراف الهوية، والتشوه الهندسي، والعيوب عند الزوايا غير المرئية.
فشل التكامل: لا تقوم العديد من النهج الحالية بنمذجة التفاعلات بين المقدمة والخلفية بشكل صريح. ونتيجة لذلك، غالباً ما تؤدي حركة الكاميرا وتغيرات وجهات النظر إلى طبقات غير صحيحة (على سبيل المثال، ظهور الكائنات أمام عناصر الخلفية التي تحجبها)، وعيوب في الحدود، ووميض زمني.
التوليد غير المقيد: يجعل نقص المعلومات متعددة المشاهد من الصعب الحفاظ على هوية الكائن المدرج وضمان علاقات احتجاب معقولة في البيئات الديناميكية.
المنهجية يقترح المؤلفون إطار عمل لإدراج الكائنات في الفيديو يعالج هذه القيود من خلال دمج أولويات متعددة المشاهد مشتقة من ثلاثية الأبعاد جنباً إلى جنب مع وحدات شرطية وتماسك متخصصة. يعمل إطار العمل على تسلسل فيديو مصدر، وصورة مرجعية للمقدمة، ومطالبة نصية، وإشارات تحكم مكانية زمانية (أقنعة أو صناديق محيطة).
تتكون البنية من ثلاثة مكونات رئيسية:
توليد المرجع متعدد المشاهد:
يتم "رفع" صورة مرجعية ثنائية الأبعاد إلى شبكة منسوجة ثلاثية الأبعاد باستخدام أداة إعادة بناء ثلاثية الأبعاد مدربة مسبقاً (Hunyuan3D 2.0).
يتم رندرة (Rendering) الشبكة إلى مجموعة من الصور متعددة المشاهد (N من المشاهد) باستخدام معاملات خارجية للكاميرا موزعة بانتظام. يوفر هذا للنموذج التوليدي معلومات مظهر وهندسة أغنى من منظورات متنوعة، بدلاً من الاعتماد على منظور ثابت واحد.
وحدة التكييف المتسقة مع وجهة النظر:
حقن المرجع ثنائي المسار: لاستخدام البيانات متعددة المشاهد بفعالية دون المساس بالاستقرار، تستخدم الوحدة مسارين متكاملين:
الحقن الكامن المحافظ على الهوية (IPLI): يقوم مشفر بصري مشترك بمعالجة الفيديو المصدر والرندرات متعددة المشاهد. يتم حقن التمثيلات المدمجة مباشرة في كتل DiT لتقليل الضجيج لتثبيت مظهر الكائن عبر الإطارات.
بنك الميزات متعدد المشاهد (MVFB): يتم تشفير الصور متعددة المشاهد إلى قاعدة معرفة قابلة للبحث من أزواج (مفتاح-قيمة). ومن خلال الانتباه المتقاطع (Cross-attention)، يسترجع النموذج ديناميكياً الأنسجة والإشارات الهندسية ذات الصلة بجهة النظر من هذا البنك، مما يسم يسمح بتوليد مظهر تكيفي مع دوران الكائن أو حركته.
الوزن الواعي للجودة: إدراكاً بأن الرفع ثلاثي الأبعاد قد ينتج عمليات إعادة بناء غير مثالية (مثل هندسة مفقودة أو أنسجة مشوهة)، يطبق إطار العمل آلية متانة:
تعزيز العيوب الاصطناعية: يحافظ التدريب على الرندرات غير المثالية طبيعياً لتعريض النموذج لضجيج إعادة البناء الواقعي.
فحص الاتساق الدلالي (SCC): تقوم وحدة تعتمد على CLIP بحساب تشابه جيب التمام بين المطالبة النصية وكل منظر مرندر. يقوم سكور الاتساق بتعديل مقياس المرجع (αref) وتدرج رموز الميزات الفردية. هذا يقلل من تأثير المشاهد غير المتوافقة دلالياً أو المشوشة مع الاحتفاظ بالأدلة الموثوقة.
وحدة التماسك المدركة للتكامل:
التأسيس الهندسي: تعمل رأسان مساعدان (رأس العمق ورأس الخطوط الخارجية) في الفضاء الكامن لتحسين الواقعية المكانية.
رأس العمق: يتم الإشراف عليه بواسطة خرائط عمق ذات حقيقة أرضية زائفة لفرض ترتيب العمق الصحيح وعلاقات الاحتجاب.
رأس الخطوط الخارجية: يقلل من اختلافات قناع التجزئة لإنتاج حدود أكثر حدة للكائن وتقليل تسرب الألوان.
تحسين التماسك الزمني: يتم تطبيق فقدان زمني (Temporal loss) أثناء الضبط الدقيق باستخدام تدفق بصري (Lucas-Kanade optical flow). يقوم هذا بواربة (Warping) التنبؤات المفكوكة نحو الإطارات اللاحقة لتقليل الوميض بين الإطارات وضمان استمرارية الحركة.
المساهمات الرئيسية
إطار عمل الأولويات متعددة المشاهد: نهج مبتكر لرفع المراجع ثنائية الأبعاد إلى تمثيلات متعددة المشاهد لتحسين اتساق المظهر وتكامل المقدمة والخلفية في المشاهد الديناميكية.
التكييف المتسق مع وجهة النظر: آلية ثنائية المسار تجمع بين الحقن الكامن المباشر لاستقرار الهوية وبنك الميزات للاسترجاع التكيفي مع وجهة النظر، مدعومة بنظام وزن واعٍ بالجودة للتعامل مع عمليات إعادة البناء ثلاثية الأبعاد غير المثالية.
التماسك المدرك للتكامل: تقديم الإشراف بالعمق والخطوط الخارجية في الفضاء الكامن، جنباً إلى جنب مع القيود الزمنية، لنمذجة الاحتجاب بشكل صريح، وشحذ الحدود، وتقليل الوميض.
تقييم شامل: التحقق عبر مراجع متعددة (DAVIS, VIPSeg, MagicBench) يظهر تحسينات في الجودة البصرية، والقابلية للتحكم، والحفاظ على الهوية، والتكامل الإدراكي.
النتائج التجريبية تم تقييم إطار العمل مقابل سبعة من الطرق المرجعية (بما في ذلك AnyV2V, UniVideo, VACE, MagicMotion, LoRA-Edit, PISCO) على DAVIS 2017, VIPSeg, و MagicBench.
الأداء الكمي: حققت الطريقة المقترحة نتائج هي الأفضل في حالتها (SOTA) في دقة إعادة البناء (PSNR: 23.22, SSIM: 0.9026) والجودة الإدراكية (أدنى درجات LPIPS و FVD). كما تفوقت على المراجع في التحكم المكاني (Mask_IoU و Box_IoU).
المقاييس المستقلة عن المرجع: من حيث جودة الفيديو الإدراكية، حققت الطريقة أعلى درجات في اتساق الموضوع (Subject Consistency) ووميض التوقيت (Temporal Flickering)، مما يشير إلى تفوق في الحفاظ على الهوية والتحولات السلسة.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون أساسي (الأولويات متعددة المشاهد، الحقن ثنائي المسار، SCC، أو التأسيس الهندسي) إلى انخفاض ملموس في الأداء، مما يؤكد ضرورة كل وحدة. على سبيل المثال، أدت إزالة بنك الميزات متعدد المشاهد إلى انحراف الهوية أثناء الدوران، بينما تسببت إزالة فحص الاتساق الدلالي في اتباع النموذج لعمليات إعادة بناء ثلاثية الأبعاد معيبة.
القدرة المدفوعة بالنص: ظل المتغير المدفوع بالنص (Overs t2i)، الذي يولد الصورة المرجعية من النص قبل الرفع ثلاثي الأبعاد، منافساً قوياً، مما يثبت متانة خط الإنتاج تجاه تغير النطاقات (Domain shifts).
الأهمية والادعاءات يدعي البحث أن إطار العمل المقترح يعالج بفعالية التحدي المركزي المتمثل في الحفاظ على هوية الكائن المدرج عبر وجهات نظر مختلفة مع تحقيق تكامل معقول إدراكياً في المشاهد الديناميكية. من خلال الجمع بين الأولويات متعددة المشاهد والتماسك المدرك للتكامل، تتغلب الطريقة على قيود التكييف أحادي المنظور، وتحديداً تقليل انحراف الهوية، والتشوه الهندسي، وعيوب الحدود. يضع المؤلفون هذا العمل كخطوة مهمة نحو تحرير الفيديو الواقعي والقابل للتحكم لتطبيقات مثل ما بعد الإنتاج السينمائي، ومحتوى الواقع المعزز والافتراضي الغامر، ومحاكاة القيادة الذاتية، حيث يجب أن تظل الكائنات متسقة بصرياً مع المشاهد المعقدة بمرور الوقت. يدعم إطار العمل كلاً من التحكم الخشن عبر الصناديق المحيطة والتحكم الدقيق عبر الأقنعة دون الحاجة إلى إعادة بناء المشهد بالكامل.