ملخص تقني: Smart-Insertion-V

تعريف المشكلة

تتناول الورقة البحثية تحدي إدراج الكائنات في الفيديو بدون قناع (mask-free video object insertion)، وهي مهمة تتطلب دمج كائن مرجعي خام بسلاسة في فيديو مصدر دون الحاجة إلى أقنعة مكانية يقدمها المستخدم. وبينما حققت نماذج توليد الفيديو القائمة على الانتشار (diffusion-based) تقدماً كبيراً مؤخراً، إلا أن الأساليب الحالية لا تزال تواجه صعوبات عندما يظهر الكائن المرجعي فجوات أسلوبية حادة (مثل الإضاءة، أو الملمس، أو النمط الفني) مقارنة بالمشهد المصدر.

تندرج النهج الحالية ضمن ثلاث فئات، لكل منها قيود متميزة:

1. التوجيه المكاني الصريح (Explicit Spatial Guidance): الأساليب التي تعتمد على أقنعة أو نقاط تحكم يحددها المستخدم تفرض أعباءً في التوسيم (annotation) وغالباً ما تفشل في تحليل سياق المشهد، مما يؤدي إلى سمات غير منطقية للكائن (مثل الحجم والمنظور).
2. الأساليب الخالية من الأقنعة (Mask-Free Methods): رغم أنها تلغي الحاجة إلى التوسيم اليدوي، إلا أنها غالباً ما تنتج عدم انسجام سياقي لأن المراجع الخام تُعالج دون قيود صريحة لتكييف أسلوبها مع الفيديو المستهدف.
3. الاستراتيجيات المتتالية (Cascaded Strategies): المسارات التي تقوم أولاً بتحرير الصورة المرجعية ثم إدراجها في الفيديو تعاني من تراكم الأخطاء (error accumulation). فالعيوب أو التكيفات الأسلوبية غير الدقيقة من مرحلة التحرير الأولية تنتقل وتتضخم أثناء توليد الفيديو، مما يؤدي إلى تدهور التماسك الزمني والجودة البصرية.

يتمثل التحدي الجوهري في تحقيق المعقولية المكانية (spatial plausibility)، والانسجام الأسلوبي (stylistic harmonization)، والاتساق الزمني (temporal consistency) في آن واحد، لا سيما عندما تكون المجالات المرجعية والمصدرية غير متوافقة بصرياً.

المنهجية: Smart-Insertion-V

يقترح المؤلفون Smart-Insertion-V، وهو إطار عمل ثنائي المسار (dual-stream) يعمل من البداية إلى النهاية (end-to-end)، مصمم للقيام بعمليتي إدراج الفيديو ونقل الأسلوب (image style transfer) بشكل متزامن. يدمج الهيكل ثلاثة مكونات رئيسية:

1. إطار العمل ثنائي المسار مع التغذية الراجعة ذات الحلقة المغلقة

يتكون الإطار من مسارين متوازيين:

• مسار الصورة (Image Stream): يقوم بتخليق صورة مرجعية متناغمة أسلوبياً ($\hat{I}_{tar}$) بناءً على الإطار الأول من فيديو المصدر ($V^0_{src}$) والمرجع الخام ($I_{ref}$). يلتقط هذا المسار اتجاه التحول الأسلوبي من المرجع الخام إلى البيئة المستهدفة.
• مسار الفيديو (Video Stream): يقوم بمهمة الإدراج الأساسية، مشروطاً بالفيديو المصدر، والمرجع الخام، والميزات الوسيطة المولدة من مسار الصورة.

التغذية الراجعة ذات الحلقة المغلقة (Closed-Loop Feedback): أثناء الاستدلال، يستخدم الإطار آلية تغذية راجعة؛ حيث يولد مسار الصورة تقديراً بـ "خطوة واحدة" ($\hat{x}^{onestep}_0$) يتم تحليله بواسطة فرع نموذج لغوي بصري (VLM) لتحديد العيوب الأسلوبية أو المكانية. ينتج الـ VLM تضمينات توجيهية للتحسين تحل محل التنبؤات الأولية، مما يسمح لكلا المسارين بتكرار وتحسين مسار التوليد.

2. وحدة التوجيه المنفصلة (Decoupled Guidance Module - DGM)

لمعالجة الإدراك المكاني والتفاوتات الأسلوبية دون التضحية بالديناميكيات الزمنية، يستخدم DGM فرعين متميزين:

• فرع الاستدلال اللغوي البصري (VLM Reasoning Branch): يقوم نموذج لغوي بصري (مكيف عبر MLP) بفهم التخطيط المكاني للمشهد، والإضاءة، والأسلوب. ويستنتج التعديلات اللازمة للكائن المرجعي (الحجم، الاتجاه، الموقع) بناءً على تعليمات نصية عامة.
• فرع النص الأصلي (Native Text Branch): يحتفظ بمشفر النصوص T5 الأصلي لمعالجة أوصاف الفيديو العامة، مع التركيز تحديداً على توجيه الحركة (motion guidance) والحفاظ على الأولويات الزمنية.
  يضمن هذا الفصل أن الاستدلال المكاني-الأسلوبي لا يتداخل مع قدرة النموذج على الحفاظ على ديناميكيات الحركة المتسقة.

3. نظام التموضع الدوراني ثنائي منظور العالم (Dual-World-View RoPE)

الابتكار الحاسم لمنع تشابك الميزات (feature entanglement) وتسرب الأسلوب (style leakage) (حيث يفسد أسلوب الكائن المدرج المناطق غير المحررة) هو نظام Dual-RoPE.

• الآلية: بدلاً من إضافة أبعاد مؤشر المهمة أو معاملة الشروط كإطارات إضافية (مما يسبب تكلفة تدريب عالية)، يطبق Dual-RoPE إزاحات مكانية-زمنية متميزة لمدخلات مختلفة.
• التنفيذ: يتم تثبيت الـ latents المستهدفة عند مواضع إزاحة صفرية. أما الشروط القوية (مثل الفيديو المصدر، المرجع المستهدف) فيتم إزاحتها مكانياً (على طول محور العرض)، بينما يتم إزاحة الشروط الضعيفة (مثل المرجع الخام) زمنياً. هذا يعزل مساحات الميزات، مما يسمح للنموذج بمعالجة إشارات التكييف المتنوعة بكفاءة دون تكاليف حسابية باهظة.

تنظيم البيانات (Data Curation)

إدراكاً لندرة البيانات المقترنة لإدراج الكائنات من "خام إلى متناغم"، طور المؤلفون مساراً لتنظيم البيانات قابلاً للتوسع:

1. المصدر: يستخدم مجموعات بيانات ضخمة مفتوحة المصدر لتحويل النص إلى فيديو.
2. التخليق (Synthesis): يقوم تلقائياً بتوليد رباعيات تدريبية (فيديو المصدر، الفيديو المستهدف، المرجع الخام، المرجع المتناغم) عن طريق تحديد الكائنات القابلة للإزالة، وإزالتها عبر تقنية "الترميم" (inpapinting)، وتطبيق عمليات نقل أسلوب عشوائية على الكائنات المُزالة لإنشاء مراجع "خام" ذات فجوات مجال حادة.
3. التحقق (Verification): تعمل آلية تحقق مزدوجة (تقييم تلقائي بواسطة الوكلاء/agents) على تصفية البيانات المُخلّقة لضمان الجودة العالية والمحاذاة الصارمة بين حالات المصدر، والهدف، والمرجع.

النتائج التجريبية

تم تقييم الطريقة مقابل أربعة نماذج أساسية (TeleOmni, UniVideo, UniVideo-Q, VACE) ومتغيراتها المتتالية.

• الأداء الكمي: تفوق Smart-Insertion-V على جميع النماذج الأساسية في جميع المقاييس، بما في ذلك:
  • FVD (مسافة الفيديو الفريشيه): 1.055 (الأقل هو الأفضل)، مقارنة بـ 1.189 لأفضل نموذج أساسي تالٍ.
  • Video-LPIPS: 0.125 (الأقل هو الأفضل).
  • درجة التناغم (Harmonic Score): 0.842 (الأعلى هو الأفضل)، متفوقاً بشكل كبير على أفضل درجة تالية وهي 0.693.
• الأداء النوعي: تظهر المقارنات البصرية تناغماً أسلوبياً فائقاً للمجسم وقدرة مكانية معقولة. على عكس النماذج الأساسية التي غالباً ما تشوه الكائنات المحيطة أو تفشل في تكييف أسلوب الكائن، يحافظ Smart-Insertion-V على سلامة المناطق غير المحررة مع دمج الكائن بسلاسة.
• دراسات الاستئصال (Ablation Studies): أدى إزالة التصميم ثنائي المسار، أو آلية التغذية الراجعة، أو Dual-RoPE إلى تدهور ملموس في الأداء، مما يؤكد ضرورة كل مكون.

الأهمية والادعاءات

تدعي الورقة أن Smart-Insertion-V يضع نموذجاً جديداً لتحرير الفيديو بدون قناع من خلال:

1. حل فجوة المجال: النجاح في دمج المراجع الخام غير المتوافقة أسلوبياً في الفيديوهات من خلال نقل الأسلوب والإدراج المتزامن.
2. القوة من البداية إلى النهاية: إلغاء تراكم الأخطاء المتأصل في المسارات المتتالية عبر توحيد المهام في إطار عمل واحد.
3. فك تشابك الميزات بكفاءة: تقديم Dual-RoPE للتعامل مع إشارات التكييف المعقدة دون الأعباء التدريبية الثقيلة المرتبطة بالطرق السابقة.
4. قابلية توسع البيانات: توفير مسار قابل للتوسع ومجموعة بيانات مفتوحة المصدر عالية الجودة لسد فجوة البيانات لهذه المهمة المحددة.

يخلص المؤلفون إلى أن نهجهم يحقق أكثر نتائج الإدراج تناغماً حتى الآن، حيث يوازن بفعالية بين الاستدلال المكاني، والتكيف الأسلوبي، والاتساق الزمني.