ASTRA: Let Arbitrary Subjects Transform in Video Editing

1. بيان المشكلة

بينما حققت النماذج التوليدية الحديثة تقدماً في تحرير الفيديو، تواجه الأساليب الحالية قيوداً حرجة في السيناريوهات المعقدة متعددة العناصر (المشاهد الكثيفة ذات الاحتجاب الشديد).

• تسرب السمات وتشابك الحدود: تعاني الأساليب الحالية من صعوبة في الحفاظ على حدود متميزة بين العناصر المتفاعلة. يؤدي هذا إلى "نزيف" حيث تنتقل سمات عنصر ما (مثل رأس كلب) بشكل غير صحيح إلى عنصر آخر (مثل جسم ذئب آلي).
• تشتت الانتباه: تفشل المطالبات النصية الساذجة في توفير قيود كافية لعدة عناصر في وقت واحد، مما يتسبب في فقدان النموذج للتركيز على أهداف محددة أو الفشل في تنفيذ التحول المنشود لجميع العناصر.
• عدم الاستقرار الزمني: في المشاهد الكثيفة، غالباً ما تنزاح حدود القناع أو تومض بمرور الوقت، مما يسبب عيوباً هيكلية وانحرافاً في الهوية.
• الاعتماد على الضبط الدقيق: تتطلب العديد من الأساليب الرائدة (SOTA) ضبطاً دقيقاً خاصاً بالمهمة أو أقنعة توجيهية صارمة، مما يحد من قدرتها على التعميم في فيديوهات مفتوحة النطاق.

2. المنهجية: إطار عمل ASTRA

ASTRA هو إطار عمل خالٍ من التدريب (training-free)، يعمل بنظام "التوصيل والتشغيل" (plug-and-play)، مصمم لتحرير عدد عشوائي من العناصر مع الحفاظ على سلامة الخلفية. يقوم بدمج وحدتين أساسيتين في عمود فقري لتوليد الفيديو مدفوع بالأقنعة ومسبق التدريب (تحديداً Wan2.1).

أ. وحدة المحاذاة متعددة الوسائط الموجهة بالمطالبات

لحل مشكلة عدم كفاية القيود الدلالية وتشتت الانتباه:

1. استخراج الأولويات البصرية: يستخرج النظام رموزاً (tokens) خاصة بالعنصر من مطالبة التحرير الخاصة بالمستخدم، ويستعلم من نموذج (Text-to-Image) مسبق التدريب (SDXL) لتوليد صورة مرجعية ($I_{ref}$) تمثل المظهر المستهدف.
2. التوليف متعدد الوسائط: يأخذ نموذج لغة-رؤية (VLM) مطالبة التحرير الأصلية ($P_{edit}$) والصورة المرجعية ($I_{ref}$) لتوليد مطالبة نصية موسعة ومثبتة ($P_{target}$). هذه العملية تعمل على محاذاة النص المجرد مع الأولويات البصرية الملموسة بشكل صريح.
3. حقن الشروط: يتم حقن النص المثرى ($P_{target}$) عبر الانتباه المتقاطع (cross-attention)، وتُلحق الصورة المرجعية كإطار أول لتسلسل الإدخال. يضمن ذلك امتلاك النموذج لمرساة بصرية قوية لكل عنصر، مما يمنع الانحراف الدلالي.

ب. وحدة إعادة توجيه القناع القائم على الأولويات

لمعالجة تشابك حدود القناع وعدم الاتساق الزمني:

1. إعادة التقدير الموجه بالعمق: بدلاً من الاعتماد فقط على أقنعة التجزئة الأولية، تستخدم الوحدة أولويات العمق (من Depth Anything V2) لإعادة تقدير حدود العناصر.
2. توليد القناع الناعم: تتم معالجة الأقنعة الثنائية الأولية من خلال التمدد المورفولوجي (morphological dilation) والترشيح الغاوسي (Gaussian filtering) لإنشاء "أقنعة ناعمة". يعمل هذا على تنعيم الانتقالات وتقليل عيوب الحواف الحادة.
3. محاذاة الميزات: تقوم الوحدة بمحاذاة الميزات الكامنة (latent features) من شروط القناع والعمق. وهي تستخدم مزيجاً مرجحاً حيث توجه ميزات العمق هندسة العناصر المستهدفة (للتعامل مع الاحتجاب)، بينما تقيد ميزات القناع الخلفية.
4. الاتساق الزمني: تولد هذه العملية تسلسلاً متسقاً زمنياً من الأقنعة المعاد توجيهها والتي تلتزم بصرامة بديناميكيات الفيديو المصدر.

ج. توليد الفيديو الواعي بالخطوات الزمنية

يستخدم ASTRA استراتيجية حقن مرحلية لموازنة التحكم الهيكلي وتوليد التفاصيل:

• الخطوات المبكرة ($t \le \tau$): يتم حقن الميزات المعاد توجيهها (التي تجمع بين المحاذاة متعددة الوسائط وإعادة توجيه القناع) لإنشاء الهيكل العام، والتخطيط، وترتيب الاحتجاب.
• الخطوات المتأخرة ($t > \tau$): يعود النظام إلى شرط القناع القياسي فقط لصقل التفاصيل عالية التردد والأنسجة، مما يمنع القيود الهيكلية من إفساد الجودة البصرية الدقيقة.
• العتبة ($\tau$): تم تحديدها تجريبياً عند 30 (من أصل 50 خطوة) لتحسين التوازن بين الاستقرار الهيكلي ودقة التفاصيل.

3. المساهمات الرئيسية

1. إطار عمل ASTRA: حل مبتكر خالٍ من التدريب يتيح التحول السلس لـ عدد عشوائي من العناصر دون الحاجة لإعادة تدريب النموذج.
2. بنية ثنائية الوحدات:
   • المحاذاة متعددة الوسائط: تحل مشكلة تشتت الانتباه عبر تثبيت المطالبات النصية بالأولويات البصرية عبر نماذج اللغة-الرؤية (VLMs).
   • إعادة توجيه القناع: تحل مشكلة تشابك الحدود باستخدام أولويات العمق لتوليد أقنعة ناعمة ومتسقة زمنياً.
3. التوافق مع نظام "التوصيل والتشغيل": يعمل الإطار كطبقة شرطية متعددة الاستخدامات متوافقة مع مختلف مولدات الفيديو المدفوعة بالأقنعة (مثل Wan2.1 وCogVideo)، مما يعزز أداءها بشكل كبير.
4. MSVBench: قدم المؤلفون معياراً جديداً يتكون من 100 تسلسل فيديو تحدي متعدد العناصر ذات تخطيطات كثيفة واحتجاب شديد لتسهيل التقييم المعياري في هذا المجال.

4. النتائج التجريبية

أُجريت تجارب مكثفة على MSVBench ومعيار LOVEU-TGVE-2023.

• الأداء الكمي: حقق ASTRA نتائج رائدة (SOTA) عبر جميع المقاييس:
  • Q-Edit (دقة التحرير): 14.72 (مقابل 13.24 لأفضل طريقة مفتوحة المصدر تالية، VACE).
  • CLIP-T (المحاذاة النصية): 27.23.
  • CM-Err (اتساق التخطيط/العدد): 2.83 (الأقل هو الأفضل)، مما يشير إلى تفوق في الحفاظ على أعداد العناصر والتخطيطات المكانية.
  • Warp-Err (الحفاظ على الخلفية): 1.85.
• المقارنة مع النماذج التجارية: تفوق ASTRA على الأنظمة التجارية مغلقة المصدر مثل Runway وKling في دقة التحرير واتساق التخطيط.
• الكفاءة: على عكس طرق التحرير التكرارية التي تتطلب عدة تمريرات (تستغرق حوالي 18 دقيقة)، يعمل ASTRA في تمريرة أمامية واحدة، حيث يكمل التحرير في حوالي 10 دقائق.
• التعميم: أظهر الإطار أداءً قوياً عبر بنيات خلفية مختلفة (Wan2.1، CogVideo) وسيناريوهات تحرير متنوعة (تبديل الوجوه، تغيير الملابس، الفيديوهات الطويلة).

5. الأهمية

يمثل ASTRA قفزة نوعية في توليد الفيديو القابل للتحكم. من خلال فصل منطق التحرير عن العمود الفقري التوليدي، فإنه يوفر حلاً عالمياً لتحرير العناصر المتعددة المعقدة—وهي مهمة كانت تعاني سابقاً من تسرب السمات وعدم الاستقرار.

• الأثر العملي: يقلل من الحواجز أمام التحرير عالي الجودة، ويزيل الحاجة إلى النمذجة اليدوية المرهقة أو الضبط الدقيق المكلف.
• المساهمة العلمية: يضع نموذجاً جديداً للتعامل مع المشاهد الكثيفة من خلال التوفيق الصريح بين الإشارات الدلالية المتنافسة عبر المحاذاة متعددة الوسائط وإعادة توجيه القناع المدرك للعمق.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أنه رغم الفعالية، فإن الاعتماد على أولويات العمق/القناع الخارجية يمكن أن يؤدي إلى ظهور عيوب في حالات الاحتجاب القصوى، كما أن التكلفة الحسابية لنماذج DiT تحد من التطبيق في الوقت الفعلي، مما يشير إلى أعمال مستقبلية في تقطير الميزات (feature distillation).