ملخص تقني: أخذ عينات الشجرة المرتكزة (Anchored Tree Sampling) لتوليد الفيديو من فيديو إلى فيديو طويل الأمد

1. بيان المشكلة

يواجه توليد الفيديو طويل الأمد، لا سيما في نظام "فيديو إلى فيديو" (V2V)، تحديين رئيسيين متداخلين: الانجراف (Drift) ومشكلات الاستمرارية (Continuity Issues).

• الانجراف: مع تقدم عملية التوليد بمرور الوقت، تتراكم الأخطاء، مما يؤدي إلى تدهور جودة الفيديو (مثل تغير الألوان، الأنسجة، والتباين).
• مشكلات الاستمرارية: تظهر هذه المشكلات في شكل نقص في ثبات الكائنات أو عدم اتساق في رندرة المحتوى العابر (مثل ظهور كائن مرة أخرى بأسلوب أو لون مختلف).

تعتمد الحلول الحالية بشكل أساسي على التقطير التلقائي (Autoregressive Distillation)، الذي يحول النماذج ثنائية الاتجاه إلى مولدات سببية. وبينما تحاول هذه الطرق تثبيت عمليات التشغيل المتسلسلة، إلا أنها تعاني من قيود متأصلة:

1. الاعتماد على توسع الأفق: الأخطاء في جزء واحد تشترط الجزء التالي، مما يؤدي إلى تراكم الانجراف خطياً مع الزمن.
2. التشغيل المتسلسل: يجب أن يحدث التوليد خطوة بخطوة، مما يؤدي إلى نمو خطي في وقت التنفيذ الفعلي بغض النظر عن الأجهزة المتاحة.
3. آثار إعادة الضبط (Reset Artifacts): لإدارة الذاكرة، غالباً ما تقوم أنظمة الـ AR بإعادة ضبط ذاكرة التخزين المؤقت لـ KV (KV-cache). هذه الإعادة تتخلص من الحالة المتراكمة، مما يسبب انقطاعات "قفزية" في هوية الكائنات وحالة المشهد.

علاوة على ذلك، يركز العمل الحالي طويل الأمد بشكل كبير على "نص إلى فيديو" (T2V). أما "فيديو إلى فيديو" (V2V) طويل الأمد، حيث تكون إشارة التكييف الكثيفة لكل إطار (مثل الوضعية، العمق، الحواف) معروفة مسبقاً، فلا يزال مجالاً غير مستكشف بشكل كافٍ. ويجادل المؤلفون بأنه إذا كانت إشارة التكييف الكاملة $c_{1:T}$ معروفة، فإن الإصرار على التشغيل السببي (من اليسار إلى اليمين) يصبح غير ضروري.

2. المنهجية: أخذ عينات الشجرة المرتكزة (ATS)

يقترح البحث أخذ عينات الشجرة المرتكزة (ATS)، وهو مجدول يعمل في وقت الاستدلال (Inference-time scheduler) ولا يتطلب تدريباً، يستبدل التشغيل المتسلسل (AR) باستراتيجية إكمال (Imputation) من خفيف إلى كثيف، ومحدودة بالمرتكزات منظمة في هيكل شجري.

الآلية الجوهرية

يستخدم ATS وحدة بناء "ثنائية الجوانب" (المعادلة 2)، حيث يقوم النموذج بتوليد نطاق $x_{a:b}$ مشروط بكل من مرتكز البداية $A_a$ ومرتكز النهاية $A_b$، جنباً إلى جنب مع التكييف المتوسط $c_{a:b}$. وهذا يسمح للنموذج بملء المحتوى في اتجاهين بدلاً من الاتجاه السببي فقط.

تُنظم عملية التوليد هرمياً:

1. استدعاء الجذر (المرتكزات الخفيفة): استدعاء واحد يولد "مرتكزات" خفيفة (إطارات مفتاحية أو مقاطع قصيرة) تغطي الأفق بأكمله $T$. في نظام الكاميرا الثابتة، يتم اشتقاق هذه المرتكزات مباشرة من إشارة التكييف الكثيفة دون إعادة تدريب.
2. التحسين المتكرر (المرتكزات المتوسطة): يتم تحسين الشجرة عن طريق توليد مرتكزات جديدة بين المرتكزات الموجودة. إذا كان النطاق كبيراً جداً بالنسبة لنافذة سياق النموذج، يتم إدراج مرتكزات متوسطة.
3. توليد الأوراق (الإطارات الكثيفة): الخطوة النهائية هي تركيب الإطارات الكثيفة بين المرتكزات المتجاورة. هذه النطاقات "الورقية" محددة بمرتكزات من كلا الجانبين.

الخصائص الرئيسية

• التفكك من الأعلى إلى الأسفل: مخطط الاعتماد هو من الأعلى إلى الأسفل (الجذر $\leftarrow$ التحسين $\leftarrow$ الأوراق) بدلاً من اليسار إلى اليمين.
• التوازي: العقد الشقيقة في نفس مستوى الشجرة مستقلة شرطياً بشرط وجود مرتكزات الأب الخاصة بها، مما يسمح بالتنفيذ المتوازي عبر وحدات معالجة رسومية متعددة.
• خالٍ من التدريب: لا يعدل ATS أوزان النموذج الأساسي؛ بل يعامل المولد ثنائي الاتجاه المدرب مسبقاً كـ "صندوق أسود".
• افتراض الكاميرا الثابتة: يفترض التنفيذ الحالي كاميرا ثابتة حيث تبدو المرتكزات الخفيفة والكثيفة متشابهة تقريباً، مما يسمح للنموذج الأساسي بإنتاج مرتكزات خفيفة نظيفة "بشكل مباشر".

التعقيد وزمن الاستجابة

• التوليدي المتسلسل (AR): يتناسب زمن الاستجابة خطياً مع عدد الأجزاء $K$ ($T_{AR} \approx K \cdot \tau_{call}$).
• ATS: يتناسب زمن الاستجابة لوغاريتمياً مع عمق الأفق $L$ ($T_{tree} \approx (L+1) \cdot \tau_{call}$).
• تخفيف الانجراف: من خلال حصر كل عملية توليد بين مرتكزين، يتم احتواء الانجراف ضمن نطاق زوج المرتكزات بدلاً من تراكمه عبر الفيديو بأكمله.

3. النتائج التجريبية

قام المؤلفون بتقييم ATS على نموذج Wan 2.1 + VACE (وهو هيكل V2V ثنائي الاتجاه) مقابل اثنين من النماذج المرجعية المتزامنة للـ AR وهما: LongLive و Reward Forcing.

الإعداد

• المهمة: توليد V2V لمدة 30 دقيقة عبر خمسة أنماط تكييف: Inpainting (الترميم الداخلي)، Outpainting (الترميم الخارجي)، الحواف (Edge)، الوضعية (Pose)، والعمق (Depth).
• المقاييس: الجودة الجمالية (AQ) وجودة التصوير (IQ) من VBench-1.0، والتي تم قياسها عالمياً، وكـ "انجراف الجزء" (تدهور داخل نافذة التخزين المؤقت)، وكـ "قفزة إعادة الضبط" (عدم الاتساق عند إعادة ضبط التخزين المؤقت).

النتائج الرئيسية

1. تحسين الجودة: تفوق ATS على كلا نموذجي AR المرجعي في الجودة العالمية.
   • مقابل LongLive: (+4.0 AQ / +6.6 IQ).
   • مقابل Reward Forcing: (+5.7 AQ / +6.2 IQ).
2. القضاء على الانجراف:
   • انجراف الجزء: أظهرت طرق AR تدهوراً ملحوظاً في الجودة داخل نوافذ التخزين المؤقت، بينما جعل ATS هذا التدهور مسطحاً، محافظاً على جودة ثابتة عبر الأجزاء.
   • قفزة إعادة الضبط: أظهرت طرق AR انقطاعات كبيرة عند إعادة ضبط التخزين المؤقت، بينما قضى ATS على هذه القفزات تماماً.
3. السرعة: بفضل التوازي، حقق ATS سرعة توليد أسرع بـ 5.3 مرة من أفضل نموذج AR مرجعي لفيديو مدته 2000 ثانية. كما حقق أداءً أسرع من الوقت الحقيقي (3.3x) باستخدام 8 وحدات معالجة رسومية فقط.
4. الاستقرار طويل الأمد: أظهر المؤلفون توليدًا مستقرًا لفيديوهات $\ge$ 40 دقيقة على LTX-2.3 عبر جميع الأنماط الخمسة، دون أي انجراف محتوى ملحوظ ناتج عن توسع الأفق.

4. القيود والتوجهات المستقبلية

يقر البحث صراحةً بالقيود في تنفيذ الكاميرا الثابتة الحالي:

1. تسمم المرتكز (Anchor Poisoning): يمكن لمرتكز واحد سيء (على سبيل المثال، في الجذر) أن يفسد شجرته الفرعية بأكملها. هذا أقل خطورة في الكاميرات الثابتة ولكنه يمثل مشكلة في الكاميرات الديناميكية حيث يكون التوليد الخفيف أصعب.
2. توجيه الحركة الضعيف: بالنسبة لإشارات الحركة الضعيفة (مثل خرائط العمق)، لا تكفي المرتكزات المفردة؛ بل يتطلب الأمر مرتكزات فيديو متعددة الإطارات.
3. فجوات الاتساق: يضمن ATS الاتساق الزمني ضمن النطاقات المحددة، لكنه لا يفرض بطبيعته الهوية للكائنات التي تظهر بين المرتكزات (الكائنات خارج الكادر) ما لم يتم تتبعها صراحة.
4. التعميم غير الخاص بـ V2V: يعتمد الطريقة الحالية على إشارة مصدر كثيفة لإنتاج المرتكزات الخفيفة، وهي لا تتعمم بعد على نماذج "نص إلى فيديو" (T2V) الصرفة أو أنظمة الكاميرا الديناميكية حيث يجب على النموذج تخيل محتوى خفيف.

المسار المقترح للمضي قدماً

يقترح المؤلفون ثلاث توسعات هيكلية لتعميم ATS:

1. متخصص التوليد الخفيف: تقديم نموذج مخصص (مشابه لمولد الإطارات المفتاحية في DCARL) لإنتاج مرتكزات خفيفة لـ T2V والكاميرات الديناميكية، ليحل محل اعتماد استدعاء الجذر على التكييف الكثيف.
2. الرسم البياني الموجه غير الدوري (Semantic DAG): استبدال الشجرة الزمنية الصارمة بـ رسم بياني موجه غير دوري (DAG) مفهرس بالقيود الدلالية (مثل هوية الشخصية، تغييرات المشهد) بدلاً من الزمن فقط، مما يسمح للأوراق غير المتجاورة بمشاركة القيود.
3. التكييف القائم على المرجع: الاستفادة من مدخلات مرجعية صريحة (صور/مقاطع) لفرض الاستمرارية عبر المدة بأكملها، وتجنب الانجراف المتأصل في الذاكرة المعتمدة على اللاحقة (suffix-based memory).

5. الأهمية

يزعم البحث أن ATS يمثل تحولاً كبيراً في استراتيجية التوليد طويل الأمد. فمن خلال فصل مشكلة الجدولة عن مشكلة النمذجة، يحقق ATS ما يلي:

• منع الانجراف: تحويل الانجراف المتراكم عبر الأفق إلى انجراف محدود بالمرتكزات.
• الاستمرارية: القضاء على الآثار "القفزية" الناتجة عن إعادة ضبط ذاكرة التخزين المؤقت في الـ AR.
• الكفاءة: تقليل المسار الحرج من خطي إلى لوغاريتمي، مما يتيح تسريعاً هائلاً من خلال التوازي.
• القابلية للتوسع: إثبات أول إطار عمل غير متعلق بالأفاتار (non-avatar) قادر على التوليد المتماسك والخالي من الانجراف الذي يقترب من مقياس الساعة (40+ دقيقة) دون إعادة تدريب النموذج الأساسي.

يخلص العمل إلى أنه بينما تم تحسين ATS حالياً لـ V2V ذي الكاميرا الثابتة، فإن النموذج الشجري ثنائي الاتجاه يوفر أساساً قوياً لتوسيع التوليد طويل الأمد ليشمل الأنظمة الديناميكية والموجهة بالنصوص.