TTOM: Test-Time Optimization and Memorization for Compositional Video Generation

1. بيان المشكلة

بينما حققت نماذج الفيديو التأسيسية (VFMs) نجاحاً ملحو�� في توليد فيديوهات واقعية، إلا أنها تواجه صعوبات كبيرة في السيناريوهات التركيبية (Compositional Scenarios). تتضمن هذه السيناريوهات تعليمات معقدة تتطلب تنسيقاً متزامناً بين كائنات متعددة، وسمات، وعلاقات مكانية، وديناميكيات حركة، وتعداد (على سبيل المثال: "أربعة باندا تأكل الخيزران"، أو "روبوت وساحر يقتربان من بعضهما البعض").

تعتمد الأساليب الحالية لتحسين المحاذاة بين النص والفيديو على:

1. التدخل المباشر: تعديل التمثيلات الكامنة (Latents) أو خرائط الانتباه لكل عينة. يمكن أن يؤدي هذا إلى تعطيل توزيع الميزات، مما يسبب عيوباً بصرية (مثل الوميض أو عدم الاتساق) أو انهيار النموذج.
2. الاستقلالية لكل عينة: التعامل مع كل مهمة توليد بشكل مستقل، وتجاهل السياق التاريخي القيم للفيديوهات التي تم توليدها سابقاً.
3. نقص التعميم: التدخلات التي يتم تحسينها لـ "برومبت" (Prompt) محدد لا تنتقل إلى البرومبتات المستقبلية المشابهة، مما يفشل في تعزيز القدرات الجوهرية للنموذج.

يجادل المؤلفون بأن توليد الفيديو في العالم الحقيقي هو عملية تدفق (Streaming Process) حيث تصل برومبتات المستخدمين بالتتابع. تفشل الطرق الحالية في الاستففادة من "ذاكرة" عمليات التوليد الناجحة السابقة لتوجيه عملية الاستدلال المستقبلية.

2. المنهجية: إطار عمل TTOM

يقترح المؤلفون إطار عمل TTOM (التحسين والذاكرة في وقت الاختبار)، وهو إطار عمل مستقل عن النموذج ولا يتطلب تدريباً، مصمم لمحاذاة مخرجات نماذج الفيديو التأسيسية (VFM) مع التخطيطات الزمانية والمكانية أثناء الاستدلال. يتكون الإطار من ثلاث مراحل أساسية:

أ. التخطيط المعتمد على النماذج اللغوية الكبيرة (LLM) للمخطط الزماني والمكاني (STL)

• المدخلات: برومبت نصي يصف مشهداً تركيبياً.
• العملية: يتم توجيه نموذج لغوي كبير (LLM) لإنشاء مخطط زماني ومكاني (Spatiotemporal Layout) مهيكل.
• المخرجات: تسلسل من صناديق الإحاطة (Bounding Boxes) لكل كائن عبر الإطارات، بما في ذلك عبارات الكائنات، وفهارس الإطارات (البداية والنهاية)، ومتجهات الإحداثيات.
• التحقق: تضمن خطوة التحقق الاتساق بين عبارات الكائنات وصناديق الإحاطة المولدة، مما يصحح التناقضات قبل بدء عملية التحسين.

ب. التحسين في وقت الاختبار (TTO)

بدلاً من تحسين التمثيلات الكامنة (التي قد تؤدي إلى انهيار التوزيع)، يقوم TTOM بتحسين معلمات خفيفة الوزن وخاصة بكل عينة (باستخدام تقنية LoRA) يتم إدراجها في نموذج الفيديو التأسيسي (VF).

• الآلية: يستخرج الإطار خرائط الانتباه المتقاطع (Cross-attention maps) من طبقات محول الانتشار (DiT). ويقوم بإنشاء ارتباط قوي بين خرائط الانتباه لطبقات معينة ومخطط الفيديو النهائي.
• الهدف: تُستخدم دالة خسارة تباعد جينسن-شانون (JSD) لتقليل التباعد بين خرائط الانتباه الخاصة بالنموذج والأقنعة الناعمة (Soft Masks) المستمدة من المخطط المولد بواسطة الـ LLM.
• التحسين: يقوم النموذج بإجراء نزول متدرج (Gradient Descent) على معلمات LoRA المدرجة ($\phi$) لعدد قليل من خطوات إزالة الضجيج الأولية. هذا يوجه التوليد نحو المخطط المحدد دون تغيير أوزان النموذج الأساسي.
• النتيجة: تلتقط المعلمات المحسنة ($\phi^*$) "الأنماط التركيبية" (الحركة، التعداد، التفاعل) الخاصة بالبرومبت الحالي.

ج. آلية الذاكرة البارامترية

لمعالجة عزلة الطرق التي تعمل لكل عينة، يقدم TTOM هيكل ذاكرة لتخزين وإعادة استخدام نتائج التحسين.

• الهيكل: مخزن (Key-Value Store) حيث يكون المفتاح (Key) هو تمثيل دلالي مجرد للبرومبت (مثلاً: <الكائن A> ينزلق من اليمين إلى اليسار فوق <الكائن B>)، والقيمة (Value) هي مجموعة المعلمات المحسنة ($\phi^*$).
• العمليات:
  • الإدراج (Insert): إذا لم يكن للبرومبت الجديد تطابق، يتم إجراء TTO، ويتم إدراج $\phi^*$ الناتجة في الذاكرة.
  • القراءة/التحميل (Read/Load): إذا تمت مواجهة برومبت مشابه، يتم استرجاع $\phi^*$ المقابلة وتحميلها في الـ VFM.
  • التحديث (Update): يمكن تحسين المعلمات المحملة بشكل أكبر (التحسين المستمر - Continual Tolo) للتكيف مع الاختلافات الدقيقة في البرومبت الجديد.
  • الحذف (Delete): عندما تمتلئ سعة الذاكرة، يتم حذف العناصر الأقل استخداماً.
• الفائدة: يتيح ذلك التعلم مدى الحياة (Lifelong Learning)، مما يسمح للنموذج بـ "تذكر" كيفية توليد أنماط تركيبية محددة (مثل "كائنان يركضان باتجاه بعضهما البعض") وتطبيقها فوراً على الطلبات الجديدة والمشابهة، مما يحسن الكفاءة والاتساق بشكل كبير.

3. المساهمات الرئيسية

1. إطار عمل التحسين في وقت الاختبار: نهج مبتكر يحسن معلمات خفيفة الوزن بتوجيه من هدف انتباه المخطط، متجنباً التدهور البصري المرتبط بالتلاعب المباشر بالتمثيلات الكامنة.
2. الذاكرة البارامترية للتدفق (Streaming): أول دمج لآلية ذاكرة بارامترية في توليد الفيديو التركيبي، مما يدعم عمليات مرنة (إدراج، قراءة، تحديث، حذف) للحفاظ على السياق التاريخي وتمكين التعلم مدى الحياة.
3. فك الارتباط عن المعرفة العالمية: ينجح الأسلوب في فك ارتباط المعرفة التركيبية بالعالم (الحركة، التعداد، العلاقات المكانية)، مما يظهر قدرة قوية على الانتقال والتعميم للبرومبتات غير المرئية.
4. خالٍ من التدريب وقابل للتوسع: لا يتطلب الإطار إعادة تدريب الـ VFM الأساسي وهو متوافق مع مختلف نماذج DiT (مثل CogVideoX و Wan2.1).

4. النتائج التجريبية

قيم المؤلفون TTOM على اثنين من المعايير الرئيسية: T2V-CompBench (التركيز على التركيبية) و VBench (التركيز على الاتساق الدلالي والجودة).

• أداء T2V-CompBench:

  • CogVideoX-5B: حقق TTOM تحسناً نسبياً بنسبة 34.45% في متوسط الدرجة الإجمالي. لوحظت مكاسب كبيرة في الحركة (+63.69%) و التعداد (+37.10%).
  • Wan2.1-14B: حقق TTOM تحسناً نسبياً بنسبة 15.83% إجمالاً، مع تحسن في الحركة بنسبة 82.57%.
  • تفوق TTOM على النماذج التجارية (Pika, Gen-3, Kling) وطرق SOTA الأخرى (LVD, DyST-XL).

• أداء VBench:

  • تحسينات ملحوظة في تصنيف الكائنات، التعامل مع الكائنات المتعددة، و العلاقات المكانية.
  • حافظ على دقة بصرية عالية، دون أي تدهور في الجمالية أو الاتساق الزمني.

• الدراسات الاستئصالية (Ablation Studies):

  • TTO مقابل الذاكرة: حسن TTO وحده درجات الحركة بنسبة ~60%؛ بينما وفرت إضافة الذاكرة دفعة إضافية بنسبة ~14%.
  • التحسين المستمر: أدى تحسين المعلمات المحملة إلى نتائج أفضل من التحميل الثابت، مما يوازن بين إعادة استخدام السياق والتكيف مع البرومبت المحدد.
  • دالة الخسارة: تفوقت دالة خسارة JSD المقترحة على خسائر BCE و Center-of-Mass.

5. الأهمية

يمثل TTOM تحولاً جذرياً في توليد الفيديو القابل للتحكم. من خلال معاملة توليد الفيديو كـ عملية تدفق بدلاً من سلسلة من المهام المنعزلة، فإنه يستفيد من سياقات التحسين التاريخية لحل "الفجوة التركيبية" في النماذج التأسيسية.

• العملية: يوفر حلاً قابلاً للتوسع وفعالاً للتطبيقات في العالم الحقيقي حيث يولد المستخدمون الفيديوهات بالتتابع.
• التعميم: يثبت أن المعرفة التركيبية بالعالم يمكن تعلمها وتخزينها كأنماط معلمات، مما يسمح للنماذج بـ "تذكر" التفاعلات المعقدة دون إعادة تدريب.
• الاتجاه المستقبلي: يفتح هذا العمل آفاقاً جديدة للتعلم مدى الحياة في الذكاء الاصطناعي التوليدي، بالانتقال من النماذج الثابتة إلى الأنظمة التكيفية التي تتطور مع تفاعل المستخدم.