Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation".

1. بيان المشكلة

تتفوق نماذج انتشار الفيديو الحالية في توليد فيديوهات عالية الجودة لحدث واحد، لكنها تعاني من صعوبة في التحكم الزمني متعدد الأحداث. عندما يقدم المستخدمون فقرة واحدة تصف تسلسلاً من الأحداث (على سبيل المثال، "رجل يأكل المعكرونة، ثم تمر امرأة بجانبه")، تعاني النماذج الحالية من التشابك الدلالي (Semantic Entanglement). نظرًا لأن آليات الانتباه المتقاطع (Cross-attention) تعامل المطالبة النصية بأكملها كسياق عالمي لكل إطار، فإن المفاهيم الدلالية المخصصة لشرائح زمنية معينة "تتسرب" إلى بعضها البعض. يؤدي هذا إلى:

• ضعف المحاذاة الزمنية: وقوع الأحداث في أوقات خاطئة أو في وقت واحد.
• نقص التحكم الصريح: لا يمكن للمستخدمين تحديد وقت البدء أو المدة أو ترتيب الأحداث بدقة.
• العيوب البصرية: تؤدي محاولات فرض التحكم الزمني عبر الأقنعة الصلبة (Hard Masking) غالبًا إلى حدوث انقطاعات عند حدود الشرائح، مما يسبب وميضًا (Flickering) أو تحولاً غير طبيعي في الأشكال.

تتطلب الحلول الحالية إما إعادة تدريب مكثفة باستخدام بيانات مشروحة (مما يغير توزيع النموذج) أو تفرض قيودًا هيكلية صارمة تحد من القدرة على التعميم.

2. المنهجية: Prompt Relay

يقترح المؤلفون Prompt-Relay، وهو طريقة تعمل أثناء الاستدلال (Inference-time)، قابلة للتوصيل والتشغيل (Plug-and-play)، ولا تتطلب تدريبًا، مما يتيح تحكمًا زمنيًا دقيقًا دون تعديل بنية النموذج أو إضافة عبء حوسبي.

الآلية الأساسية: توجيه الانتباه المتقاطع الزمني (Temporal Cross-Attention Routing)

تعمل الطريقة عن طريق تعديل لوجيتات الانتباه المتقاطع (Cross-attention logits) داخل نموذج الانتشار. بدلاً من السماح لكل رمز فيديو (Query) بالانتباه بالتساوي لجميع الرموز النصية (Keys) طوال الفيديو، يقوم Prompt Relay بتوجيه كل مطالبة نصية إلى فترتها الزمنية المخصصة.

1. هيكل المدخلات: يقدم المستخدم تسلسلًا من المطالبات المقيدة زمنيًا: $\{(p_s, t_{start}^s, t_{end}^s)\}_{s=1}^N$، حيث $p_s$ هي المطالبة النصية و $[t_{start}^s, t_{end}^s]$ هو الشريحة الزمنية.
2. عقوبة الانتباه: يتم طرح حد العقوبة $C(Q, K)$ من لوجيتات الانتباه قبل عملية Softmax:
   $$\text{Attn} = \text{Softmax}\left(\frac{QK^T}{\sqrt{d}} - C(Q, K)\right)V$$
   تعمل هذه العقوبة على كبح الانتباه بين رمز الاستعلام (إطار الفيديو) ورمز المفتاح (المطالبة النصية) إذا لم ينتميا إلى نفس الشريحة الزمنية.

اضمحلال الانتباه عند الحدود (Boundary-Attention Decay)

الابتكار الرئيسي هو آلية اضمحلال الانتباه عند الحدود، والتي تستبدل "القناع الصلب" بعقوبة غاوسية ناعمة.

• مشكلة القناع الصلب: إن مجرد حظر الانتباه خارج الشريحة ($C = -\infty$) يخلق انقطاعًا حادًا. يتغير الانتباه المتقاطع بشكل مفاجئ بينما يظل الانتباه الذاتي مستمرًا، مما يجبر النموذج على التوفيق بين إشارات متضاربة ويسبب خللاً بصريًا.
• الحل: يطبق Prompt Relay عقوبة غاوسية ناعمة تضمحل بسلاسة بالقرب من حدود الشرائح.
  • نافذة الانتباه الحر: داخل نافذة مركزية حول منتصف الشريحة ($w$)، لا يتم تطبيق أي عقوبة.
  • الاضمحلال الناعم: خارج هذه النافذة، يتم تخفيف الانتباه بناءً على المسافة الزمنية من منتصف الشريحة.
  • التنشيط المشترك (Co-activation): بالقرب من الحدود، يُسمح للنموذج بـ "التنشيط المشترك" للمطالبات المجاورة، مما يخلق منطقة تسليم تدريجي حيث يتم التخطيط للانتقال بشكل مشترك قبل الالتزام به في التمثيل البصري.

تُعرف دالة العقوبة كالتالي:
$$C(i, j) = \frac{\text{ReLU}(|f(i) - m_s| - w)^2}{2\sigma^2}$$
حيث $f(i)$ هو مؤشر الإطار، و $m_s$ هو منتصف الشريحة، و $\sigma$ يتم ضبطها لضمان انخفاض أولوية الانتباه إلى قيمة ضئيلة $\epsilon$ (مثل 0.1) عند نهايات الشريحة.

3. المساهمات الرئيسية

1. إطار عمل Prompt Relay: آلية توجيه مبتكرة تعمل أثناء الاستدلال، تمكن من توليد فيديوهات متعددة الأحداث بتحكم زمني دقيق، دون الحاجة إلى تدريب أو تغييرات في البنية.
2. اضمحلال الانتباه عند الحدود: استراتيجية عقوبة غاوسية ناعمة تمنع التداخل الدلالي مع تجنب العيوب البصرية الناتجة عن القناع الصلب، مما يضمن انتقالات سلسة بين الأحداث.
3. التماسك العالمي (Global Coherence): تدعم الطريقة "مطالبة عالمية" للحفاظ على السياق المستمر (مثل هوية الشخصية أو نمط المشهد) عبر الشرائح، مما يقلل من ظاهرة الانحراف (Drift) التي تحدث غالبًا في التوليد المجزأ.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج Wan2.2-T2V-A14B المتطور ومقارنتها بنماذج مرجعية تشمل Sora Storyboard، و Veo 3.1، و Kling 2.6، ونموذج Wan 2.2 الأساسي.

• التقييم الكمي (تفضيل البشر):

  • محاذاة المطالبة الزمنية: حقق Prompt Relay أفضل درجة (1.10، حيث الأقل هو الأفضل)، متفوقًا بشكل كبير على النماذج المرجعية مثل Wan 2.2 (4.00) و Veo 3.1 (3.93).
  • طبيعية الانتقال: حقق أعلى تقييم (1.17)، مما يدل على سلاسة فائقة عند حدود الشرائح مقارنة بنهج القناع الصلب.
  • الجودة البصرية: بينما احتفظت نماذج Kling 2.6 و Veo 3.1 بجودة بصرية إجمالية أعلى قليلاً (بسبب قوة بنيتها الأساسية)، فقد حسن Prompt Relay الجودة البصرية لنموذج Wan 2.2 الأساسي (2.83 مقابل 4.00) من خلال تقليل التنافس الدلالي في مساحة الانتباه.

• الملاحظات النوعية:

  • نجح Prompt Relay في توليد تسلسلات معقدة (مثل تقريب الكاميرا نحو عين نسر للكشف عن مدينة سايبربانك، ثم التراجع للخلف لإظهار غرفة معيشة) دون تسرب دلالي.
  • تعامل مع حركات الكاميرا السريعة وتغيرات المشاهد (مثل الانتقال من رجل كهف إلى سبارطي ثم إلى فارس) بانتقالات متماسكة.

5. الأهمية والقيود

الأهمية:

• توليد بمستوى سينمائي: يعالج Prompt Relay فجوة حرجة في توليد الفيديو، منتقلاً من توليد المشاهد المنفردة إلى سرد قصصي متماسك مع توقيت وترتيب دقيقين.
• الكفاءة: كونه وحدة لا تتطلب تدريبًا وقابلة للتوصيل والتشغيل، يمكن تطبيقه فورًا على النماذج المدربة مسبقًا دون تكلفة إعادة التدريب أو وسم البيانات.
• رؤية ميكانيكية: يثبت أن التحكم الزمني يمكن تحقيقه من خلال التلاعب بتوجيه الانتباه بدلاً من إعادة تدريب البنية الأساسية، مما يقدم اتجاهًا جديدًا للذكاء الاصطابي التوليدي القابل للتحكم.

القيود:

• العناصر المستمرة: بدون مطالبة عالمية، قد تنحرف العناصر البصرية المستمرة (الشخصيات، الأشياء) عبر الشرائح لأنها ليست مشتركة صراحةً. يشير المؤلفون إلى أن هذا يمكن حله بتضمين مطالبة سياق عالمي.
• الاعتماد على البنية الأساسية: تظل الجودة البصرية النهائية مرتبطة بقدرة نموذج انتشار الفيديو الأساسي (مثل Wan 2.2 مقابل Veo 3.1).

في الختام، يمثل Prompt Relay خطوة محورية نحو توليد فيديو موجه بالسرد القصصي من خلال حل مشكلة التشابك الدلالي عبر آلية توجيه بسيطة وفعالة للغاية على مستوى الانتباه.