💻 computer science

TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation

تقترح الورقة البحثية TS-Attn، وهي آلية انتباه مبتكرة لا تتطلب تدريباً تعمل على إعادة ترتيب توزيعات الانتباه ديناميكياً لمعالجة عدم المحاذاة الزمنية وازدواجية الانتباه المتعارضة، مما يحسن بشكل كبير جودة واتساق توليد الفيديو متعدد الأحداث في النماذج سابقة التدريب مع حد أدنى من التكاليف الإضافية عند الاستنتاج.

المؤلفون الأصليون: Hongyu Zhang, Yufan Deng, Zilin Pan, Peng-Tao Jiang, Bo Li, Qibin Hou, Zhiyang Dou, Zhen Dong, Daquan Zhou

نُشر 2026-04-22

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongyu Zhang, Yufan Deng, Zilin Pan, Peng-Tao Jiang, Bo Li, Qibin Hou, Zhiyang Dou, Zhen Dong, Daquan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج يحاول تصوير فيلم قصير بناءً على سيناريو يقول: "قطة تدخل غرفة، تقفز على طاولة، تسقط مزهرية، ثم تركض خارج الباب."

مولدات الفيديو الحالية بالذكاء الاصطناعي تشبه ممثلين موهوبين ولكنهم مشتتون قليلاً. إذا أعطيتهم هذا السيناريو كاملاً دفعة واحدة، فقد يشعرون بالإرهاق. قد يظهرون القطة وهي تركض خارج الباب قبل حتى أن تقفز على الطاولة، أو قد ينسون المزهرية تماماً. إنهم يحاولون القيام بكل شيء في وقت واحد، والنتيجة هي فوضى عارمة لا منطق فيها للجدول الزمني.

بدلاً من ذلك، إذا حاولت تصوير هذا المشهد عبر تصوير كل حركة على حدة ثم دمج المقاطع معاً، فقد تبدو القطة مختلفة في كل مقطع، أو قد يتغير الخلفية بشكل مفاجئ. الأمر يشبه محاولة بناء منزل عن طريق لصق طوب من منازل مختلفة؛ حيث ينهار الهيكل في النهاقة.

إليك TS-Attn (الانتباه المنفصل زمنياً - Temporal-wise Separable Attention).

فكر في TS-Attn كـ محرر أفلام و مشرف سيناريو ذكي جداً يجلس داخل عقل الذكاء الاصطناعي. مهمته هي التأكد من أن الذكاء الاصطناعي ينتبه للجزء الصحيح من السيناريو في الوقت الصحيح.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. المشكلة: "ضجيج الكافيتيريا"

تخيل أن الذكاء الاصطناعي موجود في كافيتيريا صاخبة. السيناريو (النص الوصفي) هو قائمة طويلة من التعليمات من أشخاص مختلفين.

الشخص (أ) يقول: "امشِ!"
الشخص (ب) يقول: "اقفز!"
الشخص (ج) يقول: "اصدم!"

بدون TS-Attn، يسمع الذكاء الاصطناعي كل هذه الأصوات في وقت واحد. يحاول المشي، والقفز، والصدم جميعاً في نفس اللحظة، أو يصاب بالارتباك ويتجاهل بعض الأصوات. النتيجة هي فيديو تظهر فيه القطة وهي تفعل كل شيء في آن واحد أو لا تفعل شيئاً على الإطلاق.

2. الحل: "تسليط الضوء عبر الزمن"

يعمل TS-Attn مثل كشاف ضوئي يتحرك عبر المسرح. هو يخبر الذكاء الاصطناعي:

الزمن 1: "مهلاً أيها الذكاء الاصطناعي، تجاهل الجميع الآن. استمع فقط للشخص الذي يقول 'امشِ'. ركز طاقتك على جعل القطة تمشي."
الزمن 2: "حسناً، انتهت عملية المشي. أطفئ ضوء 'المشي'. الآن، ركز فقط على الشخص الذي يقول 'اقفز'."
الزمن 3: "الآن، ركز على 'الصدم'."

إنه يقوم أساساً بـ فك عقدة التعليمات. فهو يضمن أن الحركة البصرية (حركة القطة) متزامنة تماماً مع الكلمة المحددة في السيناريو التي تسببت فيها.

3. "محقق الحركة"

كيف يعرف الذكاء الاصطناعي أين ينظر؟
يحتوي TS-Attn على محقق صغير بداخله. ينظر إلى الفيديو ويقول: "حسناً، القطة هي الشيء الذي يتحرك الآن". فيضع ملصقاً رقمياً على القطة. ثم يخبر الذكنا الاصطناعي: "اجعل تعليمات 'القفز' تتحدث مع القطة فقط. لا تدع تعليمات 'القفز' تحاول تحريك الخلفية أو الطاولة".

هذا يمنع الذكاء الاصطناعي من الارتباك بشأن أي جزء من الصورة يجب أن يتغير.

لماذا يعد هذا أمراً بالغ الأهمية؟

لا حاجة لإعادة التدريب: عادةً، لإصلاح ذكاء اصطناعي معطل، يتعين عليك إعادة تعليمه من الصفر (مثل إرسال طالب للعودة إلى المدرسة لأربع سنوات). TS-AttN يشبه إعطاء ذلك الطالب ورقة غش أو نظارة جديدة. يمكنك دمجه في نماذج الذكاء الاصطناعي الموجودة (مثل Wan أو CogVideoX) وسوف تصبح أذكى فوراً.
السرعة: هو لا يبطئ العملية كثيراً. الأمر يشبه إضافة نظام GPS لسيارة؛ السيارة تقود بنفس السرعة، لكنها لا تضل الطريق.
الاستمرارية: تبدو القطة هي نفس القطة من البداية إلى النهاية، وتتدفق القصة بشكل منطقي.

النتيجة

مع TS-Attn، يمكن للذكاء الاصطناعي أخيراً التعامل مع القصص المعقدة. يمكنه إنشاء فيديو حيث تلتقط ذراع روبوت كوباً، وتسكب الماء، وتضعه مكانه، كل ذلك في لقطة واحدة سلسة ومستمرة دون أن يختفي الكوب أو يتحول الماء إلى نار.

باختاً، يعلم TS-Attn الذكاء الاصطناعي كيف يستمع للقصة بالترتيب، بدلاً من محاولة سماع القصة بأكملها في وقت واحد. إنه يحول مجموعة فوضوية من التعليمات إلى فيلم واضح وخطوة بخطوة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TS-ATTN: TEMPORAL-WISE SEPARABLE ATTENTION FOR MULTI-EVENT VIDEO GENERATION".

1. بيان المشكلة

لا يزال توليد فيديوهات عالية الجودة من أوصاف زمنية معقدة تحتوي على أحداث متتالية متعددة يمثل تحديًا كبيرًا لنماذج تحويل النص إلى فيديو (T2V) وتحويل الصورة إلى فيديو (I2V) الحالية. تواجه النهج الحالية مقايضة متأصلة:

التوليد المتسلسل متعدد المطالبات (Multi-prompt sequential generation): يؤدي تفكيك المطالبة المعقدة إلى مطالبات أحداث فردية إلى تحسين دقة الحركة، ولكنه غالبًا ما يؤدي إلى عدم اتساق زمني، وانجراف في المحتوى، وتكاليف استدلال عالية بسبب تكرار تشغيل النموذج.
المطالبة المعقدة الواحدة (Single complex prompt): تغذية الوصف بأكمله في تمريرة واحدة يحافظ على الاتساق العالمي، ولكنه غالبًا ما يؤدي إلى ضعف في اتباع المطالبة، مما يتجلى في حذف الأحداث، أو الهلوسة الزمنية، أو فشل النموذج في التمييز بين الأحداث المتتالية.

يعزو المؤلفون هذه الإخفاقات إلى سببين جذريين:

عدم المحاذاة الزمنية (Temporal Misalignment): لا تتوافق رموز الفيديو (المحتوى البصري) بشكل صحيح مع شروطها النصية المقابلة (الأفعال/الأفعال الحركية) في التسلسل الزمني.
الاقتران الانتباهي المتضارب (Conflicting Attention Coupling): تنتبه الأجسام المرتبطة بالحركة في المشهد إلى عدة شروط أحداث غير مرتبطة في آن واحد، مما يسبب تداخلًا وانتقالات ضبابية.

2. المنهجية: TS-Attn

يقترح المؤلفون TS-Attn (الانتباه القابل للفصل زمنياً)، وهو آلية انتباه خالية من التدريب (training-free) مصممة ليتم دمجها بسلاسة في نماذج محولات الانتشار (DiT) سابقة التدريب. تعمل هذه الآلية خلال المراحل الأولى من عملية إزالة الضجيان (على سبيل المثال، أول 20% من الخطوات في T2V) لحقن معلومات الحركة بوعي زمني.

يتكون الإطار من ثلاثة مكونات أساسية:

أ. استخراج منطقة الحركة (Motion Region Extraction - MRE)

لتجنب تعطيل اتساق الخلفية، يقوم TS-Attn أولاً بتحديد المناطق المرتبطة بالحركة في الفيديو.

يستخدم المخطط الدلالي (semantic layout) للموضوع الذي يؤدي الفعل (المستمد من المطالبة) لإنشاء خريطة دلالية.
تستخدم آلية عتبة تكيفية لإنشاء قناع ثنائي ( $M_s$ ) يعزل مناطق حركة الموضوع في المقدمة، مما يفلتر الضوضاء المتناثرة.
يضمن هذا القناع تطبيق تعديل الانتباه فقط على الأجسام المتحركة ذات الصلة، مما يحافظ على استقرار الخلفية.

ب. تعديل الانتباه المدرك للحدث (Event-Aware Attention Modulation)

هذه هي الآلية الجوهرية، وتنقسم إلى خطوتين فرعيتين تُطبقان على طبقة الانتباه المتقاطع (cross-attention):

إعادة ترتيب الانتباه (Attention Rearrangement):
- يتم تقسيم رموز الفيديو زمنياً (عبر مدخلات المستخدم، أو تخطيط LLM، أو التقسيم الموحد) لتتوافق مع أحداث محددة في المطالبة.
- يتم تطبيق دالة انحياز ( $B$ ) على مصفوفة الانتباه. تقوم بتطبيق انحياز إيجابي على الرموز النصية المتوافقة مع الحدث الزمني الحالي، وانحياز سلبي على الرموز الخاصة بالأحداث الأخرى.
- هذا يجبر رموز الفيديو المرتبطة بالحركة في جزء زمني محدد على التركيز حصرياً على الحدث المقابل لها مع كبح التداخل من الأحداث الأخرى.
تعزيز الانتباه (Attention Reinforcement):
- إدراكاً بأن إعادة الترتيب وحدها قد لا تكون كافية إذا كان توزيع الانتباه الأولي مسطحاً للغاية، يتم إدخال عامل تعزيز ( $R$ ).
- يقوم هذا العامل بتغيير شدة الانتباه بشكل تكيفي بناءً على "حدة" التوزيع. إذا كان التوافق بين رمز الفيديو والحدث ضعيفاً، يزداد وزن عامل التعزيز، مما يضمن وجود توافق زمني قوي.

تُصاغ خريطة الانتباه النهائية كالتالي:
$A = \text{softmax}\left(\frac{QK^\top + M_s \odot R(Q, K) \odot B(Q, K)}{\sqrt{d}}\right)$
حيث تمثل $Q$ و $K$ ناقلات الاستعلام والمفتاح، و $\odot$ تشير إلى الضرب العنصري.

3. المساهمات الرئيسية

تحليل السبب الجذري: تقدم الورقة تحليلاً متعمقاً يكشف أن ضعف اتباع المطالبة في سيناريوهات الأحداث المتعددة ناتج عن عدم المحاذاة الزمنية وارتباطات الانتباه المتشابكة، وتقترح "التجميع القابل للفصل زمنياً" كحل.
إطار عمل خالٍ من التدريب: يعد TS-Attn وحدة قابلة للتركيب والتشغيل (plug-and-play) لا تتطلب أي ضبط دقيق (fine-tuning) لنموذج توليد الفيديو الأساسي. ويمكن دمجه في بنيات مختلفة (مثل Wan2.1/2.2، CogVideoX، Open-Sora).
تصميم ثنائي الوحدات: يوازن الجمع بين إعادة ترتيب الانتباه (إعادة المحاذاة الهيكلية) وتعزيز الانتباه (التحجيم التكيفي) بفعالية بين التماسك العالمي ودقة تنفيذ الأحداث.
تعدد الاستخدامات: يدعم الأسلوب مهام تحويل النص إلى فيديو (T2V) وتحويل الصورة إلى فيديو (I2V)، ويتعامل مع السيناريوهات المعقدة التي تتضمن موضوعات متعددة وانتقالات على مستوى المشهد.

4. النتائج التجريبية

قيم المؤلفون TS-Attn على StoryEval-Bench (معيار لـ T2V متعدد الأحداث) وعلى معيار جديد تم إنشاؤه StoryEval-Bench-I2V.

الأداء الكمي:
- في نموذج Wan2.1-T2V-14B، حسن TS-Attn درجة StoryEval-Bench بنسبة 33.5% (من 37.6% إلى 50.2%).
- في نموذج Wan2.2-T2V-A14B، حقق تحسناً نسبياً بنسبة 16.4% (من 48.3% إلى 56.2%).
- تفوق بشكل ملحوظ على الأساليب الحالية متعددة المطالبات مثل DiTCtrl و MEVG، والتي تعاني من الانجراف الزمني وزمن الاستدلال المرتفع.
- لوحظت تحسينات مماثلة في CogVideoX-5B (تحسن بنسبة 57.3% نسبيًا) وفي مختلف نماذج I2V الأساسية.
كفاءة الاستدلال:
- على عكس الأساليب متعددة المراحل التي تتطلب $N$ من عمليات الاستدلال لـ $N$ من الأحداث، يعمل TS-Attn في تمريرة واحدة.
- لا يتسبب إلا في زيادة قدرها ~2% فقط في زمن استدلال مقارنة بالنموذج الأساسي، بينما تزيد الأساليب متعددة المطالبات غالباً من زمن الاستدلال بنسبة 200-300%.
النتائج النوعية:
- تظهر المقارنات البصرية أن TS-Attn ينجح في توليد فيديوهات حيث تحدث أفعال متميزة (مثل "قطة تراقب كرة"، ثم "تغمس الكرة"، ثم "تخرجها") بالترتيب الصحيح دون دمج أو حذف للخطوات.
- يحافظ على المعقولية الفيزيائية والانتقالات السلسة بين الأحداث.

5. الأهمية

يمثل TS-Attn خطوة مهمة نحو توليد فيديو عالي الجودة وقابل للتوسع. من خلال حل مشكلة "النزاع الزمني" دون الحاجة إلى إعادة تدريب مكلفة أو موارد حوسبة هائلة، فإنه يمكّن النماذج التأسيسية من التعامل مع السرديات المعقدة والديناميكية.

سهولة الوصول: كحل قابل للتركيب والتشغيل وخالٍ من التدريب، فإنه يسمح للباحثين والمطورين بترقية النماذج مفتوحة المصدر الحالية (مثل Wan أو CogVideoX) فوراً لمهام الأحداث المتعددة.
التطبيقات المستقبلية: يفتح هذا الأسلوب الأبواب أمام توليد الفيديوهات الطويلة التفاعلية، وسرد القصص على مستوى المشهد، والتفاعلات المعقدة بين الموضوعات المتعددة، مما يعالج عقبة حرجة في مجال توليد الفيديو بالذكاء الاصطناعي الحالي.