💻 computer science

Token Radius Attention for Efficient Video Generation

يُعد "نطاق انتباه نصف قطر الرمز" (TRA) إطار عمل لا يتطلب تدريباً يعمل على تسريع نماذج محولات انتشار الفيديو بكفاءة من خلال الربط الديناميكي بين إنتروبيا الاستعلام ونصاف أقطار الانتباه المعتمدة على الرموز، مما يحقق تسريعاً كبيراً مع فقدان ضئيل في الجودة مع الاحتفاظ بـ 9-19% فقط من تفاعلات الانتباه.

المؤلفون الأصليون: Jiayu Chen, Zhikun Jiang, Maoliang Li, Jiayi Luo, Jiawei Yang, Zihao Zheng, Hengyi Zhang, Guojie Luo, Xiang Chen

نُشر 2026-08-04

📖 2 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiayu Chen, Zhikun Jiang, Maoliang Li, Jiayi Luo, Jiawei Yang, Zihao Zheng, Hengyi Zhang, Guojie Luo, Xiang Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم جدارية ضخمة ومتحركة على جدار يمتد لأميال. لكي تجعل الصورة تبدو واقعية، عليك النظر في كل ضربة فرشاة قمت بها حتى الآن لتقرر كيف تتصل بالضربة التي ترسمها الآن. في عالم الذكاء الاصطناعي، هذا هو بالضبط ما تفعله "نماذج محولات انتشار الفيديو" (Video Diffusion Transformers). إنها الفنانون الرقميون الذين يبدعون فيديوهات مذهلة من الصفر، ولكن لجعل الفيديو يبدو سلسًا وواقعيًا، يتعين على الكمبيوتر فحص كل بكسل مقابل كل بكسل آخر في الفيديو بأكمله. هذا يشبه محاولة مصافحة كل شخص في ملعب رياضي بينما تقف أنت في مكان واحد؛ إنه أمر دقيق للغاية، ولكنه يستغرق قدرًا هائلًا من الوقت والطاقة. يسمي العلماء هذا "الانتباه الكثيف" (dense attention)، وهو السبب وراء كون إنتاج فيديوهات عالية الجودة بواسطة الذكاء الاصطناعي بطيئًا ومكلفًا في الوقت الحالي. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا جعل الذكاء الاصطناعي أكثر ذكاءً بشأن "من" يصافح، بحيث يتخطى الأجزاء المملة ويركز فقط على الروابط المهمة، دون إفساد الصورة؟

تقدم هذه الورقة البحثية استراتيجية جديدة ذكية تسمى "انتباه نصف قطر الرمز" (Token Radius Attention - TRA) لحل تلك المشكلة. فبدلاً من معاملة كل جزء من الفيديو بنفس الطريقة، اكتشف المؤلفون أن أجزاء الفيديو المختلفة تحتاج في الواقع إلى كميات مختلفة من الانتباه. فكر في الأمر كأنه حفلة: بعض الضيوف غارقون في محادثة جادة ولا يحتاجون إلا لسماع الأشخاص القريبين منهم مباشرة (انتباه منخفض)، بينما الآخرون يرقصون بجنون ويحتاجون لمراقبة الغرفة بأكملها (انتباه مرتفع). وقد وجد الباحثون أنه يمكنهم التنبؤ بدقة بمقدار "الانتباه" الذي يحتاجه كل جزء من الفيديو بمجرد قياس مدى "ارتباك" أو "تشتت" تركيزه الحالي. ويسمون هذا القياس "الإنتروبيا" (entropy).

باستخدام هذه الرؤية، بنى الفريق نظامًا يعمل مثل "حارس نصف قطر" ذكي. فلكل قطعة صغيرة من الفيديو (تسمى "رمزًا" أو token)، يحسب النظام دائرة ذات حجم مخصص حولها. إذا كانت القطعة مركزة وهادئة، تكون الدائرة صغيرة، ويقوم الذكاء الاصطناعي فقط بالنظر إلى جيرانها المباشرين. أما إذا كانت القطعة فوضوية أو معقدة، فإن الدائرة تكبر لتشمل عددًا أكبر من الجيران. يحدث هذا تلقائيًا دون أن يضطر الذكاء الاصطناعي للتوقف وترتيب كل الاحتمالات الممكنة، مما يوفر وقتًا هائلًا. والنتيجة هي مولد فيديو يحافظ على 9% إلى 19% من الروابط الأصلية ولكنه يعمل بسرعة أكبر بمقدار 1.56 إلى 2.05 مرة، وينتج فيديوهات تبدو بجودة تضاهي النسخ البطيئة والثقيلة. اختبر المؤلفون ذلك على نماذج مختلفة لصنع الفيديو ووجدوا أنه يعمل بشكل جيد ومتسق، مما يثبت أنك لست بحاجة لفحص كل شيء للحصول على نتيجة رائعة — بل تحتاج فقط لفحص الأشياء الصحيحة.

ملخص تقني: انتباه نصف قطر الرمز (Token Radius Attention) لتوليد الفيديو بكفاءة

1. بيان المشكلة

أصبحت نماذج محولات الانتشار للفيديو (VDiTs) هي البنية المهيمنة لتوليد الفيديو عالي الدقة، حيث تعتمد على آلية الانتباه ثلاثي الأبعاد الكثيف (dense 3D self-attention) لالتقاط التبعيات المكانية والزمانية المعقدة. ومع ذلك، تترتب على الانتباه الكثيف تكلفة حسابية تربيعية ( $O(N^2)$ ) بالنسبة لعدد رموز الفيديو $N$ ، مما يخلق عنق زجاجة كبيرًا في الاستدلال (inference) يعيق التوسع والنشر.

تستخدم النهج الحالية للتخفيف من هذه التكلفة آليات انتباه متفرقة (sparse attention)، تُصنف أساسًا إلى طرق على مستوى الرأس (head-level) وطرق على مستوى الكتلة (block-level).

طرق مستوى الرأس: تخصص أنماطًا مكانية أو زمانية مهيكلة لرؤوس انتباه فردية.
طرق مستوى الكتلة: تختار أزواج (استعلام-مفتاح) مهمة من الكتل.

القصور الجوهري: تشترك كلتا الطريقتين عادةً في ميزانية حسابية واحدة (مثل كثافة استبقاء ثابتة أو نصف قطر ثابت) عبر جميع رموز الاستعلام (query tokens) داخل الرأس أو الكتلة. هذا الافتراض بـ "التخصيص المشترك" يتعارض مع الطبيعة الجوهرية للانتباه الذاتي، حيث يتم إجراء تطبيع "Softmax" بشكل مستقل لكل استعلام. ونتيجة لذلك، فإن الاستعلامات ذات توزيعات الانتباه المركزة (الإنتروبيا المنخفضة) تهدر الحسابات إذا أُجبرت على الانتباه إلى العديد من المفاتيح، بينما قد تفقد الاستعلامات ذات التوزيعات المنتشرة (الإنتروبيا العالية) التفاعلات الحرجة إذا كانت الميزانية المشتركة صغيرة جدًا. هذا عدم التطابق يؤدي إلى تدهور جودة التوليد أو الفشل في تحقيق الكفاءة المثلى.

2. المنهجية: انتباه نصف قطر الرمز (TRA)

يقترح المؤلفون انتباه نصف قطر الرمز (Token Radius Attention - TRA)، وهو إطار عمل خالٍ من التدريب يحقق تفرقًا (sparsity) هيكليًا خاصًا بكل رمز دون الحاجة إلى ترتيب (ranking) صريح للمفاتيح لكل استعلام. يعمل TRA بناءً على رؤيتين تجريبيتين مستمدتين من تحليل أنماط انتباه VDiT.

الرؤية الأولى: تفرق الانتباه الخاص بالرمز

لاحظ المؤلفون أن "الكثافة المستبقاة" (نسبة المفاتيح الأعلى ترتيبًا المطلوبة للحفاظ على كتلة انتباه مستهدفة) تتباين بمقدار عدة رتب مقدارية عبر الاستعلامات داخل نفس الطبقة والرأس. والأهم من ذلك، وجدوا علاقة لوغاريتمية خطية قوية بين هذه الكثافة المستبقاة وبين إنتروبيا الانتباه.

الآلية: تشير الإنتروبيا العالية إلى توزيع انتباه منتشر يتطلب ميزانية رموز أكبر، بينما تشير الإنتروبيا المنخفضة إلى توزيع مركز يتطلب رموزًا أقل.
التنفيذ: يستخدم TRA تقريبًا تحليليًا لربط إنتروبيا الاستعلام مباشرة بميزانية خاصة بالرمز ( $\hat{B} \approx \tau \exp(H_i) / N$ )، مما يلغي الحاجة إلى عمليات فرز أو ترتيب مكلفة لكل استعلام.

الرؤية الثانية: نمط انتباه نصف قطر الرمز

لاحظ المؤلفون أن التفاعلات المهيمنة للاستعلام تشكل جيرانًا دائرية ممركزة حول الاستعلام في النطاق المكاني. يتناقص احتمال الانتباه الموحد تقريبًا بشكل أسي مع المسافة المكانية ثنائية الأبعاد.

الآلية: بدلاً من اختيار أعلى $k$ من المفاتๆ بشكل عشوائي، يحول TRA ميزانية الرمز القياسية إلى نصف قطر مكاني.
التلاشي الزماني: للتعامل مع تسلسلات الفيديو، يتم تعديل نصف القطر المكاني بواسطة قاعدة تلاشي المسافة الزمانية ( $\phi(\delta) = \exp(-\gamma \delta)$ )، مما يخلق بنية دعم مكانية-زمانية منتظمة.

مسار عمل TRA

الإنتروبيا إلى الميزانية: خلال مرحلة "الإحماء" (warm-up) الأولية الكثيفة، يحسب TRA إنتروبيا الانتباه لكل استعلام. يتم بعد ذلك ربط هذه الإنتروبيا بميزانية رموز محددة.
الميزانية إلى نصف القطر: يتم تحويل الميزانية إلى نصف قطر أساسي خاص بالاستعلام. ثم يتم تعديل هذا النصف قطر لكل إطار بناءً على المسافة الزمانية لتشكيل قناع قرص ثنائي الأبعاد.
التنفيذ الفعال:
- تخطيط مهيمن على البلاطات (Tile-Major Layout): يتم إعادة ترتيب رموز الفيديو بترتيب مهيمن على البلاطات لضمان أن الرموز المتجاورة مكانيًا (التي تقع ضمن نصف القطر) تكون متصلة في التسلسل.
- نوى CUDA مدمجة (Fused CUDA Kernels): تقوم نواة مخصصة بدمج حساب المسافة، ومقارنة نصف القطر، وتقليم الكتل (block pruning)، والتصويت على الرموز لتحويل أقنعة نصف قطر الرموز غير المنتظمة إلى أقنعة كثيفة-متفرقة (block-sparse) منتظمة متوافقة مع FlashInfer.
- إعادة الاستخدام عبر الخطوات: يتم حساب الإنتروبيا فقط خلال مرحلة الإحماء وإعادة استخدامها للخطوات المتفرقة اللاحقة، بالاستفادة من استقرار أنماط الإنتروبيا الملحوظ عبر خطوات إزالة الضجيج (denoising steps).

3. المساهمات الرئيسية

اكتشاف التفرق الخاص بالرمز: كشفت الورقة أن الكثافة المستبقاة تتباين بشكل كبير عبر الاستعلامات ولكنها تتبع علاقة لوغاريتمية خطية يمكن التنبؤ بها مع إنتروبيا الانتباه، وأن التفاعلات المهيمنة تتبع نمط نصف قطر ممركز حول الاستعلام.
انتباه نصف قطر الرمز (TRA): إطار عمل خالٍ من التدريب يحول متطلبات الحساب الخاصة بالاستعلام إلى دعامات مكانية-زمانية منتظمة عبر مسار (الإنتروبيا $\leftarrow$ الميزانية $\leftarrow$ نصف القطر)، متجنبًا عملية الترتيب الصريح للمفاتيح.
التصميم المشترك للنظام: صمم المؤلفون نواة قناع نصف القطر ونواة إنتروبيا مدمجة لتقليل العبء الإضافي، مما يتيح التنفيذ الفعال على الأنظمة الخلفية للكثافة-المتفرقة (block-sparse backends).
التحقق الشامل: تم التحقق من صحة TRA عبر سبع إعدادات لـ Wan2.1 وWan2.2 وHunyuanVideo (تتراوح من 1.3 مليار إلى 14 مليار معلمة) لكل من مهام نص-إلى-فيديو (T2V) وصورة-إلى-فيديو (I2V).

4. النتائج التجريبية

تم تقييم TRA مقابل الانتباه الكثيف وثلاثة نماذج أساسية متفرقة خالية من التدريب (SVG، وSVG2، وRadial) باستخدام مجموعة اختبار VBench.

الكفاءة: يحتفظ TRA بـ 9% إلى 19% فقط من تفاعلات الانتباه. ويحقق تسريعًا يتراوح بين 1.56× و2.05× مقارنة بالنماذج الكثيفة عبر جميع الإعدادات المختبرة. على سبيل المثال، في HunyuanVideo-13B، حقق تسريعًا قدره 2.05× لمهام T2V و2.02× لمهام I2V.
الجودة: يحافظ TRA على جودة توليد تنافسية، وغالبًا ما يحقق أفضل درجات VBench الإجمالية بين الطرق المتفرقة. وفي نموذج Wan2.1-14B T2V، يكاد يطابق درجة الانتباه الكثيف مع توفير تسريع قدره 1.75×.
الدقة (Fidelity): تظهر النتائج النوعية أن TRA يحافظ بشكل أفضل على هوية الموضوع، والسلامة الهيكلية، والاتساق الزماني مقارنة بالطرق المتفرقة الأخرى، مع ظهور عيوب أقل مثل الوميض (flickering) أو التشوه.
دراسات الاستئصال (Ablation Studies): أدى إزالة ربط الميزانية الموجه بالإنتروبيا أو قناع نصف القطر (استبداله بمسافة أحادية البعد) إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة كل من التكيف الخاص بالرمز والدعم المكاني المهيكل.

5. الأهمية والادعاءات

تدعي الورقة أن "انتباه نصف قطر الرمز" يعالج عدم كفاءة جوهري في نماذج الانتباه المتفرقة الحالية: وهي عدم التطابق بين ميزانيات التخصيص المشتركة ومتطلبات الانتباه الخاصة بكل رمز. من خلال الاستفادة من العلاقة الجوهرية بين الإنتروبيا والتفرق في الانتباه، يحقق TRA مقايضة مواتية بين الجودة والكفاءة دون الحاجة إلى تدريب إضافي أو آليات ترتيب فورية معقدة.

يضع المؤلفون TRA كتقنية مكملة لطرق التسريع الأخرى (مثل التخزين المؤقت أو التكميم) التي تركز تحديدًا على تقليل التكلفة التربيعية لتفاعل الاستعلام-المفتاح داخل طبقات الانتباه المنفذة. يوضح العمل أن التكيف على مستوى الرمز يمكن تحقيقه بكفاءة من خلال قناع نصف قطر مهيكل، مما يوفر مسارًا قابلًا للتوسع لنشر نماذج توليد الفيديو عالية الدقة.