S2DiT: Sandwich Diffusion Transformer for Mobile Streaming Video Generation
تقدم الورقة البحثية S2DiT، وهو نموذج "Streaming Sandwich Diffusion Transformer" مبتكر يستفيد من آليات الانتباه الفعالة، وبنية "الساندوتش" المدركة للميزانية، وإطار عمل تقطير "2 في 1" لتحقيق توليد فيديو عالي الدقة وفي الوقت الفعلي على الأجهزة المحمولة بأداء يضاهي النماذج المخصصة للخوادم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد إنشاء فيلم عالي الجودة ومتحرك بمجرد كتابة جملة مثل: "رائد فضاء يركض عبر زقاق في ريو دي جانيرو".
في عالم الذكاء الاصطناعي، يتطلب القيام بذلك عادةً خادم كمبيوتر ضخمًا وفائق القوة (مثل مركز بيانات) يشغل غرفة كاملة. إنه ثقيل جدًا وبطيء لدرجة تمنع تشغيله على هاتفك. لكن ورقة بحثية جديدة من شركة Snap Inc. وجامعة Northeastern تقدم نظام S2DiT، الذي يسمح لهاتفك أخيرًا بإنشاء هذه الفيديوهات في الوقت الفعلي، عبر بثها إطارًا تلو الآخر مثل البث المباشر.
إليك كيف فعلوا ذلك، مشروحًا من خلال بعض التشبيهات من الحياة اليومية:
1. المشكلة: "حقيبة الظهر الثقيلة"
فكر في نماذج فيديو الذكاء الاصطناعي التقليدية كمتسلق جبال يحاول صعود جبل وهو يحمل حقيبة ظهر ثقيلة مليئة بالصخور.
- الصخور: هي "الرموز" (Tokens) (قطع صغيرة من البيانات) التي يجب أن ينظر إليها الذكاء الاصطناعي لفهم الفيديو.
- المشكلة: لإنتاج فيديو جيد، يحتاج الذكاء الاصطناعي إلى النظر إلى كل الصخور في وقت واحد. وهذا يتطلب قدرًا هائلًا من قوة المعالجة (التكلفة الحسابية) لدرجة أن بطارية هاتفك ستنفد فورًا، وسوف يستغرق إنتاج الفيديو دقائق.
2. الحل: استراتيجية "الشطيرة" (Sandwich Strategy)
ابتكر المؤلفون بنية جديدة تسمى Sandwich Diffusion Transformer. بدلاً من حمل حقيبة الظهر بأكملها، قاموا ببناء نظام ذكي ينتقل بين طريقتين مختلفتين للتفكير، مثل شطيرة تحتوي على نوعين مختلفين من الخبز وحشوة لذيذة.
- الطبقة العلوية (LCHA - الطاهي المهتم بالتفاصيل):
هذا الجزء من الذكاء الاصطناعي يشبه طاهيًا ينظر إلى الفيديو عن قرب. يستخدم طريقة "الانتباه الخطي" (Linear Attention) الخاصة التي تتميز بالسرعة الفائلة ولكنها لا تزال تهتم بالتفاصيل الدقيقة (مثل ملمس بدلة رائد الفضاء). هو لا يشعر بالإرهاق من الجبل بأكمله؛ بل ينظر فقط إلى المسار الذي أمامه مباشرة. - الحشوة (SSA - الجنرال الاستراتيجي):
هذا الجزء يشبه جنرالًا ينظر إلى الخريطة من مروحية. هو يبتعد عن التفاصيل الصغيرة ليرى الصورة الكبيرة (الحركة العامة وتدفق الفيديو). هو يتخطى بعض الصخور لتوفير الطاقة، ويركز فقط على الاتجاهات الكبرى. - الطبقة السفلية (خوارزمية البحث):
كيف تعرف أين تضع الطاهي والجنرال؟ استخدم الفريق "بحث البرمجة الديناميكية" (Dynamic Programming Search). تخيل أنك تحزم حقيبة سفر مع حد صارم للوزن. لديك قائمة من العناصر (كتل الذكاء الاصطناعي المختلفة)، ويقوم خوارزمية حاسوبية فورًا بتحديد المزيج المثالي من كتل "الطاهي" و"الجنرال" لتناسب ذاكرة هاتفك دون كسر حد السرعة.
3. خدعة "المعلم والتلميذ" (2-in-1 Distillation)
حتى مع حقيبة ظهر أخف، لا يزال ذكاء الهاتف الاصطناعي "غبيًا" مقارنة بنماذج الخوادم الضخمة. لذلك، استخدم الفريق نهج "المعلم والتلميذ".
- المعلم: ذكاء اصطناعي ضخم وفائق الذكاء (Wan 2.2-14B) يعمل على خادم. هو يعرف تمامًا كيفية صنع فيديو مثالي، لكنه بطيء جدًا ليعلم الهاتف بشكل مباشر.
- التلميذ: الذكاء الاصطناعي الصغير والسريع الموجود على هاتفك.
- الخدعة: بدلًا من أن يتحدث المعلم إلى التلميذ في الوقت الفعلي (وهو أمر بطيء)، يقوم المعلم أولاً بكتابة جميع "إجابات الواجب المنزلي" (البيانات المخزنة مؤقتًا/Cached Data) وحفظها على قرص صلب. ثم يقوم التلميذ بدراسة هذه الإجابات المحفوظة دون اتصال بالإنترنت.
- تشبيه: تخيل أستاذًا عبقريًا يكتب كتابًا لك. أنت لست بحاجة لوجود الأستاذ بجانبك أثناء الدراسة؛ أنت فقط تقرأ الكتاب الذي كتبه. هذا يسم يسمح لنموذج الهاتف الصغير بتعلم "عبقرية" النموذج الكبير دون الحاجة إلى الأجهزة الثقيلة للنموذج الكبير.
4. سحر "البث" (Streaming Magic)
معظم أنظمة فيديو الذكاء الاصطناعي تنشئ الفيديو بأكمله دفعة واحدة (مثل طباعة صورة كاملة). أما S2DiT فينشئه عبر البث (مثل البث المباشر).
- يستخدم تقنية تسمى "القوة الذاتية" (Self-Forcing). تخيل رسامًا يرسم ضربة فرشاة واحدة، ثم ينظر إلى ما رسمه للتو ليقرر الضربة التالية.
- من خلال القيام بذلك خطوة بخطوة، يمكن للهاتف أن يبدأ في عرض الفيديو لك على الفور، بدلاً من جعلك تنتظر حتى ينتهي الفيديو بالكامل. لقد حقق حوالي 10 إطارات في الثانية على هاتف iPhone 16 Pro Max، وهو ما يكفي لجعله يبدو كأنه بث في الوقت الفعلي.
النتيجة
تظهر الورقة البحثية أن S2DiT يمكنه إنشاء فيديوهات على الهاتف المحمول تبدو بجودة تقارب أفضل الفيديوهات التي يتم إنتاجها على الخوادم الضخمة.
- الجودة: دقة عالية (تبدو حقيقية).
- السرعة: سريعة بما يكفي للبث (لا يوجد انتظار).
- الكفاءة: تناسب جيبك.
باختًا: لقد وجدوا كيفية تقليص دماغ فيديو ضخم بحجم غرفة إلى "شطيرة" صغيرة وفعالة تناسب هاتفك، وعلموه باستخدام ملاحظات معلم عبقري، وجعلوه سريعًا بما يكفي ليرسم فيلمًا إطارًا تلو الآخر بينما تشاهده.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.