💻 computer science

Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization

تقدم هذه الورقة البحثية GATO-Vid، وهي طريقة جديدة خالية من التدريب ومن التدرج لتوليد الفيديو من النص مع تحديد المواقع مكانياً، والتي تحقق تحديداً دقيقاً للأجسام من خلال حل تحليلي مغلق الصيغة وآلية حقن فورية، متفوقة بشكل كبير على النماذج المرجعية الحالية في الدقة مع تقليل العبء الحسابي إلى أدنى حد.

المؤلفون الأصليون: Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

نُشر 2026-08-14

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك كاميرا سينمائية سحرية يمكنها ابتكار عوالم كاملة بمجرد الاستماع إلى صوتك. إذا قلت: "تنين يحلق فوق قلعة"، فستقوم الكاميرا فوراً بإنشاء فيديو لذلك. هذا هو عالم توليد "النص إلى الفيديو" (Text-to-Video)، وهو مجال ينمو بسرعة حيث يحول الذكاء الاصطناعي الجمل البسيطة إلى صور متحركة. ولكن هناك مشكلة: كاميرات الذكاء الاصطناعي هذه تشبه الفنانين المتحمسين ولكن المترددين؛ فهي بارعة في التقاط "فكرة" التنين، لكنها سيئة جداً في وضعه بالضبط حيث تريد. إذا طلبت تنيناً في الزاوية العلوية اليسرى، فقد يضعه الذكاء الاصطعي في المنت المنتصف، أو يجعله يتيه خارج الشاشة.

لإصلاح ذلك، يحاول العلماء عادةً شيئين. الأول هو التدريب (Training)، وهو يشبه توظيف معلم خاص لتعليم الذكاء الاصطناعي حِيلاً جديدة، لكن هذا يتطلب سنوات من الدراسة وكميات هائلة من قوة الحوسبة. والثاني هو التحسين القائم على التدرج (Gradient-based optimization)، وهي طريقة تُستخدم أثناء عملية صناعة الفيلم تعمل مثل نظام تحديد المواقع (GPS) فائق الدقة. فهي تتحقق باستمرار من الفيديو، وتحسب بدقة كيف يجب تحريك البكسلات لوضع التنين في مكانه الصحيح، ثم تعيد التشغيل لمحاولة التجربة مرة أخرى. المشكلة؟ هذا الـ "GPS" ثقيل وبطيء للغاية لدرجة أنه يتسبب في تعطل معظم أجهزة الكمبيوتر، خاصة الأجهزة العملاقة والحديثة المستخدمة اليوم. الأمر يشبه محاولة توجيه مركبة فضائية عن طريق حساب مسار كل مسمار يدوياً بينما المحرك يعمل.

تقدم هذه الورقة البحثية طريقة ذكية لتوجيه كاميرات الذكاء الاصطنا هذه دون الحاجة إلى نظام الـ GPS الثقيل أو سنوات من التدريب. اقترح الباحث غيوم جينيريه وفريقه طريقة تسمى GATO-Vid. فبدلاً من القيام بالعمليات الحسابية الثقيلة لحساب التدرجات (حلقة "أعد التشغيل وحاول مجدداً")، اكتشفوا اختصاراً رياضياً. فكر في الأمر هكذا: بدلاً من محاولة دفع صخرة ثقيلة للأعلى عبر التخمين في أي اتجاه يجب الدفع، أدركوا أنه يمكنهم ببساال حساب الزاوية الدقيقة للمنحدر وتمرير الصخرة إلى مكانها فوراً. طريقتهم، التي ترمز إلى "توليد الفيديو عبر تحسين المسار التحليلي الخالي من التدرج" (Gradient-free Analytical Trajectory Optimization Video Generation)، تسمح للذكاء الاصطناعي بوضع الأشياء بدقة في المكان الذي تريده تماماً — مثل شخصية معينة في زاوية محددة من الشاشة — دون الحاجة إلى كمبيوتر خارق أو تغيير "دماغ" الذكاء الاصطناعي. وقد اختبروا ذلك على مولدات الفيديو الحديثة ووجدوا أنها تضع الأشياء بدقة أكبر بكثير من الطرق "الخالية من التدريب" السابقة، رغم أنها قد تجعل الخلفية أقل ديناميكية قليلاً.

المشكلة: الفنان الآلي المتردد

تبدأ القصة بإحباط يشارك فيه الكثير ممن يلعبون بمولدات فيديو الذكاء الاصطناعي. تكتب أمراً مثل "قطة تقفز فوق سياج"، فيصنع الذكاء الاصطناعي فيديو. ولكن إذا أضفت صندوقاً على الشاشة وقلت: "ضع القطة داخل هذا الصندوق"، فإن الذكاء الاصطناعي غالباً ما يتجاهلك. قد يضع القطة داخل الصندوق لثانية واحدة ثم يتيه بعيداً، أو قد يضع السياج داخل الصندوق والقطة خارجه.

يوضح الباحثون أنه لإصلاح ذلك، تعتمد معظم الطرق الحالية على تقنية تسمى التحسين القائم على التدرج (Gradient-based optimization). تخيل أنك تحاول إصابة مركز الهدف بسهم، لكنك معصوب العينين. الطريقة القديمة هي أن ترمي السهم، ثم تشعر أين استقر، ثم تحسب الزاوية والقوة الدقيقتين اللازمتين لتقريبه، ثم ترميه مرة أخرى. في عالم الذكاء الاصطناعي، يعني هذا أن الكمبيوتر يولد فيديو، ويتحقق من مكان الكائن، ويحسب "الخسارة" (مدى بعده عن الهدف)، ثم يقوم بعملية حسابية ضخمة تسمى "الانتشار العكسي" (Backpropagation) لمعرفة كيفية تغيير الفيديو للوصد إلى الهدف.

تشير الورقة البحثية إلى أن هذه الطريقة تمثل عنق زجاجة. نماذج الذكاء الاصطناعي الحديثة ضخمة، وتضم مليارات المعلمات (Parameters). تشغيل عملية "الانتشار العكسي" هذه يتطلب الكثير من الذاكرة (VRAM) لدرجة أنها تتسبب غالباً في تعطل أجهزة الكمبيوتر الاستهلاكية. على سبيل المثال، يشير الباحثون إلى أنه بالنسبة لنموذج كبير مثل Wan2.2، فإن حساب هذه الخطوة العكسية يتطلب أكثر من وحدة معالجة رسومات واحدة بسعة 80 جيجابايت، وهو ما يتجاوز بكثير ما يمتلكه المستخدم العادي. الأمر يشبه محاولة حل مكعب روبيك عن طريق تفكيكه، وقياس كل قطعة، ثم إعادة تجميعه في كل مرة تقوم فيها بحركة واحدة.

الحل: الاختصار الرياضي

هنا يأتي دور GATO-Vid. تساءل الفريق: "هل يمكننا تجاوز رمي السهام وأنت معصوب العينين وحساب الرمية المثالية دفعة واحدة؟"

أدركوا أن الذكاء الاصطناعي يستخدم آلية تسمى الانتباه المتقاطع (Cross-attention) لتقرير أين تذهب الأشياء. هذا يشبه كشاف الضوء الذي يسلطه الذكال الاصطناعي على أجزاء مختلفة من النص (مثل كلمة "قطة") ليقرر أي بكسلات في الفيديو ستصبح هي القطة. لاحظ الباحثون أنه بدلاً من حساب الرياضيات المعقدة وغير الخطية لـ "كشاف الضوء" (والتي تتضمن دالة تسمى Softmax)، يمكنهم استخدام نسخة خطية أبسط من الرياضيات (تسمى "Logits") تعمل كبديل مثالي.

إليكم الخدعة السحرية:

الدرجة البديلة (The Surrogate Score): أنشأوا دالة درجة جديدة وأبسط. بدلاً من محاولة تقليل الخطأ عبر التخمين والتحقق، كتبوا صيغة تقيس مباشرة مدى جودة إصابة "كشاف الضوء" للهدف.
الحل التحليلي (The Analytical Solution): ولأن هذه الصيغة الجديدة بسيطة، فقد تمكنوا من حلها باستخدام الرياضيات على ورقة (حل تحليلي). لقد وجدوا الاتجاه الدقيق الذي يحتاج الذكاء الاصطناعي لتحريك الفيديو فيه لوضع الكائن في مكانه الصحيح. الأمر يشبه إدراك أنه لكي تضع القطة في الصندوق، لا تحتاج للتخمين؛ بل تحتاج فقط لدفع رموز الفيديو (Tokens) في الاتجاه الدقيق للصندوق.
آلية الحقن (The Injection Mechanism): قاموا بعد ذلك ببناء طريقة لحقن هذا "الدفع" مباشرة في دماغ الذكاء الاصطناعي أثناء صنع الفيديو. يسمونها الحقن الفوري (On-the-fly injection). يأخذون الأفكراف الداخلية للذكاء الاصطناعي (متجهات الاستعلام/Query vectors)، ويضيفون إليها "الدفع" الذي حسبوه (التحيز/Bias)، ثم يعيدون تشكيلها بعناية لتتناسب مع طريقة تفكير الذكاء الاصطناعي الطبيعية.

من المهم جداً ألا يفسدوا نظام الذكاء الاصطناعي. الأرقام الداخلية للذكاء الاصطناعي تعيش على شكل هندسي محدد (Hyper-ellipsoid) بسبب عملية تطبيع تسمى RMSNorm. إذا أضفت أرقاماً عشوائية، فسوف تكسر هذا الشكل. لذا، يستخدم GATO-vid إسقاطاً خاصاً لضمان بقاء "الدفع" على السطح الرياضي الصحيح، مما يحافظ على استقرار توليد الفيديو.

النتائج: الدقة مقابل المقايضة

اختبر الفريق GATO-Vid على نموذج Wan2.2، وهو أحد أقوى مولدات الفيديو مفتوحة المصصدر المتاحة حالياً. وقارنوه بطرق أخرى "خالية من التدريب" مثل Peekaboo و VideoTetris و SwitchCraft، بالإضافة إلى النموذج الأصلي (غير المعدل).

كانت النتائج مذهلة:

التحديد المكاني (Localization): كان GATO-Vid فائزاً واضحاً. في اختباراتهم، حقق نسبة تقاطع (IoU - Intersection over Union) بلغت 0.363 في مجموعة بيانات واحدة و 0.324 في مجموعة بيانات أصعب. وهذا يعني أن الكائن كان أكثر عرضة للتواجد داخل الصندوق المستهدف مقارنة بالطرق الأخرى التي تراوحت نسبتها حول 0.15 إلى 0.17.
السرعة: كانت الطريقة سريعة للغاية؛ إذ لم تضف سوى 0.4% فقط إلى الوقت الإجمالي لتوليد الفيديو. وفي المقابل، أضافت الطرق الأخرى ما بين 6% إلى 92% من الوقت الإضافي.
الثمن (The Catch): تشير الورقة البحثية إلى أن هذه الدقة تأتي بتكلفة صغيرة. فبينما كان الكائن في مكانه الصحيح، تأثرت "روح" الفيديو العامة قليلاً. انخفضت درجة الجودة الجمالية (Aesthetic Quality)، كما انخفضت درجة الديناميكية (Dynamic Degree) (أي مقدار الحركة في الفيديو). ويوضح الباحثون أنه من خلال إجبار الكائن على البقاء في صندوق محدد، قد يجعل الذكاء الاصطناعي الخلفية أكثر ثباتاً أو أقل حيوية. إنها مقايضة: تحصل على قطة موضوعة بدقة، ولكن المشهد قد يكون أقل إثارة.

لماذا يهم هذا الأمر؟

تخلص الورقة البحثية إلى أن GATO-Vid يثبت أنك لست بحاجة لإعادة تدريب نماذج ذكاء اصطناعي ضخمة أو استخدام أجهزة كمبيوتر خارقة للحصول على تحكم دقيق في توليد الفيديو. فمن خلال استخدام اختصار رياضي ذكي، حولوا مشكلة تتطلب "الانتشار العكسي" (الحساب الثقيل والبطيء) إلى عملية حسابية بسيطة وفورية.

يؤكد المؤلفون أن هذا النهج هو نهج "خالٍ من التدريب وخالٍ من التدرج" (Training-free and gradient-free). وهذا يعني أن أي شخص يمتلك جهاز كمبيوتر قياسي يمكنه استخدامه لإنشاء فيديوهات أفضل دون الحاجة لجمع بيانات جديدة أو انتظار الذكاء الاصطناعي لـ "يتعلم" مهارات جديدة. وبينما تشير الطريقة إلى أن التحكم المكاني المثالي قد يقلل قليلاً من الديناميكية الفنية للمشهد، إلا أنها تفتح الباب لعصر جديد من توليد الفيديو القابل للتحكم، حيث يمكن للمستخدمين أخيراً أن يقولوا: "ضع التنين هنا"، ويستمع إليهم الذكاء الاصطناعي.

كما أجرى الباحثون "دراسات استئصال" (Ablation studies) (اختبارات حيث قاموا بإزالة أجزاء من طريقتهم) لإظሎ أن كل قطعة في لغزهم كانت ضرورية. فإذا أزالوا خطوة "الإسقاط" (Projection)، تظهر في الفيديو عيوب غريبة. وإذا أزالوا "التحيز السلبي" (الجزء الذي يدفع الكائن بعيداً عن الأماكن الخاطئة)، فلن يبقى الكائن داخل الصندوق. وقد أكد هذا أن مزيجهم الخاص من الرياضيات والهندسة كان هو مفتاح النجاح.

باختصار، GATO-Vid يشبه إعطاء الذكاء الاصطناعي خريطة وبوصلة بدلاً من مطالبته بتخمين الطريق. إنها خدعة رياضية أنيقة وبسيطة تحل مشكلة ضخمة، مما يجعل من الممكن توجيه أفلام الذكاء الاصطناعي بدقة المخرج، دون الحاجة لتكاليف طاقم التصوير.

ملخص تقني: GATO-Vid

بيان المشكلة

بينما حققت نماذج تحويل النص إلى فيديو (T2V) القائمة على محولات الانتشار (Diffusion Transformer - DiT) جودة تصنيع عالية، إلا أنها تفتقر إلى القدرة على التحكم المكاني الدقيق. لا يمكن للمستخدمين تحديد المواقع المكانية والزمانية للأجسام بشكل موثوق (على سبيل المثال، وضع جسم معين في موقع محدد) باستخدام المطالبات النصية وحدها. تندرج الحلول الحالية ضمن فئتين:

الأسالب القائمة على التدريب: تتطلب ضبطًا دقيقًا أو تدريب وحدات مخصصة على مجموعات بيانات ضخمة موسومة، مما يترتب عليه تكاليف حوسبة باهظة.
الأساليب القائمة على التدرج (Gradient-based) والخالية من التدريب: تعمل هذه الأساليب على تحسين التحكم المكاني عبر نشر التدرجات (backpropagating gradients) خلال عملية الاستنتاج لتعظيم التشابه بين خرائط الانتباه المتقاطع والمواقع المستهدفة. ومع ذلك، فإن هذا النهج مكلف حوسبيًا، حيث يتطلب ذاكرة وصول عشوائي للفيديو (VRAM) كبيرة (تتجاوز غالبًا 80 جيجابايت للهياكل الحديثة مثل Wan2.2) ويزيد من وقت الاستنتاج بنسبة تزيد عن 300%. كما يتطلب حسابًا صريحًا لخرائط الانتباه، وهو ما تتجنبه المحركات الحديثة (التي تستخدم FlashAttention) لتوفير الذاكرة.

أما البدائل الأخرى التي لا تعتمد على التدرج (مثل القناع الصلب - hard masking)، فهي تقدم عمومًا تحكمًا مكانيًا أضعف أو أقل موثوقية، لا سيًا في بنيات DiT.

المنهجية: GATO-Vid

يقترح المؤلفون GATO-Vid (توليد الفيديو عبر تحسين المسار التحليلي الخالي من التدرج)، وهو إطار عمل خالٍ من التدريب ومن التدرج يحقق توجيهًا مكانيًا دقيقًا دون الحاجة إلى الانتشار العكسي للتدرجات. الجوهر يكمن في استبدال عملية تحسين خرائط الانتباه المتقاطع المكلفة عبر التدرجات بهدف بديل يمكن حله تحليليًا.

1. بناء الهدف البديل (Surrogate Objective)

بدلاً من تحسين دالة الخسارة عبر التدرجات، يعرّف GATO-Vid دالة تسجيل $s$ بناءً على قيم الـ logits ما قبل الـ softmax (حاصل الضرب النقطي للاستعلامات والمفاتيح) لتقريب سلوك خسارة التحديد القياسية. تتكون هذه الدالة من ثلاثة حدود:

الحد (i): تعظيم الضرب النقطي بين رموز الفيديو المستهدفة (الاستعلامات في المنطقة المستهدفة $M$ ) ورموز النص المستهدفة (المفاتيح في المجموعة $T$ ).
الحد (ii): تقليل تأثير رموز النص غير المستهدفة ( $T^c$ ) على المنطقة المستهدفة.
الحد (iii): تقليل تأثير رموز النص المستهدفة على المناطق غير المستهدفة ( $M^c$ ).

من خلال تحليل هذه المجموعات، تقلل الطريقة التعقيد من $O(|Q| \cdot |K|)$ إلى ثلاثة ضربات نقطية لمتجهات، مما يتجنب الحساب الصريح لخرائط الانتباه.

2. التحسين التحليلي

استنتج المؤلفون حلاً مغلق الشكل (closed-form solution) لتعظيم هذه الدالة. وقد حددوا متجهات اتجاه مثالية (انحيازات) $b^+$ و $b^-$ :

$b^+$ يقع على نفس الخط مع الفرق بين متوسط مفتاح الرموز المستهدفة والرموز غير المستهدفة: $\mathcal{K}(T) - \mathcal{K}(T^c)$ .
$b^-$ يوازي متوسط المفتاح السالب للرموز المستهدفة: $-\mathcal{K}(T)$ .

3. آلية الحقن المدركة للهندسة (Geometry-Aware Injection)

إن استبدال أو إضافة هذه الانحيازات مباشرة إلى متجهات الاستعلام يؤدي إلى تعطيل التمثيلات الداخلية للشبكة لأن بنيات DiT تستخدم التطبيع التربيعي (RMS Normalization)، والتي تقوم بإسقاط المتجهات على سطح بيضاوي (hyper-ellipsoid). وللحفاظ على هذا المنطو (manifold) الهندسي، يستخدم GATO-Vid آلية حقن محددة:

التحجيم (Scaling): يتم تحجيم الانحياز بواسطة مقدار الاستعلام الأصلي ( $\|q_j\|$ ) ومعامل تحكم $\lambda$ .
الإسقاط المتعامد (Orthogonal Projection): بالنسبة لرموز الخلفية ( $M^c$ )، يتم إسقاط الانحياز السالب على المتمم المتعامد للاستعلام الأصلي لمنع الكتابة فوق الميزات الموجودة.
إعادة التطبيع (Renormalization): يتم إسقاط المتجه المعدل مرة أخرى على سطح RMSNorm البيضاوي.
التعديل المكاني (Spatial Modulation): لتجنب التجانس غير الطبيعي، يتم تعديل مقياس التوجيه $\lambda^+$ مكانيًا باستخدام توزيع غاوسي ثنائي الأبعاد طبيعي ملائم لصندوق الإحاطة المستهدف.

تُطبق هذه العملية أثناء العمل (on-the-fly) خلال أول 15% من دورات إزالة الضجيج وضمن أول 20 كتلة من المحولات (transformer blocks)، حيث تكون درجات الانتباه المتقاطع هي الأكثر أهمية لتحديد التخطيط (layout).

المساهمات الرئيسية

إطار عمل GATO-Vid: نهج خالٍ من التدريب ومن التدرج لتوليد الفيديو الموجه مكانيًا، يلغي الحاجة إلى الانتشار العكسي للتدرجات أثناء الاستنتاج في نماذج DiT الحديثة.
حل تحليلي مغلق الشكل: إعادة صياغة التحديد في الانتباه المتقاطع كهدف بديل يمكن حله تحليليًا، مما يوفر اتجاهات توجيه مثالية دون حساب خرائط الانتباه أو التدرجات.
الحقن المدرك للهندسة: آلية تطبق اتجاهات التوجيه التحليلية داخل كتل المحولات مع احترام صارم لمنطو RMS normalization، مما يضمن استقرار وكفاءة الاستنتاج.

النتائج التجريبية

تم تقييم الطريقة على نموذج Wan2.2، وهو نموذج مفتوح المصدر ومتطور لتحويل النص إلى فيديو، مقابل نماذج مرجعية تشمل Peekaboo و VideoTetris و SwitchCraft.

دقة التحديد (Localization Accuracy): يتفوق GATO-Vid بشكل كبير على جميع النماذج المرجعية. في المجموعة 1 (أجسام متنوعة)، حقق IoU قدره 0.363 مقارنة بـ 0.249 لأفضل نموذج مرجعي (Peekaboo) وحوالي 0.16 للنماذج الأخرى. وفي المجموعة 2 (مسارات اصطناعية وتحديات)، حقق IoU قدره 0.324 مقابل 0.171 لنموذج Peekaboo.
الكفاءة الحوسبية: يضيف GATO-Vid عبئًا طفيفًا على وقت التشغيل بنسبة 0.4%. في المقابل، تتطلب الأساليب القائمة على التدرجات وقتًا أكثر بنسبة ~300% وذاكرة VRAM هائلة. أما النماذج المرجعية الأخرى الخالية من التدرج فقد أضافت أعباء تتراوح بين 6% و 92%.
جودة الفيديو: بينما يحقق GATO-Vid تحديدًا مكانيًا فائقًا، إلا أنه يظهر مقايضة في مقاييس جودة الفيديو (VBench). وتحديدًا، فإن درجات الجودة الجمالية (AQ) ودرجة الديناميكية (DD) أقل من النموذج الأصلي، مما يشير إلى أن القيود المكانية الصارمة قد تؤدي إلى تركيبات أكثر سكونًا وتدهور في الخلفية. ومع ذلك، فإنه يحافظ على اتساق الموضوع (SC) واتساق الخلفية (BC) بمستويات مماثلة للنموذج الأساسي.

الأهمية والادعاءات

يدعي البحث أن GATO-Vid يعالج عقبة حرجة في توليد الفيديو القابل للتحكم: التكلفة الباهظة للتحسين القائم على التدرج في بنيات DiT واسعة النطاق. من خلال اشتقاق حل تحليلي، يثبت المؤلفون أن التحكم المكاني الدقيق يمكن تحقيقه دون تدريب أو انتشار عكسي للتدرجات، مما يجعله متاحًا للمستخدمين الذين يمتلكون وحدات معالجة رسومات استهلاكية (أقل من 32 جيجابايت من ذاكرة VRAM).

يقر المؤلفون بأن التحكم المكاني الأقوى يأتي على حساب ديناميكيات المشهد والجمالية في بعض الحالات. ومع ذلك، فهم يضعون GATO-Vid كخطوة مهمة نحو توليد فيديو فعال وقابل للتوسع ودقيق للنماذج القائمة على DiT، مما يوفر بديلًا حيويًا لكل من الأساليب المكلفة القائمة على التدريب والأساليب القائمة على التدرج كثيفة استهلاك الذاكرة. يسلط هذا العمل الضوء على إمكانات التلاعب بالانتباه التحليلي كأداة أساسية للتحكم في التوليد.