💻 computer science

VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System

يقدم VideoCoCo إطار عمل ذا محرك مزدوج وكيل (agentic) يستفيد من كود Blender القابل للتنفيذ كـ "سلسلة أفكار" على مستوى العملية لإنشاء فيديوهات متسقة فيزيائياً عبر إنشاء مسودة مكانية-زمانية حتمية أولاً ثم تحسينها إلى مخرج واقعي، متفوقاً بشكل كبير على النماذج المرجعية الحالية في معايير الاتساق الفيزيائي.

المؤلفون الأصليون: Haodong Li, Tianfei Ren, Xiaoxiao Ma, Chunmei Qing, Zhen Fang, Sipeng He, Ziyu Guo, Haoyu Wu, Juanxi Tian, Yihang Zou, Ruichuan An, Dongzhi Jiang, Boxue Yang, Ji Xie, Xu Huang, Wenhao Yan, Jialv Zou

نُشر 2026-07-31

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Haodong Li, Tianfei Ren, Xiaoxiao Ma, Chunmei Qing, Zhen Fang, Sipeng He, Ziyu Guo, Haoyu Wu, Juanxi Tian, Yihang Zou, Ruichuan An, Dongzhi Jiang, Boxue Yang, Ji Xie, Xu Huang, Wenhao Yan, Jialv Zou, Zhengrong Yue, Yaxin Luo, Xiaotong Li, Yuzhu Wang, Junyan Ye, Jinjing Zhao, Zehui Chen, Lin Chen, Renye Yan, Feng Zhao, Pheng-Ann Heng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية خبز كعكة بمجرد الهمس له: "اجعلها لذيذة". قد يفهم الروبوت كلمة "لذيذة"، ولكن بدون وصفة، ليس لديه أدنى فكرة عما إذا كان يجب خلط البيض قبل الدقيق، أو كم من الوقت يجب أن يخبزها، أو لماذا لا ينبغي أن تتحول الكعكة إلى قطعة طوب. هذا هو الصراع الحالي في عالم توليد الفيديو باستخدام الذكاء الاصطناعي. يبني العلماء نماذج يمكنها تحويل الأوصاف النصية إلى صور متحركة، لكن هؤلاء "الحالمين" من الذكاء الاصطناعي غالبًا ما يعانون مع قوانين الفيزياء. قد يجعلون كرة تطفو للأعلى بدلاً من السقوط، أو يجعلون كأسًا يتحطم قبل أن يصطدم بالأرض، لأن الذكاء الاصطناعي يخمن تسلسل الأحداث بدلاً من الفهم الحقيقي لكيفية عمل العالم.

لإصلاح ذلك، يبحث الباحثون عن طريقة تجعل الذكاء الاصطناعي "يفكر" قبل أن يتصرف، وهو مفهوم يُعرف باسم سلسلة الأفك‏ت (Chain-of-Thought). بدلاً من القفز مباشرة إلى الصورة النهائية، يتم تشجيع الذكاء الاصطناعي على وضع خطة وسيطة. فكر في الأمر كمهندس معماري يرسم مخططات قبل بناء منزل، أو طاهٍ يكتب وصفة قبل الطبخ. السؤال الكبير هو: ما هو نوع المخطط الأفضل؟ هل هي قائمة من الكلمات؟ أم بعض الرسومات الأولية؟ أم شيئاً أكثر دقة؟ هذا هو اللغز الذي تسعى ورقة البحث VideoCoCo لحله، بهدف جعل فيديوهات الذكاء الاصطناعي لا تبدو جميلة فحسب، بل تلتزم أيضاً بقواعد الواقع.

سحر "الكود كـ سلسلة أفك‏ت": فريق الأحلام ذو المحركين

تعرف على VideoCoCo، وهو نظام جديد يعمل مثل مخرج ذكي للغاية وفنان موهوب يعملان معاً لصنع فيديوهات لا تكسر قوانين الفيزياء. أدرك الباحثون أنه عندما يحاول الذكاء الاصطناعي تخمين كيفية تطور المشهد من مجرد وصف نصي، فإنه غالباً ما يخطئ في "القصة". لذا، منحوا الذكاء الاصطناعي أداة جديدة: الكود القابل للتنفيذ (executable code).

فكر في العملية كالتالي:

المخرج (وكيل البرمجة): عندما تعطي الذكاء الاصطناعي أمراً مثل "قطعة زبدة تذوب في مقلاة ساخنة"، فإن المخرج لا يتخيل المشهد فحسب. بدلاً من ذلك، يكتب برنامج بلندر (Blender program) (مجموعة من التعليمات الحاسوبية). هذا الكود يشبه وصفة صارمة وغير قابلة للكسر. فهو يخبر الكمبيوتر صراحةً: "ضع قطعة الزبدة هنا. أشعل الحرارة. اجعل الزبدة تلين، وتترهل، وتنتشر على مدار 5 ثوانٍ بالضبط". ولأن هذا كود، فإنه يجب أن يعمل تماماً كما هو مكتوب. إنه ليس تخميناً؛ بل هو محاكاة.
البيئة التجريبية (محرك المحاكاة): يقوم الكمبيوتر بتشغيل هذا الكود في ساحة لعب آمنة ومعزولة تسمى "البيئة التجريبية" (sandbox). النتيجة ليست فيلماً جميلاً بعد؛ بل هي مسودة حتمية. تخيل رسوماً متحركة بسيطة مصنوعة من الصلصال الأبيض. تبدو كأنها رسم تخطيطي مصنوع من عجينة اللعب، لكنها دقيقة تماماً في حركتها. فالزبدة تذوب تماماً كما تقول الفيزياء، لأن الكود أجبرها على حدوث ذلك.
الفنان (محرك الفيديو التوليدي): الآن، يأتي دور المحرك الثاني. هذا هو الفنان الذي يأخذ ذلك الرسم التخطيطي الأبيض ويقوم بالرسم فوقه ليجعله يبدو كفيلم حقيقي عالي الدقة. ولأن الفنان لديه بالفعل نسخة "الصلصال" المثالية ليقلدها، فإنه لا يحتاج لتخمين كيفية حركة الزبدة. هو فقط يركز على جعلها تبدو لامعة، وذهبية، ولذيذة.

لماذا يعد هذا النهج تغييراً جذرياً في قواعد اللعبة

تجادل الورقة البحثية بأن الأساليب السابقة حاولت القيام بالكثير في وقت واحد. حاولت بعض نماذج الذكاء الاصطناعي كتابة خطة نصية (مثل "الزبدة تذوب")، لكن النص غامض. وحاولت نماذج أخرى تخمين الإطار التالي للفيديو، لكن ذلك يشبه محاولة رسم لوحة فنية رائعة من خلال النظر إلى صورة ضبابية للإطار السابق.

يقول VideoCoCo: "توقفوا عن تخمين الفيزياء. فقط قوموا بمحاكاتها."

من خلال استخدام الكود كـ "سلسلة أفك‏ت"، يقوم النظام بفصل منطق الحركة عن جمال الصورة. يتولى الكود مهمة "ماذا يحدث ومتى"، بينما يتولى محرر الفيديو مهمة "كيف يبدو شكلها". وهذا تحول كبير لأن هذا يحول لعبة التخمين إلى عملية من خطوتين، حيث تكون الخطوة الأولى موثوقة بنسبة 100%.

الدليل في النتيجة (وفي الفيزياء)

اختبر الباحثون نظامهم في تحديين رئيسيين: PhyGenBench و VBench-2.0. هذه بمثابة امتحانات للذكاء الاصطناعي، تختبر تحديداً ما إذا كانت الفيديوهات تتبع قواعد العالم الحقيقي مثل الجاذبية، والحرارة، وكيفية سلوك المواد.

النتائج: قبل VideoCoCo، سجل الذكاء الاصطناعي الأساسي (المسمى OmniWeaving) متوسط 0.475 في اختبار الفيزياء. وبعد إضافة نظام "الكود كـ سلسلة أفك‏ت"، قفزت الدرجة إلى 0.558. وفي الاختبار الآخر (VBench-2.0)، ارتفعت الدرجة بشكل هائل من 52.18% إلى 77.88%.
لحظة الإدراك: حدثت أكبر التحسينات في المجالات التي يفشل فيها الذكاء الاصطناعي عادةً: الديناميكا الحرارية (مثل الحرارة والذوبان) وديناميكا المواد (كيف تنكسر الأشياء أو تتدفق). وهذا يثبت أن مسودة الكود كانت تعلم الذكاء الاصطناعي كيفية عمل الفيزياء فعلياً، وليس فقط جعل الفيديو يبدو أجمل.

ما تنفيه الورقة البحثية

من المهم ملاحظة ما لا يمثله VideoCoCo. تجادل الورقة صراحة ضد فكرة أنه يمكننا ببساطة تدريب ذكاء اصطناعي أكبر لـ "تعلم" الفيزياء من ملايين الفيديوهات. فقد وجدوا أنه بدون خطة صريحة وقابلة للتنفيذ (الكود)، لا يزال الذكاء الاصطناعي يكافح لضبط تسلسل الأحداث بشكل صحيح. كما أظهروا أن مجرد امتلاك خطة نصية بسيطة أو بضعة إطارات رئيسية ليس كافياً؛ يجب أن تكون الخطة عبارة عن كود قابل للتنفيذ يمكن للكمبيوتر تشغيله فعلياً لإنشاء مسودة.

العقبة والمستقبل

بينما تعد النتائج مثيرة للإعجاب، إلا أن الورقة البحثية صادقة بشأن القيود. النظام حالياً أبطأ قليلاً لأنه يتعين عليه كتابة الكود، وتشغيل المحاكاة، ثم رسم الفيديو. الأمر يشبه امتلاك مهندس معماري بارع ورسام، لكن الأمر يستغرق وقتاً أطول قليلاً من مجرد التقاط صورة. كما أن النظام محدود بمدى تعقيد محاكي بلندر؛ فالأشياء شديدة التعقيد مثل المياه الدوامية والفوضوية قد تظل صعبة المحاكاة بدقة في الوقت الحالي.

ومع ذلك، يقترح المؤلفون أن نهج "الكود كـ سلسلة أفك‏ت" هو طريقة جديدة قوية للتفكير في الذكاء الاصطناعي. بدلاً من الأمل في أن يفهم الذكاء الاصطناعي العالم سحرياً، يمكننا إعطاؤه أداة لبناء نموذج للعالم أولاً، ثم السماح له بإنشاء الفن بناءً على ذلك الأساس المتين. إنه تذكير بأنه في بعض الأحيان، أفضل طريقة لإنشاء شيء جميل هي أولاً بناء شيء يعمل.

ملخص تقني: VideoCoCo

بيان المشكلة

حققت نماذج تحويل النص إلى فيديو (T2V) دقة بصرية عالية، لكنها لا تزال تعاني من أجل تحقيق ديناميكيات متسقة فيزيائياً. وتكمن المشكلة الجوهرية، التي تُسمى "العتامة السببية" (Causal Opacity)، في أن النصوص التوجيهية تضغط الأحداث الفيزيائية المعقدة في أوصاف دلالية مجردة للغاية. وبناءً على ذلك، يجب على النماذج استنتاج التطور الزماني والمكاني للمشهد ضمنياً دون توجيه صريح للمبادئ الفيزيائية الكامنة وراءه.

تحاول مناهج "سلسلة الأفكار" (Chain-of-Thought - CoT) الحالية التخفيف من حدة هذه المشكلة عبر إدخال تمثيلات وسيطة مثل الخطط النصية، أو التخطيطات (layouts)، أو الإطارات المفتاحية (keyframes). ومع ذلك، فإن هذه الوسائط غالباً ما تكون غير قابلة للتنفيذ (تفتقر إلى القيود الفيزيائية الدقيقة) أو متباعدة زمنياً (تفشل في التقاط التطور المستمر). علاوة على ذلك، فإن الطرق التي تعتمد على البحث في وقت الاختبار أو الاستدلال بالحالة البصرية تظل وصفية أو انتقائية بدلاً من تجسيد عملية كاملة وقابلة للفحص. وهذا يترك فجوة في توليد فيديوهات يلتزم فيها التطور الزمني بدقة بالقوانين الفيزيائية.

المنهجية: VideoCoCo

يقترح المؤلفون إطار عمل VideoCoCo، وهو إطار عمل ثنائي المحركات يعتمد على الوكلاء (agentic dual-engine framework)، يستخدم الكود القابل للتنفيذ كـ "سلسلة أفكار" على مستوى العملية. يقوم النظام بفصل الاستدلال على مستوى العملية عن التحقيق البصري عالي الدقة من خلال مرحلتين متميزتين:

1. محرك المحاكاة القابل للتنفيذ (الاستدلال بالعملية)

بدلاً من مطالبة مولد الفيديو باستنتاج الديناميكيات، يقوم وكيل برمجي (coding agent) بتوليف برنامج بلندر بلغة بايثون (Blender Python program) مستقل بذاته بناءً على نص المستخدم.

الكود كـ "سلسلة أفكار" (Code-as-CoT): يقوم الوكيل بكتابة كود يحدد بوضوح الأجسام، والخصائص الفيزيائية، والتطور الزماني. تم اختيار هذا التمثيل لأنه صريح (لا يوجد غموض)، وقابل للتنفيذ (يلتزم بعملية ملموسة)، وقابل للفحص.
التنفيذ في بيئة معزولة (Sandboxed Execution): يتم تنفيذ الكود الناتج في بيئة "بلندر" معزولة لإنتاج مسودة زمانية ومكانية حتمية.
خصائص المسودة: المخرج هو محاكاة منخفضة الدقة تشبه "الصلصال الأبيض". تفتقر إلى الأنسجة والإضاءة الواقعية، لكنها كثيفة زمنياً، حيث توفر هيكلاً بنائياً دقيقاً لما يحدث ومتى يحدث، مما يضمن الاتساق الفيزيائي قبل تخليق أي بكسلات.

2. محرك الفيديو التوليدي (التحقيق البصري)

يركز المحرك الثاني حصرياً على ترجمة العملية المُجسدة إلى فيديو واقعي، متجنباً الحاجة إلى إعادة الاستدلال حول الديناميكيات.

بناء التعليمات: يقوم وكيل التعليمات بصياغة تعليمات تحرير ( $e$ ) بناءً على النص الأصلي ( $p$ ) والمسودة المُخرجة ( $d$ ). تصف هذه التعليمات المظهر (المواد، الإضاءة، الأسلوب) بشكل صريح مع تجنب إعادة تعريف الحركة الموجودة بالفعل في المسودة.
التحرير المشروط بالمسودة: يأخذ نموذج تحرير الفيديو ( $G_\theta$ ) المسودة ( $d$ ) والتعليمات ( $e$ ) كشروط لتوليد الفيديو النهائي عالي الدقة ( $\hat{v}$ ). تعمل المسودة كمرساة للهيكل الزماني والمكاني، بينما يتولى النموذج معالجة المظهر الواقعي.

3. بناء البيانات: VideoCoCo-3K

لتدريب محرر الفيديو على قبول المسودات المحاكية (التي تختلف اختلافاً كبيراً عن توزيعات الفيديو الطبيعية)، قام المؤلفون ببناء VideoCoCo-3K.

خط الإنتاج: بالنسبة لـ 3,000 نص توجيهي، يقوم محرك المحاكاة بتوليد المسودات، ويقوم وكيل التعليمات بإنشاء مطالبات التحرير.
تقطير المعلم (Teacher Distillation): يقوم محرر "معلم" عالي الدقة (Seedance 2.0) بتوليد فيديوهات واقعية مستهدفة ( $y$ ) مشروطة بالمسودات والتعليمات.
النتيجة: مجموعة بيانات من الثلاثيات $(d, e, y)$ التي تربط العمليات ذات الأساس الفيزيائي بتحقيقاتها الواقعية.

4. التدريب والاستدلال

التدريب: يتم تدريب المحرر باستخدام هدف تقليل الضجيج الشرطي القياسي (conditional denoising objective) على مجموعة بيانات VideoCoCo-3K. تقارن التجارب بين الضبط الدقيق الكامل (full fine-tuning) وتكيف LoRA الموفر للمعلمات.
الاستدلال: يعمل النظام من البداية إلى النهاية انطلاقاً من نص توجيهي واحد فقط. يقوم الوكيل البرمجي بتوليد الكود، وتقوم البيئة المعزولة برسم المسودة، ويقوم وكيل التعليمات بصياغة المطالبة، ثم ينتج المحرر المكيّف الفيديو النهائي. لا تتطلب عملية الاستدلال أي مسودات حقيقية أو تسميات بشرية.

المساهمات الرئيسية

إطار عمل VideoCoCo: نظام ثنائي المحركات يعتمد على الوكلاء يستخدم كود بلندر القابل للتنفيذ كـ "سلسلة أفكار" على مستوى العملية، مما يفصل بين المحاكاة الزمانية والمكانية وبين التحرير الواقعي.
مجموعة بيانات VideoCoCo-3K: مجموعة بيانات منسقة تضم 3,000 ثلاثية (مسودة–تعليمات–هدف) تم إنتاجها عبر خط إنتاج يعتمد على الوكلاء، مما يوفر الإشراف اللازم لتكييف محركات الفيديو التوليدية مع المسودات المحاكية.
أداء رائد (State-of-the-Art): حقق إطار العمل أفضل متوسط درجات في كل من PhayGenBench و VBench-2.0، مما يثبت أن الكود القابل للتنفيذ يعمل كوسيط فعال، وقابل للتحكم، وقابل للفحص لتوليد فيديو متسق فيزيائياً.

النتائج التجريبية

يقيم البحث VideoCoCo مقابل مجموعة واسعة من النماذج مغلقة المصدر (مثل Sora، Kling، Gen-3) ومفتوحة المصدر (مثل HunyuanVideo، CogVideoX، Wan2.2).

PhyGenBench: حسن VideoCoCo متوسط درجة خط الأساس OmniWeaving من 0.475 إلى 0.558، محققاً أعلى درجة إجمالية. وقد أظهر مكاسب كبيرة في ديناميكيات المواد (+0.133) والحرارة (+0.078)، وهي الفئات التي تفشل فيها عادةً النماذج المدفوعة بالمظهر.
VBench-2.0: حسن الإطار متوسط درجة المعقولية الفيزيائية من 52.18% إلى 77.88% (بزيادة قدرها 25.70 نقطة). وحقق أفضل الدرجات في الميكانيكا (92.31%) والديناميكا الحرارية (72.92%).
دراسات الاستئصال (Ablation Studies):
- مساهمة المسودة: حتى بدون ضبط محرر الفيديو (Tuning-Free)، أدت المسودة القابلة للتنفيذ وحدها إلى تحسين متوسط الدرجة من 0.475 إلى 0.506، مما يؤكد أن المسودة توفر الديناميكيات الفيزيائية.
- استراتيجية التكيف: حقق تكيف LoRA أفضل النتائج (0.558)، متفوقاً على الضبط الدقيق الكامل (0.535). ويعزو المؤلفون ذلك إلى الطبيعة الضيقة للمهمة (إعادة تنسيق محاكاة)، حيث يحافظ LoRA على المسبقات البصرية القوية للنموذج الأساسي مع تعلم عملية الربط بين المسودة والواقع، بينما قد يؤدي الضبط الدقيق الكامل إلى الإفراط في التخصيص (overfitting).

الأهمية والادعاءات

يزعم البحث أن الكود القابل للتنفيذ يوفر تمثيلاً وسيطاً متفوقاً لتوليد الفيديو مقارنة بالخطط النصية أو الحالات البصرية المتباعدة. ومن خلال إخراج العملية السببية إلى محاكاة حتمية، يعالج VideoCoCo مشكلة "العتامة السببية" في توليد الفيديو من النص.

ويؤكد المؤلفون أن هذا النهج:

يفصل بين المهام الصعبة المتمثلة في الديناميكيات الوفية والمظهر الواقعي، مما يسمح للمحركات المتخصصة بمعالجة كل منهما.
يضمن أن التطور الفيزيائي محدد صراحةً وقابل للفحص قبل بدء التخليق البصري.
يثبت أن "الكود كـ سلسلة أفكار" (Code-as-CoT) يمكن توسيعه من مجرد معاينة صور إلى عمليات زمنية كاملة، مما يوفر مساراً نحو نمذجة عالم توليدية أكثر تحكماً وتأسيساً على القواعد الفيزيائية.

ويقر البحث بالقيود، مشيراً إلى أن هذا النهج يضيف تأخراً في الاستدلال (latency) وهو مقيد بقدرة محاكي بلندر التعبيرية، خاصة فيما يتعلق بالظواهر المعقدة للغاية مثل السوائل المضطربة. ويُقترح في العمل المستقبلي استكشاف دمج محركات فيزيائية متخصصة (مثل Taichi) وتقطير المعرفة لدمج هذه المسبقات مباشرة في النماذج التي تعمل من البداية إلى النهاية.