💻 computer science

CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition

يُعد CogOmniControl إطار عمل قائمًا على الاستدلال يعمل على تعزيز توليد الفيديو القابل للتحكم من خلال دمج نموذج CogVLM متخصص للإدراك الدقيق للقصد الإبداعي مع مولد CogOmniDiT موحد وآلية اختيار "الأفضل من N" ذات حلقة مغلقة، مما يحقق أداءً فائقًا في المعايير المهنية مقارنة بالنماذج الحالية.

المؤلفون الأصليون: Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج أفلام تحاول شرح مشهد معقد لفريق من الرسامين المتحركين (Animators). لديك رسم تخطيطي تقريبي (Storyboard)، ونموذج طيني لشخصية، وبعض الملاحظات الغامضة مثل "اجعل المشهد يبدو ممطراً وحزيناً".

في الماضي، كانت مولدات الفيديو بالذكاء الاصطناعي تشبه الرسامين الذين لا يمكنهم سوى اتباع تعليمات صارمة ودقيقة للغاية. إذا أعطيتهم رسماً تخطيطياً تقريبياً، فسيصابون بالارتباك، وينتج عن ذلك مشهد مشوش أو يتجاهلون ملاحظاتك العاطفية تماماً. لقد افتقروا إلى "العقل الإبداعي" لفهم لماذا أردت أن يبدو المشهد بهذا الشكل.

CogOmniControl هو نظام جديد مصمم لإصلاح هذا الأمر. إنه يعمل كـ مدير إبداعي فائق الذكاء يجلس بينك (المستخدم) وبين فريق التحريك (مولد الذكاء الاصطناعي). إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. المشكلة: "فجوة الترجمة"

أدوات الفيديو بالذكاء الاصطناعي الحالية بارعة في جعل الأشياء تبدو واقعية، لكنها تعاني عندما تعطيها تعليمات مجردة أو غير منظمة (مثل رسم يدوي أو نموذج طيني).

الطريقة القديمة: تقدم رسماً تخطيطياً؛ فيحاول الذكاء الاصطناعي نسخ الخطوط بدقة ولكن يفتقد إلى الشعور أو القصة.
النتيجة: يبدو الفيديو خاطئاً، أو تتغير ملامح وجه الشخصية (انزياح الهوية)، أو تكون الحركة متقطعة.

2. الحل: فريق مكون من جزأين

قام المؤلفون ببناء نظام يتكون من شخصيتين رئيسيتين تعملان معاً:

الشخصية (أ): "المدير الإبداعي" (CogVLM)

اعتبر هذا الشخص مخرج أفلام مدرب تدريباً عالياً شاهد آلاف فيديوهات إنتاج الأنمي الاحترافية.

ماذا يفعل: هو لا ينظر فقط إلى رسمك التخطيطي؛ بل يفهم قصدك. إذا عرضت عليه رسماً لشخصية تحت المطر، فإن هذا "المدير" لا يرى مجرد خطوط. بل يستنتج: "حسناً، الشخصية حزينة، يجب أن تكون الأرض مبتلة، والمطر يجب أن يسبب تموجات، والإضاءة يجب أن تكون كئيبة".
السحر: يقوم بتحويل أفكارك الغامدة والمجردة إلى خطة كثيفة وتفصيلية. إنه يعمل كمترجم، يحول "قصدك الإبداعي" إلى مجموعة واضحة من التعليمات التي يمكن للكمبيوتر اتباعها فعلياً.
التدريب: لقد علموا هذا "المدير" باستخدام بيانات حقيقية من استوديوهات الرسوم المتحركة الاحترافية (لوحات القصة والنماذج الطينية)، مما يجعله خبيراً في "كيف يجب أن تبدو الأشياء" وليس فقط "ما هي الأشياء التي تبدو هكذا".

الشخصية (ب): "الرسام المتحرك" (CogOmniDiT)

هذا هو مولد الفيديو الفعلي، وهو الذي يرسم البكسلات.

ماذا يفعل: يأخذ الخطة التفصيلية من المدير الإبداعي والرسم التخطيطي الأصلي، ثم يبني الفيديو.
السحر: ولأن هذا الرسام يستمع إلى خطة المدير التفصيلية، فإنه يعرف بالضبط كيف تتحرك الشخصية، وكيف يجب أن ترفرف الملابس، وكيف يتغير الضوء. إنه لا يخمن فحسب؛ بل يتبع خارطة طريق منطقية.

3. نظام "الحزام" (Harness): حلقة ضبط الجودة

هذا هو الجزء الأكثر ذكاءً. عادةً، تقوم بتوليد فيديو وتأمل أن يكون جيداً. يضيف CogOmniControl حزاماً لضبط الجودة.

الفكرة: قبل عرض الفيديو النهائي، يعمل المدير الإبداعي (CogVLM) كمنتج. يقول: "حسناً، نحتاج للتحقق من ثلاثة أشياء: هل وجه الشخصية ثابت؟ هل المطر يتحرك بشكل طبيعي؟ هل الإضاءة صحيحة؟"
العملية:
1. يقوم النظام بتوليد عدة نسخ من الفيديو (مثل تجربة 4 محاولات مختلفة).
2. يختار المدير "مفتشين" (مقيمين) محددين بناءً على ما يحتاجه المشهد. إذا كان المشهد يحتوي على شخصية معينة، فإنه يختار "مفتش الهوية". إذا كانت عاصفة، فإنه يختار "مفتش الفيزياء".
3. يقوم هؤلاء المفتشون بتقييم الفيديوهات.
4. يختار النظام النسخة الأفضل (Best-of-N) ويعرضها لك.

4. "اختبارات القيادة" الجديدة (Benchmarks)

لإثبات عمل نظامهم، لم يكتفِ المؤلفون بالاختبارات القياسية. بل بنوا مسارين جديدين يسمىان CogReasonBench و CogControlBench.

هذه المسارات مليئة بالتحديات الواقعية الاحترافية (مثل تحويل لوحة قصة أولية إلى مشهد سينمائي نهائي).
وجدوا أن نظامهم، CogOmniControl، يتفوق على جميع النماذج مفتوحة المصدر الأخرى ويقترب كثيراً من أفضل الأنظمة الخاصة والمكلفة.

ملخص التشبيه

تخيل أنك تريد خبز كعكة معقدة ومحددة للغاية.

الذكاء الاصطناعي القديم: تعطيه منديلاً عليه رسم كعكة سريع؛ فيحاول نسخ الرسم بدقة، مما ينتج عنه كعكة محترقة ومشوهة.
CogOmniControl: تسلم المنديل إلى رئيس طهاة (CogVLM). يقرأ الشيف رسمك، ويفهم أنك تريد "كعكة شوكولاتة رطبة بمركز من التوت"، ثم يكتب وصفة دقيقة. بعد ذلك، يتبع الخباز (CogOmniDiT) تلك الوصفة بدقة. وأخيراً، يتذوق الشيف عدة دفعات، ويختار الأفضل باستخدام قائمة مراجعة محددة، ويقدم لك الكعكة المثالية.

يزعم البحث أن هذا النهج يسد الفجوة بين "الأفكار البشرية الغامضة" و"التنفيذ الحاسوبي الدقيق"، مما يجعل من الممكن توليد فيديوهات عالية الجودة ذات مظهر احترافي من مجرد رسومات بسيطة وأفكار مجردة.

ملخص تقني: CogOmniControl

1. بيان المشكلة

حققت نماذج توليد الفيديو القائمة على الانتشار (diffusion-based) تقدماً ملحوظاً في الواقعية الفوتوغرافية وسلاسة الحركة. ومع ذلك، لا تزال هذه النماذج هشة عند مواجهة ظروف تحكم مجردة، أو متفرقة، أو معقدة كما هو شائع في سير عمل الإنتاج الاحترافي (مثل مسودات لوحات القصة "storyboard sketches"، أو الرندرات الطينية "clay renders"). تندرج الأساليب الحالية عادةً ضمن فئتين:

الأساليب القائمة على المهايئات (Adapter-based methods): وهي تقوم بحقن الشروط عبر وحدات إضافية، لكنها غالباً ما تفتقر إلى المرونة للتعامل مع القيود المتنوعة غير المتوافقة بكسلياً (non-pixel-aligned)، مما يؤدي إلى ظهور عيوب (artifacts) وفقدان للهوية (identity drift).
الأساليب المقترنة بنماذج الرؤية واللغة العامة (Generic VLM-coupled methods): وهي تدمج نماذج الرؤية واللغة العامة لتفسير الشروط. ومع ذلك، تعاني هذه النماذج العامة في فهم المقاصد الإبداعية الكامنة في السياقات الاحترافية، وغالباً ما تفشل في صياغة خطط توليد قائمة على معرفة متخصصة في المجال. علاوة على ذلك، يمكن لمخرجات استدلالها أن تُدخل ضوضاء، وهناك فجوة عدم توافق بين الاستدلال المجرد لنموذج VLM وتوليد الفيديو النهائي على مستوى البكسل.

يتمثل التحدي الجوهري في سد الفجوة بين شروط المستخدم المجردة وتوليد فيديو عالي الجودة وقابل للتحكم يتوافق مع القصد الإبداعي الحقيقي.

2. المنهجية

يقترح المؤلفون CogOmniControl، وهو إطار عمل قائم على الاستدلال يقوم بتحليل توليد الفيديو القابل للتحكم إلى مرحلتين متمايزتين: إدراك القصد الإبداعي والتوليد. يتكون الإطار من مكونين رئيسيين: CogVLM و CogOmniDiT.

2.1 CogVLM: إدراك القصد الإبداعي

CogVLM هو نموذج رؤية ولغة متخصص تم تدريبه ليعمل كـ "مخرج محترف". دوره هو استقبال مدخلات متعددة الوسائط (فيديو التحكم، صورة مرجعية، وصف نصي) وإدراك قصد المستخدم الإبداعي، وتحويل الإشارات المتفرقة إلى مخرجات استدلال منطقية وكثيفة.

استراتيجية التدريب: يخضع CogVLM لعملية تدريب من مرحلتين:
1. الضبط الدقيق الخاضع للإشراف (SFT): تم تدريبه على بيانات إنتاج أنمي حقيقية (لوحات القصة، الرندرات الطينية) لتعلم سير العمل الاحترافي.
2. الضبط الدقيق بالتعزيز (RFT):): يستخدم آلية مكافأة شاملة للمحتوى والتحقق من الحقائق (تعتمد على LLM-as-a-Judge) للتحسين من أجل القصد الإبداعي، والمعقولية الفيزيائية، وسلامة المعلومات، ووصف الحركة. يضمن ذلك أن يكون الاستدلال قائماً على الحقائق ويتجنب الهلوسة.
المخرجات: ينتج CogVLM مخرجات استدلال تفصل خطة التوليد، والأهم من ذلك، يحدد مجموعة من المقيمين (الأدوات) من مكتبة محددة مسبقاً تكون مناسبة لظروف المدخلات المحددة.

2.2 CogOmniDiT: توليد فيديو موحد

CogOmniDiT هو محول انتشار فيديو (Video Diffusion Transformer - DiT) يوحد إشارات التحكم المتنوعة ضمن تسلسل واحد.

تسلسل المدخلات: يقوم بدمج (concatenate) الرموز الكامنة الصاخبة (noisy latents)، والرموز الكامنة للصورة المرجعية، والرموز الكامنة لفيديو التحكم، والتمثيلات الدلالية عالية المستوى من CogVLM.
التدريب: يتبع استراتيجية SFT ثلاثية المراحل (التوليد في السياق، محاذاة الوصلة، التدريب المشترك) متبوعة بـ RFT. يعمل RFT على محاذاة مخرجات DiT على مستوى البكسل مع الاستدلال عالي المستوى لـ CogVLM باستخدام مكافآت لاتباع الشروط وجودة الفيديو.
الآلية: من خلال الاستفادة من التعلم في السياق (in-context learning)، يسمح CogOmniDiT للشروط والرموز الكامنة بنمذجة أنفسهم وبعضهم البعض عبر الانتباه الذاتي (self-attention)، مما يضمن حقناً دقيقاً لإشارات التحكم.

2.3 التحقق بالحلقة المغلقة (حامل المقيمين - Evaluator Harness)

الميزة الفريدة لـ CogOmniControl هي بنيته الشبيهة بـ "الحامل" (harness-like). فبدلاً من استخدام مجموعة ثابتة من المقيمين لجميع عمليات التوليد، يقوم CogVLM باختيار مقيمين محددين ديناميكياً (مثل: اتساق الهوية، الديناميكيات الفيزيائية، اتباع ملاحظات لوحة القصة) بناءً على مدخلات التحكم.

اختيار أفضل $N$ من $N$ (Best-of-N Selection): يقوم النظام بتوليد عدة مرشحات للفيديو ( $N$ ) ويستخدم المقيمين الذين اختارهم CogVLM لتسجيل نقاطها. يتم اختيار المرشح صاحب أعلى درجة، مما يخلق مساراً مغلق الحلقة من: الاستدلال-التوليد-التحقق.

3. الاختبارات المعيارية والبيانات

لمعالجة نقص الاختبارات المعيارية للقصد الإبداعي الاحترافي، قدم المؤلفون مجموعتي بيانات جديدتين مشتقتين من مسارات إنتاج الرسوم المتحركة الاحترافية في العالم الحقيقي:

CogReasonBench: مصمم لتقييم قدرة الـ VLM على إدراك القصد الإبداعي والقيام بالاستدلال من مدخلات متعددة الوسائط.
CogControlBench: مصمم لتقييم جودة توليد الفيديو القابل للتحكم واتباع الشروط تحت الظروف المجردة والمتفرقة.
على عكس الاختبارات المعيارية الحالية التي تستخدم غالباً بيانات محاكية أو اصطناعية، تستخدم هذه الاختبارات بيانات أصلية من سير العمل الاحترافي (لوحات القصة، الرندرات الطينية) والفيديوهات النهائية المقابلة لها.

4. النتائج التجريبية

أُجريت التجارب على الاختبارات المعيارية المقترحة وتمت مقارنتها مع أفضل النماذج مفتوحة المصدر (مثل VACE، VINO، OmniWeaving) والأنظمة المملوكة (مثل Kling، Seedance).

أداء CogVLM: في اختبار CogReasonBench، تفوق CogVLM المدرب بـ RFT بشكل كبير على نماذج VLM العامة (مثل Qwen3-VL-Thinking) في القصد متعدد الوسائط، وسلامة المعلومات، ووصف الحركة، مما يثبت ضرورة التدريب المتخصص في المجال.
أداء CogOmniControl: في اختبار CogControlBench، حقق CogOmniControl أعلى متوسط درجة (0.727) بين النماذج مفتوحة المصدر، متفوقاً على VINO (0.686) و VACE-Wan2.1 (0.665). وقد قلص الفجوة في الأداء مع أقوى نظام مملوك، Seedance2.0 (0.750).
تأثير Best-of-N: أدى استخدام اختيار Best-of-N مع المقيمين المختارين تكيفياً إلى تحسين الأداء (0.742)، مما يؤكد فعالية بنية الحامل ذات الحلقة المغلقة.
النتائج النوعية: تظهر المقارنات البصرية أن CogOmniControl ينتج فيديوهات ذات اتساق بصري أفضل، وحركة أكثر سلاسة، والتزام أكثر دقة بالضوابط المجردة (مثل الرندرات الطينية) مقارنة بالأساليب القائمة على المهايئات التي غالباً ما تعاني من العيوب وعدم المحاذاة الدلالية.

5. الأهمية والادعاءات

يزعم البحث أن CogOmniControl يمثل تحولاً من مجرد حقن الشروط البسيط إلى التوليد القائم على الاستدلال. وتكم-ن في:

سد الفجوة الإدراكية: من خلال تدريب CogVLM متخصص على بيانات احترافية، نجح الإطار في تفسير الشروط المجردة ومواءمتها مع القصد الإبداعي عالي المستوى، وهي مهمة تفشل فيها نماذج VLM العامة.
بنية الحلقة المغلقة: يسمح دمج حوامل المقيمين التكيفية بعملية تصحيح ذاتي للتوليد، مما يتيح اختيار Best-of-N المصمم خصيصاً للقصد الإبداعي لكل مدخل.
الصلة المهنية: من خلال استخدام بيانات واختبارات معيارية من الإنتاج الحقيقي، يعالج الإطار الاحتياجات المحددة لسير العمل الاحترافي (لوحات القصة، الرندرات الطينية) بدلاً من مجرد مهام تحويل النص إلى فيديو العامة.

يخلص المؤلفون إلى أن CogOmniControl يتفوق باستمرار على مولدات الفيديو القابلة للتحكم مفتوحة المصدر الحالية، ويثبت أن أطر العمل القائمة على الاستدلال يمكنها التعامل بفعالية مع تعقيدات الإنتاج المرئي الاحترافي.