VGI-Bench: Probing Visual Intelligence in Video Generation Models
تقدم هذه الورقة البحثية VGI-Bench، وهو معيار مرجعي شامل يتكون من 27 مهمة و810 نماذج مصممة لتقييم قدرات الاستنتاج البصري لنماذج توليد الفيديو بدقة، مما يكشف أن حتى الأنظمة المتطورة مثل Seedance 2.0 لا تحقق سوى 51.0% من الدقة وتواجه صعوبة في التصحيح الذاتي الموثوق أثناء عملية التوليد.
المؤلفون الأصليون:Xuan He, Cong Wei, Yuhao Cheng, Linrui Ma, Yuxuan Zhang, Zuojun Li, Yuhao Wen, Jize Jiang, Zeyi Liu, Yuren Hao, Songcheng Cai, Keming Wu, Penghui Du, Kai Zou, Rui Yang, Chenkai Sun, Ke Yang, Ping NieXuan He, Cong Wei, Yuhao Cheng, Linrui Ma, Yuxuan Zhang, Zuojun Li, Yuhao Wen, Jize Jiang, Zeyi Liu, Yuren Hao, Songcheng Cai, Keming Wu, Penghui Du, Kai Zou, Rui Yang, Chenkai Sun, Ke Yang, Ping Nie, Kelsey R Allen, Chenglong Wang, Michel Galley, Jianfeng Gao, ChengXiang Zhai
تخيل حاسوباً لا يكتفي بمراقبة العالم، بل يمكنه تخيل كيف يتغير. لسنوات، تم تدريب الذكاء الاصطناعي على التعرف على الصور الثابتة: قطة تجلس على حصيرة، أو سيارة مركونة في شارع. ومؤخراً، تعلمت هذه الأنظمة توليد الفيديوهات، وإنشاء صور متحركة تبدو واقعية بشكل مدهش. ويتساءل العلماء الآن عما إذا كانت مولدات الفيديو هذه تقوم بشيء أعمق من مجرد محاكاة الحركة؛ فهم يتساءلون عما إذا كانت الآلات بدأت تفهم قواعد العالم الفيزيائي — الجاذبية، والسبب والنتيجة، وكيفية تفاعل الأشياء — بحيث يمكنها "التفكير" في تسلسل الأحداث قبل إظهار النتيجة. هذا السؤال يقع في قلب جهد جديد لقياس ما إذا كان بإمكان الذكاء الاصطناعي المولد للفيديو أن يمارس التفكير المنطقي حقاً، أم أنه مجرد يخمن النهاية المحتملة لما يبدو عليه المشهد.
لقد بنى فريق من الباحثين ساحة اختبار جديدة تسمى VGI-Bench للإجابة على هذا السؤال. فبدلاً من مطالبة الذكاء الاصطناعي بحل ألغاز مجردة مرسومة بخطوط بسيطة، قاموا بتغذيته بصور واقعية لمشاهد يومية وطلبوا منه توليد فيديوهات تتبع قواعد منطقية محددة. صُممت المهام لتكون صعبة ولكنها ممكنة، مما يتطلب من الآلة محاكاة عملية خطوة بخطوة. على سبيل المثال، قد يُعرض على الذكاء الاصطناعي صورة لسيارة لعبة عند بداية متاهة، ويُطلب منه توليد فيديو لها وهي تقود نحو المخرج دون الاصطدام بالجدران. ومهمة أخرى قد تعرض صندوقاً كرتونياً مسطحاً وغير مطوي، وتطلب من الذكاء الاصطناعي تحريكه وهو يطوي نفسه ليصبح شكلاً ثلاثي الأبعاد. لم يكتفِ الباحثون بالنظر إلى الصورة النهائية فحسب، بل فحصوا الفيديو بأكر بالكامل ليروا ما إذا كانت الآلة تتبع القواعد في كل لحظة، مع التحقق من أمور مثل مرور الأشياء عبر الجدران، أو انتقال السيارات آنياً (teleporting)، أو اختفاء العناصر وظهورها مجداً.
وعندما اختبروا أكثر نماذج توليد الفيديو تقدماً المتاحة اليوم، جاءت النتائج مزيجاً من الوعد والقصور. فالنظام الأفضل أداءً، وهو نموذج يسمى Seedance 2.0، تمكن من حل حوالي نصف المهام بشكل صحيح تحت هذه الظروف الصارمة. وبينما استطاع الذكاء الاصطناعي غالباً التقاط الفكرة العامة، إلا أنه فشل كثيراً في الحفاظ على قصة متسقة. ففي كثير من الفيديوهات، انهارت قوانين الفيزياء: حيث لم يتدحرج كوب موضوع على جهاز كمبيوتر محمول مائل، أو قدت سيارة مباشرة عبر جدار صلب. كما واجهت الآلات صعوبة في اتباع القواعد، حيث قامت أحياناً بتخطي خطوات ضرورية أو تغيير هوية الكائن في منتصف الفيديو. وحتى عندما كانت النتيجة النهائية تبدو صحيحة، كان المسار المؤدي إليها مليئاً بحركات مستحيلة، مما يشير إلى أن النماذج جيدة في التنبؤ بالحالة النهائية ولكنها ضعيفة في محاكة الرحلة للوصول إليها.
تعمق الباحثون في الدراسة لفهم سبب حدوث هذه الإخفاقات. ووجدوا أن نمط الصورة المدخلة كان يؤثر بشكل كبير؛ فعندما زُوّد الذكاء الاصطناعي بصورة واقعية، كان أداؤه أفضل مما لو أُعطي رسماً خطياً بسيطاً، مما يشير إلى أن النماذج مدربة على صور من العالم الحقيقي وتجد صعوبة عندما يتغير النمط البصري. كما نظروا في كيفية "تفكير" الذكاء الاصطناعي أثناء إنشاء الفيديو، خطوة بخطوة. واكتشفوا أن النماذج لا تصحح أخطاءها حقاً أثناء العمل. فإذا ارتكب الذكاء الاصطناعي خطأ في المراحل الأولى من توليد الفيديو، فإنه يميل إلى التمسك بهذا الخطأ، حيث يقوم بصقل الفكرة الخاطئة بدلاً من إصلاحها. إن الآلة تلتزم بفرضية معينة في وقت مبكر ثم تقوم بتحسينها، حتى لو كانت تلك الفرضية تنتهك قوانين الفيزياء أو قواعد المهمة.
تشير هذه الدراسة إلى أنه بينما أصبحت نماذج توليد الفيديو أدوات قوية لإنشاء المحتوى البصري، إلا أنها لم تطور بعد نوع التفكير المنطقي الموثوق والمستمر خطوة بخطوة الذي يستخدمه البشر للتنقل في العالم. يمكنها محاكاة المظاهر والحركات البسيطة، لكنها تفتقر إلى الفهم العميق والمتسق لكيفية عمل الأشياء فعلياً بمرور الوقت. ويوفر هذا المعيار الجديد طريقة واضحة لقياس هذه الفجوة، موضحاً أن الأنظمة الحالية بعيدة عن كونها تمتلك قدرة حقيقية على التفكير البصري المنطقي. ومن خلال تسليط الضوء على مواضع فشل هذه النماذج بدقة — سواء في تتبع الأشياء، أو اتباع القواعد، أو تصحيح الأخطاء — يقدم هذا البحث خارطة طريق لبناء الجيل القادم من الذكاء الاصطناعي الذي يمكنه حقاً تخيل المستقبل.
ملخص تقني: VGI-Bench: سبر أغوار الذكاء البصري في نماذج توليد الفيديو
1. بيان المشكلة
تشير الدراسات الحديثة إلى أن نماذج توليد الفيديو تتطور من مجرد محاكيات بصرية سلبية إلى "مستنتجات بصرية" محتملة قادرة على الاستنتاج من خلال الصفر (zero-shot reasoning) عبر تسلسلات الإطارات المولدة. ومع ذلك، لا يزال تقييم هذه القدرة يمثل تحدياً بسبب ثلاث فجوات حرجة في المعايير المرجعية الحالية:
عدم تطابق التوزيع: تعتمد العديد من المعايسات المرجعية على مدخلات تجريدية أو رسومات خطية، مما يبتعد عن النماذج المسبقة للصور الطبيعية للنماذج الفيديوية الحديثة، مما يؤدي إلى إخفاقات تعكس عدم تطابق النطاق البصري بدلاً من قيود الاستنتاج.
الافتقار إلى الحساسية للعملية: غالباً ما تسمح مهام الاستنتاج البصري الحالية للنماذج بالإجابة مباشرة من المدخلات أو التركيز فقط على الحالة النهائية، مما يفشل في اختبار ما إذا كان النموذج يمكنه محاكاة مسارات وسيطة صالحة وعمليات متطورة.
الصعوبة غير المنضبطة: تتضمن المعايير المرجعية الحالية مهام إما سهلة الحل بشكل بديهي أو بعيدة تماماً عن النطاق الممكن للنماذج الحالية (على سبيل المثال، تتطلب خبرة غير بصرية أو تتجاوز مدد الفيديو العملية)، مما يجعل التقييم التشخيصي صعباً.
2. المنهجية: VGI-Bench
لمعالجة هذه الفجوات، قدم المؤلفون VGI-Bench، وهو معيار مرجعي يحتوي على 27 مهمة و810 نموذجاً مصممة لتقييم الذكاء البصري عند حدود القدرة الحالية لنماذج توليد الفيديو.
2.1 التصنيف وتصميم المهام
يستخدم المعيار المرجعي تصنيفاً ذا مستويين:
نطاقات المهام (متنافية):
التنظيم البصري: ترتيب أو تجميع أو اختيار الأشياء بناءً على سمات بصرية.
التلاعب الفيزيائي: أفعال على مستوى الكائن (تحريك، تكديس، استخدام أدوات) تتطلب تفاعلاً فيزيائياً منطقياً.
الألغاز المهيكلة: ألغاز محكومة بالقواعد تتطلب قيوداً صريحة لتحويل الحالة الأولية إلى حالة مستهدفة.
الديناميكيات الزمكانية: الاستنتاج حول تطور الحالة، والترتيب، والاعتمادات الزمنية.
وسوم المهارات (غير متنافية): يتم وسم المهام بوسوم مثل: مكاني، زمني، تخطيط، تثبيت السمات، فيزيائي، طوبولوجي، وإمكانية الأداء (Affordance).
2.2 بناء البيانات وضبط الجودة
المدخلات: تستخدم المهام مدخلات بأسلوب واقعي (photorealistic) (صور ويب أو مولدة عبر نماذج صور مثل GPT-Image-2) لتتماشى مع النماذج المسبقة للنماذج، وتجنب الرسومات الخطية التجريدية.
الحساسية للعملية: يعتمد النجاح على المسارات الوسيطة الصالحة والتطور المحافظ على القواعد، وليس فقط الحالة النهائية.
معايرة الصعوبة: تختبر مرحلة ما قبل التوليد المهام على نماذج رائدة (SOTA). تُقبل المهام فقط إذا كانت قابلة للحل من قبل نموذج واحد على الأقل ولكنها تفشل بالنسبة لنموذج واحد على الأقل، مما يضمن أنها صعبة ولكنها قابلة للتنفيذ.
مقايبات التقييم:
الاكتمال (Comp.): مقياس عالمي يقيم التقدم نحو الهدف (مكتمل، جزئي، فشل).
درجة المعيار (Rub.): مقياس محلي يقيس صلاحية العملية مقابل قائمة مراجعة دقيقة من القواعد والقيود. يستخدم استراتيجية أخذ عينات إطارية تكيفية من خشن إلى ناعم (4fps إلى 8fps) ونافذة تركيز منزلقة لاكتشاف الانتهاكات العابرة.
الدرجة النهائية: حاصل ضرب الاكتمال ودرجة المعيار، مما يعاقب على فشل الهدف أو انتهاك القواعد.
2.3 إعداد التقييم
يقيم المعيار المرجعي مجموعة واسعة من النماذج التجارية (مثل Seedance 2.0، Sora 2، Veo 3.1) والمفتوحة المصدر (مثل Wan 2.7، HunyuanVideo 1.5). يُستخدم حكم آلي يعتمد على نموذج لغوي بصري (VLM) وهو (Gemini-3-Flash)، مع التحقق من موثوقيته مقابل التدوينات البشرية. تم أيضاً تكييف مجموعة فرعية من المهام لنماذج توليد الصور لمقارنة الاستنتاج الساكن للحالة النهائية مع التوليد الإجرائي للفيديو.
3. النتائج الرئيسية
الأداء العام: تظهر النماذج الحالية قدرات استنتاج ناشئة ولكنها لا تزال بعيدة عن كونها ذكاءً بصرياً عاماً وموثوقاً. حتى أقوى نموذج، Seedance 2.0، يحقق فقط 51.0% بموجب معايير التقييم.
تحليل النطاق والمهارة:
الألغاز المهيكلة هي النطاق الأكثر تحدياً، حيث تكشف عن الإخفاقات في الالتزام بالقواعد متعددة الخطوات وتتبع الحالة.
مهارات الطوبولوجيا والزمن هي الأبعاد الأضعف، مما يشير إلى صعوبات في الحفاظ على الاتصال وتتبع الحالة متعدد الخطوات.
تتفوق النماذج التجارية باستمرار على النماذج مفتوحة المصدر، رغم أن جميعها تعاني في الحفاظ على تنفيذ متماسك متعدد الخطوات.
أنماط الفشل: تشمل حالات الفشل الشائعة:
الانهيار الفيزيائي: تشوهات غير واقعية أو انتهاك للجاذبية (مثل عدم تدحرج الأشياء على الأسطح المائلة).
انتهاك القواعد: القيام بأفعال محظورة أو تخطي خطوات أساسية أثناء الوصول إلى حالة نهائية تبدو منطقية بصرياً.
عدم اتساق الكائن/الحالة: الفشل في الحفاظ على هويات الأشياء أو مواقعها بمرور الوقت (مثل اختفاء الأشياء أو تكرارها).
حساسية المدخلات: الأداء حساس للغاية للأساليب البصرية للمدخلات. تظهر النماذج مفتوحة المصدر انخفاضات كبيرة عند الانتقال من الصور الواقعية إلى الرسومات الخطية، مما يشير إلى أن المدخلات التجريدية في المعايسات الأخرى قد تخلط بين قيود الاستنتاج وعدم تطابق النطاق البصري.
نقل الضبط الدقيق الاصطناعي: يؤدي الضبط الدقيق على بيانات تجريدية اصطناعية واسعة النطاق (VBVR) إلى تحسين الأداء في المهام ذات التداخل الهيكلي، لكنه يقدم مكاسب محدودة في المهام غير المتداخلة. غالباً ما تكون التحسينات مقيدة بالتغطية الهيكلية لتوزيع التدريب.
ديناميكيات إزالة الضجيج: يكشف تحليل خطوات إزالة الضجيج المتوسطة عن قدرة محدودة على التصحيح الذاتي. تميل النماذج إلى صقل الفرضيات المبكرة بدلاً من تصحيح أخطاء الاستنتاج؛ حيث يحدث "التصحيح الذاتي" (خطأ → صح) في أقل من 1% من الانتقالات، بينما تقوم النماذج غالباً بالاستقرار وصقل الفرضيات المبكرة (والتي غالباً ما تكون خاطئة).
4. الأهمية والمساهمات
يدعي البحث ثلاث مساهمات رئيسية:
VGI-Bench: معيار مرجعي تشخيصي مصمم خصيصاً لحدود القدرة الحالية لنماذج الفيديو، يتميز بمدخلات واقعية، ومهام حساسة للعملية، ومستويات صعوبة معايرة.
تقييم واسع النطاق: تقييم شامل للنماذج التوليدية المعاصرة (سواء الصور أو الفيديو)، مما يسلط الضال على قدراتها الاستنتاجية الناشئة مع كشف قيود كبيرة في الذكاء البصري العام.
تحليل متعدد الأوجه: تشخيص مفصل لسلوك الاستنتاج في الفيديو، يغطي أنماط الفشل، وحساسية المدخلات، وحدود نقل الضبط الدقيق الاصطناعي، والديناميكيات الداخلية لمسارات إزالة الضجيج.
يفترض المؤلفون أن VGI-Bench سيساعد في تحفيز تطوير الجيل القادم من نماذج توليد الفيديو من خلال توفير إطار عمل صارم للتمييز بين الدقة البصرية والاستنتاج البصري الحقيقي، وتحديد الاختناقات المحددة مثل التماسك الفيزيائي، والالتزام بالقواعد، وآليات التصحيح الذاتي.