Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains
تقدم هذه الورقة Sci-VBench، وهو معيار شامل يتكون من 1,253 مثالاً تم تعليمه من قبل خبراء عبر أربعة تخصصات علمية لتقييم قدرات توليد الفيديو كثيفة المعرفة والاستدلال لـ 16 نموذجاً من النماذج الرائدة، كاشفةً أنه بينما تحسنت الواقعية البصرية، لا تزال هناك فجوات كبيرة في الصحة العلمية والسببية، لا سيما بين الأنظمة المملوكة والأنظمة مفتوحة المصدر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيلماً حيث يلقي ساحر تعويذة، أو ينطلق صاروخ، أو ينبض قلب. لسنوات طويلة، كان السؤال الأكبر لعلماء الكمبيوتر بسيطاً: "هل يبدو هذا حقيقياً؟". إذا كانت البكسلات حادة، والألوان زاهية، والحركة سلسة، كنا نهتف إعجاباً. ولكن هناك سؤالاً جديداً وأكثر تعقيداً الآن: "هل هذا منطقي حقاً؟".
هذا هو عالم توليد الفيديو، حيث يحاول الذكاء الاصطناعي إنشاء صور متحركة من مجرد جملة نصية. فكر في الأمر كأنه روبوت مبدع للغاية يقرأ وصفة ويحاول طهي الطبق. حتى وقت قريب، كنا نتحقق غالباً مما إذا كان الطعام يبدو شهياً. ولكن ماذا لو وضع الروبوت الملح بدلاً من السكر في الكعكة بالخطأ؟ قد تبدو الكعكة مثالية، لكن طعمها سيكون سيئاً وتفشل في الاختبار. في العلم، هذا أمر خطير. إذا قام الذكاء الاصطناعي بمحاكاة تفاعل كيميائي أو إجراء طبي، فلا يمكنه فقط أن "يبدو" جيداً؛ بل يجب أن يتبع القوانين الصارمة وغير المرئية للفيزياء والبيولوجيا. إذا كسر الذكاء الاصطناعي تلك القوانين، فإن الفيديو سيكون كذبة، مهما كان جميلاً.
هذه هي المشكلة التي يتناولها بحث جديد بالضبط. فقد بنى الباحثون "امتحاناً" ضخماً يسمى Sci-VBench لاختبار ما إذا كان صانعو فيديو الذكاء الاصطناعي يستطيعون فهم العلم فعلياً، وليس مجرد محاكاته. لم يكتفوا بسؤال: "هل الفيديو جميل؟"، بل سألوا: "هل فهم الروبوت حقاً كيف يعمل العالم؟".
امتحان فيديو العلوم العظيم
أنشأ الفريق بنك اختبارات ضخماً يحتوي على 1,253 تحدياً مختلفاً، تغطي 60 موضوعاً مختلفاً مثل الفيزياء، والطب، والهندسة، وحتى التاريخ. تخيل اختباراً حيث يتعين عليك توليد فيديو لتجربة محددة، مثل ضرب الركبة بمطرقة لرؤية حركة الساق، أو مراقبة كرتين تتدحرجان في مسارات مختلفة لمعرفة أيهما سيفوز. ما هو الفخ؟ يجب على الذكاء الاصطناعي أن يستنتج القواعد الخفية لكيفية تحرك تلك الأشياء من تلقاء نفسه. لا يمكنه مجرد التخمين؛ بل يجب أن يصيب في العلم.
ولتقييم هذه الفيديوهات، لم يعتمد الباحثون فقط على رأي الكمبيوتر. بل استعانوا بـ 61 خبيراً بشرياً — علماء وطلاب حقيقيين من الجامعات — ليعملوا كحكام. كتب هؤلاء الخبراء بدقة ما يجب أن يبدو عليه الفيديو "المثالي"، خطوة بختا خطوة، من خلال إنشاء دليل تقييم صارم (نموذج تصحيح) لكل اختبار على حدة. وقد تحققوا من أربعة أمور:
- هل يبدو جيداً؟ (هل الفيديو واضح وسلس؟)
- هل استمع للتعليمات؟ (هل تضمن جميع الأشياء المحددة التي طلبها النص؟)
- هل العلم صحيح؟ (هل تتحرك الأشياء وفقاً لقوانين الطبيعة الحقيقية؟)
- هل القصة متسقة؟ (هل يبدو الفيديو منطقياً من البداية إلى النهاية دون حدوث خلل؟)
النتائج الصادمة: جميل ولكنه جاهل
عندما مرروا 16 من أكثر نماذج فيديو الذكاء الاصطناعي تقدماً في العالم عبر هذا الامتحان، كانت النتائج بمثابة جرس إنذار.
أولاً، الخبر الجيد: نماذج الذكاء الاصطناعي أصبحت بارعة للغاية في جعل الأشياء تبدو حقيقية. عندما تحقق الحكام من الجودة البصرية الأساسية (مثل السلاسة واللون)، سجلت جميع النماذج درجات عالية جداً، وتجمعت نتائجها بشكل متقارب. إنهم جميعاً أساتذة في جزء "الرسم" من المهمة.
لكن بعد ذلك جاء الخبر السيئ. عندما تحقق الحكام مما إذا كان الذكال الاصطناعي يفهم العلم بالفعل، انخفضت الدرجات بشكل دراماتيكي وتفاوتت بشكل هائل.
- النماذج المملوكة لشركات (النماذج الضخمة والمكلفة من شركات مثل جوجل، OpenAI، وAlibaba) كانت تؤدي بشكل أفضل عموماً. النموذج الأفضل أداءً، Gemini-Omni-Flash، تمكن من ضبط العلم في معظم الأوقات، لكن حتى هو لم يكن مثالياً.
- النماذج مفتوحة المصدر (النماذج المجانية التي يمكن لأي شخص تحميلها) عانت بشكل أكبر بكثير. فبينما بدت جميلة تماماً مثل النماذج المكلفة، إلا أنها فشلت غالباً في اختبارات العلم. على سبيل المثال، في اختبار حول رد فعل الركبة، جعلت بعض النماذ الساق الخطأ تتحرك، أو جعلت الساق تتحرك بطريقة تخالف التشريح البشري.
وجد البحث فجوة كبيرة بين "الظهور كواقع" و"كون الشيء واقعاً". يمكن للذكاء الاصطناعي إنشاء فيديو لكرة تتدحرج من فوق تلة يبدو مذهلاً، ولكن إذا طفت الكرة فجأة أو تغير لونها في منتصف التدحرج، فقد فشل الذكاء الاصطناعي في اختبار العلم. لاحظ الباحثون أن هذه الفجوة واسعة بشكل خاص في الصحة العلمية والسببية — أي القدرة على فهم السبب والنتيجة.
لماذا يخطئ الذكاء الاصطناعي؟
تعمق الباحثون لمعرفة لماذا يفشل الذكاء الاصطناعي. ووجدوا ثلاثة أنواع رئيسية من الأخطاء:
- تجاهل التعليمات: قد يغفل الذكاء الاصطناعي عن تفاصيل صغيرة، مثل نسيان إظهار أداة معينة ذُكرت في النص.
- علم زائف: هذا هو الخطأ الأكبر. يعطي الذكاء الاصطناعي الأولوية لجعل الفيديو يبدو "رائعاً" أو "سلسلاً" على حساب جعله دقيقاً فيزيائياً. قد يجعل التفاعل الكيميائي يحدث فوراً لأنه يبدو درامياً، رغم أن الكيمياء الحقيقية تستغرق وقتاً.
- خلل السفر عبر الزمن: قد يبدأ الفيديو بكرتين، ولكن في منتصف الطريق، تندمجان لتصبحا كرة واحدة، أو يتغير الإضاءة بشكل عشوائي. يفقد الذكاء الاصطناعي تتبع القصة مع مرور الوقت.
ومن المثير للاهتمام أن الباحثين جربوا حلاً بسيطاً: أعادوا كتابة النصوص لتكون أكثر صراحة، حيث أخبروا الذكاء الاصطناعي بما يجب فعله بالضبط. ساعد هذا قليلاً، حيث حسن درجات بعض النماذج، لكنه لم يعالج المشكلة الجوهرية. لا يزال الذكاء الاصطناعي غير قادر على توليد الفهم الميكانيكي العميق لكيفية عمل العالم. الأمر يشبه إعطاء روبوت وصفة أكثر تفصيلاً؛ قد يتبع الخطوات بشكل أفضل، ولكن إذا لم يفهم لماذا تخلط المكونات، فلن يخبز كعكة جيدة في النهاية.
الخلاصة
يخلص البحث إلى أنه بينما أصبح مولدو فيديو الذكاء الاصطناعي فنانين مذهلين، إلا أنهم لا يزالون علماء متعثرين. يمكنهم رسم صورة جميلة لإطلاق صاروخ، لكنهم غالباً لا يفهمون فيزياء عملية الإطلاق نفسها. الفجوة بين "الظهور كواقع" و"كون الشيء واقعاً" لا تزال واسعة، وإلى أن يتمكن الذكاء الاصطناعي من استيعاب قواعد الكون حقاً، ستظل فيديوهاته العلمية مجرد ذلك — أوهاماً. يقترح الباحثون أنه للمضي قدماً، نحتاج إلى التوقف عن السؤال "هل هو جميل؟" والبدء في المطالبة بـ "هل هو منطقي؟".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.