← أحدث الأبحاث
💻 computer science

VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

لمعالجة تشبع معايير فهم الفيديو التقليدية أحادية الدور، تقدم هذه الورقة VideoGAIA، وهو معيار صارم متعدد الأدوار ومعزز بالأدوات يضم 271 مهمة تم التحقق منها من قبل خبراء، والتي تكشف عن فجوات كبيرة في أداء النماذج اللغوية الكبيرة متعددة الوسائط الرائدة حالياً، وتهدف إلى دفع المجال نحو فهم الفيديو القائم على الوكالة.

المؤلفون الأصليون: Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

نُشر 2026-08-18
📖 5 دقيقة قراءة🧠 قراءة متعمّقة
CC BY 4.0

المؤلفون الأصليون: Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لطالما اعتمدت الطريقة التي نختبر بها الذكاء الاصطناعي لسنوات على لعبة بسيطة: اعرض على الكمبيوتر مقطع فيديو، واطرح سؤالاً واحداً، ثم انتظر الإجابة. هذا النهج، المعروف باسم "فهم الفيديو"، أصبح معياراً لقياس مدى قدرة الآلات على الرؤية والاستنتاج حول العالم المتحرك. وفي الآونة الأخيرة، أصبحت أكثر أنظمة الذكاء الاصطناًعي تقدماً بارعة في هذا الأمر لدرجة أنها تستطيع الإجابة على كل الأسئلة تقريباً بشكل صحيح، وصولاً إلى نقطة لم يعد الاختبار فيها يكشف عن حدودها الحقيقية. الأمر يشبه طالباً حفظ الكتاب المدرسي بأكه، ويمكنه تسميع أي حقيقة، ومع ذلك لا نزال لا نعرف ما إذا كان بإمكانه حقاً حل مشكلة جديدة في العالم الحقيقي. ولتجاوز هذا الركود، احتاج الباحثون إلى طريقة جديدة لقياس الذكاء، طريقة لا تكتفي بطلب حقيقة ما، بل تتطلب من الآلة أن تعمل كباحث بشري فضولي.

قدم فريق من الباحثين من جامعات وشركات تكنولوجية في الصين اختباراً جديداً كهذا، يسمى "VideoGAIA". فبدلاً من مطالبة النموذج بمشاهدة فيديو والإجابة على سؤال واحد، يعامل هذا المعيار الجديد الفيديو كمجرد نقطة انطلاق لتحقيق أطول بكثير. في هذا الإعداد، يعمل الذكاء الاصطناعي كوكيل، أي مساعد رقمي يجب عليه معرفة ما يجهله، والذهاب للبحث عن تلك المعلومات المفقودة، ثم جمع كل ذلك معاً لحل مهمة معقدة. قد يظهر الفيديو شخصاً يحمل هاتفاً معيناً أو سيارة تسير عبر مدينة، لكن الإجابة على السؤال غالباً ما تكمكن خارج نطاق الفيديو تماماً. يجب على النظام التعرف على دليل في اللقطات، وتقرير البحث في الإنترنت عن مزيد من التفاصيل، وقراءة نتائج ذلك البحث، ثم العودة إلى الفيديو للتحقق مما إذا كانت المعلومات الجديدة تتوافق معه. هذه العملية من البحث، والتقصي، والقراءة، والتحقق تحدث عبر جولات عديدة، محاكيةً بذلك الطريقة التي يبحث بها البشر في موضوع ما.

بنى الباحثون هذا الاختبار بالبدء بمجموعة ضخمة مكونة من مائة ألف فيديو من الإنترنت. واستخدموا نماذج ذكاء اصطناعي قوية لمساعدتهم في اختيار مقاطع مثيرة للاهتمام وتوليد أسئلة لا يمكن الإجابة عليها بمجرد النظر إلى الفيديو وحده. على سبيل المثال، قد يظهر فيديو مضيفاً في استوديو يعرض هواتف عديدة، وهو يمسك بهاتف فضي ذي ظهر شفاف بجانب منصة منتجات خضراء، وسوف يسأل السؤال عن نوع الشريحة (chipset) المحددة التي تشغل هذا الطراز. الفيديو نفسه لا يظهر اسم الشريحة أو تفاصيلها التسويقية. للإجابة بشكل صحيح، يجب على الذكاء الاصطناعي أولاً رصد الهاتف في الفيديو، ثم استخدام أداة بحث للعثور على مواصفات المنتج عبر الإنترنت، وقراءة التفاصيل على صفحة ويب، وأخيراً التأكد من أن الشريحة تطابق الأدلة المرئية. قام الفريق بتنقية هذه الأسئلة المحتملة من خلال عملية صارمة، حيث راجع خبراء بشريون كل مهمة بدقة لضمان كونها عادلة، وصعبة، وتتطلب استنتاجاً حقيقياً. وبعد أكثر من مائة ساعة من المراجعة البشرية، استقروا على مجموعة نهائية من 271 مهمة تغطي ستة مجالات واقعية، تشمل التكنولوجيا، والتاريخ، والجغرافيا، والحياة اليومية، والثقافة، والاقتصاد.

عندما اختبر الباحثون عشرين من أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة اليوم على هذا المعيار الجديد، كانت النتائج صارخة. فحتى الأنظمة الأكثر قوة، والتي سجلت سابقاً ما يقرب من تسعين بالمائة في الاختبارات القديمة، واجهت صعوبة في الوصول إلى ستين بالمائة من الدقة في "VideoGAIA". حقق أفضل النماذج أداءً، وهو نظام يسمى "Seed2.0-Pro"، دقة بلغت 58.30 بالمائة، بينما انخفضت دقة النماذج الأخرى بشكل ملحوظ. تظهر هذه الفجوة أنه بينما تبرع هذه الآلات في التعرف على ما هو أمامها مباشرة، إلا أنها لا تزال تتعلم كيفية استخدام الأدوات بفعالية لسد الثغرات. ووجدت الدراسة أن المصدر الأكبر للفشل لم يكن نقص المعرفة أو عدم القدرة على القراءة من الويب، بل كان الفشل في تحديد الأدلة المرئية في الفيديو بشكل صحيح في المقام الأول. فإذا أخطأ الذكاء الاصطناعي في تحديد جسم أو تفصيل في اللقطة، فإنه سيبحث عن المعلومات الخاطئة، مما يؤدي إلى إجابة خاطئة.

لاحظ الباحثون أيضاً أن مجرد جعل الذكاء الاصطناعي يبحث أكثر أو يقرأ لفترة أطول لا يضمن النجاح. فقد قامت بعض النماذج بمئات الاستدعاءات للأدوات، حيث بحثت في الويب مراراً وتكراراً، ومع ذلك فشلت في حل المهمة. بينما قامت نماذج أخرى باستدعاءات أقل ولكنها كانت أكثر دقة، حيث توقفت بمجرد جمع الأدلة الكافية. كانت الوكلاء الأكثر نجاحاً هي تلك التي استطاعت الحفاظ على شعور بعدم اليقين، وإدراك متى لا تملك معلومات كافية ومعرفة ما يجب البحث عنه تالياً بدقة. كانت تعود إلى أجزاء محددة من الفيديو للتحقق من تفصيل ما، وتقارن ذلك بصفحة ويب، ومن ثم فقط تلتزم بإجابة. هذا السلوك أقرب إلى طريقة عمل الخبير البشري، الذي يتحقق بعناية من الحقائق قبل التوصل إلى استنتاج.

تشير النتائج إلى أن الجيل القادم من الذكاء الاصطناعي لن يتحدد بمدى قدرته على الإجابة على سؤال من صورة أو فيديو واحد، بل بمدى قدرته على التنقل في العالم لإيجاد الإجابة. يعمل معيار "VideoGAIA" كاختبار صارم لهذه القدرة الجديدة، كاشفاً أن الطريق نحو مساعدين أذكياء حقاً يتطلب أكثر من مجرد رؤية أفضل أو قواعد بيانات أكبر؛ إنه يتطلب القدرة على التفكير، والبحث، والتحقق في حلقة مستمرة. وبينما حققت النماذج الحالية خطوات كبيرة، فإن حقيقة عدم تمكن أي منها من إتقان هذا الاختبار الجديد تشير إلى أنه لا يزال هناك طريق طويل لقطعه قبل أن تتمكن الآلات حقاً من مساعدتنا في المهام المعقدة والمفتوحة في الحياة اليومية. يوفر هذا العمل خارطة طريق واضحة للتطوير المستقبلي، موضحاً أن مفتاح التقدم يكمن في تعليم هذه الأنظمة ألا تكون مجرد مراقبين، بل باحثين نشطين.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →