A Skill-augmented Agentic Framework and Benchmark for Multi-Video Understanding
تقدم هذه الورقة MVX-Bench، وهو معيار شامل متعدد الفيديوهات يغطي 11 مهمة من مهام الرؤية الحاسوبية، وتقترح SAMA، وهو إطار عمل وكيل معزز بالمهارات يستفيد من الأدوات البصرية والتحقق الواعي بالصراع للتفوق بشكل كبير على النماذج الحالية في الاستنتاج المعقد متعدد الفيديوهات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من النظر إلى صورة مسرح جريمة واحدة، يتعين عليك مشاهدة خمسة بثات مختلفة لكاميرات المراقبة في وقت واحد لتكتشف ما حدث.
هذا هو التحدي الذي تعالجه هذه الورقة البحثية. إن نماذج الذكاء الاصطناعي الحالية بارعة في النظر إلى فيديو واحد في كل مرة، لكنها تعاني عندما يُطلب منها المقارنة، والمباينة، والاستنتاج عبر مقاطع فيديو متعددة في آن واحد.
إليك قصة حلهم، مقسمة إلى مفاهيم وتشبيهات بسيطة.
1. المشكلة: "عداء الماراثون معصوب العينين"
حالياً، إذا أردت من الذكاء الاصطناعي فهم فيديوهات متعددة، فإن الطريقة القياسية هي لصق جميع الفيديوهات معاً لتصبح شريطاً واحداً عملاقاً وطويلاً ثم تغذية الذكاء الاصطناعي به.
- التشبيه: تخيل أنك تحاول قراءة كتاب عن طريق لصق 10 فصول مختلفة معاً لتصبح لفافة ضخمة، ثم تطلب من شخص ما قراءتها وهو يرتدي عصابة على عينيه لا تسمح له إلا برؤية نافذة صغيرة بمساحة بوصتين فقط.
- النتيجة: يفقد الذكاء الاصطناعي التفاصيل، ويصاب بالارتباك بشأن ترتيب الأحداث، ولا يستطيع التمييز بين فيديوهين متشابهين جداً. الأمر يشبه محاولة العثور على إبرة محددة في كومة قش من خلال النظر إلى كومة القش بأكملة دفعة واحدة دون استخدام مغناطيس.
2. المعيار الجديد: "مسار الجمباز الأولمبي" (MVX-Bench)
أدرك المؤلفون أنه لا يمكننا مجرد اختبار الذكاء الاصطناعي على أسئلة "سهلة". لقد بنوا ساحة اختبار جديدة تسمى MVX-Bench.
- ما هي: فكر في هذا كأنه مسار جمباز أولمبي مكون من 11 حدثاً للذكاء الاصطناعي.
- الأحداث: بدلاً من مجرد طرح سؤال مثل "ما هو لون السيارة؟"، يطرحون أسئلة معقدة مثل:
- الكشف الجنائي: "أي من هذين الفيديوهين هو تزييف عميق (Deepfake)؟" (رصد التزييف).
- إعادة التعرف: "هل الشخص في الفيديو (أ) هو نفس الرجل في الفيديو (ب)، رغم أنه يرتدي قبعة مختلفة؟" (مطابقة الهوية).
- الاستدلال الشرطي المضاد: "لو كان السائق في الفيديو (أ) قد ضغط على المكابح في وقت أبكر، هل كان سيصطدم بالشجرة؟" (تخيل سيناريوهات "ماذا لو").
- النتيجة: اختبروا 20 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي في هذا المسار. كانت النتائج صادمة: حتى أذكى نماذج الذكاء الاصطناعي لم تحصل إلا على حوالي 50% من الإجابات الصحيحة. إنه تحدٍ هائل لم تحله التكنولوجيا الحالية بعد.
3. الحل: "وكالة التحريات" (SAMA)
لحل مشكلة "الفيديو الملصق"، ابتكر المؤلفون نظاماً جديداً يسمى SAMA. بدلاً من وجود عقل واحد عملاق يحاول القيام بكل شيء في وقت واحد، يعمل SAMA كـ وكالة تحريات تضم فريقاً من المتخصصين.
إليك كيف تعمل الوكالة:
أ. مدير الحالة (المخطط)
هذا هو المدير (الرئيس). هو لا يشاهد الفيديوهات بنفسه، بل يقرأ السؤال ويقرر: "حسناً، لحل هذا، أحتاج إلى فحص الوقت، وعد الأشخاص، ومقارنة الألوان. لنستدعِ المتخصصين."
ب. المتخصصون (الأدوات)
يوظف مدير الحالة خبراء مختلفين لمهام محددة:
- خبير العدّ: يستخدم أداة متخصصة لعد الأشياء (مثل السيارات أو الأشخاص) إطاراً تلو الآخر.
- خبير التشابه: يستخدم "ماسح بصمات" ليرى ما إذا كان فيديوان متطابقين رياضياً.
- قارئ الترجمة: يقرأ النصوص الموجودة على الشاشة أو الكلمات المنطوقة للعثين على أدلة.
- المتتبع: يتبع شخصاً معيناً عبر زوايا كاميرا مختلفة للتأكد من أنه نفس الشخص.
ج. "فرقة الحقيقة" (حل النزاعات)
هذا هو الجزء الأكثر ذكاءً. أحياناً، يختلف المتخصصون فيما بينهم.
- السيناريو: يقول "خبير العدّ": "أرى حقيبتين". لكن "القارئ البصري" يقول: "أرى 3 حقائب".
- الطريقة القديمة: كان الذكنا الاصطناعي سيخمن فقط أو يصاب بالارتباك.
- طريقة SAMA: تتدخل "فرقة الحقيقة". تقول: "مهلاً، أنتما تختلفان. دعونا نكبر الصورة على تلك النافذة الزمنية المحددة لمدة 5 ثائق وننظر مجدداً." إنها تجبر الذكاء الاصطناعي على إعادة فحص الأدلة حتى يتفق المتخصصون.
4. النتائج: لماذا يهم هذا؟
عندما وضعوا هذه "وكالة التحريات" (SAMA) في "المسار الأولمبي" (MVX-Bench):
- لم يكتفوا بالتحسن فحسب؛ بل قفزوا فوق المنافسين.
- أخذوا نموذج ذكاء اصطناعي صغيراً نسبياً (والذي عادة ما يسجل نتائج منخفضة) ومن خلال منحه هذا الهيكل الجماعي، رفعوا درجته من 32% إلى 52%.
- بل إنهم تفوقوا على بعض نماذج الذكاء الاصطناعي الضخمة والمكلفة (مثل GPT-4o) التي تحاول القيام بكل شيء بمفردها.
الخلاصة الكبرى
تعلمنا هذه الورقة البحثية أن الذكاء لا يقتصر فقط على امتلاك عقل أكبر؛ بل يتعلق بمعرفة كيفية استخدام الأدوات المناسبة.
تماماً كما لا يحاول المحقق البشري حفظ كل مسرح جريمة في المدينة، بل يستخدم بدلاً من ذلك عدسات مكبرة، وأدوات بصمات، ومقابلات شهود لحل القضية، فإن إطار عمل الذكاء الاصطناعي الجديد هذا يستخدم فريقاً منظماً من الأدوات لحل ألغاز الفيديو المعقدة. إنه يثبت أنه بالنسبة لأصعب مشاكل الفيديو، فإن التنظيم والتحقق أكثر أهمية من قوة الحوسبة الخام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.