SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding
تقدم الورقة البحثية SONIC-O1، وهو معيار شامل تم التحقق منه بشرياً ويتكون من 60 ساعة من البيانات الصوتية المرئية الواقعية عبر 13 مجالاً، والمصمم لتقييم وكشف تفاوتات الأداء في قدرات النماذج اللغوية الكبيرة متعددة الوسائط في التلخيص، والإجابة على الأسئلة، والاستدلال الزمني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً جديداً لمساعدتك في إدارة حياتك. لديك نوعان من المرشحين: الخبير الفائق (نموذج مغلق المصدر مثل Gemini) وفريق المصادر المفتوحة (نماذج مفتوحة المصدر متنوعة مثل Qwen أو MiniCPM).
حتى الآن، كنت تختبر هؤلاء المساعدين في الغالب عبر عرض صور ثابتة عليهم (مثل صورة عائلية) وسؤالهم: "ماذا يحدث هنا؟". لكن الحياة الواقعية ليست صورة؛ إنها فيلم مع صوت. إنها محادثة حيث نبرة الصوت، والوقفات، والضوضاء في الخلفية، ومن يتحدث ومتى، كلها أمور ذات أهمية بالغة.
تقدم الورقة البحثية SONIC-O1، وهو "امتحان نهائي" صارم مصمم خصيصاً لاختبار مدى قدرة مساعدي الذكاء الاصطناعي هؤلاء على فهم المحادثات الواقعية (فيديو وصوت).
إليك تفصيل للامتحان وما تخبرنا به النتائج، باستخدام تشبيهات بسيطة:
1. الامتحان: SONIC-O1
اعتبر SONIC-O1 بمثابة مكتبة مدتها 60 ساعة من التسجيلات الواقعية. إنها ليست سيناريوهات مختلقة؛ بل هي لقطات حقيقية من 13 سيناريو مختلفاً من واقع الحياة، مثل:
- غرف "عالية المخاطر": قاعات المحاكم، مكالمات الاستجابة للطوارئ، والاستشارات النفسية.
- غرف "العمل اليومي": مقابلات العمل، مكالمات خدمة العملاء، وزيارات الأطباء.
- غرف "المجتمع": اجتماعات البلدية، والتعليق الرياضي.
يتحقق الامتحان من ثلاث مهارات محددة:
- الملخص: هل يستطيع الذكاء الاصطناعي مشاهدة فيديو مدته 30 دقيقة وكتابة ملخص واضح ودقيق لما حدث؟ (مثل كاتب الضبط في المحكمة).
- المحقق (الأسئلة متعددة الخيارات): هل يمكن للذكاء الاصطناعي الإجابة على أسئلة صعبة تتطلب ربط دليل بصري بدليل صوتي؟ (على سبيل المثال: "لماذا غضب العميل؟" يتطلب الأمر سماع النبرة ورؤية الإيماءة معاً).
- متتبع الوقت (التحديد الزمني): هذا هو الجزء الأصعب. إذا سألت: "متى ذكر الطبيب التشخيص بالضبط؟"، يجب على الذكاء الاصطناعي أن يشير إلى الثانية الدقيقة التي حدث فيها ذلك على الساعة. الأمر يشبه مطالبة حكم كرة قدم بأن يقول: "الخطأ حدث عند الثانية 42.3"، وليس فقط "في الشوط الثاني".
ومن الضروري أيضاً أن الامتحان يتحقق من العدالة. تضم المكتبة أشخاصاً من أعراق وأجناس وأعمار مختلفة. يريد الباحثون معرفة: هل يعمل الذكاء الاصطناعي بنفس الكفاءة عندما تكون المتحدثة امرأة سوداء في العشرينيات من عمرها كما هو الحال عندما يكون المتحدث رجلاً أبيض في الأربعينيات؟
2. النتائج: من نجح؟
الفجوة بين "المحترف" و"الهاوي"
- الخبير الفائق (Gemini 3.0 Pro): تفوق هذا النموذج باستمرار في الاختبار. كان الوحيد الذي استطاع تتبع الوقت بشكل موثوق في الفيديوهات الطويلة والتعامل مع المحادثات المعقدة والعاطفية دون أن يفقد تركيزه.
- فريق المصادر المفتوحة: أدت أفضل نماذج المصادر المفتوحة (مثل Qwen3-Omni) أداءً جيداً في مهام "الملخص" و"المحقق". ومع ذلك، اصطدمت بحائط ضخم في مهمة "متتبع الوقت".
- التشبيه: تخيل أنك تسأل نموذجاً مفتوح المصدر: "متى حدث الهدف في مباراة كرة القدم؟" فبدلاً من أن يقول "عند الدقيقة 42"، غالباً ما يقول "عند الثانية 42" (ناسيًا أن الفيديو بدأ من الدقيقة 0:00 ويتعامل مع المقطع كما لو بدأ من جديد). إنهم يفقدون مكانهم في الجدول الزمني.
- الفجوة: كان أفضل نموذج مفتوح المصدر أسوأ بنسبة 22.6% من النموذج مغلق المصدر في تتبع الوقت.
مشكلة "العدالة"
هنا أصبح الامتحان جاداً. وجد الباحثون أن أداء الذكاء الاصطناعي لم يكن متساوياً للجميع.
- تحيز "متتبع الوقت": كانت الفجوة في الأداء كبيرة اعتماداً على هوية المتحدث. على سبيل المثال، عند تحديد أحداث تتعلق بمتحدثين من السكان الأصليين، انخفضت دقة بعض نماذج المصادر المفتوحة إلى 0% (فشلت تماماً)، بينما تمكن النموذج مغلق المصدر من تحقيق حوالي 40% من الدقة.
- فجوة "المتحدث الأسود": أظهرت النماذج أداءً أقل باستمرار عند تلخيص أو الإجابة على أسئلة تتعلق بفيديوهات تظهر مشاركين سود مقارنة بالمشاركين الآسيويين أو البيض.
- الخلاة: الذكاء الاصطناعي ليس "سيئاً" بشكل عام فحسب؛ بل لديه نقاط عمياء محددة بناءً على هوية الأشخاص الموجودين في الفيديو. إنه يشبه كاميرا مراقبة تعمل بشكل مثالي في غرفة مضاءة جيداً، لكنها تصاب بالعمى في زاوية ذات نوع معين من الإضاءة.
3. مفاجأة "الصوت"
كانت الاختبارات السابقة تعامل الصوت كأمر اختياري، مثل قراءة نص فيلم بدلاً من مشاهدته.
- النتيجة: عندما أجبر الباحثون النماذج على الاستماع إلى الصوت الفعلي (وليس مجرد النص)، ارتفع الأداء.
- لكن هناك شرط: النماذج الأكبر والأكثر قوة استفادت أكثر من سماع الصوت. أما النماذج الأصغر، فغالباً ما كانت ترتبك أو لا يتحسن أداؤها كثيراً. الأمر يشبه إعطاء نوتة موسيقية معقدة لعازف ماهر (يصبح أفضل) مقابل مبتدئ (قد يصاب بالارتباك أو التشتت فقط).
4. اختبار "العاطفة"
طلب الباحثون أيضاً من الذكاء الاصطناعي كتابة ملخصات تبدو متعاطفة (متفهمة للمشاعر).
- النتيجة: امتلكت النماذج "شخصيات" مختلفة تماماً.
- Gemini بدا مثل طبيب إكلينيكي: جاد، واقعي، لكنه يقر بالانفعالات.
- Baichuan و OLA بدوا مثل أصدقاء دافئين: داعمين وإيجابيين للغاية.
- النماذج الأصغر بدت مثل روبوتات تقرأ دليلاً تعليمياً: يمكنها سرد الحقائق لكنها لا تستطيع حقاً "الشعور" بالنبرة العاطفية للمحادثة.
الملخص
SONIC-O1 هو اختبار للواقع لعالم الذكاء الاصطناعي. إنه يثبت أنه بينما أصبح الذكاء الاصطناعي جيداً في النظر إلى الصور وقراءة النصوص، فإنه لا يزال يعاني في مشاهدة فيلم، والاستماع إلى الصوت، وتتبع الوقت، ومعاملة الجميع بإنصاف.
- النماذج مغلقة المصدر (مثل Gemini) هي الوحيدة حالياً الموثوقة بما يكفي للفهم اللحظي في المواقف عالية المخاطر.
- نماذج المصادر المفتوحة تلحق بالركب في الفهم العام، لكنها لا تزال "تتخيل" الوقت وتفشل في أن تكون عادلة مع بعض المجموعات الديموغرافية.
- الصوت مهم: لا يمكنك الاكتفاء بقراءة الترجمة؛ بل يجب عليك الاستماع إلى الصوت لتفهم المحادثة حقاً.
تخلص الورقة البحثية إلى أنه ما لم يتم إصلاح فجوات "تتبع الوقت" و"العدالة" هذه، فلا ينبغي الوثوق الكامل بهذه الأنظمة لاتخاذ قرارات حاسمة في سيناريوهات العالم الحقيقي مثل الرعاية الصحية أو القانون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.