🤖 AI

$M^3-Verse$ : A "Spot the Difference" Challenge for Large Multimodal Models

تقدم هذه الورقة $M^3-Verse$ ، وهو معيار شامل مصمم لتقييم وتحسين قدرة النماذج اللغوية متعددة الوسائط على الاستنتاج بشأن تغيرات حالة الأشياء الديناميكية ضمن سياقات مكانية متسقة من خلال ملاحظات فيديو مقترنة، مما يكشف عن القيود الحالية ويقترح خط أساس فعال للإدراك متعدد الحالات.

المؤلفون الأصليون: Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان M3-Verse بلغة بسيطة ويومية، باستخدام التشبيهات لجعل المفاهحات واضحة.

الفكرة الكبرى: لعبة "أوجد الاختلاف" للذكاء الاصطناعي

تخيل أنك تلعب لعبة "أوجد الاختلاف" الكلاسيكية بين صورتين. تنظر إلى الصورة (أ)، ثم الصورة (ب)، وعليك أن تجد ما الذي تغير. ربما انتقلت قطة من الأريكة إلى الأرض، أو سقط كوب من فوق الطاولة.

الآن، تخيل أنك تعلم حاسوباً كيف يلعب هذه اللعبة، ولكن بدلاً من صورتين ثابتتين، تعرض عليه فيديوهين قصيرين لغرفة ما. في الفيديو الأول، الغرفة مرتبة. في الفيديو الثاني، قام شخص ما بإعادة ترتيب الأثاث وتحريك بعض الأشياء. على الحاسوب مشاهدة كلا الفيديوهين والإجابة على أسئلة مثل: "أين ذهبت المزهرية الحمراء؟" أو "هل تم تشغيل المصباح؟"

هذا هو بالضبط موضوع ورقة M3-Verse. لقد ابتكر المؤلفون اختباراً جديداً وصعباً للغاية لمعرفة ما إذا كانت نماذج الذكاء الاصطناعي الحديثة (التي تسمى النماذج متعددة الوسائط الكبيرة، أو LMMs) بارعة حقاً في تتبع التغييرات بمرور الوقت، أم أنها مجرد تخمين.

المشكلة: الذكاء الاصطناعي جيد في "الآن"، لكنه سيء في "الماضي مقابل الآن"

تجادل الورقة بأنه بينما يبدو الذكاء الاصطناعي مذهلاً في النظر إلى صورة واحدة ووصفها (مثل قول: "هذا كلب على سجادة")، إلا أنه يعاني عندما يُطلب منه مقارنة لحظتين مختلفتين من الزمن.

الذكاء الاصطناعي الحالي: يشبه السائح الذي يلتقط صورة لغرفة، ثم يشيح بنظره بعيداً، ثم يحاول تذكر ما الذي تغير عندما ينظر مرة أخرى. غالباً ما ينسون التفاصيل.
الذكاء البشري: نحن نقارن الطبيعة تلقائياً بين الماضي والحاضر. إذا طار طائر خارج الشجرة، فنحن نلاحظ الفرق فوراً. تقول الورقة إن الذكاء الاصطناعي يفتقر إلى هذه القدرة "البيولوجية" على اكتشاف التغييرات الدقيقة بين مشهدين متميزين.

الحل: اختبار جديد يسمى M3-Verse

لإصلاح ذلك، بنى الباحثون M3-Verse، وهو مجموعة اختبار ضخمة تتكون من جزأين:

مختبر المحاكاة (M3-Verse-Sim): استخدموا محرك ألعاب فيديو (AI2-THOR) لإنشاء 270 غرفة افتراضية. قاموا ببرمجة روبوتات للتجول، ثم قاموا سراً بتحريك الأشياء (مثل فتح درج أو تحريك كرسي) وسجلوا فيديوهات "قبل" و"بعد". لقد أنتجوا ما يقرب من 3,000 سؤال حول هذه التغييرات.
- تشبيه: فكر في هذا كأنه مستوى في لعبة فيديو محكم الضبط حيث القواعد صارمة، وكل تفصيل معروف بدقة.
العالم الحقيقي (M3-Verse-Real): قاموا بتصوير 29 غرفة حقيقية في منازل ومكاتب فعلية. قام بشر بتحريك الأشياء فعلياً وصوروا التغييرات. وقد وضعوا 552 سؤالاً لهذه الحالات.
- تشبيه: هذه هي النسخة الفوضوية من الحياة الواقعية حيث تتغير الإضاءة، وتتحرك الكاميرات، ولا تكون الأشياء متراصفة بدقة مثالية.

يطلب الاختبار من الذكاء الاصطناعي القيام بأربعة أشياء:

الفهم المكاني: أين يوجد الشيء؟
الفهم الزمني: ماذا حدث أولاً، وماذا حدث ثانياً؟
التعرف على الخصائص: هل تغير اللون أو الشكل؟
الاستنتاج: لماذا تغير هذا، أو ماذا يعني ذلك؟

النتائج: الذكاء الاصطناعي يعاني

اختبر الباحثون 16 نموذجاً من أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك أسماء كبيرة مثل GPT-5 وGemini). وكانت النتائج مفاجئة:

البشر: سجلوا حوالي 90%. نحن بارعون في هذا.
أفضل نماذج الذكاء الاصطناعي: سجلت ما بين 30% و47%. حتى أفضل النماذ هي بالكاد أفضل من التخمين العشوائي في الأسئلة الأكثر صعوبة.
الفجوة: تسمي الورقة هذا بـ "فجوة أداء صارخة". الذكاء الاصطناعي الحالي ليس ذكياً بما يكفي بعد لتتبع كيفية تغير مشهد من لحظة إلى أخرى بشكل موثوق.

التشخيص: لماذا يفشل الذكاء الاصطناعي؟

لم يكتفِ الباحثون بالقول إن "الذكاء الاصطناعي فشل"، بل حاولوا معرفة لماذا باستخدام خدعة ذكية تسمى Text-Oracle Probe.

التجربة: أخذوا الفيديوهات، وجعلوا نموذج ذكاء اصطناعي يصف كل إطار (Frame) نصياً (مثل نص مكتوب مفصل)، ثم سألوا نموذج ذكاء اصطناعي يعتمد على النصوص فقط الأسئلة بناءً على ذلك النص فقط.
الاكتشاف: عندما لم يكن على الذكاء الاصطناعي معالجة الفيديو الخام وكان بإمكانه فقط قراءة الوصف النصي، ارتفعت درجته بشكل كبير.
الاستنتاج: "عيون" الذكاء الاصطناعي (المُشفّر البصري) تعمل بشكل جيد في الواقع؛ فهو يستطيع رؤية التغييرات. المشكلة تكمن في "عقله" (جزء الاستنتاج). عندما تتوزع المعلومات عبر فيديو طويل، ينسى الذكاء الاصطناعي التفاصيل المهمة. الأمر يشبه قراءة كتاب حيث تكون الأدلة المهمة مدفونة وسط آلاف الصفحات من النصوص المملة؛ يضيع الذكاء الاصطناعي في الضجيج وينسى الدليل.

الخلاصة

تخلص الورقة إلى أننا بحاجة إلى جيل جديد من الذكاء الاصطناعي لا يكتفي فقط بـ "رؤية" الصور، بل يمكنه حقاً تذكرها ومقارنتها بمرور الوقت.

الحالة الحالية: الذكاء الاصطناعي يشبه كاميرا تلتقط صوراً رائعة ولكن ذاكرتها ضعيفة جداً.
الهدف المستقبلي: نحتاج إلى ذكاء اصطناعي يعمل أكثر مثل المحقق البشري، القادر على الاحتفاظ بخريطة ذهنية لغرفة ما، ومراقبة تغيرها، ورصد الفرق بين حالتي "قبل" و"بعد".

لقد أطلق المؤلفون هذا الاختبار (M3-Verse) للجمهور حتى يتمكن الباحثون الآخرون من استخدامه لبناء أنظمة ذكاء اصطناعي أفضل وأكثر "وعياً" قادرة على فهم عالمنا الديناميكي والمتغير.

ملخص تقني: M3-Verse

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (LMMs) كفاءة ملحوظة في تفسير الصور الثابتة وتتبع الأشياء ضمن تدفقات فيديو مستمرة أحادية الحالة، فإن قدرتها على استيعاب التغيرات الديناميكية بين ملاحظات فيديو متميزة تظل غير مستكشفة إلى حد كبير. تركز الاختبارات المعيارية الحالية بشكل أساسي على الحالات المنعزلة أو التتبع المستمر عبر الإنترنت، متجاهلة العبء المعرفي المطلوب لمقارنة فيديوهات منفصلة، وتأسيس ذاكرة عاملة للمخططات المكانية، والمراجعة المرجعية للملاحظات اللاحقة للكشف عن التحولات الطفيفة في الحالة. يعتمد الذكاء البيولوجي بطبيعته على مقارنة المشاهد الماضية والحالية للكشف عن الاختلافات، وهي قدرة ضرورية للإدراك عالي المستوى تفتقر إليها النماذج اللغوية الكبيرة الحالية.

المنهجية

لمعالجة هذه الفجوة، قدم المؤلفون M3-Verse، وهو اختبار معياري متعدد الوسائط، ومتعدد الحالات، ومتعدد الأبعاد، صُمم لتقييم الاستدلال المقارن حول تحولات الحالة.

بناء الاختبار المعياري

يتكون M3-Verse من مجموعتين فرعيتين صارمتين تمتدان عبر أكثر من 50 مهمة فرعية:

M3-Verse-Sim: مبني على محاكي AI2-THOR وProcTHOR-10k، وتضم هذه المجموعة 270 مشهدًا داخليًا محاكيًا. وتتميز بـ 2,932 زوجًا من الأسئلة والأجوبة (QA) التي تم تصفيتها بدقة. تتضمن خط إنتاج التوليد ما يلي:
- تعديل الحالة: تغيير وجود الأشياء، أو موقعها، أو سماتها الداخلية (مثل مفتوح/مغلق، يعمل/متوقف) برمجياً مع الالتزام بالمنطق الفيزيائي.
- توليد السمات البصرية المقارنة: وحدة تعزل الحالات البصرية، وتولد أوصافًا متعددة المشاهد عبر نموذج لغوي بصري (DAM)، وتصنع سمات تمييزية فريدة (مثل اللون، الشكل) للتمييز بين فئات الأشياء المتطابقة.
- تأسيس الكيانات القوي: إطار عمل يبني ديناميكيًا معرفات فريدة (مثل "التفاحة الحمراء على الطاولة") لإزالة الغموض المرجعي في المشاهد المعقدة.
- التصفية الصارمة: عملية متعددة المراحل تتضمن التصفية النصية (لإزالة الإجابات الخالية من الرؤية)، وتقييم الصعوبة متعدد الوسائط، والتحقق البشري لتقليل أكثر من مليون مرشح إلى عينات عالية الدقة.
M3-Verse-Real: يتكون من 29 مشهدًا فيزيائيًا تم التقاطها في بيئات واقعية (منازل، مكاتب) لضمان عدم التداخل مع أي مجموعات بيانات عامة موجودة. وتتضمن 552 زوجًا من الأسئلة والأجوبة التي تم ترميزها بشريًا. تم تنفيذ تحولات الحالة فيزيائياً بواسطة المرمزين البشريين، وتم تنسيق الأسئلة للاحتفاظ فقط بالعينات الأكثر تحديًا حيث فشلت النماذج بشكل متكرر.

تصميم المهام

تُصنف الأسئلة إلى:

داخل الحالة (Intra-State): يمكن الإجابة عليها من حالة واحدة (قبل أو بعد).
بين الحالات (Inter-State): تتطلب مقارنة كلتا الحالتين لتحديد التغييرات.
وتختبر هذه الفئات أربع قدرات أساسية: الفهم المكاني، الفهم الزمني، التعرف على السمات، والاستدلال. ومن الجدير بالذكر أن 20.6% من الأسئلة هي من نوع "الهلوسة"، حيث يتم استبدال الخيار الصحيح بـ "لا يوجد خيار صحيح مدرج" لاختبار متانة النموذج.

النهج التشخيصي

لعزل نقاط الاختناق في أداء النموذج، اقترح المؤلفون مسبار تشخيصي نصي (Text-Oracle Diagnostic Probe). تقوم هذه الطريقة بتسلسل التدفقات البصرية إلى نص صريح قبل الاستدلال:

تجزئة الفيديو والوصف الكثيف: يتم تقسيم الفيديوهات إلى مقاطع ووصفها بالتفصيل.
توليد ملخص متماسك: يتم دمج الأوصاف في سرد واحد.
الأسئلة والأجوبة القائمة على النص: يجيب النموذج على الأسئلة بناءً على الملخصات النصية فقط.

النتائج الرئيسية

قيمت الورقة 16 نموذجًا من النماذج اللغوية الكبيرة متعددة الوسائط (LMMs) المتطورة و6 نماذج لغوية كبيرة (LLMs) نصية فقط مقابل الاختبار المعياري:

فجوة أداء كبيرة: حتى أكثر النماذج المملوكة تقدمًا (Gemini-2.5-pro, GPT-5) تحقق فقط حوالي 47% و45% دقة على التوالي، مقارنة بالأداء البشري البالغ 89.75%. أما النماذج مفتوحة المصدر فتتراوح دقتها عمومًا بين 20% و35%.
صعوبة ما بين الحالات: تؤدي النماذج أداءً أسوأ بكثير في مهام "بين الحالات" مقارنة بمهام "داخل الحالة"، مما يسلط الضوء على ضعف في الحفاظ على المحاذاة الدلالية عبر السياقات الزمنية الطويلة.
عنق زجاجة الاستدلال: تسجل مهمة "الاستدلال" باستمرار أدنى أداء عبر جميع النماذج، مما يشير إلى عدم كفاية جوهرية في العمليات المنطقية متعددة الخطوات والاستدلال المكاني الاستنباطي.
القابلية للهلوسة: تظهر النماذج انخفاضًا حادًا في الدقة (بمتوسط 12.32 نقطة) في الأسئلة من نوع الهلوسة، حيث تجد صعوبة في رفض الخيارات غير الصحيحة.
رؤى المسبار النصي (Text-Oracle):
- الالتقاط البصري مقابل الاحتفاظ: عندما يتم تحويل التدفقات البصرية إلى نص (Text-Oracle)، يتحسن أداء النموذج بشكل ملحوظ (مثلاً +7 إلى +9 نقاط لمهام "بين الحالات"). يثبت هذا أن المشفرات البصرية تلتقط بنجاح تغيرات الحالة، ولكن هذه الإشارات البصرية الشحيحة تضعف أو تضيع في السياقات الزمنية الطويلة داخل المسار المتكامل (end-to-end).
- سقف الاستدلال: يتم تحديد الحد الأقصى للأداء بواسطة القدرة المنطقية للاستدلال للنموذج اللغوي الأساسي (LLM backbone). استخدام نماذج لغوية أكبر ونصية فقط في إعداد (Text-Oracle) يحسن الأداء بشكل أكبر، مما يشير إلى أن تعزيز الاستدلال المنطقي الصرف هو شرط مسبق للنجاح في هذا المجال.
صلاحية المحاكاة: يوجد ارتباط إيجابي قوي ( $\rho = 0.74$ ) بين الأداء في M3-Verse-Sim وM3-Verse-Real، مما يؤكد صلاحية المجموعة الفرعية المحاكية كوكيل تشخيصي موثوق للقدرات في العالم الحقيقي.

الأهمية والادعاءات

تدعي الورقة أن M3-Verse يوفر اختبارًا معياريًا جديدًا وصعبًا لتحفيز تطوير النماذج من الجيل التالي ذات الفهم الأكثر شمولاً للعالم البصري الديناميكي. ومن خلال الكشف عن أن الإخفاقات الحالية لا تنبع من نقص في الإدراك البصري، بل من عدم القدرة على الاحتفاظ بالإشارات البصرية الشحيحة بمرور الوقت ومن قيود الاستدلال المنطقي، فإن هذا العمل يقدم أداة تشخيصية بالغة الأهمية. ويؤكد المؤلفون أنه بدون القدرة الأساسية على كشف التغيير والاستدلال المقارن، لا يمكن أن يحدث تعلم ذي معنى في البيئات الديناميكية للوكلاء الذكيين. يهدف جعل M3-Verse مفتوح المصدر إلى توجيه الأبحاث المستقبلية نحو التغلب على هذه الاختناقات المحددة في الاستدلال المكاني-الزماني.