🤖 AI

XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models

تقدم هذه الورقة XModBench، وهو معيار ثلاثي الأنماط واسع النطاق مصمم لتقييم الاتساق عبر الأنماط في النماذج اللغوية الشاملة، والذي يكشف أن حتى النماذج المتطورة مثل Gemini 2.5 Pro تعاني من صعوبات في الاستدلال غير المرتبط بالنمط، وتظهر تفاوتات كبيرة في الأداء عبر الأنماط، وتُظهر اختلالات اتجاهية منهجية.

المؤلفون الأصليون: Xingrui Wang, Jiang Liu, Chao Huang, Xiaodong Yu, Ze Wang, Ximeng Sun, Jialian Wu, Alan Yuille, Emad Barsoum, Zicheng Liu

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xingrui Wang, Jiang Liu, Chao Huang, Xiaodong Yu, Ze Wang, Ximeng Sun, Jialian Wu, Alan Yuille, Emad Barsoum, Zicheng Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يفهم العالم. تعرض عليه صورة كلب، وتشغل له تسجيلًا لنباح كلب، وتكتب الكلمات "نباح كلب". الروبوت الذكي حقًا يجب أن يدرك أن الأشياء الثلاثة تعني الشيء نفسه تمامًا، بغض النظر عن كيفية تقديمها.

هذه هي الفكرة الجوهرية وراء XModBench، وهو "تقرير درجات" جديد للجيل القادم من نماذج الذكاء الاصطناعي التي تسمى نماذج اللغات الشاملة (Omni-Language Models). هذه النماذج هي ذكاء اصطناعي فائق الذكاء يمكنه الرؤية، والسمع، والقراءة في آن واحد.

إليك شرح مبسط لما يدور حوله البحث، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: الروبوت "المواكب للموضة"

نماذج الذكاء الاصطناٍ الحالية تشبه طالبًا ممتازًا في قراءة الكتاب المدرسي ولكنه سيء للغاية في الاستماع إلى المحاضرة أو النظر إلى مخطط توضيحي. قد يعطي الإجابة الصحيحة إذا سألته سؤالًا باستخدام النص، ولكن إذا طرحت نفس السؤال تمامًا باستخدام الصوت أو الصورة، فقد يخطئ في الإجابة.

إنهم لا "يفهمون" المفهوم فعليًا (مثل مفهوم الكلب)؛ هم فقط يحفظون أن كلمة "كلب" تظهر عادةً بجانب الإجابة. لديهم انحياز للطريقة التي يتم بها تقديم المعلومات.

2. الحل: "لعبة التبديل" (XModBench)

قام الباحثون بإنشاء اختبار ضخم يسمى XModBench لمعرفة ما إذا كانت هذه الروبوتات ذكية حقًا أم أنها مجرد جيدة في التخمين بناءً على التنسيق.

فكر في XModBench كأنها لعبة المرآة السحرية.

الإعداد: يأخذون سؤالًا واحدًا (على سبيل المثال: "ما هو الحيوان الذي يصدر هذا الصوت؟").
الخدعة: يلعبون اللعبة بست طرق مختلفة:
1. عرض صورة، وطلب الإجابة نصيًا.
2. تشغيل صوت، وطلب الإجابة نصيًا.
3. عرض صورة، وطلب الإجابة بصوت.
4. تشغيل صوت، وطلب الإجابة بصورة.
5. وهكذا...

إذا كان الذكاء الاصطناعي ذكيًا حقًا، فيجب أن يحصل على الإجابة الصحيحة في كل مرة، بغض النظر عما إذا كان ينظر، أو يستمع، أو يقرأ. إذا حصل على الإجابة الصحيحة عند القراءة وأخطأ عند الاستماع، فإن الاختبار يكشف عن "خلل" في دماغه.

3. المواد المختبرة: 61,000 سؤال

لم يكتفِ الباحثون بطرح بضعة أسئلة، بل بنوا مكتبة ضخمة تضم 61,320 سؤالًا تغطي خمسة مجالات من مجالات الحياة:

الإدراك (Perception): التعرف على الأشياء البسيطة (هل هذا قط أم كلب؟).
الاستدلال المكاني (Spatial Reasoning): فهم أين توجد الأشياء (هل السيارة تتحرك لليسار أم لليمين؟).
الاستدلال الزمني (Temporal Reasoning): فهم الوقت والترتيب (هل نبح الكلب قبل أم بعد صوت بوق السيارة؟).
اللغة (Language): ترجمة أو فهم المشاعر في الكلام.
المعرفة الخارجية (External Knowledge): معرفة الحقائق عن العالم (من هو هذا المغني؟ من أي فيلم هذا الملصق؟).

4. النتائج: "تقرير الدرجات الصادق"

عندما مرروا أفضل نماذج الذكاء الاصطناعي (مثل Gemini من Google) عبر هذا الاختبار، كانت النتائج كاشفة:

الأخبار الجيدة: النماذج تصبح جيدة جدًا في التعرف على الأشياء عندما تعرضها لها صور أو نصوص. إنهم يشبهون القراء المهرة.
الأخبار السيئة: إنهم سيئون للغاية في الاستماع. عندما يأتي السؤال في شكل صوتي، ينخفض أداؤهم بشكل كبير. الأمر يشبه طالبًا يتفوق في الاختبار الكتابي لكنه يفشل عندما يطلب منه المعلم حل مسألة بصوت عالٍ.
الخلل "الاتجاهي": لدى نماذج الذكاء الاصطناعي أيضًا انحياز غريب في كيفية معالجة المعلومات. فهم بارعون في النظر إلى صورة وتخمين النص، لكنهم أسوأ بكثير في قراءة النص وتخمين الصورة. الأمر يشبه أن تكون "أيمن" في استخدام دماغك وتواجه صعوبة عندما تضطر لاستخدام "يدك اليسرى".

5. لماذا هذا مهم؟

هذا البحث مهم لأنه يوقفنا عن مجرد النظر إلى "متوسط الدرجات" للذكاء الاصطناعي. في السابق، إذا حصل الذكاء الاصطناعي على 80% من الإجابات الصحيحة، كنا نظن أنه ذكي. الآن، يوضح لنا XModBench أنه ربما حصل على 95% في الصور ولكن 40% فقط في الأصوات.

الخلاصة الكبرى:
نحن نبني نماذج "شاملة" (Omni) (نماذج يمكنها فعل كل شيء)، ولكن في الوقت الحالي، هي أشبه بنماذج "أحادية" (Uni) (نماذج جيدة في شيء أو شيئين فقط). XModBench هو الأداة التي نحتاجها لإصلاح ذلك، مما يجبر المطورين على تعليم ذكائهم الاصطناعي أن يكون متسقًا حقًا، بحيث يفهم العالم سواء عرضت له صورة، أو عزفت له أغنية، أو كتبت له ملاحظة.

باختصار: XXModBench هو "جهاز كشف الكذب" النهائي للذكاء الاصطناعي، لضمان أنهم لا يقومون فقط بحفظ الأنماط، بل يفهمون حقًا العالم الكامن وراء البكسلات، والموجات، والكلمات.

إليك ملخص تقني مفصل لورقة البحث XMODBENCH: تقييم القدرات والاتساق عبر الوسائط في النماذج اللغوية الشاملة (Omni-Language Models).

1. بيان المشكلة

تهدف النماذج اللغوية الكبيرة متعددة الوسائط (OLLMs) إلى توحيد فهم النصوص، والرؤية، والصوت ضمن إطار عمل واحد. وبينما تقيم المعايير الحالية الأداء العام للإجابة على الأسئلة (QA) عبر الوسائط المختلفة، إلا أنها تفشل في معالجة فجوة حرجة: الاتساق عبر الوسائط (Cross-modal consistency).

لا تحدد الأبحاث الحالية بشكل كافٍ ما إذا كانت نماذج OLLMs تمتلك استدلالاً غير مرتبط بالوسيط (modality-invariant reasoning). وتحديداً، ليس من الواضح ما إذا كانت النماذج تتقارب نحو نفس الإجابة الصحيحة عندما يتم تقديم المحتوى الدلالي نفسه في أشكال مختلفة (على سبيل المثال: صوت مسموع مقابل نص مكتوب مقابل صورة مرئية). غالباً ما تثبت المعايير الحالية السياق أو الخيارات المتاحة على وسيط واحد، أو تقيم فقط أزواجاً محددة (مثل الرؤية-النص)، مما يترك التحيزات المنهجية وعدم التوازن الاتجاهي للنماذج دون قياس.

2. المنهجية: تصميم XModBench

يقدم المؤلفون XModBench، وهو معيار واسع النطاق ثلاثي الوسائط مصمم خصيصاً لقياس الاتساق عبر الوسائط من خلال تصميم تجريبي متوازن ومنضبط.

أ. بناء البيانات

الحجم: 61,320 زوجاً من الأسئلة والأجوبة متعددة الخيارات مشتقة من 10,220 حالة دلالية فريدة.
المحاذاة ثلاثية الوسائط: يتم بناء كل حالة من ثلاثيات متوافقة من (النص-الصورة-الصوت).
تبديل الوسائط (Modality Permutation): لاختبار الاتساق، يتم إنشاء كل حالة دلالية في ست تكوينات مختلفة للوسائط عن طريق تبديل سياق المدخلات والوسائط المرشحة (الخيارات):
1. الصوت $\leftarrow$ النص
2. الصوت $\leftarrow$ الرؤية
3. النص $\leftarrow$ الصوت
4. النص $\leftarrow$ الرؤية
5. الرؤية $\leftarrow$ الصوت
6. الرؤية $\leftarrow$ النص
مصادر البيانات: مزيج من مجموعات البيانات العامة المعاد تصنيفها (مثل VGG-Sound وSTARSS23)، والتوليد الاصطنا-عي (باستخدام أدوات تحويل النص إلى كلام وأدوات الرندرة)، والبيانات المجموعة من الويب (YouTube وIMDb).
ضبط الجودة: تضمن سلسلة معالجة تتضمن التصفية القائمة على النماذج اللغوية الكبيرة (LLM) والتحقق البشري (human-in-the-loop) جودة عالية للمشتتات (distractors) وخلوها من الغموض.

ب. تصنيف المهام

يشمل المعيار خمس عائلات من المهام و17 مهمة فرعية:

الإدراك (Perception): التعرف على الأشياء/الأنشطة (عام، دقيق، بيئة طبيعية، أدوات، وتكوين الأدوات).
الاستدلال المكاني (Spatial Reasoning): الترتيب ثنائي الأبعاد، التحديد ثلاثي الأبعاد، والحركة ثلاثية الأبعاد.
الاستدلال الزمني (Temporal Reasoning): ترتيب الأحداث، العد الزمني، والحساب الزمني.
الفهم اللغوي (Linguistic Understanding): التعرف (OCR/ASR)، الترجمة (الإنجليزية-الصينية)، وتصنيف المشاعر.
المعرفة الخارجية (External Knowledge): التعرف على الأفلام، تصنيف نوع الموسيقى، وتحديد المغني.

ج. مقاييس التشخيص

يقدم XModBench ثلاثة مقاييس محددة لتشخيص سلوك النموذج بما يتجاوز الدقة البسيطة:

كفاءة المهمة (Task Competence): متوسط الدقة عبر جميع الاتجاهات الستة للوسائط لمهمة معينة.
التفاوت بين الوسائط ( $\Delta$ - Modality Disparity): يقيس فجوة الأداء عند طرح نفس السؤال بوسائط مدخلات مختلفة (على سبيل المثال: سياق صوتي مقابل سياق بصري). يشير التفاوت العالي إلى الاعتماد على إشارات خاصة بالوسيط بدلاً من الدلالات المشتركة.
عدم التوازن الاتجاهي ( $\Delta_{X \leftrightarrow Y}$ - Directional Imbalance): يقيس عدم التماثل بين الإعدادات العكسية (على سبيل المثال: الرؤية $\to$ النص مقابل النص $\to$ الرؤية). تشير الفجوات الكبيرة إلى أن النموذج منحاز لاتجاه معين (مثل معاملة النص كوسيط أساسي للمخرجات).

3. المساهمات الرئيسية

أول معيار اتساق ثلاثي الوسائط: يعد XModBench أول معيار يغطي بشكل منهجي جميع الاتجاهات الستة عبر الوسائط بين الصوت والرؤية والنص لأسئلة الاختيار من متعدد.
تغطية شاملة: يمتد عبر خمسة مجالات متنوعة مع أكثر من 61 ألف عينة، مما يسمح بتشخيص دقيق لنقاط الضعف المحددة (مثل الاستدلال المكاني مقابل الإدراك).
إطار تشخيصي جديد: يحدد ويقيس التفاوت بين الوسائط وعدم التوازن الاتجاهي، مما يوفر رؤى قابلة للتطبيق حول قوة النموذج ومحاذاته.
الموارد المفتوحة: يتم إصدار مجموعة البيانات، الكود، وأدوات التقييم لتسهيل الأبحاث المستقبلية.

4. النتائج التجريبية

قيم المؤلفون النماذج المغلقة المصدر المتطورة (Gemini 1.5 Pro, 2.0 Flash, 2.5 Pro) والنماذج مفتوحة المصدر (Qwen2.5-Omni, EchoInk-R1, Baichuan Omni 1.5، إلخ).

أ. الأداء العام

الأفضل أداءً: حقق نموذج Gemini 2.5 Pro أعلى متوسط دقة (70.6%) وأفضل توازن في الاستقرار (الانحراف المعياري 11.7).
فجوة المصادر المفتوحة: بينما تؤدي نماذج مثل Qwen2.5-Omni وEchoInk-R1 بشكل جيد في مهام الإدراك واللغويات، إلا أنها تتخلف بشكل كبير عن النماذج مغلقة المصدر في المعرفة الخارجية والاستدلال المكاني/الزمني.

ب. النتائج الرئيسية حول الاتساق

الاستدلال المكاني والزمني ضعيف: حتى أفضل النماذج (Gemini 2.5 Pro) تعاني في هذه المهام، حيث حققت أقل من 60% دقة (50.1% للمكاني، و60.8% للزمني)، مقارنة بنحو 76% لمهام الإدراك واللغويات.
الصوت هو الحلقة الأضعف: تظهر النماذج تفاوتاً كبيراً بين الوسائط. ينخفض الأداء بشكل كبير عند إشراك الصوت مقارنة بالنص أو الرؤية. بالنسبة لـ Gemini 2.5 Pro، كان التفاوت بين الصوت والنص ( $\Delta_{T \text{ vs } A}$ ) هو -49 نقطة، مما يشير إلى أن النماذج أقل قدرة بكثير عند الاستدلال من المدخلات الصوتية.
عدم التوازن الاتجاهي: تظهر النماذج عدم تماثل منهجي. على سبيل المثال، تكون الدقة أعلى باستمرار عندما يكون النص هو المرشح (المخرج) مقارنة به عندما يكون هو السياق. غالباً ما يتفوق (الرؤية $\to$ النص) على (النص $\to$ الرؤية) بفارق كبير (مثلاً 8.8 نقطة لـ Gemini 2.5 Pro).
البيانات المتداخلة تقلل من عدم التوازن: النماذج المدربة على مجموعات بيانات ضخمة ومتداخلة (مثل Gemini 2.5 وQwen2.5-Omni) تظهر عدم توازن اتجاهي أصغر مقارم بالنماذج المدربة على بيانات غير متداخلة، مما يشير إلى أن التدريب متعدد الوسائط يساعد في بناء جسور متماثلة عبر الوسائط.
مخاطر ما بعد التدريب: يمكن أن يؤدي الضبط الدقيق (Fine-tuning) على مجموعات بيانات محددة (مثل التعليمات الصوتية) إلى تدهور المحاذاة عبر الوسائط، كما لوحظ في EchoInk-R1، الذي أظهر تفاوتاً أكبر من نموذجه الأساسي رغم استخدام التعلم المعزز.

ج. المدخلات متعددة الوسائط (A+V)

عند اختبار إعداد السياق المزدوج (صوت + رؤية $\leftarrow$ نص)، أظهرت النماذج مكاسب طفيفة فقط مقارنة بأفضل خط أساس أحادي الوسيط. يشير هذا إلى أن نماذج OLLMs الحالية لا تستغل بعد الإشارات المتكاملة بشكل كامل أو تدمج الوسائط غير المتجانسة بفعالية لتحسين الاستدلال.

5. الأهمية والخاتمة

ينقل XModBench تقييم نماذج OLLMs من "هل يمكنها الإجابة؟" إلى "هل تستنتج باتساق بغض النظر عن شكل المدخلات؟"

القيمة التشخيصية: يكشف المعيار أن نماذج OLLMs الحالية ليست محايدة حقاً تجاه الوسائط. فهي تعتمد بشدة على الأنماط السطحية الخاصة ببعض الوسائط (خاصة النص) وتواجه صعوبة في المهام الصوتية ومهام الاستدلال المعقدة.
التوجيه للتطوير: تسلط النتائج الضوء على الحاجة إلى:
- بيانات تدريب متداخلة أفضل لتقليل التحيز الاتجاهي.
  ما يساهم في بناء جسور متماثلة عبر الوسائط.
- تعزيز تعلم تمثيل الصوت، حيث يظل الصوت هو نقطة الاختناق.
- تحسين قدرات الاستدلال المكاني والزمني.
- استراتيجيات ما بعد التدريب حذرة لا تؤدي إلى تآكل المحاذاة المسبقة عبر الوسائط.

تخلص الورقة إلى أنه بينما حققت نماذج OLLMs خطوات مبهرة في الإدراك واللغة، فإن تحقيق ذكاء حقيقي غير مرتبط بالوسيط يتطلب معالجة هذه التناقضات المنهجية، والتي يعمل XModBench كأداة تشخيصية حاسمة لها.