💻 computer science

MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents

تقدم الورقة البحثية MultiHaystack، وهو معيار مرجعي جديد يضم أكثر من 46,000 وثيقة متعددة الوسائط، وصوراً، وفيديوهات لتقييم الفجوة الحرجة بين الاسترجاع والاستدلال في النماذج اللغوية الكبيرة متعددة الوسائط، كاشفةً أن الأنظمة الحالية تعاني بشكل كبير عندما يُطلب منها تحديد الأدلة ضمن مجموعات بيانات ضخمة وغير متجانسة بدلاً من تزويدها بها مباشرة.

المؤلفون الأصليون: Dannong Xu, Zhongyu Yang, Jun Chen, Yingfang Yuan, Ming Hu, Lei Sun, Luc Van Gool, Danda Pani Paudel, Chun-Mei Feng

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dannong Xu, Zhongyu Yang, Jun Chen, Yingfang Yuan, Ming Hu, Lei Sun, Luc Van Gool, Danda Pani Paudel, Chun-Mei Feng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز ما. في الماضي، كان الباحثون في مجال الذكاء الاصطنا-عي يعطون المحققين صندوقًا صغيرًا واحدًا يحتوي فقط على الأدلة الأكثر صلة (بضع صور، وثيقة واحدة، أو مقطع فيديو قصير) ويسألونهم: "هل يمكنك معرفة الإجابة؟". كان الذكاء الاصطناعي بارعًا في ذلك لأن الأدلة كانت موضوعة أمامه مباشرة.

لكن في العالم الحقيقي، لا يحصل المحقق على صندوق مرتب مسبقًا. بل يحصل على مستودع ضخم مليء بـ 46,000 عنصر: آلاف الفيديوهات، ملايين الصفحات من الوثائق، وصور لا حصر لها. عليه أن يجد قطعة واحدة محددة من الأدلة المختبئة وسط هذا التراكم الهائل قبل أن يتمكن حتى من البدء في حل اللغز.

تقدم هذه الورقة البحثية MultiHaystack، وهو "اختبار" جديد مصمم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي القيام بهذه المهمة الواقعية حقًا.

إليك تفصيل ما توصلت إليه الورقة، باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "الصندوق الصغير"

معظم اختبارات الذكاء الاصطناعي الحالية تشبه إعطاء محقق مظروفًا واحدًا مُسمىً وسؤاله: "من هو القاتل؟". يحصل الذكاء الاصطناعي على درجة مثالية لأنه لم يضطر للبحث؛ فقد قُدمت له الإجابة على طبق من ذهب.

الواقع: الحياة الواقعية هي مشكلة "إبرة في كومة قش"، لكن كومة القش ضخمة، والإبرة مصنوعة من مواد مختلفة (بعضها فيديوهات، وبعضها نصوص، وبعضها صور).
الخلل: الاختبارات السابقة استخدمت فقط أكوام قش صغيرة (ربما 100 عنصر) أو نوعًا واحدًا فقط من العناصر (نصوص فقط). جعل هذا عملية البحث سهلة للغاية وجعل الذكاء الاصطناعي يبدو أذكى مما هو عليه في الواقع.

2. الحل: MultiHaystack

بنى المؤلفون بيئة اختبار ضخمة وواقعية:

كومة القش: أكثر من 46,000 عنصر مختلطة معًا (فيديوهات، صور، ووثائق).
الإبرة: 747 سؤالًا محددًا تختبئ إجابتهم في عنصر واحد محدد بالضبط داخل هذا التراكم.
التحول: يجب على الذكاء الاصطناعي القيام بشيئين:
1. إيجاد الإبرة: البحث في الـ 46,000 عنصر للعثور على العنصر الصحيح.
2. حل اللغز: قراءة ذلك العنصر المحدد والإجابة على السؤال.

3. النتائج الصادمة

اختبر الباحثون أذكى نماذج الذكاء الاصطناعي في العالم (مثل GPT-5 وغيرها) في هذا الاختبار الجديد، وكانت النتائج بمثابة جرس إنذار:

السيناريو (أ) (طريقة الغش): عندما أعطى الباحثون الذكاء الاصطناعي الوثيقة أو مقطع الفيديو الصحيح تمامًا للنظر فيه، كان الذكاء الاصطناعي عبقريًا. لقد حل حوالي 80% من الأسئلة بشكل صحيح.
السيناريو (ب) (العالم الحقيقي): عندما توجب على الذكاء الاصطناعي البحث في كومة الـ 46,000 عنصر أولًا، انهار أداؤه.
- انخفضت أفضل نماذج الذكاء الاصطناعي من دقة 80% إلى حوالي 50%.
- حتى أفضل "محركات البحث" (الأنظمة التي تسترجع المعلومات) لم تستطع العثوا على الإبرة الصحيحة في كومة القش سوى في حوالي 40% من المرات من المحاولة الأولى.

التشبيه: تخيل طالبًا عبقريًا في الرياضيات. إذا أعطيته صفحة الكتاب الصحيحة، فسيحل المسألة فورًا. ولكن إذا قلت له: "اذهب وابحث عن الإجابة في هذه المكتبة التي تضم 46,000 كتاب"، فسوف يتجول بلا هدف، ويختار الكتاب الخطأ، ويفشل في الاختبار. المشكلة ليست في أنه لا يستطيع حل الرياضيات؛ بل في أنه لا يستطيع إيجاد الكتاب.

4. لماذا يعد هذا صعبًا جدًا؟

وجدت الورقة أن الصعوبة تأتي من "خليط" العناصر:

الارتباك عبر الوسائط (Cross-Modal Confusion): يرتبك الذكاء الاصطناعي عندما يتعين عليه البحث عن فيديو باستخدام سؤال نصي، أو العثور على وثيقة باستخدام صورة. الأمر يشبه محاولة العثين على أغنية محددة عن طريق دندنة اللحن، بينما المكتبة تحتوي فقط على نوتات موسية وأسطوانات فينيل. يصعب على الذكك الاصطناعي مطابقة "الجو العام" عبر التنسيقات المختلفة.
تأثير "المشتتات": يتضمن الاختبار عناصر تبدو متشابهة ولكنها خاطئة. على سبيل المثال، إذا سألت عن تقرير إخباري معين من عام 1994، فقد يلتقط الذكاء الاصطناعي تقريرًا إخباريًا من عام 1995 يبدو مشابهًا له تمامًا. يتم خداعه بالتشابهات السطحية.

5. ماذا يعني هذا للمستقبل؟

تخلص الورقة إلى أن الاسترجاع (إيجاد المعلومات) هو حاليًا العقبة الأكبر أمام الذكاء الاصطناعي، وليس الاستنتاج (التفكير في المعلومات).

العقبة: نحن نبني "أدمغة" ذكية للغاية (نماذج الاستنتاج)، لكننا لم نبنِ "أمين مكتبة" جيدًا بما يكفي (أنظمة البحث) لتزويدهم بالمعلومات الصحيحة.
الطريق إلى الأمام: لجعل الذكاء الاصطناعي مفيدًا حقًا في العالم الحقيقي، نحتاج إلى التوقف عن اختبارهم على مجموعات بيانات صغيرة وسهلة. نحن بحاجة إلى بناء أنظمة تكون أفضل في التنقل عبر المكتبات الضخمة والفوضوية والمتعددة الوسائط قبل أن تحاول الإجابة على أسئلة معقدة.

باخت-صار: تقول الورقة: "توقفوا عن مدح الذكاء الاصطناعي لكونه ذكيًا عندما تُقدم له الإجابة جاهزة. دعونا نرى ما إذا كان بإمكانه بالفعل العثور على الإجابة في العالم الحقيقي أولاً". وحتى الآن، لا يزال يكافح للعثور على طريقه خارج كومة القش.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MultiHaystack: تقييم استرجاع الاستدلال متعدد الوسائط عبر 40 ألف صورة وفيديو ومستند."

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات قوية في فهم النصوص والصور والفيديوهات بشكل منفصل. ومع ذلك، توجد فجوة حرجة في تقييم قدرتها على إجراء الاستدلال المعزز بالاسترجاع في بيئات واقعية واسعة النطاق وغير متجانسة. تعاني الاختبارات المرجعية الحالية من ثلاث عيوب رئيسية:

النطاق غير الواقعي: تقتصر معظم الاختبارات المرجعية على مئات أو آلاف العناصر، مما يجعل عملية الاسترجاع سهلة للغاية ويؤدي إلى تضخيم درجات الدقة.
صوامع الوسائط (Modality Silos): تركز العديد من مجموعات البيانات على وسيط واحد فقط (مثل المستندات فقط أو الصور فقط)، مما يفشل في اختبار الاسترجاع عبر الوسائط حيث قد يتطلب الاستعلام العثร على مقطع فيديو بناءً على وصف نصي أو صورة.
الحقيقة الأرضية الغامضة: تفتقر الأسئلة غالباً إلى أدلة فريدة وقابلة للتحقق، مما يسمح للنماذج بالتخمين الصحيح بناءً على ارتباطات غامضة بدلاً من الاسترجاع الدقيق.

تجادل الورقة بأن التقييمات الحالية تحجب العائق الحقيقي أمام النماذج اللغوية الكبيرة متعددة الوسائط: وهو عدم القدرَة على تحديد دليل محدد ودقيق ضمن مجموعات بيانات ضخمة ومختلطة الوسائط قبل بدء عملية الاستدلال.

2. المنهجية: بناء معيار MultiHaystack

قدم المؤلفون MultiHaystack، وهو أول معيار مرجعي واسع النطاق مصمم لتقييم كل من الاسترجاع والاستدلال في ظل ظروف متعددة الوسائط.

تكوين البيانات

النطاق: يتكون المعيار المرجعي من 46,260 عنصراً متعدد الوسائط (25,652 صورة، 10,419 فيديو، 10,189 مستنداً) و 747 سؤالاً قائماً على الأدلة.
قيد الدليل الفريد: كل سؤال مرتبط بـ عنصر واحد فريد في المجموعة يحتوي على الإجابة القابلة للتحقق. هذا يلغي الغموض ويضمن فصل أخطاء الاسترجاع عن أخطاء الاستدلال بشكل صارم.
أنواع المهام: تم تصنيف الأسئلة إلى ست مهام استدلال متميزة لاختبار قدرات متنوعة:
1. التحليل البصري والتموضع (VPP): التمركز المكاني للأجسام.
2. الفهم السياقي (CU): دمج النصوص/الرموز المضمنة مع السياق.
3. الاستدلال الزمني للفيديو (VTR): استنتاج الحركة والترتيب الزمني.
4. الاستدلال الإحصائي (SR): استخراج البيانات من الرسوم البيانية/الجداول.
5. تحديد البيانات الوصفية (MI): تحديد الطوابع الزمنية، الانتماءات، إلخ.
6. استرجاع المعرفة الواقعية (FKR): تركيب الحقائق المستندة إلى المجموعة.

خط إنتاج البيانات

بُنيت مجموعة البيانات من خلال عملية مكونة من أربع مراحل:

جمع البيانات: تم تجميعها من مصادر متنوعة (مثل DocHaystack، VideoVista، MINT1T) تغطي ملفات PDF، وصور الويب، وفيديوهات YouTube.
توليد الأسئلة: استُخدم نموذج GPT-4o لتوليد حوالي 30 سؤالاً مرشحاً لكل عنصر، مع تطبيعها إلى تمثيلات قائمة على الصور (مثل إطارات الفيديو، صفحات PDF).
التصفية: طُبقت فلاتر آلية ويدوية لإزالة الأسئلة الغامضة، وضمان وجود ركائز فريدة، والتحقق من أن الأسئلة لا يمكن الإجابة عليها دون استرجاع العنصر المحدد (اختبار استقلال الاسترجاع).
إثراء البيانات: لمحاكاة صعوبة "الإبرة في كومة القش" في العالم الحقيقي، أضاف المؤلفون سلبيات صعبة (Hard Negatives). تم توليد عناصر مرشحة مشتتة باستخدام كشط الويب القائم على الكلمات المفتاحية وتصفيتها بواسطة تشابه CLIP لضمان المعقولية الدلالية دون احتواء الإجابة، مما وسع المجموعة إلى أكثر من 46 ألف عنصر.

3. الإعداد التجريبي

قيم المؤلفون مجموعة واسعة من النماذج الحديثة:

نماذج الاسترجاع: نماذج قائمة على CLIP (مثل CLIP، SigLIP2، OpenCLIP)، ومسترجعات متخصصة (Jina-CLIP، NEV، E5-V، MM-Embed).
نماذج الاستدلال (MLLMs): نماذج مفتوحة المصدر (Ola، InternVL-3، Qwen2-VL) ونماذج مملوكة (GPT-5، Gemini-2.5-Flash).
مقاييس التقييم:
- الاسترجاع: Recall@1، @3، @5 (على مستوى العنصر).
- الاستدلال: دقة الإجابة النهائية، ويتم تقييمها باستخدام GPT-4o-mini كحكم (تم التحقق منه مقابل التدوين البشري).
الإعدادات:
- الذهب (Gold): تقديم العنصر الصحيح مباشرة (الحد الأعلى).
- أحادية الوسائط (Single-Modality): الاسترجاع من مجموعة تتكون من نوع واحد من الوسائط فقط.
- متعددة الوسائط (Cross-Modality): الاسترجاع من المجموعة الكاملة غير المتجانسة.

4. النتائج الرئيسية

تكشف التجارب عن فجوة أداء صارخة بين الاستدلال باستخدام الأدلة المقدمة والاستدناء باستخدام الأدلة المسترجعة.

أداء الاسترجاع

فجوة تعدد الوسائط: حتى أقوى المسترجعات (E5-V، SigLIP2) تشهد انخفاضاً هائلاً في الأداء عند الانتقال من الاسترجاع أحادي الوسائط إلى الاسترجاع متعدد الوسائط.
- مثال: يحقق E5-V نسبة 72.42% في Recall@1 في مجموعة أحادية الوسائط بحجم 1K، لكنه ينخفض إلى 40.83% في المجموعة الكاملة متعددة الوسائط بحجم 46K.
- الاسترجاع أحادي الوسائط غالباً ما يتجاوز 90% في Recall@5، بينما نادراً ما يتجاوز الاسترجاع متعدد الوسائط 60%.
حساسية المهام: يفشل الاسترجاع بشكل أكبر في المهام التي تتطلب مطابقة كيانات دقيقة (المعرفة الواقعية، الاستدلال الإحصائي) مقارنة بمهام التشابه البصري العالمي (التحليل البصري).

أداء الاستدلال

الاعتماد على الاسترجاع: دقة الاستدلال تعتمد بشدة على جودة الاسترجاع.
- GPT-5: ينخفض من 80.86% دقة (مع الدليل الذهبي) إلى 51.4% دقة (مع أفضل 5 عناصر من الاسترجاع متعدد الوسائط).
- Gemini-2.5-Flash: ينخفض من 50.87% إلى 43.64%.
انتشار الخطأ: تنتقل أخطاء الاسترجاع مباشرة إلى فشل الاستدلال. عندما يتم استرجاع الدليل الصحيح، تؤدي النماذج أداءً تنافسياً؛ وعندما يُفقد الدليل، ينهار الأداء.
تأثير الحجم: مع زيادة حجم مجموعة العناصر المرشحة (1K $\to$ 10K $\to$ 46K)، يتدهور الاستدعاء (Recall) باستمرار، مما يؤكد أن النماذج الحالية تعاني مع الحجم وعدم التجانس.

تحليل الأخطاء

أخطاء الاسترجاع: تهيمن عليها انحيازات الوسائط (استرجاع صور بدلاً من فيديوهات) و الانجراف الدلالي (التركيز على التشابه البصري العالمي بدلاً من القيود الزمنية أو المحددة).
أخطاء الاستدلال: حتى مع الاسترجاع الصحيح، تعاني النماذج من الحساب البصري (خطأ في قراءة قيم المخططات) و الاستدلال الواعي بالتخطيط (دمج المعلومات المبعثرة).

5. المساهمات الرئيسية

معيار MultiHaystack: معيار مرجعي واسع النطاق (أكثر من 46 ألف عنصر)، متعدد الوسائط مع أدلة فريدة وقابلة للتحقق لـ 747 سؤالاً، مما يعالج قيود النطاق والغموض في الأعمال السابقة.
إطار تشخيصي: منهجية لفصل وتقييم مرحلتي الاسترجاع والاستدلال بشكل منفصل، مما يكشف أن الاسترجاع هو العائق الأساسي أمام النماذج اللغبية الكبيرة متعددة الوسائط في البيئات مفتوحة النطاق.
أدلة تجريبية: نتائج شاملة تظهر أن النماذج الرائدة حالياً (بما في ذلك GPT-5) تعاني من تدهور كبير في الأداء في سيناريوهات الاسترجاع متعدد الوسائط واسعة النطاق، مما يسلط الض الضوء على الحاجة إلى تقدمات معمارية تركز على الاسترجاع.
موارد مفتوحة: إصدار الكود، ومجموعة البيانات، وبروتوكولات التقييم لتسهيل البحث القابل للتكرار في مجال التوليد المعزز بالاسترجاع (RAG) متعدد الوسائط.

6. الأهمية

يغير MultiHaystack بشكل جذري نموذج التقييم للنماذج اللغبية الكبيرة متعددة الوسائط. فهو يثبت أن الأداء العالي في مهام VQA المنعزلة لا يترجم إلى موثوقية في العالم الحقيقي حيث يجب العثور على الدليل أولاً. يكشف المعيار أن الاسترجاع متعدد الوسائط عبر مجموعات غير متجانسة هو الحدود الحرجة لمستقبل تطوير الذكاء الاصطناعي. ويشير إلى أن مجرد زيادة حجم النموذج أو نوافذ السياق ليس كافياً؛ بل تتطلب الأنظمة المستقبلية محاذاة أفضل بين الوسائط، وتمثيلات مستقلة عن الوسائط، وارتباطاً أوثق بين الاسترجاع والاستدلال. تعمل هذه الورقة كدعوة للعمل للمجتمع العلمي لإعطاء الأولوية لمتانة الاسترجاع في البيئات غير المتجانسة.