InterLV-Search: Benchmarking Interleaved Multimodal Agentic Search
تقدم هذه الورقة البحثية InterLV-Search، وهو معيار شامل وإطار تقييم للبحث الوكيل متعدد الوسائط المتداخل الذي يسلط الضوء على أوجه القصور الحالية الكبيرة في قدرة الأنظمة على دمج الأدلة النصية والبصرية ديناميكيًا عبر سيناريوهات البحث النشط، والبحث الموجه غير المتصل بالإنترنت، والبحث في الويب المفتوح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز معقد، مثل العثور على شخص معين بناءً على سلسلة من الأدلة.
الطريقة القديمة (المعايير السابقة):
يتم تدريب معظم "المحققين" من الذكاء الاصطناعي الحاليين بهذه الطريقة: تعطيهم صورة لمشتبه به وتسألهم، "من هذا؟" أو "ما لون قبعته؟". ينظر الذكاء الاصطناعي إلى الصورة ويجيب. إذا لم تكن الصورة كافية، فقد يبحث الذكاء الاصطناعي في الإنترنت عن نصوص حول الشخص، لكنه يعامل الصورة باعتبارها مجرد نقطة بداية أو إجابة نهائية. نادراً ما يستخدم صورة يجدها في منتصف تحقيقه لتغيير اتجاه مساره. إنه يشبه المحقق الذي ينظر إلى صورة لمسرح الجريمة، ثم يكتفي بقراءة مقال في جريدة، ولا يدرك أبداً أن صورة جديدة وجدها في الصفحة الثالثة من الجريدة تشير في الواقع إلى مدينة مختلفة تماماً.
الطريقة الجديدة (InterLV-Search):
قام مؤلفو هذه الورقة البحثية، "InterLV-Search"، ببناء ساحة تدريب جديدة (معيار) لاختبار ما إذا كان بإمكان الذكاء الاصطناعي القيام بشيء أصعب بكثير: البحث الوكيل المتداخل متعدد الوسائط (Interleaved Multimodal Agentic Search).
فكر في هذا كأنه محقق يجب عليه التبديل باستمرار بين النظر إلى الخرائط (النصوص) والنظر إلى الصور (الصور الفوتوغرافية) لحل القضية.
- التحول: يجد الذكاء الاصطناعي صورة، ينظر إليها، ويدرك: "أوه! الشعار الموجود على هذا المبنى في الصورة يخبرني أنني بحاجة للبحث عن اسم علامة تجارية معينة". ثم يبحث عن تلك العلامة التجارية، فيجد صورة جديدة لسيارة، ويرى لوحة أرقام، وتلك اللوحة تخبره بالبحث عن مدينة معينة.
- الهدف: الصورة ليست مجرد إجابة؛ الصورة هي مقود توجيه. إنها تخبر الذكاء الاصطناعي إلى أين يقود مساره التالي.
مستويات الصعوبة الثلاثة
يختبرت الورقة البحثية الذكاء الاصطناعي على ثلاثة مستويات، مثل لعبة فيديو تزداد صعوبتها:
المستوى 1: تحدي "ابحث عن الصورة".
- المهمة: يُعطى الذكاء الاصطناعي وصفاً نصياً مثل: "ابحث عن اللعبة التي تظهر فيها هذه السفينة القراصنة". عليه أن يعرف ما هي السفينة، ويبحث عنها، ويجد الصورة، ثم يجيب على سؤال حول الصورة (مثلاً: "ما هو المحرك الذي تستخدمه السفينة؟").
- التشبيه: تُعطى لغزاً عن شيء مخفي. عليك أن تجد الشيء أولاً قبل أن تتمكن من حل اللغز.
المستوى 2: تحدي "المتاهة المحكومة".
- المهمة: يتواجد الذكاء الاصطناعي في غرفة مغلقة (قاعدة بيانات غير متصلة بالإنترنت ومحكومة) مع خريطة. يبدأ بخيط نصي، فيجد صورة، تعطي الصورة خيطاً جديداً، فيجد صورة أخرى، وهكذا.
- التشبيه: تخيل لعبة البحث عن الكنز حيث يؤدي العثور على صورة لباب أحمر إلى قيادتك نحو خيط نصي عن سيارة زرقاء، مما يؤدي بدوره إلى صورة لطائر أصفر. يجب على الذكاء الاصطناعي استخدام صورة الباب ليقرر البحث عن السيارة. إذا تجاهل الصورة واستمر في قراءة النصوص فقط، فسيضيع.
المستوى 3: تحدي "الإنترنت الجامح".
- المهمة: الآن يخرج الذكاء الاصطناعي إلى الإنترنت الحقيقي والفوضوي. عليه البحث عن أدلة، وإيجاد صور، وإدراك أن بعض الصور مزيفة أو غير ذات صلة، والمقارنة بين مسارات مختلفة (على سبيل المثال: "هل هذا الفيلم مدته 60 دقيقة أم 90 دقيقة؟") واختيار المسار الصحيح للاستمرار.
- التشبيه: هذا يشبه محققاً يحاول حل قضية باستخدام الإنترنت بأكمله. يتعين عليه غربلة ملايين المواقع الإلكترونية، وبعضها يحتوي على صور سيئة أو تواريخ خاطئة، واتخاذ قرار بشأن المسار الذي يجب اتباعه بناءً على ما يراه في الصور.
ماذا وجدوا؟
اختبر المؤلفون العديد من أذكى نماذج الذكاء الاصطناعي (مثل GPT-5، وGemini، وClaude) على هذا الاختبار الجديد.
- النتيجة: نماذج الذكاء الاصطناعي سيئة جداً في هذا الأمر حالياً. حتى أفضل النماذج حصلت على أقل من 50% من الإجابات الصحيحة.
- المشكلة: نماذج الذكاء الاصطناعي بارعة في قراءة النصوص ورائعة في النظر إلى صورة واحدة. لكنها تعاني في ربط النقاط ببعضها عندما تحتاج صورة تم العثور عليها في منتصف عملية البحث إلى تغيير خطة البحث بأكملها. غالباً ما تتعثر في البحث عن نصوص بينما ينبغي لها البحث عن صورة، أو تعامل الصورة كـ "تحقق نهائي" بدلاً من كونها "خيطاً جديداً".
مجموعة الأدوات (InterLV-Agent)
للتأكد من أن الجميع يلعبون وفقاً لنفس القواعد، بنى المؤلفون "وحدة تحكم" قياسية تسمى InterLV-Agent. تتيح هذه الأداة للذكاء الاصطناعي استخدام متصفح الويب، والبحث عن الصور، وقص الصور، والاحتفاظ بـ "دفتر ملاحظات" (ذاكرة) لما وجده حتى الآن. هذا يضمن أنه عندما نقول إن الذكاء الاصطناعي قد فشل، يكون ذلك لأنه لم يستطع حل اللغز، وليس لأنه لم يمتلك الأدوات المناسبة.
الملخص
ببساً، تقول هذه الورقة البحثية: "لقد بنينا اختباراً جديداً وأكثر صعوبة لمحققين من الذكاء الاصطناعي. وجدنا أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، إلا أنه لا يزال غير قادر على استخدام الصور التي يجدها أثناء البحث لتغيير رأيه والعثور على الخيط التالي. الأمر يشبه محققاً يمكنه قراءة خريطة والنظر إلى صورة، لكنه لا يستطيع إدراك أن الصورة تخبره في الواقع بضرورة سلك طريق مختلف".
لقد نشر المؤلفون هذا الاختبار وهذه الأدوات لكي يتمكن باحثون آخرون من محاولة بناء ذكاء اصطناعي أفضل في هذا النوع من التفكير "المتداخل".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.