CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
تقدم هذه الورقة CLBench-V، وهو معيار شامل مصمم لتقييم تعلم السياق متعدد الوسائط عبر ثلاثة أبعاد رئيسية —التجذر، وتطبيق المعلومات الجديدة، واكتساب المعرفة— كاشفةً أن النماذج الحالية الرائدة لا تزال تعاني بشكل كبير في هذه المهام رغم التقدم في القدرات متعددة الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً فائق الذكاء كيف يحل لغزاً. في الأيام الخوالي، كنت ستكتفي بتغذية الروبوت بمكتبة ضخمة من الكتب وتأمل أن يحفظ كل حقيقة بداخلها. لكن في العالم الحقيقي، لا تأتي المشكلات مع إجابات جاهزة في مكتبة؛ بل بدلاً من ذلك، تسلم الروبوتاً مجلداً جديداً وفوضوياً يحتوي على خريطة، وتقرير مالي، ومخطط علمي، وبضع صور، وتقول له: "استنتج هذا باستخدام ما هو موجود هنا فقط". هذا هو تحدي التعلم السياقي (Context Learning): القدرة على تعلم قواعد جديدة أو العثور على أدلة محددة من المعلومات المقدمة في تلك اللماظة، بدلاً من الاعتماد على ما يعرفه الروبوت بالفعل من تدريبه.
لفترة طويلة، اختبر العلماء هذه المهارة باستخدام النصوص فقط، مثل إعطاء الروبوتا قصة طويلة ليقرأها. لكن الحياة الواقعية نادراً ما تكون مجرد نصوص؛ فهي مزيج من الكلمات، والمخططات، والخرائط، والصور. السؤال الكبير الذي يطرحه الباحثون هو: هل تستطيع نماذج الذكاء الاصطناტი الأكثر تقدماً "قراءة" مجلد متعدد الوسائط (نص + صور) والتعلم منه، أم أنها تتظاهر بالفهم بينما هي في الحقيقة تخمن بناءً على عادات قديمة؟ هذا هو الركن الذي يلتقي فيه الذكاء الاصطناعي بالواقع البصري المعقد للعالم البشري.
هنا يأسب CLBench-V، وهو "اختبار جهد" جديد صممه الباحثون ليروا مدى قدرة نماذج الذكاء الاصطناعي على التعامل مع هذا التحدي المحدد. فكر في CLBench-V ليس كاختبار واحد، بل كمسار عقبات مكون من ثلاثة مستويات.
المستوى الأول: عين المحقق (تأسيس السياق - Context Grounding)
أولاً، يجب على النموذج ببساطة أن يجد الأدلة. إذا أظهرت له خريطة مترو وسألته: "أي محطة تقع بين (أ) و(ب)؟"، فعليه أن ينظر فعلياً إلى الخريطة، لا أن يخمن بناءً على ما يعتقد أن شكل المترو يكون عليه عادةً. يختبر هذا المستوى ما إذا كان بإمكان الذكاء الاصطناعي تحديد موقع الدليل البصري الصحيح وربطه بالسؤال.
المستوى الثاني: الآلة الحاسبة (تطبيق معلومات جديدة - New Information Application)
بعد ذلك، يجب على النموذج استخدام الأدلة التي وجدها. تخيل أن الخريطة تقول: "سعر التذكرة اليوم هو 5 دولارات"، والسؤال هو: "كم سعر تذكرتين؟". يحتاج النموذج إلى أخذ هذا الرقم المحدد والجديد من الصورة وإجراء العملية الحسابية، متجاهلاً ذاكرته القديمة التي قد توحي بأن التذاكر تكلف عادةً 3 دولارات. يختبر هذا قدرة الذكاء الاصطناعي على تطبيق حقائق جديدة ومحددة دون أن يتشتت بمعرفته السابقة.
المستوى الثالث: العالم (تعلم معرفة جديدة - New Knowledge Learning)
أخيراً، المستوى الأصعب. يجب على النموذج تعلم قاعدة جديدة من السياق. على سبيل المثال، قد تعرض ورقة علمية مخططاً وتستنتج: "في هذه التجربة المحددة، يجعل الضوء الأزرق النباتات تنمو بشكل أسرع". يجب على النموذج قراءة ذلك، وفهم القاعدة، وتطبيقها على سؤال حول نبات مختلف. الأمر لا يقتصر فقط على إيجاد رقم؛ بل يتعلق بتعلم قانون جديد للكون طوال مدة الاختبار.
قام الباحثون ببناء هذا الاختبار عبر دمج مجموعات بيانات عامة موجودة مع مهام جديدة ابتكروها بأنفسهم، مع التركيز بشكل خاص على مجالات معقدة مثل التقارير المالية (حساب العائد على حقوق الملكية)، والأوراق العلمية (استنتاج النتائج من الأشكال الطبية)، ومشاهد الرياضة. وقد أجروا 3,443 من هذه الاختبارات على ستة من أذكى النماذج متعددة الوسائط المتاحة اليوم.
والنتائج؟ لا تزال الروبوتات تعاني. فحتى النموذج الأفضل أداءً، InternVL3.5-30B-A3B، سجل فقط 0.2847 إجمالاً. وهذه درجة منخفضة جداً، مما يشير إلى أن التعلم السياقي متعدد الوسائط لا يزال بعيداً عن كونه "محلولاً". تشير الورقة البحثية إلى أنه بينما يتفوق نموذج InternVL3.5-30B-A3B في إيجاد الأدلة (المستوى 1 / تأسيس السياق) وتعلم قواعد جديدة (المستوى 3 / تعلم معرفة جديدة)، إلا أنه يعاني في المستوى 2 (تطبيق معلومات جديدة)، حيث يجب على النماذج تطبيق حقائق محددة جديدة من المستندات. وفي المقابل، كان نموذج Qwen3.5-Plus هو الأفضل تحديداً في مهام المستوى 2.
ومن المثير للاهتمام، وجدت الدراسة أن طول المستند أو عدد الصور لم يجعل الأمور دائماً أسوأ بطريقة بسيطة. فأحياناً، كانت الصور الأكثر تساعد نموذجاً معيناً ولكنها تشتت نموذجاً آخر. المشكلة الكبرى لم تكن مجرد طول المستندات؛ بل كانت في أن النماذج غالباً ما تفشل في التمييز بين ما هو موجود في المستند وما "تعرفه" بالفعل من تدريبها. فقد ترى حقيقة جديدة في مخطط، ثم تقوم بإلغائها واستبدالها بتخمين قديم.
تخلص الورقة البحثية إلى أننا لا نزال في الأيام الأولى. فمجرد قدرة النموذج على "رؤية" صورة و"قراءة" نص لا يعني أنه يمكنه حقاً التعلم منهما معاً. ويأمل المؤلفون أن يساعد هذا المعيار الجديد، CLBench-V، المطورين على التوقف عن التخمين والبدء في معالجة هذه النقاط العمياء المحددة، حتى يصبح الذكاء الاصطناعي في النهاية شريكاً حقيقياً في حل المشكلات المعقدة في العالم الواقعي التي تتطلب قراءة التفاصيل الدقيقة في خريطة، أو مخطط، أو تقرير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.