← أحدث الأبحاث
🤖 AI

OODBench: Out-of-Distribution Benchmark for Large Vision-Language Models

تقدم هذه الورقة البحثية OODBench، وهو معيار تقييم مؤتمت يتكون من 40 ألف زوج من الحالات خارج التوزيع (OOD) على مستوى المثيل ومقياس تقييم تدريجي لتقييم وكشف التدهور الكبير في أداء النماذج اللغوية الرؤيوية الكبيرة الحالية عند التعامل مع بيانات خارج التوزيع في سيناريوهات العالم الحقيقي بشكل شامل.

المؤلفون الأصليون: Ling Lin, Yang Bai, Heng Su, Congcong Zhu, Yaoxing Wang, Yang Zhou, Huazhu Fu, Jingrun Chen

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Ling Lin, Yang Bai, Heng Su, Congcong Zhu, Yaoxing Wang, Yang Zhou, Huazhu Fu, Jingrun Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يرى فيه الذكاء الاصطناعي العالم تماماً كما يفعل الطفل: يتعلم من خلال النظر إلى ملايين الصور وقراءة الكلمات التي تصفها. على مدار السنوات القليلة الماضية، أصبحت هذه الأنظمة، المعروفة بنماذج الرؤية واللغة، بارعة للغاية في تحديد الأشياء الشائعة. يمكنها النظر إلى صورة لكلب من فصيلة "جولدن ريتريفر" والقول بثقة: "هذا كلب". كما يمكنها رصد سيارة حمراء أو سماء زرقاء بكل سهولة. وقد أدى هذا النجاح بالكثيرين إلى الاعتقال بأن هذه الآلات قد أتقنت فن الرؤية. لكن هناك عيب خفي في هذه الثقة؛ فهذه الأنظمة تتدرب على مكتبات ضخمة من الصور القياسية، الواضحة، والمضاءة جيداً. ومع ذلك، فإن الأمور في العالم الحقيقي نادراً ما تكون بهذا الترتيب. فقد يكون الكلب مختبئاً جزئياً خلف سياج، أو قد تكون السيارة مغطاة بالطين، أو قد تكون لافتة مرورية محجوبة بغصن شجرة. وعندما يواجه الذكاء الاصطناعي هذه المواقف الفوضوية، أو غير المعتادة، أو "الخارجة عن المألوف"، فإنه غالباً ما يفشل، وأحياناً بعواقب خطيرة على تطبيقات مثل السيارات ذاتية القيادة أو التشخيص الطبي. تكمن المشكلة في أنه لم يكن لدينا وسيلة جيدة لاختبار كيفية تعامل هذه الآلات مع مثل هذه السيناريوهات غير المتوقعة حتى الآن.

لقد تدخل فريق من الباحثين لسد هذه الفجوة بأداة جديدة تسمى "OODBench". فكر في هذا كاختبار جهد صارم مصمم خصيما لرؤية مدى قدرة الذكاء الاصطناعي على التأقلم عندما تتغير قواعد اللعبة. لم يقم الباحثون بمجرد إلقاء صور عشوائية وغريبة على هذه النماذج، بل بنوا نظاماً متطوراً لتحديد أنواع معينة من الارتباك. لقد ركزوا على طريقتين رئيسيتين يمكن أن تضلل الصورة الآلة: الأولى هي عندما يكون الشيء موجوداً ولكنه يبدو في غير مكانه أو باهتاً، مثل جسم صغير وضبابي في زاوية مشهد شارع مزدحم لم يُدرب النموذج حقاً على ملاحظته. والثانية هي عندما يبدو شيء مألوف غريباً، ربما لأنه مكسور، أو مشوه، أو يُرى من زاوية غريبة، مما يجعل من الصعب على الآلة التعرف على ماهيته. ومن خلال إنشاء مجموعة ضخمة مكونة من أربعين ألف زوج من الصور والكلمات المربكة هذه، وضع الفريق معياراً جديداً لقياس مدى قوة أنظمة الذكاء الاصطناعي هذه حقاً.

إن نتائج هذا المعيار الجديد مثيرة للقلق. فعندما اختبر الباحثون عشرة من أكثر نماذج الرؤية واللغة تقدماً المتاحة اليوم، وجدوا أن حتى الأنظمة الأكثر ذكاءً تعاني بشكل كبير عندما تواجه هذه الحالات الخارجة عن المألوف. وبينما كان أداء النماذج جيداً في الصور القياسية والواضحة، انخفضت دقتها بشكل حاد عندما أصبحت البيانات فوضوية أو غير عادية. وفي الاختبارات الأكثر صعوبة، حيث كانت الصور مربكة بشكل خاص، كان أداء بعض النماذج لا يتعدى التخمين العشوائي. وهذا يشير إلى أنه رغم قدرتها المثيرة للإعجاب على وصف المشاهد اليومية، إلا أن هذه الآلات تفتقر إلى فهم عميق ومرن للعالم؛ فهي تعتمد بشدة على الأنماط التي رأتها من قبل، وعندما تنكسر تلك الأنماط، تتعثر. كما كشفت الدراسة أن النماذج سيئة بشكل خاص في عد الأشياء أو مقارنتها عندما تكون الصور صعبة، مما يظهر أن منطقها الاستنتاجي ينهار تحت الضغط.

ولضمان أن تكون هذه النتائج حقيقية وليست مجرد ضربة حظ في اختبار واحد محدد، طور الباحثون طريقة آلية ذكية لبناء مجموعة البيانات الخاصة بهم. فبدلاً من الاعتماد على البشر لاختيار كل صورة صعبة يدوياً، استخدموا طريقة تقارن بين كيفية "تقييم" نماذج الذكاء الاصطناعي المختلفة للعلاقة بين الصورة والكلمة. إذا اتفقت نماذج متعددة على أن الاتصال ضعيف أو مربك، يتم وضع علامة على تلك الصورة كحالة تحدٍ. سمحت هذه العملية بإنشاء مجموعة بيانات ضخمة وموثوقة بجهد بشري ضئيل جداً. ثم اختبروا النماذج باستخدام نهج خطوة بخوة، عبر طرح أسئلة بسيطة أولاً، مثل "هل يوجد شاحنة في هذه الصورة؟" ثم الانتقال إلى أسئلة أصعب، مثل "كم عدد الشاحنات الموجودة؟" وأخيراً "هل توجد شاحنات أكثر من السيارات؟". أظهر هذا التدرج أنه كلما زادت المهام صعوبة وأصبحت الصور أكثر فوضوية، انهار قدرة النماذج على التفكير بشكل صحيح. حتى الأنظمة التجارية الأكثر قوة، والتي غالباً ما تُعتبر مثالية، أظهرت انخفاضاً كبيراً في الأداء، مما يثبت أن الجيل الحالي من الذكاء الاصطناعي لا يزال بعيداً كل البعد عن أن يكون موثوقاً حقاً في العالم الحقيقي غير المتوقع.

استكشف الباحثون أيضاً ما إذا كانت تقنية شائعة تسمى "سلسلة الأفكار" (chain-of-thought)، والتي تطلب من الذكاء الاصطناعي شرح منطقه خطوة بخطوة قبل إعطاء الإجابة، يمكن أن تساعد. ووجدوا أنه بالنسبة لبعض النماذج، قدمت هذه الطة دفعة صغيرة، ولكن بالنسبة لنماذج أخرى، جعلت الأمور أسوأ في الواقع، مما تسبب في تعثرها بشكل أكبر. وهذا يشير إلى أن مجرد مطالبة الآلة بالتفكير بجهد أكبر لا يحل المشكلة الأساسية المتمثلة في عدم رؤية أمثلة متنوعة بما يكفي أثناء تدريبها. وتخلص الدراسة إلى أنه بينما تعد هذه النماذج أدوات قوية، إلا أنها ليست جاهزة بعد للطبيعة الفوضوية وغير المتوقعة للحياة الواقعية. إن إنشاء "OODBench" يوفر مساراً واضحاً للمضي قدماً، حيث يقدم وسيلة لقياس التقدم ويدفع المطورين لبناء أنظمة يمكنها التعامل مع غير المتوقع دون فشل. وإلى أن تتمكن هذه الآلات من التنقل في المواقف الغريبة وغير المعتادة بنفس الثقة التي تظهر بها في المواقف العادية، فإن استخدامها في التطبيقات الحرجة المتعلقة بالسلامة سيظل يشكل خطراً.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →