ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models
تقدم هذه الورقة إطار عمل ومعيار ORIC لتقييم وتحسين قدرات نماذج الرؤية واللغة الكبيرة في التعرف على الأشياء في ظل عدم الاتساق السياقي، مما يثبت أن مثل هذه السيناريوهات تضعف الأداء بشكل كبير وأن الضبط الدقيق للتعزيز البصري المستهدف يمكن أن يخفف من هذه الإخفاقات بفعالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً ذكياً جداً، واسع الاطلاع، قد شاهد الملايين من الصور ويعرف الكثير عن العالم. هذا الصديق هو نموذج لغوي بصري ضخم (LVLM). إذا عرضت عليه صورة لمطبخ، يمكنه أن يقول لك: "هذه ثلاجة، ومحمصة خبز، وفنجان قهوة". وعادة ما يكون بارعاً في ذلك.
لكن، مثل أي إنسان، لديه نقطة ضعف غريبة: السياق.
إذا وضعت محمصة خبز في مطبخ، سيقول صديقك: "نعم، هذه محمصة خبز".
لكن إذا وضعت محمصة خبض في منتصف حمام سباحة، فقد يرتبك صديقك. قد يقول: "لا يمكن أن تكون هذه محمصة خبز؛ المحمصات لا توضع في المسابح!" وقد يتجاهلها تماماً. أو الأسوأ من ذلك، إذا عرضت عليه صورة لملعب بيسبول وسألته: "هل يوجد نقانق (Hot Dog) هنا؟" فقد يقول: "نعم!" حتى لو لم تكن موجودة، فقط لأن النقانق توجد عادة في مباريات البيسبول.
هذه الورقة البحثية، التي تحمل عنوان ORIC، تتحدث عن اختبار هؤلاء الأصدقاء من الذكاء الاصطناعي على هذا النوع من "المواقف المربكة" تحديداً.
المشكلة الجوهرية: "ضبابية الدماغ" الناتجة عن السياق
يسمي المؤلفون هذا بـ "التنافر السياقي" (Contextual Incongruity). وهو عندما يكون الشيء في مكان لا ينتمي إليه، أو عندما يكون الشيء الذي يجب أن يكون موجوداً مفقوداً.
فكر في الأمر كأنه محقق يعتمد كثيراً على "حدسه" (ما يتوقع رؤيته) بدلاً من النظر إلى الأدلة الفعلية.
- الخطأ: يرى الذكاء الاصطناعي قطاراً في مكتب. يقول "حدسه": "القطارات لا تذهب إلى المكاتب!" لذا يتجاهل القطار.
- الهلوسة: يرى الذكاء الاصطناعي ملعب بيسبول. يقول "حدسه": "ملاعب البيسبول تحتوي على كرات!" فيبتدع كرة ليست موجودة أصلاً.
تجادل الورقة بأن الذكاء الاصطناعي الحالي واثق جداً في "حدسه" ويفشل عندما تتعارض الحقيقة مع توقعاته.
الحل: إطار عمل ORIC
لإصلاح ذلك، بنى الباحثون اختباراً جديداً يسمى ORIC-Bench. لم يكتفوا بجلب صور عشوائية، بل استخدموا عملية ذكية من خطوتين لإنشاء أسئلة "مخادعة":
- المحقق "المندهش" (أخذ العينات بتوجيه LLM):
سألوا ذكاءً اصطناعياً فائق الذكاء (مثل GPT-5) أن ينظر إلى صورة ويقول: "مهلاً، هناك جسم غريب في هذه الصورة لا يتناسب مع المشهد".
- مثال: "أرى موزة على مكتب في مكتب. هذا غريب! دعونا نختبر ما إذا كانت نماذج الذكاء الاصطنا الأخرى ستلاحظ ذلك".
- الفنان "المتخيل" (أخذ العينات بتوجيه CLIP):
طلبوا من الذكاء الاصطناعي أن يتخيل جسماً يجب أن يكون موجوداً ولكنه مفقود.
- مثال: "هذا ملعب كرة قدم. ينقصه كرة قدم. دعونا نرى ما إذا كان الذكاء الاصطناعي سيهلوس بوجودها".
لقد أنشأوا 1000 من هذه الأسئلة المخادعة. الأمر يشبه اختبار قيادة، فبدلاً من القيادة على طريق مستقيم، يتعين عليك القيادة عبر منطقة بناء، وضباب مفاجئ، وطريق ينتهي في بحيرة.
ماذا وجدوا: الأصدقاء "الأذكياء" في حيرة من أمرهم
اختبروا 18 نموذجاً مختلفاً من الذكاء الاصطناعي (بما في ذلك أسماء كبيرة مثل GPT-5 و Qwen و Llama) في هذا الاختبار الجديد.
- النتيجة: حتى النماذج الأكثر ذكاءً، والتي تحصل عادة على 95-100% في الاختبارات العادية، انخفضت نسبتها إلى حوالي 60-60% في هذا الاختبار المخادع.
- التشبيه: تخيل طالباً يحصل على درجة "امتياز" في اختبار رياضيات بأرقام واضحة، ولكن عندما تعطيه مسألة لفظية ذات حبكة غير متوقعة، يفشل لأنه يخمن بناءً على ما تبدو عليه المسألة عادةً، بدلاً من قراءة الكلمات الفعلية.
وجدوا أن الذكاء الاصطناعي كان إما:
- يتجاهل أجساماً حقيقية لأنها لا تناسب المشهد (مثل تجاهل القطار في المكتب).
- يبتكر أجساماً وهمية لأن المشهد "يتطلبها" (مثل رؤية كرة في الملعب الفارغ).
الحل: تعليم الذكاء الاصطناعي "أن يفكر قبل أن يتكلم"
لم يكتفِ الباحثون بالإشارة إلى المشكلة فحسب؛ بل حاولوا حلها. استخدموا تقنية تسمى الضبط الدقيق المرئي التعزيزي (Visual Reinforcement Fine-Tuning - Visual-RFT).
فكر في هذا كأنه تدريب للمدرب للذكاء الاصطناعي.
- الطريقة القديمة: يخمن الذكاء الاصطناعي "نعم" أو "لا". إذا أصاب، يحصل على قطعة حلوى. وإذا أخطأ، لا يحصل على شيء.
- الطريقة الجديدة (Visual-RFT): يجب على الذكاء الاصطناعي توضيح خطوات تفكيره. يجب أن يكتب منطقه أولاً: "أنا أرى شكلاً أحمر. يبدو كأنه كرة. لكن مهلاً، الخلفية هي مكتبة. المكتبات لا تحتوي على كرات. دعني أنظر عن كثب. آه، إنه في الواقع كتاب أحمر".
لقد قاموا بتدريب الذكاء الاصطناعي على 600 من هذه الأمثلة "المخادعة"، ولم يكافئوه إلا عندما يحدد الجسم بشكل صحيح ويشرح سبب ذلك، حتى لو كان السياق غريباً.
النتيجة:
بعد هذا "التدريب"، أصبح الذكاء الاصطناعي أفضل بكثير. توقف عن التخمين بناءً على حدسه وبدأ في النظر إلى الأدلة الفعلية. لقد تحسن ليس فقط في الاختبار المخادع، بل أيضاً في الاختبارات المعيارية الأخرى، مما جعله أكثر موثوقية بشكل عام.
لماذا يهم هذا الأمر؟
هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تظهر أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في العالم الحقيقي (مثل السيارات ذاتية القيادة أو التشخيص الطبي)، لا يمكنه مجرد الاعتماد على الأنماط التي تعلمها من الإنترنت. يجب أن يكون قادراً على التعامل مع المفاجآت.
إذا رأت سيارة ذاتية القيادة بقرة على الطريق السريع، فلا ينبغي أن تقول: "هذا مستحيل، البقر لا يقود على الطرق السريعة"، وتتجاهلها. بل يجب أن ترى البقرة، وتدرك عدم التوافق السياقي، وتتوقف.
باخت_صار: ورقة ORIC البحثية صممت اختبار "الأسئلة المخادعة" لتظهر أن الذكاء الاصطناعي يسهل خداعه بتوقعاته الخاصة، ووجدت طريقة لتعليمه الوثوق بالأدلة بدلاً من الوثوق بحدسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.