BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning
تقدم هذه الورقة BRUCE، وهو إطار عمل مبتكر يقيس مدى متانة نماذج الرؤية واللغة العلمية ضد فساد الصور المتصاعد من خلال توظيف مقاييس جديدة لتقدير تدهور الأداء وتقديم تحليل تفسيري لإخفاقات الاستنتاج عبر المجالات المتعلقة بالتعرف الضوئي على الحروف (OCR)، والمجال المكاني، والرمزي، والدلالي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً فائق الذكاء كيف يفهم العالم من خلال عرض صور عليه وطرح أسئلة. هذا هو عالم نماذج الرؤية واللغة (VLMs). فكر في هذه النماذج كطالب قرأ كل كتاب في المكتبة ويمكنه أيضاً رؤية كل صورة التُقطت على الإطلاق. إنهم مذهلون في الإجابة على الأسئلة عندما تكون الصورة واضحة تماماً والإضاءة مثالية. لكن في العالم الحقيقي، لا تكون الأشياء مثالية دائماً؛ فقد تصبح الصور ضبابية، أو قد يكون التباين منخفضاً، أو قد يتم قطع أجزاء من الصورة. السؤال الكبير الذي يطرحه العلماء هو: إذا سلمت هذا الطالب فائق الذكاء صورة تالفة قليلاً أو غير مرتبة، فهل سيظل يحصل على الإجابة الصحيحة، أم سينهار تماماً؟
هنا يأتي مفهوم المتانة (Robustness). الأمر لا يتعلق فقط بمدى ذكاء الروبوت عندما تكون الأمور سهلة، بل يتعلق بمدى قدرته على التعامل مع القليل من الفوضى. عادةً، عندما نختبر هذه الروبوتات، نتحقق فقط مما إذا كانت تحصل على الإجابة الصحيحة في الصور المثالية. لكن هذه الورقة البحثية تجادل بأن ذلك يشبه اختبار سيارة على مضمار سباق سلس فقط دون رؤيتها أبداً وهي تتعامل مع حفرة أو يوم ممطر. نحن بحاجة لمعرفة ما إذا كان استنتاج الروبوت سيظل ثابتاً عندما تبدأ المعلومات البصرية في التدهور، لأن الصور في الحياة الواقعية نادراً ما تكون مثالية.
إطار عمل "BRUCE": اختبار قوة عقل الروبوت
في هذه الورقة، قدم الباحثون نظام اختبار جديد يسمى BRUCE (اختصار لـ Benchmarking Robustness Under Corruption Escalation - قياس المتانة تحت تصاعد التلف). تخيل BRUCE كمدرب رياضي صارم ومشاكس قليلاً لهذه النماذج الذكية. فبدلاً من مجرد ترك النماذج تجيب على الأسئلة، يبدأ BRUCE بالعبث بالصور التي ينظرون إليها. هو لا يكتفي بإجراء تغيير واحد صغير، بل يجعل الصور تسوء وتسوء تدريجياً، خطوة بخవాطوة.
قد يبدأ المدرب بجعل الصورة ضبابية قليلاً، ثم أكثر قليلاً، ثم كثيراً. أو قد يبدأ بقص الصورة، حيث يأكل الحواف ببطء حتى لا يتبقى سوى شريحة صغيرة منها. كما أنه يجرب "العبور" (traversing) عبر الصورة، وهو ما يشبه تغطية الصورة ببطء من الأعلى إلى الأسفل أو من اليسار إلى اليمين، وإزالة المعلومات قطعة قطعة ليرى بالضبط متى يبدأ النموذج في الذعر والاستسلام.
ولقياس مدى قدرة النماذج على تحمل هذا الضغط، ابتكر المؤلفون بطاقتي تسجيل جديدتين:
- مؤشر فساد المتانة (RCI): يقيس مدى سرعة انخفاض أداء النموذج مع زيادة فوضوية الصورة. إنه يشبه "مقياس الهشاشة".
- مؤشر RCI للعبور (T-RCI): هذا مؤشر خاص باختبارات "الأكل التدريجي". فهو يتحقق مما إذا كان النموذج سينهار عندما تُزال المعلومات من اتجاه معين، مما يكشف ما إذا كان النموذج يعتمد على جزء صغير جداً من الصورة لحل المشكلة بأكملها.
ماذا وجدوا: الطالب "الذكي" مقابل الطالب "المستقر"
اختبر الباحثون سبعة نماذج ذكاء اصطناي مختلفة في مسائل علمية ورياضية معقدة، بما في ذلك الرسوم التخطيطية الكيميائية وألغاز الهندسة. وإليكم ما اكتشفوه:
1. كونك "ذكياً" لا يعني أنك "متين"
النتيجة الأكثر إثارة للدهشة هي أن النموذج يمكن أن يكون ذكياً للغاية في الصور المثالية ولكنه سيء للغاية عندما تتضرر الصورة قليلاً. على سبيل المثال، كان نموذج GPT-4.1 بارعاً في حل المسائل الكيميائية عندما كانت الصور نظيفة، ولكن بمجرد أن بدأ الباحثون في إزالة أجزاء من الصورة (العبور)، انهار أداؤه بشكل أكبر من أي نموذج آخر تقريباً. اتضح أن GPT-4.1 كان مثل طالب حفظ التخطيط الدقيق للرسم البياني لكنه لم يستطع فهم المنطق إذا فُقد جزء منه.
2. "المتخصص" ليس دائماً هو الأفضل
لقد اختبروا ChemVLM-8B، وهو نموذج مُدرب خصيصاً للكيمياء. قد تعتقد أن متخصص الكيمياء سيكون الأفضل في مسائل الكيمياء. ومع ذلك، أظهرت النتائج أنه لم يكن بالضرورة أكثر متانة من النماذج العامة. في الواقع، عانى بقدر ما عانى غيره، إن لم يكن أكثر، عندما تم إتلاف الأدلة البصرية. وهذا يشير إلى أن معرفة حقائق الكيمياء ليست كافية؛ بل يجب أن يكون النموذج أيضاً جيداً في "الرؤية" من خلال الضجيج.
3. الفائزون "المستقرون"
برز نموذجان كأكثر النماذج صموداً: InternVL2.5-8B و Qwen2.5-VL-72B. لم يكتف هذان النموذجان بالحصول على الإجابات الصحيحة فحسب، بل استمرا في الحصول عليها حتى عندما كانت الصور ضبابية أو بها أجزاء كبيرة مفقودة. وبشكل خاص، حقق Qwen2.5-VL-72B أعلى دقة في الحالة النظيفة (87.23%) وحافظ على دقة عالية (84.18%) حتى عندما كانت الصور تالفة. يبدو أن هذه النماذج لديها طريقة تفكير أكثر توزيعاً، حيث لا تعتمد على جزء واحد فقط من الصورة لحل اللغز.
4. "الاتجاه" يفرق
وجدت الدراسة أن طريقة إزالة المعلومات تفرق. بالنسبة لبعض النماذج، كان إزالة الصورة من الأعلى إلى الأسفل أمراً جيداً، لكن إزالتها من اليمين إلى اليسار جعلها تفشل فوراً. هذا يشير إلى أن نماذج الذكاء الاصطناعي هذه لديها "نقاط عمياء" أو تحيزات في كيفية نظرها إلى الصورة. قد ينظرون إلى الجانب الأيمن من الصورة بحثاً عن أدلة، وإذا غطيت ذلك الجانب، فإنهم يضيعون.
5. المشكلة الحقيقية: الاستنتاج، وليس مجرد الرؤية
عندما ساءت جودة الصور، لم تتوقف النماذج فقط عن "رؤية" الأشياء، بل توقفت عن "الاستنتاج". وجد الباحثون أن أكبر نوع من الفشل كان الاستنتاج الرمزي (Symbolic Reasoning). وهذا يعني أن النماذج لا تزال قادرة على رؤية الأشكال والأرقام، لكنها لم تستطع ربط النقاط ببعضها لحل مسألة الرياضيات أو العلوم. إنه يشبه طالباً يستطيع قراءة الأرقام على الساعة، لكنه لا يستطيع معرفة الوقت إذا كانت العقارب ضبابية قليلاً.
الخلاصة
تخلص الورقة إلى أنه لا يمكننا الاكتفاء بالنظر إلى مدى جودة أداء الذكاء الاصطناعي في الاختبارات المثالية. نحن بحاجة إلى اختبار قدرة تحملهم باستخدام صور فوضوية، تالفة، وغير مكتملة لنرى ما إذا كان استنتاجهم سيصمد. يقترح المؤلفون أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في العالم الحقيقي - حيث غالباً ما تكون الصور ضبابية أو مقطوعة - نحتاج إلى نماذج ليست ذكية فحسب، بل متينة أيضاً بما يكفي للتعامل مع فوضى الواقع دون أن تفقد تسلسل أفكارها. يوفر إطار عمل "BRUCE" لنا الأدوات لمعرفة أي النماذج جاهزة حقاً للعالم الحقيقي وأيها مجرد نماذج جيدة في التقاط الصور المثالية للاختبار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.