EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
تقدم EviSafe إطار عمل ومعياراً قائماً على الأدلة (EviSafeBench) يقيم سلامة النماذج اللغوية الرؤية عبر تقييم ليس فقط الاستجابات النهائية، بل أيضاً قدرة النموذج على ربط القرارات بشكل صحيح بالأدلة البصرية/النصية والتكيف مع التغييرات الواقعية المضادة، مما يكشف أن النماذج الحالية غالباً ما تفشل في أن تكون آمنة للأسباب متعددة الوسائط الصحيحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، ظهر جيل جديد من البرامج الحاسوبية التي يمكنها الرؤية والقراءة في آن واحد. هذه الأنظمة، المعروفة باسم نماذج الرؤية واللغة، تنظر إلى صورة وتقرأ النص الذي يكتبه الشخص، ثم تدمج هذين التدفقين من المعلومات للإجابة على الأسئلة أو تقديم المشورة. وهي تُستخدم بشكل متزايد لتفسير الفحصات الطبية، وتحليل الوثائق القانونية، والتنقل في المشاهد الاجتماعية المعقدة. ولأن هذه الأدوات يمكن أن تؤثر على القرارات في العالم الحقيقي، فإن ضمان سلامتها يعد أولوية قصوى. لسنوات، اختبر الباحثون هذه الأنظمة عبر طرح أسئلة خطيرة والتحقق مما إذا كان الكمبيوتر سيرفض الإجابة. فإذا قالت الآلة "لا" أو قدمت تحذيراً، يُعتبر ذلك آمناً. وإذا أجابت على السؤال مباشرة، يُعتبر ذلك غير آمن. ومع ذلك، فإن هذه الطريقة تنظر فقط إلى النتيجة النهائية، تماماً مثل معلم يصحح مقال طالب بالتحقق من الخاتمة فقط دون قراءة المنطق الذي أدى إليها. فقد يرفض الكمبيوتر طلباً لمجرد أنه رصد كلمة واحدة مخيفة، أو قد يعطي إجابة خطيرة لأنه أغفل تفصيلاً حاسماً في الصورة. ويبقى السؤال: عندما تبدو الآلة آمنة، هل هي آمنة حقاً للأسباب الصحيحة؟
لقد طور فريق من الباحثين في جامعة شانغهاي جياو تونغ طريقة جديدة لاختبار هذه الأنظمة تغوص بعمق أكبر من مجرد الإجابة النهائية. لقد أنشأوا إطار عمل يسمى EviSafe، والذي يعامل السلامة ليس فقط كنجاح أو رسوب في المخرج النهائي، بل كعملية بحث عن الأدلة الصحيحة واستخدامها. تخيل حارس أمن يوقف شخصاً عند البوابة؛ اختبار بسيط يسأل فقط عما إذا كان الحارس قد أوقف الشخص، أما الاختبار الجديد فيسأل عما إذا كان الحارس قد أوقفهم لأنهم رأوا سلاحاً، أو لأنهم تعرفوا على تهديد محدد، أو ببساً لأن الشخص كان يرتدي قبعة حمراء. لقد بنى الباحثون مجموعة ضخمة مكونة من 1,181 سيناريو مصاغاً بعناية، يحتوي كل منها على صورة وسؤال، إلى جانب خريطة مفصلة لما يجب أن ينظر إليه الكمبيوتر لاتخاذ القرار الصحيح. كما أنشأوا أكثر من 2,400 تنويع لهذه السيناريوهات حيث قاموا بتغيير قطعة واحدة صغيرة من الأدلة، مثل إزالة جسم خطير من الصورة أو تغيير كلمة في السؤال، لمعرفة ما إذا كان سلوك الكمبيوتر سيتغير وفقاً لذلك.
اختبر الباحثون أحد عشر نموذجاً مختلفاً من نماذج الرؤية واللغة باستخدام هذه الطريقة الجديدة. طرحوا على كل نموذج ثلاثة أنواع من الأسئلة لكل سيناريو. أولاً، طلبوا من النموذج الإجابة على السؤال بشكل طبيعي، كما يفعل المستخدم تماماً. ثانياً، طلبوا من النموذج شرح منطقه من خلال الإشارة إلى النصوص والإشارات البصرية المحددة التي استخدمها لاتخاذ قراره. ثالثاً، قدموا للنموذج السيناريوهات المعدلة لمعرفة ما إذا كان بإمكانه تكييف إجابته عندما تتغير الأدلة. كشفت النتائج عن فجوة كبيرة بين الظهور بمظهر آمن وبين كون النظام آمناً بالفعل. فبينما أدى بعض النماذج أداءً جيداً نوعاً ما على السطح، حيث تراوحت دقة السلامة الطبيعية بين حوالي 28% و53%، كانت قدرتها على تحديد وتقرير الأدلة وراء قراراتها أقل بكثير. في الواقع، تم تصنيف جزء صغير فقط من سجلات (النموذج-السيناريو)، وهو 9.8% فقط، كنجاح قائم على الأدلة، مما يعني أن النموذج أصاب الإجابة النهائية وفي الوقت نفسه حدد بدقة الدليل البصري أو النصي المحدد الذي يبرر تلك الإجابة.
وجدت الدراسة أن العديد من النماذج تعتمد أساساً على التخمين أو الاعتماد على طرق مختصرة. فقد يرفض الكمبيوتر طلباً لأنه يرى كلمة دلالية مرتبطة بالخطر، حتى لو كانت الصورة تظهر سياقاً غير ضار، مثل طبيب يشرح إجراءً طبياً. وعلى العكس من ذلك، قد يعطي النموذج إجابة خطيرة لأنه فشل في ملاحظة تفصيل حاسم في الصورة يجعل الطلب غير آمن. وعندما قام الباحثون بتغيير الأدلة في سيناريوهات الاختبار، فشلت العديد من النماذج في تعديل سلوكها. فعلى سبيل المثال، إذا تمت إزالة جسم خطير من صورة، يجب على النموذج الآمن حقاً أن يغير إجابته من تحذير إلى استجابة آمنة. ومع ذلك، أظهرت الاختبارات أن حوالي 30% إلى 58% فقط من النماذج نجحت في إجراء هذا التحول. وهذا يشير إلى أن هذه الأنظمة لا تفهم العلاقة بين ما تراه وما تقوله بشكل موثوق؛ فهي غالباً ما تتفاعل مع الأنماط السطحية بدلاً من بناء فهم متماسك للموقف.
اكتشف الباحثون أيضاً أن حجم النموذج لا يحل المشكلة بالضرورة. فالنماذج الأكبر والأكثر قوة لم تؤدِ باستمرار أداءً أفضل في ربط النقاط بين الصورة والنص. بعض أكبر النماذج استطاعت تحديد عوامل الخطر بشكل صحيح عندما طُلب منها شرحها في تقرير مهيكل، ومع ذلك فشلت في التصرف بأمان عند الإجابة على نفس السؤال في محادثة طبيعية. يشير هذا إلى وجود انفصال بين قدرة النموذج على تحليل الأدلة وقدرته على استخدام ذلك التحليل لتوجيه سلوكه. وتخلص الدراسة إلى أن الجيل الحالي من نماذج الرؤية واللغة ليس آمناً بعد للأسباب الصحيحة. فقد تبدو آمنة عن طريق الصدفة، أو قد تكون غير آمنة بطرق مخفية عن اختبارات الرفض البسيطة. لبناء أنظمة موثوقة حقاً، سيتعين على المطورين تجاوز مجرد عدّ المرات التي يرفض فيها النموذج طلباً، والبدء في تدريبها على ربط قراراتها بالأدلة الفعلية الموجودة في الصورة والنص، لضمان أن سلامتها مبنية على الفهم وليس على الصدفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.