Overview of SHROOM-Visions 2026: A Shared Task on Hallucination Detection in Large Vision-Language Models
نجحت مهمة SHROOM-Visions 2026 المشتركة، التي استضافتها ورشة عمل UncertaiNLP، في إشراك 27 فريقاً لتطوير أنظمة مستقلة عن النماذج للكشف عن الهلوسات دقيقة التفاصيل في النماذج اللغوية البصرية الكبيرة وتصنيفها عبر أربع لغات، محققةً تحسينات ملحوظة في الأداء مقارنة بالنماذج المرجعية باستخدام مجموعة بيانات SHEEP.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، تعلم جيل جديد من الحواسيب الرؤية والتحدث في آن واحد. هذه الأنظمة، المعروفة باسم نماذج الرؤية واللغة الكبيرة، يمكنها النظر إلى صورة ووصفها بجمل طليقة، أو الإجابة على أسئلة حول ما تراه. إنها قادرة بشكل ملحوظ، ومع ذلك فهي تعاني من نوع محدد من الخطأ يسمى "الهلوسة". هذه ليست خدعة بصرية مثل السراب، بل هي خدعة لفظية: حيث ينتج الكمبيوتر نصاً يبدو واثقاً وسليماً من الناحية النحوية، ولكنه خاطئ واقعياً أو غير مرتبط تماماً بالصورة التي ينظر إليها. قد يخترع كائناً ليس موجوداً، أو يصف لوناً بشكل غير صحيح، أو يسيء قراءة لافتة. ومع ازدياد شيوع هذه الأدوات في الحياة اليومية، من مساعدة الأطباء في قراءة الفحوصات إلى مساعدة المسافرين، أصبح القدرة على رصد هذه الأكاذيب الواثقة قضية سلامة بالغة الأهمية.
ولمعالجة هذا التحدي، نظم الباحثون مسابقة عالمية بعنوان "SHROOM-Visions 2026". لم يكن الهدف بناء مولد صور أفضل، بل إنشاء كاشف أفضل للأخطاء. شاركت سبعة وعشرون فريقاً من جميع أنحاء العالم، وقدموا مئات الأنظمة الحاسوبية المختلفة المصممة لمسح صورة، وسؤال، وإجابة مولدة، ثم تحديد الكلمات التي تمثل أكاذيب بالضبط ونوع ذلك الكذب. استخدمت المسابقة مجموعة ضخمة تضم عشرين ألف مثال عبر أربع لغات: الإنجليزية، والصينية، والفرنسية، والإيطالية. والأهم من ذلك، أن الباحثين لم يعتمدوا فقط على الأخطاء التي ترتكبها الحواسيب الأخرى، والتي يمكن أن تكون منحازة أو متكررة. بدلاً من ذلك، ضمنوا آلاف الأمثلة حيث كتب البشر عمداً أوصافاً خاطئة للصور، مما ضمن أن تكون بيانات الاختبار قوية ومستقلة عن أي سمات خاصة بآلة معينة.
كشفت النتائج أنه بينما حققت الحواسيب تقدماً كبيراً، إلا أن المهمة لا تزال صعبة. تمكنت أفضل الأنظمة في المسابقة من تحديد وتصنيف هذه الأخطاء بمستوى متوسط من الدقة، متفوقة بشكل كبير على الأساليب الأساسية بهامش يتراوح بين ثلاثين إلى أربعين نقطة. ومع ذلك، لم تحقق حتى الأنظمة المتفوقة درجات كاملة. استطاعت الأنظمة الأكثر نجاحاً تحديد موقع الكلمة المهلوسة بشكل صحيح في نصف الحالات تقريباً، وتصنيف نوع الخطأ بموثوقية مماثلة. يشير هذا إلى أنه بينما نصبح أفضل في تعليم الآلات مراقبة مخرجاتها، فإن مشكلة التمييز بين الحقيقة والخيال في سياق بصري لا تزال بعيدة عن الحل.
ظهرت نتيجة مفاجئة من تحليل كيفية أداء هذه الأنظمة. اكتشف الباحثون أن ترتيب الفرق لم يكن مستقراً كما قد توحي قائمة بسيطة من الدرجات. فعندما تم اختبار الأنظمة نفسها على مجموعات فرعية مختلفة من البيانات، تغيرت مواقعها النسبية بشكل كبير. فالفريق الذي بدا رائداً واضحاً في مجموعة واحدة من الاختبارات قد يتراجع بشكل كبير في اختبار آخر. يشير هذا عدم الاستقرار إلى أن أداء هذه الكواشف حساس للغاية لكيفية بناء بيانات الاختبار. فقد أظهرت بعض الأنظمة أداءً استثنائياً على البيانات التي أنتجتها آلات أخرى، لكنها واجهت صعوبة عندما واجهت أخطاءً كتبها البشر، بينما أظهرت أنظمة أخرى الاتجاه المعاكس. يشير هذا إلى أن نجاح النظام لا يتعلق فقط بذكائه الخام، بل أيضاً بمدى تطابق بيانات تدريبه مع النوع المحدد للخطأ المطلوب اكتشافه.
كما سلطت المسابقة الضوء على تعقيد الأخطاء نفسها. صنف الباحثون الهلوسات إلى خمسة أنواع متميزة: اختراع شيء لا وجود له، وصف شيء مرئي بشكل خاطئ، إساءة قراءة نص داخل صورة، إساءة عد الأشياء، وأخطاء متنوعة أخرى. وجدت الأنظمة أن بعض أنواع الأخطاء كانت أسهل في الكشف من غيرها. فعلى سبيل المثال، كانت أخطاء العد أسهل في الاكتشاف عموماً من الأوصاف الخاطئة الدقيقة لخصائص جسم ما. علاوة على ذلك، تفاوتت الصعوبة حسب اللغة، حيث ثبت أن اللغة الإنجليزية هي اللغة الأكثر تحدياً للأنظمة للتعامل معها، بينما شهدت اللغة الصينية أداءً متوسطاً أعلى قليلاً.
في نهاية المطاف، أظهرت مهمة "SHROOM-Visions 2026" أن اكتشاف الهلوسة مسألة دقيقة تتطلب أكثر من مجرد مقياس واحد للنجاح. وجد الباحثون أن قدرة النظام على تحديد موقع الخطأ وقدرته على تسمية نوع الخطأ هي مهارات مرتبطة ولكنها متميزة. قد يكون النظام جيداً في إيجاد الكلمات الخاطئة ولكنه ضعيف في شرح سبب خطئها. وتخلص الدراسة إلى أنه لكي تكون هذه الأدوات موثوقة حقاً، يجب أن تأخذ التقييمات المستقبلية هذا عدم اليقين في الاعتبار وتستخدم بيانات متنوعة مستمدة من البشر بدلاً من الاعتماد على البيانات التي تولدها الآلات وحدها. إن الطريق إلى الأمام يتضمن بناء معايير مرنة تجاه التغيرات السريعة في التكنولوجيا، لضمان بقاء الكواشف التي نبنيها اليوم فعالة مع استمرار تطور النماذج التي تراقبها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.