M2-Verify: A Large-Scale Multidomain Benchmark for Checking Multimodal Claim Consistency
تقدم هذه الورقة البحثية M2-Verify، وهو معيار متعدد الوسائط واسع النطاق ومُتحقق منه من قبل خبراء يمتد عبر 16 مجالاً علمياً بأكثر من 469 ألف حالة، والذي يكشف أن النماذج الحالية المتطورة تعاني في التعامل مع الاتساق المعقد بين الادعاء والأدلة وتهلوس التفسيرات بشكل متكرر رغم أدائها العالي في المهام الأبسط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز ما. لديك تصريح من مشتبه به (الادعاء)، ومجموعة من الأدلة (صورة ووصف لتلك الصورة). مهمتك هي معرفة: هل تثبت الأدلة حقاً ما يقوله المشتبه به، أم أنه يكذب؟
لفترة طويلة، كان لدى المحققين النصوص فقط للعمل بها. ولكن في العلم، غالبًا ما تكون "الأدلة" عبارة عن أشياء معقدة مثل الأشعة السينية، أو مخطط بياني غريب، أو نموذج ثلاثي الأبعاد. إذا قرأت الوصف النصي فقط، فقد تفوتك الكذبة المختبئة في الصورة.
يقدم هذا البحث M2-VERIFY، وهو ميدان تدريب ضخم وجديد لـ "محققي الذكاء الاصطناعي" لتعلم كيفية كشف هذه الأكاذيب في الأوراق العلمية.
إليك تفاصيل ما قاموا به، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: الذكاء الاصطناعي "المعصوب العينين"
تخيل ذكاءً اصطناعيًا بارعًا في قراءة الكتب ولكنه سيئ جدًا في النظر إلى الصور.
- المشكلة: يكتب العلماء أوراقًا بحثية تحتوي على نصوص وصور. أحيانًا، يقول النص: "هذا الدواء يقلص الأورام"، بينما تظهر الصورة في الواقع ورمًا يكبر في الحجم.
- الفجوة: كانت الاختبارات الحالية للذكاء الاصطناعي بمثابة إعطاء المحقق دليل نصي فقط. لم تختبر ما إذا كان بإمكان الذكاء الاصطناعي حقًا النظر إلى الدليل والقول: "مهلًا، هذه الصورة لا تتطابق مع القصة".
- الخطر: إذا بدأت أدوات الذكاء الاصطناعي في توليد الأوراق العلمية، فقد تقوم بالصدفة (أو عمدًا) بإنشاء صور مزيفة تبدو حقيقية ولكنها تتعارض مع النص. نحن بحاجة إلى طريقة لكشف ذلك.
2. الحل: "صالة ألعاب رياضية علمية عملاقة" (M2-VERIFY)
بنى المؤلفون صالة ألعاب رياضية ضخمة لتدريب الذكاء الاصطناعي، وتسمى M2-VERIFY.
- الحجم: إنها ضخمة. لقد جمعوا 469,000 مثال من أوراق علمية حقيقية (مثل المجلات الطبية وأرشيفات علوم الحاسوب).
- التنوع: تغطي 16 مجالًا مختلفًا، من الطب (النظر في الأشعة السينية) إلى الفيزياء (النظر في مخططات تصادم الجسيمات).
- التحول المفاجئ: لم يكتفوا بنسخ ولصق الأوراق، بل ابتكروا "وضع المخادع" (Trickster Mode).
- الوضع الطبيعي: النص والصورة متطابقان.
- وضع المخادع: أخذوا صورة حقيقية وغيروا النص ببراعة ليكذب بشأنها. على سبيل المثال، قد يأخذون صورة لقلب سليم ويغيرون التعليق ليقول: "هذا القلب يعاني من انسداد هائل".
- الهدف: يجب على الذكاء الاصطناعي النظر إلى الصورة، وقراءة التعليق، والقول: "كلا، هذه كذبة!".
3. "الحكام البشريون"
لا يمكنك ببساطة الوثوق بجهاز كمبيوتر لبناء اختبار لأجهزة كمبيوتر أخرى. هذا يشبه طلب من روبوت أن يصحح اختبار رياضيات للروبوتات.
- التدقيق: استعانوا بـ 92 خبيرًا بشريًا حقيقيًا (أطباء، علماء، مهندسين) للتحقق من العمل.
- العملية:
- الاختبار الأعمى: نظر الخبراء إلى الصور والادعاءات دون معرفة الإجابة ليروا ما إذا كان البشر يمكنهم حتى الاتفاق على الحقيقة. (اتضح أن البشر يجدون الصور الطبية صعبة أيضًا!).
- ضبط الجودة: تحققوا مما إذا كانت تفسيرات الذكاء الاصطناعي لسبب كون الشيء صحيحًا أو خاطئًا منطقية.
- النتيجة: أنشأوا مجموعة بيانات "المعيار الذهبي" التي تقترب قدر الإمكان من المثالية.
4. النتائج: الذكاء الاصطناعي ارتبك
وضعوا 12 من أذكى نماذج الذكاء الاصطناعي (مثل GPT-4o، وLlama، وQwen) في هذه الصالة الرياضية ليروا كيف سيكون أداؤهم.
- الأخبار الجيدة: النماذج جيدة في الأمور البسيطة. إذا قال النص "السماء زرقاء" والصورة تظهر سماءً زرقاء، فإنهم يصيبون بنسبة 85% من المرات.
- الأخبار السيئة: عندما تصبح الأمور معقدة، يفشل الذكاء الاصطناعي فشلًا ذريعًا.
- "انزياح التشريح": إذا كان على الذكاء الاصطناعي التمييز بين جزأين متشابهين في الأشعة السينية، تنخفض دقته إلى 61%.
- "الهلوسة": أحيانًا، يتجاهل الذكاء الاصطناعي الصورة تمامًا. يرى مخططًا يحتوي على 12 كتلة ويقول بثقة: "هذا المخطط يحتوي على 6 كتل"، لأنه يخمن بناءً على ما يتذكره من تدريبه، وليس بناءً على ما يراه فعليًا.
- مشكلة "التفسير": حتى عندما يصل الذكاء الاصطناعي إلى الإجابة الصحيحة، فإن تفسيره غالبًا ما يكون بلا معنى. إنه يشبه طالبًا يحل المسألة الرياضية بشكل صحيح ولكنه يكتب قصة عن الفضائيين في الحل.
5. لماذا هذا مهم؟
فكر في M2-VERIFY كـ اختبار جهد لمستقبل العلم.
- مع بدء الذكاء الاصطناه في كتابة المزيد من الأوراق العلمية وإنشاء المزيد من الرسوم البيانية، نحتاج إلى التأكد من أنه لن ينشر المعلومات المضللة بالخطأ (أو بسوء نية).
- توضح لنا مجموعة البيانات هذه بالضبط أين يكمن ضعف الذكاء الاصطناعي الحالي: يمكنه القراءة، لكنه لا يستطيع حقًا "الرؤية" و"الاستنتاج" معًا بعد.
باخت مختصره: بنى المؤلفون مسار عقبات ضخمًا تم التحقق منه من قبل خبراء ليمر من خلاله الذكاء الاصطناعي. وجدوا أنه بينما يتمتع الذكاء الاصطناعي بالسرعة، فإنه غالبًا ما يتعثر في التفاصيل، ويتجاهل الصور، ويؤلف قصصًا. هذه مجموعة البيانات هي الخريطة التي يحتاجون إليها لإصلاح نقاط الضعف هذه وبناء ذكاء اصطناعي علمي موثوق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.