KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation
تقدم الورقة البحثية KnowHal، وهو معيار شامل يوحد تقييم هلوسات الكيانات، والسمات، والعلاقات، والمعرفة في النماذج اللغوية الكبيرة متعددة الوسائط من خلال تصميم مبتكر للأسئلة المزدوجة، كاشفاً أن الأخطاء المتعلقة بالمعرفة وقبول المقدمات الخاطئة لا تزال تشكل تحديات كبيرة للنماذج الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً فائق الذكاء لفهم العالم. هذا الروبوت، الذي يُسمى "النموذج اللغوي الكبير متعدد الوسائط" (أو MLLM اختصاراً)، يشبه طالباً عبقرياً يمكنه النظر إلى صورة وقراءة كتاب في الوقت ذات වกัน. إنه مذهل في وصف ما يراه، مثل قول: "تلك تفاحة حمراء على طاولة خشبية". ولكن في بعض الأحيان، قد يصبح هذا الروبوت مبدعاً أكثر من اللازم؛ فقد ينظر إلى صورة قطة ويخبرك بثقة: "هذه القطة تقود مركبة فضائية"، رغم أن القطط لا تستطيع الطيران ولا توجد مركبة فضائية في الصورة. يُسمى هذا "الهلوسة". الأمر يشبه كأن الروبوت يحلم أثناء اليقظة بينما من المفترض أن يكون منشغلاً بالعمل.
لماذا يهم هذا الأمر؟ لأننا نريد الوثوق بهذه الروبات في مهام مهمة، مثل مساعدة الأطباء في تشخيص الأمراض أو توجيه السيارات ذاتية القيادة. إذا بدأ الروبوت في اختراع أشياء من عنده، فقد تكون النتائج خطيرة. لقد حاول العلماء بناء اختبارات للإمساك بهذه الأحلام. معظم هذه الاختبارات تتحقق مما إذا كان الروبوت يستطيع تحديد أشياء بسيطة في الصورة، مثل "هل هناك كلب؟" أو "هل الكلب بني اللون؟". ولكن هناك جزء مخادع: أحياناً يعرف الروبوت الحقائق عن العالم (مثل "الكلاب لها ذيول") لكنه يرتبك عندما لا تتطابق الصورة مع الحقيقة، أو يخترع حقائق ليست موجودة في الصورة على الإطلاق. وحتى الآن، لم يكن لدينا اختبار واحد عادل يتحقق مما إذا كان الروبوت يرى وماذا يعرف عن العالم، كل ذلك في آن واحد.
إليك KnowHal، وهو اختبار جديد وذكي مصمم للإمساك بهذه الأحلام بطريقة جديدة تماماً. فكر في KnowHal كأنه لعبة "أوجد الفروق"، ولكن لعقول الروبوتات. قام الباحثون ببناء مجموعة ضخمة من 1,800 زوج من (صورة-وسؤال)، تغطي 10 مجالات مختلفة من الحياة، من الرياضة إلى الموسيقى. لكل صورة، أنشأوا نوعين من الأسئلة: أسئلة "إيجابية" تسأل عن أشياء موجودة بالفعل في الصورة أو حقائق حقيقية عن الشيء، وأسئلة "سلبية" وهي فخاخ مخادعة. هذه الفخاخ تبدو منطقية جداً ولكنها في الواقع أكاذيب. على سبيل المثال، إذا كانت الصورة تظهر كلباً حقيقياً، فإن السؤال الإيجابي يسأل: "ما هو لون الكلب؟". أما الفخ السلبي فقد يسأل: "ما هو لون قبعة الكلب الزرقاء غير المرئية؟".
اختبر الباحثون 14 عقلاً مختلفاً للروبوتات في هذه اللعبة الجديدة. ووجدوا بعض الأشياء المفاجئة. أولاً، كانت الروبوتات جيدة بشكل عام في الإجابة على الأسئلة "الإيجابية"، لكنها تعثرت بشدة عند مواجهة الفخاخ "السلبية". الأمر يشبه طالباً يعرف حقائق الرياضيات جيداً ولكنه يُخدع بسؤال يسأل: "إذا كان 2 زائد 2 يساوي 5، فما هو 2 زائد 2؟". غالباً ما كانت الروبوتات تقول "5" بدلاً من تصحيح الكذبة. وهذا يوضح أنه حتى أذكى الروبوتات ليست جيدة جداً في قول: "انتظر، هذا ليس صحيحاً" عندما يتم تضليلها.
كانت المفاجأة الأكبر هي أن الجزء الأصعب بالنسبة لجميع الروبوتات تقريباً كان بُعد "المعرفة". هذا هو المكان الذي يتعين فيه على الروبوت استخدام الحقائق التي تعلمها من الكتب أو الإنترنت، وليس فقط ما يراه في الصورة. حتى أفضل الروبوتات أخطأت في ذلك أكثر مما أخطأت في الأسئلة البصرية البسيطة. هذا يشير إلى أنه بينما تتحسن الروبوتات في الرؤية، إلا أنها لا تزال تعاني في الفصل بين ما تراه وما تعتقد أنها تعرفه.
كما درست الدراسة كيف يؤثر حجم عقل الروبوت على أدائه. ووجدوا أن العقول الأكبر تؤدي بشكل أفضل عموماً، ولكن حتى أكبر العقول لا تزال تعاني مع أسئلة "المعرفة" الماكرة والفخاخ "السلبية". هذا يخبرنا أن مجرد جعل الروبوت أكبر ليس حلاً سحرياً؛ فنحن بحاجة لتعليمهم كيف يكونون أكثر حذراً وتشككاً.
باختصار، يقدم البحث KnowHal، وهو معيار جديد يجمع بين الأسئلة الحقيقية والأسئلة الخاطئة المخادعة لاختبار مدى قدرة الروبوتات على التمييز بين الحقيقة والخيال. وتشير النتائج إلى أنه بينما تصبح أصدقاؤنا من الذكاء الاصطناعي أكثر ذكاءً، إلا أن أمامهم طريقاً طويلاً قبل أن نتمكن من الوثوق بهم تماماً في كشف الكذب أو الاعتراف بأنهم لا يعرفون الإجابة. ويعتقد المؤلفون أن هذا الاختبار الجديد سيساعد الروبوتات المستقبلية لتصبح أكثر موثوقية وأقل عرضة لتأليف القصص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.