HalluWorld: A Controlled Benchmark for Hallucination via Reference World Models
تقدم الورقة البحثية HalluWorld، وهو معيار مرجعي محكوم يستخدم نماذج عوالم مرجعية صريحة لتقييم وتصنيف الهلوسة في النماذج اللغوية بشكل منهجي، كاشفةً أنه بينما تم حل الأخطاء الإدراكية إلى حد كبير، لا تزال التحديات قائمة في تتبع الحالة متعدد الخطوات، والمحاكاة السببية، والامتناع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً ذكياً جداً ومطلعاً لمساعدتك في التنقل عبر متاهة غريبة ومتغيرة. أحياناً، يخطئ هذا المساعد في تقدير الأمور؛ فقد يقول: "هناك باب هنا!" بينما يوجد في الواقع جدار، أو يقول: "أتذكر أننا انعطفنا يساراً" بينما كنت أنت في الواقع قد انعطفت يميناً. في عالم الذكاء الاصطناعي، نسمي هذه الأخطاء "الهلوسة" (Hallucinations).
المشكلة هي أنه حتى الآن، كان اختبار هذه الأخطاء يشبه محاولة قياس سرعة سيارة من خلال مراقبتها وهي تقود عبر مدن مختلفة ذات قواعد مرور مختلفة. فقد يختبر أحد الاختبارات قدرة السيارة على قراءة لافتة شارع (التلخيص)، بينما يختبر اختبار آخر قدرتها على إيجاد منزل محدد في حي ما (الإجابة على الأسئلة). ولأن الاختبارات مختلفة تماماً، فمن الصعب معرفة ما إذا كان الإصلاح الذي نجح مع لافتات الشوارع سيساعد أيضاً في العثور على المنازل.
إليك "عالم الهلوسة" (HalluWorld).
قام مؤلفو هذه الورقة البحثية ببناء مختبر ضخم ومنضبط — "عالم مرجعي" — لاختبار مساعدي الذكاء الاصطناعي بطريقة عادلة، وقابلة للتكرار، وسهلة الفهم. فكر في الأمر كأنه محاكي لألعاب الفيديو حيث يعرف المطورون الحقيقة الدقيقة لكل لحظة، بحيث يمكنهم رصد اللحظة التي يكذب فيها الذكاء الاصطنا_ي أو يرتبك فيها فوراً.
مناطق الاختبار الثلاث
لم يقم الباحثون ببناء متاهة واحدة فحسب؛ بل بنوا ثلاثة أنواع مختلفة من العوالم لاختبار أجزاء مختلفة من "دماغ" الذكاء الاصطناعي:
عالم الشبكة (مستوى ألعاب الفيديو): تخيل لعبة ثنائية الأبعاد بسيطة مثل Pac-Man أو Minecraft. يتعين على الذكاء الاصطناعي التجول، وجمع المفاتيح، وتجنب النار. يمكن للباحثين التحكم بدقة فيما يراه الذكاء الاصطناعي (ربما يرى بضع خطوات للأمام فقط) ويمكنهم حتى زرع "لافتات مزيفة" تخبر الذكاء الاصطناعي بأكاذيب. هذا يختبر ما إذا كان بإمكان الذكاء الاصطناعي الوثوق بعينيه أم أنه سينخدع بالنصوص المكتوبة.
رقعة الشطرنج (لغز المنطق): الشطرنج لعبة ذات قواعد صارمة. وضع الباحثون مواقف محددة للرقعة وطلبوا من الذكاء الاصطناعي التنبؤ بما سيحدث بعد ذلك. هذا يختبر ما إذا كان بإمكان الذكاء الاصطناعي محاكاة المستقبل (على سبيل المثال: "إذا حركت هذا الجندي، هل سيكون ملكي آمناً؟") أم أنه يكتفي بالتخمين بناءً على ما يراه عادةً في مباريات الشطرنج.
الطرفية (المبرمج المحترف): هذا هو الاختبار الأكثر واقعية. يعمل الذكاء الاصطناعي هنا كمبرمج كمبيوتر ينظر إلى شاشة مليئة بالأكواد ورسائل الخطأ. يطرح الباحثون أسئلة حول ملفات وأوامر حدثت قبل دقائق. هذا يختبر ما إذا كان بإمكان الذكاء الاصطناعي تذكر تاريخ طويل من الأحداث أم أنه يرتبك بسبب المعلومات القديمة أو غير المحدثة.
أسئلة "الاستقصاء" الخمسة
لكي يرى الباحثون "كيف" يفشل الذكاء الاصطناعي بالضبط، يطرحون خمسة أنواع محددة من الأسئلة، مثل الطبيب الذي يفحص ردود الفعل المختلفة:
- الإدراكي (اختبار "ماذا ترى؟"): "هل توجد كرة حمراء أمامك مباشرة؟" (يختبر ما إذا كان بإمكان الذكاء الاصطناعي قراءة ما هو موجود على الشاشة حالياً).
- الذاكرة (اختبار "ماذا حدث من قبل؟"): "لقد مررنا عبر ثلاث غرف. ما كان لون الباب في الغرفة الأولى؟" (يختبر ما إذا كان بإمكان الذكاء الاصطناعي تذكر الماضي).
- السببية (اختبار "ماذا سيحدث بعد ذلك؟"): "إذا دفعت هذه الصخرة، هل ستسد طريق النار؟" (يختبر ما إذا كان يفهم السبب والنتيجة).
- عدم اليقين (اختبار "أنا لا أعرف"): "هل يمكنك إخباري بما يوجد في الغرفة المظلمة التي لم ندخلها بعد؟" (يختبر ما إذا كان الذكاء الاصطناعي شجاعاً بما يكفي ليقول "لا أعرف" بدلاً من اختلاق إجابة).
- المركب (اختبار "ربط النقاط"): "بناءً على الخريطة، والمفتاح، والملاحظة التي وجدناها، أين الكنز؟" (يختبر ما إذا كان بإمكان الذكاء الاصطناعي دمج قطع مختلفة من المعلومات).
ماذا وجدوا؟
بعد تشغيل عشرات من أذكى نماذج الذكاء الاصطناعي عبر هذه الاختبارات، وجد الباحثون بعض الأنماط المثيرة للاهتمام:
- "العيون" جيدة، لكن "الدماغ" يعاني: النماذج تكاد تكون مثالية في الإجابة على الأسئلة المتعلقة بما يمكنهم رؤيته في هذه اللحظة. إذا أظهرت لهم صورة قطة، فلن يتوهموا وجود كلب. ومع ذلك، فإنهم يرتبكون بشدة عندما يُسألون عن تتبع الأشياء عبر الزمن (الذاكرة) أو التنبؤ بالمستقبل (السببية).
- التفكير بعمق لا يساعد دائماً: قد تعتقد أنه إذا طلبت من الذكاء الاصطناعي أن "يفكر لفترة أطول" قبل الإجابة، فسيصبح أفضل. وجد الباحثون أن هذا غالباً ما يأتي بنتائج عكسية. فعندما يُطلب من النماذج "المفكرة" التنبؤ بالمستقبل، كانت ترتكب أخطاءً أكثر. بدا وكأنها تبالغ في تعقيد المنطق البسيط وتبدأ في اختراع سيناريوهات وهمية.
- الثقة في المصدر الخاطئ: لدى نماذج الذكاء الاصطناعي عادة غريبة: فهي تثق في اللافتات المكتوبة (مثل ملاحظة على جدار) أكثر من ثقتها في عيونها. إذا قالت لافتة "الباب مفتوح" بينما يرى الذكاء الاصطناعي باباً مغلقاً، فإن الذكاء الاصطناعي غالباً ما يصدق اللافتة.
- مشكلة "أنا لا أعرف": أصعب شيء على حتى أذكى نماذج الذكاء الاصطناعي هو الاعتراف بأنه لا يملك معلومات كافية. إنهم يفضلون التخمين بثقة بالإجابة الخاطئة بدلاً من قول "لا أستطيع".
الخلاصة
تخلص الورقة البحثية إلى أن "الهلوسة" ليست مجرد مشكلة واحدة كبيرة، بل هي في الواقع مجموعة من المشكلات المختلفة التي ترتدي نفس القبعة. أحياناً ينسى الذكاء الاصطناعي، وأحياناً لا يستطيع التنبؤ بالمستقبل، وأحياناً يثق في كاذب.
باستخدام "عالم الهلوسة" (HalluWorld)، يمكن للباحثين أخيراً التوقف عن التخمين والبدء في قياس أي جزء من دماغ الذكاء الاصطناعي هو المعطل بالضبط. وبدلاً من قول "هذا الذكاء الاصطناعي يهلوس"، يمكننا الآن القول: "هذا الذكاء الاصطناعي بارع في الرؤية، لكنه سيء في التذكر، ويحتاج إلى تعلم متى يقول 'لا أعرف'".
هذا المعيار الجديد يشبه اختبار قيادة قياسي للذكاء الاصطناعي. فهو لا يكتفي بفحص ما إذا كانت السيارة يمكنها القيادة فحسب، بل يختبر ما إذا كان السائق يمكنه التنقل في طريق ضبابي، وتذكر منعطف قام به قبل خمس دقائق، والاعتراف عندما يكون تائهاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.