HalluHard: A Hard Multi-Turn Hallucination Benchmark
تقدم الورقة البحثية HalluHard، وهو معيار اختبار تحدي متعدد الجولات للهلوسة عبر أربعة مجالات عالية الخطورة يستخدم مسار تحكيم آلي يعتمد على البحث عبر الويب ليكشف أن أكثر النماذج اللغوية تقدمًا لا تزال تستمر في إنتاج ادعاءات واقعية غير مستندة إلى أساس بشكل كبير، لا سيما في إعدادات الحوار المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعد باحث عبقرياً، سريع التحدث، لمساعدتك في حل المشكلات المعقدة. تسأله سؤالاً، فيعطيك إجابة مع قائمة من المصادر، ثم تسأله سؤالاً متابعاً، فيستمر في الكلام، بناءً على ما قاله للتو.
المشكلة؟ هذا المساعد هو خبير في التزييف الواثق. يبدو مقنعاً للغاية، لكنه غالباً ما يخترع حقائق، أو يبتكر مصادر، أو يحرف الحقيقة لتناسب قصته. وهذا ما يسمى بـ "الهلوسة".
الورقة البحثية التي قدمتها تقدم اختباراً جديداً وصعباً للغاية يسمى HALLUHARD لمعرفة مدى سوء هذه المشكلة حقاً، خاصة عندما تصبح المحادثة طويلة ومعقدة.
إليك تفصيل لما فعلوه وما وجدوه، باستخدام تشبيهات بسيطة:
1. المشكلة: "الكاذب الواثق"
الاختبارات السابقة كانت تشبه سؤال المساعد: "ما هي عاصمة فرنسا؟" إذا أجاب بشكل صحيح، فقد نجح. لكن في العالم الحقيقي، المحادثات فوضوية. أنت تسأل سؤالاً، فيجيب، ثم تسأل "لماذا؟"، فيجيب مرة أخرى.
- المشكلة: مع طول المحادثة، يبدأ المساعد في الارتباك. قد يرتكب خطأً صغيراً في الدور الأول، ثم في الدور الثاني، يبني إجابته الجديدة بالكامل على ذلك الخطأ. إنه يشبه لعبة "الهاتف المكسور" (Telephone) حيث تصل الرسالة مشوهة، لكن المساعد يصر على أن النسخة المشوهة هي الحقيقة.
- الفجوة: الاختبارات القديمة كانت سهلة للغاية. لم تكن قادرة على كشف هذه الأكاذيب "طويلة الأمد".
2. الحل: اختبار "HALLUHARD"
قام الباحثون ببناء امتحان جديد وقاسٍ يحتوي على 950 سؤالاً صعباً في أربعة مجالات عالية المخاطر:
- القانون: "هل شهادة هذا الشاهد مقبولة؟"
- البحث العلمي: "كيف تتعامل هذه الدراسة الطبية المحددة مع البيانات؟"
- الطب: "ماذا تقول الإرشادات بشأن هذا العقار؟"
- البرمجة: "اكتب كوداً للقيام بـ X."
اللمسة المميزة: يجب على المساعد تقديم استشهاد (مصدر) لكل حقيقة يدعيها.
- الخدعة: لم يكتفِ الباحثون بالتأكد مما إذا كان الاستشهاد يبدو حقيقياً، بل بنوا "روبوت قاضٍ" خاصاً يقوم بالفعل بالبحث عن المستند الكامل (حتى ملفات PDF!)، ويقرأه، ويتأكد: هل قال المصدر حقاً ما ادعاه المساعد؟
3. "الروبوت القاضي" (الأداة الجديدة)
تخيل أميناً للمكتبة لا يكتفي بالنظر إلى غلاف الكتاب أو ملخص عنه فحسب.
- القضاة القدامى: كانوا ينظرون إلى مقتطف قصير (مثل معاينة بحث جوجل). إذا تطابق المقتطف بشكل غامض، يقولون: "يبدو جيداً!"
- قاضي HALLUHARD: يفتح الكتاب كاملاً، ويقرأ فصلاً محدداً، ويدقق في التفاصيل الدقيقة.
- سيناريو: يقول المساعد: "الصفحة 45 تقول X". يفتح القاضي ملف الـ PDF، ويذهب إلى الصفحة 45، ويرى أن النص في الواقع يقول "Y".
- النتيجة: يتم كشف كذب المساعد، رغم أنه استشهد بكتاب حقيقي.
4. ماذا وجدوا (النتائج)
اختبروا أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-5، Claude Opus، إلخ). إليكم الأخبار السيئة: حتى أذكى النماذج لا تزال تكذب كثيراً.
أسطورة "البحث في الويب": اعتقد الناس أنه "إذا سمحنا للذكاء الاصطناعي باستخدام بحث جوجل، فسيوقف الكذب".
- الواقع: حتى مع البحث في الويب، لا تزال أفضل النماذج تهلوس بنسبة 30% من الوقت. وبدون البحث، كانت النسبة 60%.
- لماذا؟ يجد الذكاء الاصطناعي الكتاب الصحيح، لكنه لا يزال يسيء قراءة الفقرة المحددة بداخله. الأمر يشبه العثور على الكتاب المدرسي الصحيح ولكن حفظ الصفحة الخطأ.
فخ "المحادثة الطويلة":
- في الدور الأول، يكون الذكاء الاصطناعي جيداً.
- بحلول الدور الثالث، يرتفع معدل الهلوسة. يبدأ الذكاء الاصطناعي في "الاشتراط" (conditioning) بناءً على أخطائه السابقة. إنه يشبه المحقق الذي يحل جريمة، ويخطئ في تحديد المشتبه به، ثم يقضي بقية التحقيق في محاولة إثبات ذنب ذلك المشتبه به الخاطئ.
التفكير يساعد، لكنه ليس سحراً:
- النماذج التي "تفكر" قبل الإجابة (النماذج الأبطأ والأكثر دقة) تهلوس أقل.
- ومع ذلك، فإن مجرد جعلهم "يفكرون بعمق أكبر" لا يحل كل شيء. أحياناً، يؤدي التفكير الزائد إلى أكاذيب أطول وأكثر تفصيلاً.
مشكلة "المجالات المتخصصة":
- إذا سألت عن شيء مخترع تماماً (مثل جبل وهمي)، فإن الذكاء الاصطناٍ غالباً ما يعترف بـ "لا أعرف".
- لكن إذا سألت عن شيء حقيقي ولكنه غير مشهور (ورقة بحثية لها 10 استشهادات فقط)، فإن الذكاء الاصطناعي يحاول التخمين ويكذب بثقة. إنه في "منطقة خطر" حيث يعتقد أنه قد يعرف، فيقوم بتأليف المعلومات.
5. الحكم النهائي
تخلص الورقة البحثية إلى أننا لا نستطيع ببساطة الوثوق في نماذج الذكاء الاصطنا هذه كمدققات للحقائق بعد.
- القدرة ليست كافية: النماذج الأكبر والأذكى لا تزال تكذب.
- الأدوات ليست علاجاً لكل شيء: منحهم محرك بحث يساعد، لكنهم لا يزالون يعانون في قراءة النص الكامل بشكل صحيح.
- المستقبل: نحن بحاجة إلى ذكاء اصطناعي يعرف متى لا يعرف. حالياً، هم مندفعون جداً للتخمين، خاصة عندما تكون الحقائق صعبة المنال.
باختصار: HALLUHARD هو اختبار ضغط يظهر أن مساعدي الذكاء الاصطناعي الأكثر تقدماً لا يزالون عرضة لتأليف الحقائق، خاصة في المحادثات الطويلة، ومجرد "البحث عن المعلومات" ليس كافياً لمنعهم من الخطأ في التفاصيل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.