MUCH: A Multilingual Claim Hallucination Benchmark
تقدم الورقة البحثية MUCH، وهو أول معيار متعدد اللغات للتقدير الكمي لعدم اليقين على مستوى الادعاء، والذي يتميز بخوارزمية تقسيم حتمية عالية الكفاءة ويصدر احتمالات التوليد (generation logits) لتمكين تقييم عادل وقابل للتكرار وواقعي لموثوقية النماذج اللغوية الكبيرة عبر أربع لغات أوروبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أمين مكتبة آلياً ذكياً جداً وسريعاً جداً (نموذج لغوي كبير، أو LLM)، يمكنه الإجابة على أي سؤال تطرحه. المشكلة هي أن هذا الأمين، أحياناً، من شدة حماسه لإرضائك، قد يختلق أشياءً من خياله. قد يخبرك مثلاً أن عاصمة فرنسا هي "باريس، ولكنها أيضاً عجلة ضخمة من الجبن"، ويقول ذلك بثقة تجعلك تصدقه. هذا ما يسمى بـ "الهلوسة" (Hallucination).
تقدم ورقة بحثية بعنوان "MUCH" طريقة جديدة لاختبار مدى قدرتنا على كشف هذه الأكاذيب قبل أن تسبب المشاكل. إليك قصة كيف فعلوا ذلك، مشروحة ببساطة.
1. المشكلة: "الكعكة الكاملة" مقابل "الشريحة الفاسدة"
في السابق، إذا سألت أمين المكتبة الآلي سؤالاً طويلاً وحصلت على إجابة طويلة، كانت الاختبارات الموجودة تعطي الإجابة الكاملة درجة واحدة.
- الطريقة القديمة: إذا كتب أمين المكتبة مقالاً من 10 صفحات ووقع في خطأ في حقيقة صغيرة واحدة في الصفحة السابعة، فإن المقال بأكمله يحصل على درجة "F". وهذا غير عادل إذا كانت الصفحات التسع الأخرى مثالية.
- الطريقة الجديدة (MUCH): أراد المؤلفون تقطيع الكعكة. أرادوا فحص كل "ادعاء" (كل فكرة متميزة) في الإجابة بشكل فردي. هل ذكر السعر الصحيح؟ هل ذكر التاريخ الصحيح؟ هذا ما يسمى بـ "تقدير عدم اليقين على مستوى الادعاء" (Claim-Level Uncertainty Quantification).
2. الحل: بناء معيار "MUCH"
بنى الفريق ساحة اختبار ضخمة تسمى MUCH (معيار الهلوسة متعدد اللغات للادعاءات). فكر فيها كأنها "صالة ألعاب رياضية ضخمة لكشف الهلوسة" للذكاء الاصطناعي.
إليك الأدوات الأربع الخاصة التي بنوها لهذه الصالة:
أ. الملعب متعدد اللغات
لم يختبروا باللغة الإنجليزية فقط. بل بنوا الصالة بـ أربع لغات: الإنجليزية، والفرنسية، والإسبانية، والألمانية. هذا يضمن أن الروبوتات ليست جيدة في الكذب بلغة واحدة فقط، بل يتم اختبارها في كل مكان. لقد جمعوا ما يقرب من 5,000 سؤال وإجابة من أربعة نماذج مختلفة للذكاء الاصطناعي.
ب. "نظارات الأشعة السينية" (Logits)
معظم اختبارات الذكاء الاصطناعي تنظر فقط إلى النص النهائي الذي يكتبه الروبوت. لكن المؤلفين أدركوا أنه لبناء كاشفات أفضل للكذب، يجب أن نرى ما كان "يفكر" فيه الروبوت أثناء الكتابة.
- التشبيه: تخيل ساحراً يخرج أرنباً من القبعة. معظم الناس يرون الأرنب فقط. لكن المؤلفين احتفظوا بسجلات "الخدعة السحرية" (تسمى logits). تُظهر هذه السجلات الاحتمالية التي خصصها الروبوت لكل كلمة فكر فيها.
- لماذا هذا مهم: هذا يسم ي للباحثين بناء كاشفات "الصندوق الأبيض" (white-box) التي يمكنها التلصص داخل دماغ الروبوت لترى ما إذا كان غير متأكد من كلمة ما قبل أن ينطق بها حتى.
ج. "القاطع فائق السرعة" (much_segmenter)
لفحص الادعاءات الفردية، عليك أولاً تقطيع الإجابة الطويلة إلى قطع صغيرة سهلة الهضم.
- المشكلة القديمة: كانت الطرق السابقة تستخدم نماذج ذكاء اصطناعي أخرى أو بشراً لتقطيع النص. كان ذلك بطيئاً، ومكلفاً، وغير متسق أحياناً (مثل استخدام يد مهتزة لتقطيع الخبز).
- حل MUCH: بنوا أداة جديدة تسمى much_segmenter. وهي عبارة عن خوارزمية بسيطة تعتمد على القواعد (مثل سكين دقيق للغاية) تقطع النص بناءً على علامات الترقيم والكلمات الشائعة.
- السرعة: إنها سريعة بشكل مذهل. فهي لا تستغرق سوى 0.2% من الوقت الذي يستغرقه الروبوت لكتابة الإجابة. إنه يشبه تقطيع رغيف خبز في طرفة عين بينما لا يزال الخباز يعجن العجين. وهذا يجعل من الممكن التحقق من الأكاذيب في الوقت الفعلي.
د. قضاة "المعيار الفضي"
من الناحية المثالية، يجب على البشر مراجعة كل حقيقة. ولكن مع وجود أكثر من 20,000 ادعاء، قد يستغرق ذلك سنوات.
- الحيلة: استخدموا اثنين من القضاة الأذكياء جداً من الذكاء الاصطناعي (GPT-4o و GPT-4.1) للتحقق من الحقائق مقابل ويكيبيديا.
- شبكة الأمان: احتفظوا فقط بالإجابات التي اتفق فيها كلا القاضيين من الذكاء الاصطناعي. إذا اختلف القضاة، كانوا يستبعدون تلك الإجابة. هذا خلق "معياراً فضياً" (Silver Standard)—وهو مجموعة بيانات تكاد تكون بجودة البيانات التي راجعها البشر، ولكن تم إنشاؤها بسرعة أكبر بكثير.
3. النتائج: الروبوتات لا تزال تكذب
اختبر المؤلفون أفضل طرق "كشف الكذب" الموجودة حالياً على صالتهم الرياضية الجديدة.
- الأخبار الجيدة: الطرق تعمل بشكل أفضل من التخمين العشوائي.
- الأخبار السيئة: لا تزال غير جيدة بما يكفي للحياة الواقعية.
- الدقة: أفضل طريقة لم تنجح إلا في كشف حوالي نصف الأكاذيب عندما كانت تحاول أن تكون حذرة جداً لتجنب الإنذارات الكاذبة.
- السرعة: أفضل طريقة كانت في الواقع أبطأ من كتابة الروبوت للإجابة في المقام الأول! فقد استغرقت 124% وقتاً أطول من كتابة الإجابة نفسها. هذا يشبه توظيف حارس أمن يستغرق وقتاً للتحقق من هويتك أطول مما يستغرقه مرورك عبر الباب.
4. الخلاصة
تخلص الورقة البحثية إلى أن لدينا ساحة ألعاب جديدة رائعة (MUCH) وسكيناً فائق السرعة (much_segmenter) لتقطيع إجابات الذكاء الاصطناعي. ومع ذلك، فإن "كاشفات الكذب" التي نمتلكها اليوم لا تزال بطيئة جداً وغير دقيقة بما يكفي لنثق بها في العالم الحقيقي.
باخت-اختصار: لقد أصبح لدينا أخيراً طريقة لاختبار أكاذيب الذكاء الاصطناعي بالتفصيل وبلغات متعددة، ولكننا لا نزال بحاجة إلى اختراع كاشفات كذب أفضل وأسرع قبل أن نتمكن من الوثوق بهذه الروبوتات في معلوماتنا الأكثر أهمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.