ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations
تقدم الورقة البحثية ReFACT، وهو معيار مرجعي مستمد من r/AskScience على منصة Reddit، والذي يكشف أن النماذج اللغوية الكبيرة تعاني من عجز جوهري في التجذر الدلالي يتسبب في أخطاء "المشتتات البارزة" وتواجه صعوبة في الأحكام المقارنة، مما يتحدى موثوقية نماذج "النموذج اللغوي الكبير كحَكَم" (LLM-as-Judge) فيما يتعلق بالحقائق العلمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوت أمين مكتبة فائق الذكاء يدعى "LLM" (نموذج لغوي كبير). هذا الروبوت قد قرأ كل شيء تقريبًا على الإنترنت ويمكنه كتابة القصص، وشرح العلوم، والإجابة على الأسئلة بطلاقة مذهلة. إنه يبدو كأنه عبقري.
ولكن هناك مشكلة: هذا الروبوت كاذب واثق.
عندما لا يعرف الإجابة، لا يقول "أنا لا أعرف". بدملاً من ذلك، يؤلف قصة تبدو منطقية تماماً للشخص العادي، لكنها في الواقع خاطئة تماماً. في العالم العلمي، نسمي هذا "الهلوسة" (Confabulation). الأمر يشبه كون الروبوت يسرح في خياله أثناء التحدث، فيخلط بين الحقائق والخيال بسلاسة تجعل من المستحيل التمييز بينهما.
الورقة البحثية التي تسأل عنها، ReFACT، هي "امتحان" جديد مصمم لمعرفة ما إذا كانت هذه الروبوتات يمكنها كشف أكاذيبها (أو أكاذيب الروبوتات الأخرى) عندما يتعلق الأمر بالعلوم.
إليك تفصيل ما وجدوه، باستخدام بعض التشبيهات البسيطة:
1. الاختبار: "كشف الزيف"
ذهب الباحثون إلى منتدى علمي شهير عبر الإنترنت (r/AskScience) حيث يجيب خبراء حقيقيون على الأسئلة. أخذوا 1,001 من هذه الإجابات الحقيقية والصحيحة وقاموا "بتسميمها" سراً.
- التسميم: قاموا بتغيير كلمة واحدة صغيرة أو قلب جملة.
- الحقيقة: "يتم نسخ الـ DNA الخاص بك."
- المسمومة: "يتم نسخ الـ RNA الخاص بك." (هذا خطأ علمي جسيم، لكنه يبدو مشابهاً جداً).
- الهدف: طلبوا من نماذج ذكاء اصطناعي مختلفة النظر في الإجابة المسمومة وقول: "هل هذا زيف؟ أين الخطأ بالضبط؟ وهل يمكنك إصلاحه؟"
2. المفاجأة الكبرى: مشكلة "المشتت"
توقع الباحثون أن تفشل الروبوتات لأن العلوم صعبة. لكنهم وجدوا شيئاً أغرب.
التشبيه: تخيل أنك تلعب لعبة "ابحث عن الورقة المزيفة". تم إعطاؤك رزمة من فئات الـ 100 دولار، وإحدى هذه الأوراق مزيفة.
- ما تتوقعه من الروبوت أن يفعله: أن ينظر بدقة إلى الحبر، وملمس الورق، والأرقام التسلسلية ليجد الورقة المزيفة.
- ما يفعله الروبوت فعلياً: يتجاهل الورقة المزيفة تماماً. وبدلاً من ذلك، يشير إلى ورقة حقيقية في الرزمة ويقول: "هذه هي المزيفة!" لماذا؟ لأن تلك الورقة الحقيقية بها بقعة لامعة أو لون معين جذب انتباهه.
النتيجة:
في 61% من المرات، عندما حاول الذكاء الاصطناعي العثور على الخطأ، أشار إلى كلمة ليس لها أي علاقة بالخطأ الفعلي.
- إذا كان الخطأ هو تغيير "DNA" إلى "RNA"، فقد يشير الذكاء الاصطناعي إلى كلمة "خلايا" أو "تضاعف" لمجرد أن هذه الكلمات تبدو "علمية".
- الأمر يشبه طالباً في اختبار رياضيات لا يعرف الإجابة، فيقوم بدلاً من ذلك بوضع دائرة حول أطول رقم في الصفحة لأنه يبدو وكأنه الإجابة.
الجزء المخيف: حدث هذا حتى مع أكبر الروبوتات وأكثرها قوة (70 مليار "خلية دماغية" أو بارامتر). لم يجعل هذا الأمر الروبوت أكبر أو أفضل، بل جعله فقط أفضل في اختيار كلمات "علمية لامعة" مختلفة ليشير إليها.
3. مفارقة "جنباً إلى جنب"
عادة، نعتقد أن مقارنة شيئين أسهل من الحكم على شيء واحد.
- مثال: من الأسهل اكتشاف أي التفاحتين فاسدة إذا كنت تمسك بهما جنباً إلى جنب، بدلاً من النظر إلى واحدة فقط في الظلام.
النتيجة:
اختبر الباحثون هذا مع الذكاء الاصطناعي. أعطوا الذكاء الاصطناعي إجابتين (واحدة حقيقية، وواحدة مزيفة) وسألوه: "أيهما الكذبة؟"
- النتيجة: أصبح الذكاء الاصطناعي أسوأ في هذا!
- عندما كان على الذكاء الاصطناعي الحكم على إجابة واحدة، كان جيداً نوعاً ما. ولكن عندما كان عليه المقارنة بين اثنين، أصيب بالارتباك. بدا الأمر وكأنه يفكر: "حسناً، كلتا الإجابتين تبدوان ذكيتتين وواثقتين، لا أستطيع معرفة أيهما يكذب!"
- هذه مشكلة كبيرة لأن الكثير من الناس يستخدمون حالياً الذكاء الاصطناعي للحكم على جودة عمل ذكاء اصطناعي آخر. إذا كان "القاضي" مرتبكاً في المقارنات الجانبية، فإن النظام بأكمله غير موثوق.
4. فشل "الإصلاح"
أخيراً، طلبوا من الروبوتات إصلاح الكذبة فعلياً.
- النتيجة: حتى أفضل روبوت (GPT-4o) استطاع إصلاح الخطأ بشكل صحيح في حوالي 28% فقط من الحالات.
- الأمر يشبه سؤال ميكانيكي لا يستطيع تحديد الجزء المعطل، ثم تطلب منه أيضاً استبداله. إنه مجرد يخمن، وغالباً ما يخمن بشكل خاطئ.
الخلاصة
هذه الورقة البحثية هي بمثابة جرس إنذار.
- التوسع ليس هو العلاج: مجرد جعل نماذج الذكاء الاصطناعي أكبر وأكثر تكلفة لا يجعلها تفهم الحقيقة. لا تزال "تهلوس" (تؤلف) وتتشتت بالكلمات اللامعة.
- القضاة من الذكاء الاصطناعي معيبون: لا يمكننا الوثوق بالذكاء الاصطناعي للتحقق من حقائق الذكاء الاصطناعي الآخر، خاصة في العلوم. إنهم يسهل خداعهم بثقتهم الخاصة.
- نحن بحاجة إلى نهج جديد: يقترح الباحثون أننا بحاجة إلى تعليم هذه الروبوتات التوقف عن النظر إلى "الكلمات اللامعة" والبدء في فهم معنى ما يقرؤونه حقاً.
باخت اختصار: روبوتات الذكاء الاصطناعي الحالية تشبه أدلاء السياحة الواثقين الذين يؤلفون قصصاً عن التاريخ. يبدون رائعين، ويمتلكون المفردات الصحيحة، ولكن إذا طلبت منهم الإشارة إلى كذبة في قصتهم، فمن المرجح أن يشيروا إلى الشيء الخطأ ويصرون على أنهم على حق. يجب أن نكون حذرين للغاية بشأن الوثوق بهم في الحقائق العلمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.