Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering
تقدم هذه الورقة FalseCite، وهي مجموعة بيانات لتقييم الهلوسة في النماذج اللغوية الكبيرة الناتجة عن الاستشهادات المضللة، وتكشف من خلال تحليل الحالة الداخلية أن النماذج التي تعاني من الهلوسة تظهر نمطاً شبيهاً بالقرن في ناقلات حالتها الخفية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طالب يؤدي اختباراً في التاريخ. لا تعرف الإجابة على سؤال ما، لكنك ترى حاشية تقول: "وفقاً للمؤرخ الشهير الدكتور سميث، فإن الإجابة هي س". حتى لو لم تسمع قط عن الدكتور سميث، قد تشعر بالثقة في كتابة "س" لأنها تبدو وكأنها صادرة عن مصدر موثوق.
هذا هو بالضبط ما يحدث مع النماذج اللغوية الكبيرة (LLMs) — وهي روبوتات الدردشة الذكية للغاية التي نستخدمها اليوم. إنها بارعة في الكتابة، لكن لديها عادة سيئة وهي "الهلوسة": أي اختلاق حقائق تبدو حقيقية تماماً ولكنها كاذبة تماماً.
هذه الورقة البحثية تشبه قصة بوليسية يحاول فيها الباحثون اكتشاف لماذا يسهل خداع الذكاء الاصطناعي وكيف يمكن رصد ذلك قبل وقوعه. إليك التفاصيل بتبسيط شدين:
1. الفخ: "FalseCite"
قام الباحثون ببناء فخ ضخم يسمى FalseCite. فكر فيه كأنه "مصنع للأخبار المزيفة".
- أخذوا آلاف العبارات الخاطئة (مثل "تكونت فرقة Backstreet Boys في عام 1998" بينما تكونت في الواقع عام 1993).
- ثم أضافوا إليها استشهادات مزيفة. بعضها كان عبارات عشوائية غير مفهومة (مثل "وفقاً لتحمصة خبز في أوهايو...")، والبعض الآخر كان متوافقاً بذكاء مع الموضوع (مثل "وفقاً لخبير في الثقافة الشعبية...").
- غَذّوا هذه الفخاخ لثلاثة نماذج مختلفة من الذكاء الاصطائي: نموذج كبير وذكي (GPT-4o-mini)، ونموذجين أصغر (Falcon و Mistral).
النتيحة: كانت نماذج الذكاء الاصطناعي ساذجة للغاية. فعندما رأت استشهاداً مزيفاً، لم تكتفِ بتكرار الكذبة فحسب؛ بل بدأت في اختلاق المزيد من الأكاذيب لدعمها! وكأن الذكاء الاصطناعي رأى حاشية "الدكتور سميث" وظن قائلاً: "أوه، إذا قال خبير ذلك، فلا بد أنني أستطيع شرحه بالتفصيل"، فبدأ في اختراع قصة خلفية كاملة لتتناسب مع ذلك.
2. المفاجأة: شكل "القرن"
هذا هو الجزء الأكثر إثارة للاهتمام. لم ينظر الباحثون إلى الإجابات فحسب؛ بل نظروا داخل عقل الذكاء الاصطناعي (حالته الداخلية).
- تخيل أن عقل الذكاء الاصطناعي عبارة عن مصنع ضخم متعدد الطبقات. في كل مرة يعالج فيها كلمة، فإنه يرسل إشارة عبر هذه الطبقات.
- رسم الباحثون خرائط لهذه الإشارات ووجدوا شيئاً غريباً. سواء كان الذكاء الاصطناعي يقول الحقيقة أو يكذب، فإن الإشارات ترسم شكلاً يشبه القرن (مثل الآلة الموسيقية أو قرن وحيد القرن).
- التشبيه: الأمر يشبه مراقبة راقص. سواء كان يرقص على أغنية سعيدة أو حزينة، فإن قدميه لا تزال تتحركان بنمط معين يمكن التنبؤ به. "شكل القرن" هو ذلك النمط. وقد أمل الباحثون في العثور على إشارة "كاشف كذب" تبدو مختلفة تماماً، لكنهم بدلاً من ذلك وجدوا أن عقل الذكاء الاصطناعي يتحرك بطريقة محددة ومتسقة للغاية حتى عندما يكذب.
3. من وقع في الفخ أكثر؟
- النماذج الصغيرة (Falcon، Mistral): كانت الأسهل في الخداع. كانت مثل الطلاب الذين سيصدقون أي استشهاد، حتى لو كان عشوائياً، فقط ليبدوا أذكياء.
- النموذج الكبير (GPT-4o-mini): كان هذا النموذج أكثر ذكاءً. فقد كان أقل عرضة للكذب عندما لا يوجد استشهاد. ومع ذلك، عندما كان الاستشهاد المزيف موجوداً، بدأ بالفعل في الكذب بشكل أكبر من الآخرين! يبدو أنه كلما كان الذكاء الاصطناعي أكثر ذكاءً، زادت قدرته على تبرير الكذبة بثقة أكبر إذا اعتقد أن المصدر موثوق.
4. لماذا يهم هذا الأمر؟
تخيل طبيباً يستخدم الذكاء الاصطناعي لتشخيص مريض. إذا هلوس الذكاء الاصطناعي بدراسة طبية مزيفة ثم شرح بثقة علاجاً مزيفاً بناءً عليها، فقد يكون ذلك خطيراً.
تعلمنا هذه الورقة درسين كبيرين:
- المصادر المزيفة تجعل الذكاء الاصطناعي يكذب بشكل أسوأ: إذا أعطيت ذكاءً اصطناعياً مرجعاً مزيفاً، فإنه سيتمسك بموقفه ويخترع المزيد من التفاصيل المزيفة لدعمه.
- نحن بحاجة إلى "كاشفات كذب" أفضل: بما أن إشارات عقل الذكاء الاصطناعي تبدو متشابهة سواء كان يكذب أو يقول الحقيقة (ذلك "شكل القرن")، فلا يمكننا مجرد النظر إلى الكود الداخلي للإمساك به بسهولة. نحن بحاجة إلى طرق جديدة للتحقق مما إذا كان الذكاء الاصطناعي يختلق أشياءً ما.
الخلاصة
ابتكر الباحثون أداة (FalseCite) لإثبات أن الذكاء الاصطناعي يسهل التلاعب به من خلال المراجع المزيفة. كما نظروا داخل عقل الذكاء الاصطناعي ووجدوا أن "عملية التفكير" لديه تتبع نمطاً غريباً يشبه القرن، سواء كان صادقاً أو كاذباً. وهذا يساعد العلماء على فهم أننا لا نستطيع الوثوق بالذكاء الاصطناعي بشكل أعمى، خاصة عندما يبدأ في الاستشهاد بمصادر قد لا تكون موجودة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.