PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations
تقدم الورقة البحثية PRISM، وهو معيار شامل يعيد صياغة تقييم الهلوسة في النماذج اللغوية الكبيرة كمسألة تشخيصية عبر تفكيك الأخطاء إلى أربعة أبعاد محددة عبر ثلاث مراحل توليد، مما يكشف عن مقايضات حرجة في أداء النماذج ويوفر إطارًا لتطوير أنظمة ذكاء اصطناعي أكثر موثوقية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً عبقرياً ولكنه مرتبك قليلاً يُدعى "النموذج". تطلب منه كتابة قصة، أو حل مسألة رياضية، أو إعطاءك نصيحة طبية. أحياناً، يقوم بعمل رائع. وفي أحيان أخرى، يختلق الأمور بثقة، أو يتجاهل تعليماتك، أو يخطئ في المنطق. هذا ما يسمى بـ "الهلوسة" (Hallucination).
حتى الآن، عندما يخطئ النموذج، كنا نكتفي بالقول: "لقد أخطأت"، ونعطيه درجة سيئة. لكننا لم نكن نعرف لماذا فشل. هل كان ذلك لأنه نسي حقيقة ما؟ هل أساء فهم قواعدك؟ أم أنه ارتبك فقط أثناء التفكير؟
تقدم ورقة PRISM البحثية طريقة جديدة لاختبار نماذج الذكاء الاصطناعي هذه. فبدلاً من النظر إلى الإجابة النهائية فقط، يعمل PRISM مثل المشخص الطبي أو الميكانيكي الذي يفتح المحرك ليرى بالضبط أي جزء هو المعطل.
إليك شرح بسيط لكيفية عمل PRISM، باستخدام بعض التشبيهات الإبداعية:
1. الأنواع الأربعة لـ "المرض"
يقسم PRISM كل خطأ يرتكبه النموذج إلى أربع فئات متميزة. فكر في هذه الفئات كأنها أربعة أنواع مختلفة من الأخطاء التي قد يرتكبها طالب في اختبار:
- خطأ معرفي (الحقيقة المزيفة): النموذج يعتقد أنه يعرف الإجابة، لكنه مخطئ.
- تشبيه: تخيل مدرساً للتاريخ يخبرك بثقة أن سفينة تايتانيك غرقت في عام 1912 (وهذا صحيح)، لكنه يدعي بعد ذلك أنها بُنيت من قبل شركة تسمى "تايتانيك كورب" (وهذا غير صحيح). النموذج لديه بيانات خاطلة مخزنة في دماغه.
- نقص المعرفة (الصفحة البيضاء): النموذج لا يعرف الإجابة على الإطلاق، لكنه يحاول التخمين على أي حال.
- تشبيه: تسأل النموذج عن حدث إخباري وقع بالأمس (بعد أن توقف عن التعلم). هو لا يملك هذه المعلومة، لكنه بدلاً من قول "لا أعرف"، يخترع قصة. الأمر يشبه طالباً يخمن في سؤال في اختبار لم يره من قبل.
- خطأ في الاستنتاج (خلل منطقي): النموذج يمتلك الحقائق الصحيحة، لكنه لا يستطيع تجميعها بشكل صحيح.
- تشبيه: تعطيه المكونات اللازمة لصنع كعكة (دقيق، بيض، سكر) وخطوات الوصفة. لديه كل القطع الصحيحة، لكنه يقرر خبز البيض قبل خلط المكونات، أو ينسى تشغيل الفرن. السلسلة المنطقية مكسورة.
- خطأ في اتباع التعليمات (الطالب المتمرد): النموذج يعرف الحقائق والمنطق، لكنه يتجاهل قواعدك المحددة.
- تشبيه: تطلب من النموذج "اكتب قصيدة عن القطط، ولكن لا تستخدم حرف الـ 'e'". يكتب النموذج قصيدة رائعة عن القطط، لكنه يستخدم حرف الـ 'e' خمسين مرة. لقد فشل في اتباع القواعد، رغم أن المحتوى كان جيداً.
2. عدسة "PRISM"
اسم PRISM (المنشور) هو استعارة مثالية. فالمنشور يأخذ شعاعاً من الضوء الأبيض ويقسمه إلى ألوان متميزة.
- المعايير القديمة: كانت مثل الكاميرا بالأبيض والأسود. كانت تلتقط صورة للإجابة النهائية فقط وتقول "ناجح" أو "راسب". لم تكن تستطيع معرفة لماذا فشل.
- PRISM: هو مثل المنشور. يأخذ مخرجات النموذج الفوضوية ويقسمها حتى نتمكن من رؤية أي "لون" (معرفة، استنتاج، أو تعليمات) هو المسبب للمشكلة.
3. الاكتشاف الكبير: فخ "المقايضة"
اختبر الباحثون 24 نموذجاً مختلفاً للذكاء الاصطناعي (سواء المجانية أو المكلفة) باستخدام هذه العدسة الجديدة. ووجدوا شيئاً مفاجئاً: لا يمكنك إصلاح كل شيء في وقت واحد.
فكر في دماغ النموذج كأنه عضلة.
- إذا دربته ليكون صارماً جداً في اتباع القواعد (مثل روبوت لا يكسر أمراً أبداً)، فقد يصبح مركزاً جداً على القواعد لدرجة أنه يتوقف عن التفكير الإبداعي أو المنطقي.
- إذا دربته ليكون عبقرياً في الرياضيات والمنطق، فقد يبدأ في تجاهل تعليماتك لأنه مشغول جداً بحل المشكلة.
تسمي الورقة هذا "مقايضة" (Trade-off). فإصلاح نوع واحد من الهلوسة غالباً ما يجعل نوعاً آخر يزداد سوءاً. الأمر يشبه ضبط السيارة: إذا قمت بتضييق نظام التعليق من أجل رحلة أكثر سلاسة، فقد تتعامل السيارة مع المنعطفات بشكل أسوأ.
4. لماذا يهم هذا؟
قبل PRISM، كان المطورون مثل الأطباء الذين يخمنون الدواء المناسب لإعطائه للمريض دون معرفة التشخيص. ربما يحاولون "إصلاح" ذاكرة النموذج، ليؤدي ذلك بالخطأ إلى كسر قدرته على اتباع التعليمات.
مع PRISM، يمكننا أخيراً القول:
- "هذا النموذج رائع في اتباع القواعد، لكنه ينسى الحقائق." -> نحتاج لتزويده بمزيد من البيانات.
- "هذا النموذج يعرف الحقائق لكنه لا يستطيع القيام بالرياضيات." -> نحتاج لتدريبه على الألغاز المنطقية.
- "هذا النموذج ذكي لكنه يتجاهل التعليمات." -> نحتاج لتعليمه كيف يستمع بشكل أفضل.
الخلاصة
PRISM هو تقرير درجات جديد وفائق التفصيل للذكاء الاصطناعي. فهو يتوقف عن مجرد قولنا "الذكاء الاصطناعي يهلوس"، ويبدأ في إخبارنا بالضبط أين يهلوس الذكاء الاصطناعي. وهذا يساعد المهندسين على بناء مساعدين ذكاء اصطناعي أفضل، وأكثر أماناً، وأكثر موثوقية، لا يكتفون فقط بالظهور بمظهر الأذكياء، بل هم في الواقع أذكياء وموثوقون حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.