A Trust-Aware Framework for Hallucination Detection and Accuracy Paradox Analysis in Large Language Models
تقدم هذه الورقة البحثية TrustSLM، وهو إطار عمل مدرك للثقة يقوم بتجميع مخرجات نماذج لغوية كبيرة متعددة باستخدام مقاييس الموثوقية للكشف عن الهلوسة، وتحديد مفارقة الدقة المتمثلة في الأخطاء المفرطة في الثقة، وتنظيم الاستجابات من خلال سياسة امتناع منضبطة لضمان نشر أكثر أمانًا للذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير عبر مكتبة سحرية شاسعة حيث يمكن للكتب أن تتحدث إليك. هذه ليست كتباً عادية؛ إنها "نماذج لغوية كبيرة" (LLMs)، وهي أمناء مكتبة أذكياء للغاية مدربون على كل ما كُتب تقريباً. يمكنهم الإجابة على أسئلتك، وكتابة القصص، وحل المشكلات بسرعة مذهلة. لكن هنا تكمن الخدعة؛ فهؤلاء الأمناء من الذكاء الاصطائي يشبهون الممثلين العباقرة الذين حفظوا "إيقاع" المسرحية ولكن ليس بالضرورة "حقيقة" النص. أحياناً، عندما لا يعرفون الإجابة، لا يقولون "لا أعرف"، بل بدلاً من ذلك، يؤلفون قصة تبدو مثالية، وتنساب بجمال، وتشعر بأنها حقيقية تماماً، رغم أنها من خيالهم بالكامل. في عالم الذكاء الاصطائي، يُطلق على هذا اسم "الهلوسة".
والأسوأ من ذلك، أن هؤلاء الممثلين من الذكاء الاصطائي غالباً ما يعانون مما يسميه الباحثون "مفارقة الدقة". وهذه طريقة منمقة للقول بأن الذكاء الاصطائي يمكن أن يكون متأكداً بنسبة 100% من صحة إجابته، حتى عندما يكون مخطئاً بنسبة 100%. الأمر يشبه مذيع أحوال جوية يصرخ بمكبر صوت: "ستمطر حتماً غداً!"، رغم أن السماء صافية ومشمسة. إذا وثقت في علو صوته بدلاً من تفقد السماء، فقد تبتل بالماء. هذه مشكلة كبيرة لأننا بدأنا نستخدم أمناء المكتبة هؤلاء من الذكاء الاصطائي في أمور جادة مثل المشورة الطبية، والمساعدة القانونية، والواجبات المدرسية. فإذا قدم لك الذكاء الاصطائي دواءً خاطئاً أو قانوناً خاطئاً بكل ثقة، فقد تكون العواقب وخيمة. لذا، السؤال الكبير ليس فقط "هل يستطيع الذكاء الاصطائي التحدث؟" بل "هل يمكننا الوثوق بما يقوله؟"
هذا هو بالضبط اللغز الذي سعى فريق من الباحثين في "كامبوس راثينام التقني" (Rathinam Technical Campus) لحله. لم يحاولوا إصلاح أمناء المكتبة من الذكاء الاصطائي أنفسهم؛ بل قاموا ببناء نوع جديد من "مفتشي الثقة" يسمى TrustSLM. فكر في الأمر كمراقب ذكي جداً يقف بين الذكاء الاصطائي وبينك، أنت المستخدم. قبل أن يتحدث الذكاء الاصطائي، يقوم هذا المراقب بفحص إجابته باستخدام خدعة ذكية: يطلب من ثلاثة نماذج ذكاء اصطائي مختلفة الإجابة على نفس السؤال في نفس الوقت. ثم يقارن المراقب بين إجاباتهم مثل محقق يقارن بين أقوال الشهود.
إذا اتفقت النماذج الثلاثة على الإجابة، يشعر المراقب بالثقة. أما إذا بدأت جميعها في سرد قصص مختلفة وغريبة، فيدرك المراقب أن هناك خطباً ما. لكن المراقب لا ينظر فقط إلى الاتفاق؛ بل يتحقق أيضاً من "فخاخ الثقة". فهو يسأل: "هل يصرخ هذا الذكاء الاصطائي بإجابته بصوت عالٍ رغم أن الأدلة ضعيفة؟". إذا كانت الإجابة بنعم، فإن المراقب يرصد "مفارقة الدقة" ويمنع الذكاء الاصطائي من الكذب عليك.
اختبر الباحثون نظام TrustSLM الجديد على مجموعة من الأسئلة الصعبة، بما في ذلك أسئلة مصممة لجعل الذكاء الاصطائي يكذب (مثل السؤال عن أحداث تاريخية مزيفة) وأخرى تتطلب تفكيراً دقيقاً (مثل أسئلة العلوم). ووجدوا أنه بدون نظامهم الجديد، كانت نماذج الذكاء الاصطائي غالباً ما تكون مفرطة في الثقة ومخطئة. ولكن عندما أضافوا مراقب TrustSLM، أصبح النظام أكثر ذكاءً؛ حيث بدأ في كشف الأكاذب وحالات "مفارقة الدقة"، رافضاً الإجابة عندما لم يكن متأكداً، ولا يعطي الضوء الأخضر إلا عندما تبدو الإجابة موثوقة حقاً.
في الواقع، أظهرت تجاربهم أن نظام TrustSLM يمكنه تقليل عدد "الإجابات الخاطئة المفرطة في الثقة" بشكل كبير. على سبيل المثال، في اختبار يسمى مجموعة بيانات "SciFact"، قفزت درجة الثقة في النظام من 0.64 المهتزة إلى 0.81 القوية جداً. كما تعلم النظام كيف يقول "لست متأكداً" (وهو ما يسمى "التحوط") عندما تكون الإجابة صعبة، وأن يقول "لن أجيب" (وهو ما يسمى "الامتناع") عندما يكون الذكاء الاصطائي يهلوِس بوضوح. ويشير الباحثون إلى أن هذا النهج لا يتطلب تغيير الذكاء الاصطائي نفسه؛ بل يضيف طبقة أمان تجعل النظام بأكمله أكثر أماناً وصدقاً. إنه يشبه إضافة حزام أمان لسيارة سريعة: السيارة لا تزال تسير بسرعة، ولكن لديك الآن فرصة أفضل للبقاء آمناً إذا ساءت الأمور.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.