Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models
تقترح هذه الورقة طريقة مبتكرة لتقدير عدم اليقين في النماذج اللغوية الكبيرة من خلال تدريب نموذج انحدار على خرائط الانتباه، واحتمالات الرموز، ودرجات عدم اليقين المحسوبة تكرارياً للكشف بفعالية عن الهلوسة وتحسين التوليد الانتقائي عبر مجموعات ونماذج متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تستمع إلى روبوت ذكي للغاية وسريع الكلام وهو يروي لك قصة. هذا الروبوت بارع في تأليف الجمل، لكنه أحياناً يثق تماماً في أشياء هي في الواقع خاطئة (وهذا ما يسمى بـ "الهلوسة").
المشكلة هي أن الروبوت لا يدرك أنه يكذب. هو يستمر في الكلام فحسب، وإذا ارتكب خطأً في البداية، تزداد ثقته بنفسه وهو يبني بقية القصة بناءً على ذلك الخطأ. الأمر يشبه لعبة "التليفون المكسور"، حيث يهمس الشخص الأول بحقيقة خاطئة، ثم يقوم الجميع بعد ذلك بتكرارها بثقة متزايدة.
المشكلة: النقطة العمياء للروبوت
الطرق الحالية للتحقق مما إذا كان الروبوت يكذب تعتمد عادةً على فحص "درجة الثقة" الخاصة بالروبوت لكل كلمة يقولها. لكن هذا أمر مخادع؛ فإذا قال الروبوت "السماء خضراء"، فقد يظل واثقاً جداً من الكلمة التالية، "عشب"، لأنه ببساطة يتبع منطقه الخاص. هو لا يدرك أن الجملة بأكملها مبنية على كذبة.
يسمي مؤلفو هذه الورقة البحثية هذه المشكلة بـ "التبعية الشرطية" (conditional dependency). فثقة الروبوت في الكلمة التالية تعتمد كلياً على الكلمة السابقة، حتى لو كانت الكلمة السابقة خطأً.
الحل: TAD (الاعتماد المعتمد على الانتباه القابل للتدريب)
قام الباحثون ببناء أداة جديدة تسمى TAD. تخيل أن TAD عبدو محرر فائق الذكاء يجلس بجانب الروبوت، ويراقبه وهو يكتب كلمة بكلمة.
إليك كيف يعمل هذا المحرر، باستخدام بعض التشبيهات البسيطة:
- "النظرة" (الانتباه): عندما يتحدث الروبوت، فإنه "ينظر" إلى الكلمات السابقة ليقرر ماذا سيقول تالياً. أدرك الباحثون أنه عندما يقول الروبوت الحقيقة، تكون "نظرته" (انتباهه) ثابتة ومركزة. ولكن عندما يبدأ في الهلوسة، تصبح نظرته مهتزة أو مشوشة. يقوم TAD بمراقبة هذه النظرة عن كثب.
- "تفاعل السلسلة" (التكرار): المحرر لا ينظر فقط إلى الكلمة الحالية، بل يتذكر أيضاً مدى "عدم اليقين" في الكلمات السابقة. إذا تعثر الروبوت في الكلمة رقم 1، فإن المحرر يضع علامة تحذير على الكلمات رقم 2 و3 و4 ككلمات مشبوهة، حتى لو بدا الروبوت واثقاً بشأنها. الأمر يشبه المعلم الذي يعرف أنه إذا أخطأ الطالب في الخطوة الأولى من مسألة رياضية، فإن الإجابة النهائية من المرجح أن تكون خاطئة أيضاً، بغض النظر عن مدى أناقة كتابة الطالب للإجابة.
- "التدريب على مرحلتين": لتعليم هذا المحرر، استخدم الباحثون عملية مكونة من خطوتين:
- الخطوة 1: علموا المحرر كيفية رصد الأخطاء باستخدام ثقة الروبوت الخام فقط.
- الخطوة 2: سمحوا للمحرر باستخدام "شعوره الداخلي" من الخطوة 1 لمساعدته على التعلم بشكل أفضل. إنه يشبه ممارسة رياضة ما: أولاً تتعلم الحركات الأساسية، ثم تمارس اللعبة كاملة حيث يتعين عليك التفاعل مع حركاتك السابقة.
كيف اختبروا ذلك
اختبروا هذا المحرر في عشرة أنواع مختلفة من المهام، من تلخيص المقالات الإخبارية إلى الإجابة على أسئلة المعلومات العامة الصعبة، وباستخدام ثلاث نسخ مختلفة من الروبوت (LLaMA و Gemma و Qwen).
- النتيجة: كان TAD أفضل بكثير في كشف أكاذيب الروبوت من أي طريقة أخرى جربوها. وكان بارعاً بشكل خاص في رصد الحالات التي تخرج فيها القصة الطويلة عن مسارها الصحيح.
- الكفاءة: على عكس الطرق الأخرى التي تتطلب من الروبوت أن "يفكر" في الإجابة خمس مرات مختلفة (وهو أمر بطيء ومكلف)، فإن TAD سريع جداً. فهو يضيف حوالي 5% فقط من الوقت الإضافي لعملية تفكير الروبوت. الأمر يشبه إضافة نظرة ثانية سريعة بدلاً من مطالبة الروبوت بإعادة كتابة القصة بأكملها.
الخلاصة
تدعي الورقة البحثية أنه من خلال تعليم نموذج حاسوبي الانتباه إلى كيفية نظر الروبوت إلى كلماته السابقة، وتذكر الأخطاء المرتكبة في وقت سابق من الجملة، يمكننا بناء "جهاز كشف كذب" أفضل للذكاء الاصطناعي. وهذا يجعل الذكاء الاصطناعي أكثر أماناً وموثوقية، خاصة في الإجابات الطويلة، دون إبطائه كثيراً.
ما لا تدعيه الورقة البحثية
- هي لا تدعي أن هذا يعمل مع كل أنواع الذكاء الاصطناعي في كل موقف (لقد تم اختباره على نماذج ومهام محددة).
- هي لا تدعي أنها أداة طبية أو قاضٍ قانوني.
- هي لا تدعي أن الذكاء الاصطناي لن يرتكب أخطاءً مرة أخرى؛ هي فقط تدعي أن هذه الأداة أفضل في رصد الأخطاء حتى يمكن تصفيتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.