Automatic Layer Selection for Hallucination Detection
تتناول هذه الورقة تحدي الاختيار التلقائي للطبقات المتوسطة المثلى للكشف عن الهلوسة في النماذج اللغوية الكبيرة من خلال تقديم معيار "الذروة الفعالة الأولى للبعد الجوهري" (FEPoID) الخالي من التدريب، والذي يتفوق باستمرار على الأساليب الحالية ويتم تعزيزه بشكل أكبر من خلال استراتيجية بتر مبتكرة لتضخيم إشارات الكشف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه غير موثوق أحياناً (نموذج لغوي كبير أو LLM). تسأله سؤالاً، فيعطيك إجابة طويلة وواثقة. المشكلة هي أن هذا الروبوت "يهلوس" أحياناً؛ أي أنه يختلق أشياء تبدو حقيقية ولكنها في الواقع كاذبة.
أراد الباحثون في هذه الورقة البحثية بناء "جهاز كشف كذب" لهذا الروبوت. لقد اكتشفوا أن "أفكار" الروبوت الداخلية (طبقاته الخفية) تحتوي على أدلة حول ما إذا كان يقول الحقيقة أم يكذب، وهذه الأدلة تكون في الواقع أقوى في منتصف عملية تفكيره منها في نهايتها.
ولكن هناك عقبة: يمتلك الروبوت عشرات "طبقات التفكير"، وأفضل طبقة للتحقق منها تتغير بناءً على السؤال ونوع الروبوت المستخدم. والتحقق من كل طبقة سيكون بطيئاً ومكلفاً للغاية. لذا، كان السؤال الكبير هو: كيف نجد تلقائياً الطبقة الواحدة الأفضل للتحقق منها دون الحاجة لفحصها جميعاً؟
إليك كيف حلوا هذه المشكلة، باستخدام تشبيهات بسيطة:
1. لغز "الطبقة الوسطى"
فكر في عقل الروبوت كأنه خط تجميع طويل يحتوي على العديد من المحطات.
- الطريقة القديمة: كان الناس يتحققون ببساطة من المحطة الأخيرة (المخرج النهائي) أو يخمنون محطة وسطى عشوائية.
- الاكتشاف: وجد الباحثون أن "إشارات الحقيقة" تكون أقوى في المحطات الوسطى. ولكن أي واحدة منها؟ الأمر يشبه محاولة الاستماع إلى أغنية في غرفة صاخبة؛ فالمكان الأنسب يتغير بتغير الأغنية.
2. اختبار "أدوات التحري"
جرب الفريق عدة "أدوات تحرٍ" موجودة (صيغ رياضية) لاختيار أفضل محطة تلقائياً. جربوا أدوات تقيس:
- مدى كثافة المعلومات: (مثل التحقق من مدى امتلاء حقيبة سفر).
- مدى تعلم الروبوت: (مثل التحقق من مدى تعرق الروبوت من الجهد).
- شكل المعلومات: (مثل التحقق مما إذا كانت كومة من الرمل ملساء أم متعرجة).
النتيجة: لم تعمل أي من هذه الأدوات القديمة بشكل موثوق. كانت تشبه استخدام جهاز كشف المعادن للعثور على نوع معين من العملات المعدنية؛ فأحياناً تجدها، ولكنها غالباً ما تختار المكان الخاطئ.
3. الحل الجديد: "FEPoID" (القمة الأولى)
لاحظ الباحثون نمطاً في "عمق تفكير" الروبوت (ما يسمى بالبعد الجوهري - Intrinsic Dimension). تخيل نشاط عقل الروبوت كأنه سلسلة جبال مع تحركك من البداية إلى النهاية.
- غالباً ما يوجد قمة أصغر في المنتصف.
- ثم يرتفع المسار مرة أخرى ليصل إلى قممة أعلى بالقرب من النهاية تماماً.
أدرك الباحثون أن القمة الأولى (الأصغر في المنتصف) هي المكان الذي تعيش فيه "المعاني المجردة" و"صدق المعلومات". أما القمة الثانية العالية بالقرب من النهاية، فهي مجرد استعداد من الروبوت للتحدث، وتكون مليئة بالتفاصيل السطحية والضجيج.
أطلقوا على قاعدتهم الجديدة اسم FEPoID (القمة الفعالة الأولى للبعد الجوهري). إنها تشبه المتنزه الذي يعرف: "لا تتسلق أعلى جبل؛ فالإطلالة الأفضل هي عند أول منحدر تصل إليه". هذه القاعدة تختار الطبقة الصحيحة تلقائياً في كل مرة، دون الحاجة لتدريب نموذج جديد أو القيام بعمليات حسابية إضافية.
4. خدعة "الجملة الأولى" (FST)
كانت هناك مشكلة ثانية. حتى لو اخترت الطبقة الصحيحة، فإن وقت النظر إلى مخرجات الروبوت أمر مهم.
- المشكلة: إذا انتظرت حتى ينهي الروبوت إجابته الكاملة، فغالباً ما تكون نهاية الجملة فوضوية. قد يكرر الروبوت نفسه، أو يخرج عن الموضوع، أو يناقض إجابته السابقة لمجرد ملء المساحة. الأمر يشبه حكواتياً يبدأ بقصة رائعة، لكنه ينتهي بالثرثرة بهراء.
- الحل: وجد الباحثون أن الروبوت عادة ما يذكر الإجابة بوضوح في الجملة الأولى. بعد ذلك، يبدأ غالباً في "الهلوسة" أو إنتاج ضجيج.
لذا قدموا خدعة بسيطة تسمى FST (بتر الجملة الأولى). وهي تشبه قولك للروبوت: "توقف عن الكلام بعد جملتك الأولى". من خلال قطع النهاية الفوضوية، قاموا بإزالة "الضجيج" وجعلوا إشارات الحقيقة أكثر وضوحاً.
الخلاصة
من خلال الجمع بين هاتين الفكرتين:
- FEPoID: إيجاد أفضل "طبقة وسطى" للتحقق منها تلقائياً.
- FST: قطع النهاية الفوضوية للإجابة للتركيز على البداية الواضحة.
نجح الباحثون في إنشاء نظام يكشف الأكاذب في الذكاء الاصطناعي بشكل أفضل بكثير من الطرق السابقة. إنه نظام سريع، لا يتطلب تدريباً إضافياً، ويعمل عبر أنواع مختلفة من نماذج الذكاء الاصطناعي. إنه باختصار يوفر لنا طريقة موثوقة للنظر داخل عقل الروبوت في اللحظة المناسبة تماماً للإمساك به وهو يكذب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.