D-Score: A Spectral Hidden-State Signal for Hallucination Detection in Large Language Models
تقدم هذه الورقة البحثية D-Score، وهي طريقة للكشف عن الهلوسة في النماذج اللغوية الكبيرة تقوم بتحليل الهندسة الطيفية لتنشيطات الحالات الخفية خلال تمريرة أمامية واحدة لتحديد أوجه عدم الاتساق بين النص المُولد والمعرفة الداخلية للنموذج، مما يلغي الحاجة إلى مُحقِّقات خارجية أو عمليات توليد متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير داخل مكتبة حيث الكتب مكتوبة بواسطة روبوت موهوب للغاية، ولكنه مشاكس أحياناً. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير" (LLM)، يمكنه كتابة القصص، والإجابة على الأسئلة، والدردشة معك بطريقة تبدو بشرية تماماً. لكن هنا تكمن الخدعة: أحياناً، يختلق الروبوت أشياء من خياله. قد يخبرك أن القمر مصنوع من الجبن الأخضر أو أن حدثاً تاريخياً مشهوراً وقع في اليوم الخطأ. ليس هذا لأن الروبوت يكذب عن قصد؛ بل لأنه واثق جداً في حقائقه المختلقة. نحن نسمي هذا "الهلوسة".
لفترة طويلة، كانت الطريقة الوحيدة للإمساك بهذه الأكاذيب هي إرسال إجابة الروبوت إلى روبوت ثانٍ أو إلى أمين مكتبة بشري للتحقق منها مقابل قاعدة بيانات من الحقائق الحقيقية. كان الأمر يشبه طلب كتابة مقال من طالب، ثم استئجار معلم آخر لتصحيحه. ولكن ماذا لو أعطنا عقل الطالب نفسه دليلاً؟ ماذا لو، في اللحظة التي يبدأ فيها الروبوت في اختلاق شيء ما، تغيرت "عملية تفكيره" الداخلية بطريقة يمكننا رؤيتها، حتى قبل أن ينهي جملته؟ هذا هو السؤال الذي يطرحه العلماء: هل يمكننا التلصص داخل عقل الروبوت لرصد كذبة أثناء حدوثها، دون الحاجة إلى رأي ثانٍ؟
هذا بالضبط ما سعى الباحثون في هذه الورقة البحثية للقيام به. لقد قدموا أداة ذكية جديدة تسمى D-Score. فكر في عقل الروبوت كأنه ساحة رقص ضخمة متعددة الأبعاد. في كل مرة يعالج فيها الروبوت كلمة، فإنه يرسل إشارة عبر هذه الساحة. عندما يتحدث الروبوت عن شيء يعرفه جيداً وهو متأكد منه، يتحرك الراقصون (الإشارات) في مسار منظم ومتناغم للغاية. إنهم يمشون جميعاً في نفس الاتجاه، مثل عرض عسكري متقن التدريب. وهذا يخلق مساراً "متماسكاً".
ومع ذلك، عندما يحاول الروبوت التحدث عن شيء لا يعرفه أو يختلقه، تصبح ساحة الرقص فوضوية. يحاول الروبوت قول شيء ما (الحقيقة المختلقة)، لكن ذاكرته الداخلية تهمس له: "مهلاً، هذا لا يبدو صحيحاً"، أو "لست متأكداً من هذا". هذا الصراع يؤدي إلى تشتت الراقصين. فبدلاً من أن يمشوا في خط مستقيم واحد ضيق، يبدأون في الانتشار في اتجاهات مختلفة عديدة في آن واحد. بعض الراقصين مرتبكون، وبعضهم يحاول تصحيح الخطأ، وآخرون غير متأكدين فحسب.
إن الـ D-Score هو خدعة رياضية بسيطة تحصي عدد الاتجاهات المختلفة التي يتحرك فيها هؤلاء الراقصون. إذا كان الراقصون يمشون جميعاً في خط مستقيم واحد، فإن الدرجة تكون منخفضة. ولكن إذا كانوا ينتشرون كحشد فوضوي، فإن الدرجة ترتفع. وقد وجد الباحثون أنه عندما تكون درجة D-Score مرتفعة، فإنها تعد إشارة قوية على أن الروبوت يعاني من الهلوسة.
اختبر الفريق هذه الفكرة على ثلاثة عقول روبوتية مختلفة (تسمى Llama-2 و Llama-3 و Vicina) باستخدام مجموعتين من الأسئلة الماكرة. ووجدوا أن D-Score كان أفضل بكثير في رصد الأكاذيب من الطرق الأخرى التي تكتفي بالنظر في مدى "المفاجأة" التي شعر بها الروبوت أو عدد المرات التي كرر فيها الإجابة. في الواقع، في بعض الاختبارات، كان D-Score أفضل بنحو 10 نقاط مئوية في كشف الهلوسة من أفضل طريقة سابقة.
ما يجعل هذا الأمر مثيراً للغاية هو مدى بساطته. فالـ D-Score لا يحتاج إلى التحقق من قاعدة بيانات، ولا يحتاج إلى جعل الروبوت يجيب على نفس السؤال خمس مرات، ولا يحتاج إلى روبوت ثانٍ للمساعدة. إنه يحتاج فقط إلى النظر في إشارات الروبوت الداخلية خلال محادثة واحدة. ويشير الباحثون إلى أن هذا يعمل لأن "عدم اليقين" أو "الصراع" الداخلي للروبوت يترك بصمة مرئية على عملية تفكيره.
بالطأ، تشدد الورقة البحثية على أن هذا ليس عصا سحرية تمسك بكل كذبة. فإذا كان الروبوت يختلق حقيقة ليس لديه أي ذاكرة داخلية عنها على الإطلاق، فقد لا تصبح ساحة الرقص فوضوية، وقد تظل درجة D-Score منخفضة. ولكن بالنسبة للأكاذيب التي يستشعرها الروبوت داخلياً، فإن هذه الإشارة "الطيفية" الجديدة هي وسيلة قوية للإمساك به وهو يرتكب الخطأ، وذلك كله عبر الاستماع إلى إيقاعه الداخلي الخاص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.