Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification
تقدم الورقة البحثية "تناقض الرمز النواتي" (Kernel Token Contradiction - KTC)، وهي طريقة خفيفة الوزن وفعالة من حيث استهلاك وحدة المعالجة المركزية لقياس عدم اليقين على مستوى الادعاء في مخرجات النماذج اللغوية الكبيرة، والتي تستفيد من تمثيلات الرموز القائمة على النواة وإحصائيات تكرار ويكيبيديا لتحقيق تسريع كبير مقارنة بالنهج الحالية مع الحفاظ على دقة عالية، لا سيما في أنظمة الدقة العالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت النماذج اللغوية الكبيرة جزءاً مألوفاً من الحياة المعاصرة، فهي قادرة على كتابة القصص، والإجابة على الأسئلة، وتلخيص المواضيع المعقدة بطلاقة تبدو بشرية في كثير من الأحيان. ومع ذلك، يكمن تحت هذا السطح الناعم مشكلة مستمرة: وهي أن هذه الأنظمة تصدر أحياناً عبارات تبدو واثقة لكنها كاذبة ببساطة. هذه الظاهرة، المعروفة باسم "الهلوسة"، تحدث عندما يبتكر النموذج حقائق أو يخلط بين التفاصيل، مما يشكل خطراً على أي شخص يعتمد على مخرجاته للحصول على معلومات دقيقة. ولمعالجة ذلك، طور الباحثون طرقاً لقياس مدى عدم يقين النموذج بشأن ما يقوله. والهدف ليس منع النموذج من التحدث، بل وضع علامة على اللحظات المحددة التي يكون فيها في حالة تخمين، مما يسمح للمستخدمين بالوثوق بالأجزاء الموثوقة من الإجابة مع توخي الحذر بشأن الأجزاء المهتزة. وكان التحدي يكمن في إيجاد طريقة للقيام بذلك بسرعة ودقة دون إبطاء النظام أو طلب قدر هائل من القدرة الحوسبية.
قدم فريق من الباحثين في مختبر (LIX)، وهو مختبر في فرنسا، طريقة جديدة تسمى "تناقض الرمز الأساسي" (Kernel Token Contradiction) أو (KTC)، المصممة لحل معضلة السرعة والدقة هذه. يركز عملهم على نوع محدد من عدم اليقين: اللحظة التي يتردد فيها النموذج بين معلومتين لا يمكن أن تكونا صحيحتين معاً. تخيل نموذجاً يحاول ذكر سعر منتج ما؛ إذا كان غير متأكد، فقد يعطي احتمالات عالية لرقمين مختلفين، مثل ستمائة وتسعة وتسعين دولاراً وأربعمائة وتسعة وتسعين دولاراً. هذان الرقمان متناقضان؛ فإذا كان أحدهما صحيحاً، فلا بد أن يكون الآخر خاطئاً. أدرك الباحثون أن اكتشاف هذا النوع من الصراع الداخلي هو إشارة قوية على أن النموذج يهلوِس. وبخلاف الطرق السابقة التي اعتمدت على برمجيات ثقيلة وبطيئة مدربة على فهم المنطق اللغوي، يستخدم (KTC) نهجاً أخف بكثير يعتمد على كيفية ظهور الكلمات عادةً بجانب بعضها البعض في مجموعة واسعة من الكتابة البشرية.
تبدأ العملية بالنظر إلى قائمة الكلمات التالية المحتملة التي يفكر فيها النموذج عند أي خطوة. قام الباحثون ببناء خريطة لهذه الاحتمالات من خلال تحليل مدونة "ويكيبيديا"، وهي مكتبة رقمية ضخمة من المقالات. لقد حسبوا عدد المرات التي تظهر فيها كلمات محددة بالقرب من بعضها البعض في هذا النص الواقعي. إذا كان للكلمتين المرشحتين للخطوة التالية جيران متشابهون جداً في ويكيبيديا، فإن النظام يعاملهما كأنهما من المحتمل أن تكونا متناقضتين. على سبيل المثال، إذا كان النموذج يقرر بين سعرين مختلفين، فإن أرقام الأسعار تلك تظهر على الأرجح في سياقات متشابهة في ويكيبيديا، مما يشير إلى وجود صراع. أما إذا كان النموذج يقرر بين مقالين مختلفين، مثل "الـ" (التعريف) و"أ" (التنكير)، فإن هاتين الكلمتين لهما جيران مختلفون تماماً، مما يشير إلى أنهما ليستا في حالة صراع وإنما مجرد طريقتين مختلفتين لصياغة الفكرة نفسها. هذا الفحص الإحصائي يحل محل الحاجة إلى نموذج لغوي منفصل وبطيء لتقييم التناقض، مما يجعل العملية سريعة للغاية.
بمجرد أن يحدد النظام الكلمات المرشحة التي في حالة صراع، فإنه يدمج هذه المعلومات مع مستويات الثقة الخاصة بالنموذج نفسه. فهو ينشئ تمثيلاً رياضياً يزن احتمالية كل كلمة مقابل درجة التناقض بينهما. ثم يطبق الباحثون مقياساً للاضطراب يُعرف باسم "الإنتروبيا" (entropy) على هذه الصورة المدمجة. إذا كان النموذج واثقاً والخيارات ليست في حالة صراع، فإن درجة عدم اليقين تظل منخفضة. ومع ذلك، إذا كان النموذج ممزقاً بين حقيقتين متناقضتين، فإن الدرجة تقفز، مما ينبه المستخدم إلى أن هذا الجزء المحدد من الإجابة غير موثوق. وتحدث هذه العملية الحسابية على مستوى الكلمات الفردية، مما يسمح للنظام بتحديد أي ادعاء بالضبط في فقرة طويلة هو الإشكالي، بدلاً من مجرد وصف الاستجابة بأكملها بأنها مشكوك فيها.
كانت نتائج اختبار هذه الطريقة مذهلة من حيث الكفاءة والدقة. قيم الباحثون طريقة (KTC) عبر ستة عشر نموذجاً لغوياً مختلفاً وفي أربع لغات أوروبية: الإنجليزية، والفرنسية، والألمانية، والإسبانية. وقارنوها بأفضل الطرق الحالية التي تعتمد على نماذج لغوية متخصصة تعمل على معالجات رسومية قوية. وُجد أن (KTC)، الذي يعمل فقط على معالجات الكمبيوتر القياسية، أسرع بأكثر من خمسة وستين ضعفاً من النسخ المنافسة التي تعمل على المعالج المركزي (CPU) فقط، وأسرع بأكثر من ثماني مرات من النسخ التي تعمل على معالجات الرسوميات (GPU)، مع مضاهاة أدائها أو تجاوزها. والأهم من ذلك، في الحالات التي تتطلب دقة عالية — أي عندما يجب أن يكون النظام متأكداً جداً قبل الإبلاغ عن خطأ — تفوقت (KTC) على جميع الطرق الأخرى. لقد نجحت في تحديد الادعاءات الكاذبة بمعدل دقة أعلى من الأدوات الحالية المتطورة، رغم أنها استخدمت قدر أقل بكثير من القدرة الحوسبية.
يشير هذا العمل إلى أنه من الممكن مراقبة النماذج اللغوية الكبيرة في الوقت الفعلي دون التكلفة الحوسبية الثقيلة التي جعلت مثل هذه المراقبة غير عملية للعديد من التطبيقات سابقاً. ومن خلال استبدال النماذج اللغوية المعقدة والبطيئة بفحص بسيط وسريع مقابل قاعدة بيانات ضخمة من الكتابة البشرية، ابتكر الباحثون أداة يمكن دمجها مباشرة في أنظمة الإنتاج. لا تتطلب الطريقة إيقاف النموذج أو إعادة تدريبه؛ بل هي ببساطة تراقب خيارات النموذج الداخلية وتحسب خطر الخطأ بناءً على أنماط التناقض. وبينما اقتصرت الدراسة الحالية على أربع لغات ومعايير محددة، فإن هذا النهج يقدم مساراً واعداً نحو جعل الذكاء الاصطناعي أكثر موثوقية وجدارة بالثقة في الاستخدام اليومي، مما يضمن أنه عندما يتحدث النموذج، نعرف تماماً متى نستمع ومتى نتحقق من صحة الكلام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.