Improved Confidence Estimates for Black-Box Large Language Models
تقترح هذه الورقة طريقة منخفضة التكلفة تُحسّن تقدير عدم اليقين للنماذج اللغوية الكبيرة ذات الصندوق الأسود، وذلك عبر تدريب مصنفات بسيطة للتنبؤ بصحة الاستجابة باستخدام درجات الثقة الحالية وصحة الاستعلامات المماثلة من مجموعة بيانات مستهدفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت النماذج اللغوية الكبيرة أدوات قوية للكتابة والبرمجة والإجابة على الأسئلة، ومع ذلك فهي تحمل خطراً خفياً: فهي أحياناً تخترع حقائق بيقين مطلق. هذه الظاهرة، التي تُسمى غالباً "الهلوسة"، تشكل عائقاً كبيراً أمام استخدام هذه الأنظمة في المجالات عالية الخطورة مثل الرعاية الصحية أو البحث العلمي، حيث يمكن أن تؤدي الإجابة الخاطئة إلى عواقب وخيمة. ولحل هذه المشكلة، حاول الباحثون منذ فترة طويلة بناء أنظمة يمكنها إخبارنا بمدى إمكانية الوثوق بإجابة معينة. والهدف هو تعيين درجة لكل استجابة تشير إلى مدى موثوقيتها. حالياً، توجد طرق عديدة لتوليد هذه الدرجات، تتراوح بين مطالبة النموذج بتقييم ثقته الخاصة أو تحليل مدى تباين إجاباته عند سؤاله نفس السؤال بطرق مختلفة. ومع ذلك، فإن هذه الدرجات الموجودة غالباً ما تعمل بمعزل عن غيرها، حيث تتعامل مع كل سؤال جديد كما لو كانت المرة الأولى التي يرى فيها النموذج هذا السؤال، دون النظر في كيفية أداء النموذج في الأسماؤلات المماثلة في الماضي.
اقترح فريق من الباحثين في "Layer 6 AI" و"TD Insurance" نهجاً مختلفاً يعامل الثقة ليس كخاصية ثابتة للنموذج، بل كنطاق يمكن تعلمه. ويجادلون بأنه بينما تولد الطرق الحالية درجات عدم يقين خام دون الحاجة إلى أي بيانات مسبقة، فإن التطبيقات في العالم الحقيقي تتضمن دائماً تقريباً مجموعة بيانات من الأسئلة والأجوبة التي تم التحقق من صحتها بالفعل. وقد أدرك الباحثون أن هذه البيانات المصنفة هي مورد هائل غير مستغل. فبدلاً من محاولة ابتكار طريقة جديدة لقياس عدم اليقين من الصفر، قاموا ببناء نظام بسيط يأخذ الدرجات الموجودة ويدمجها مع معلومات حول كيفية إجابة النموذج على أسئلة مماثلة في الماضي. ومن خلال تدريب برنامج حاسوبي قياسي للتعرف على العلاقة بين هذه المدخلات والصحة الفعلية للإجابات، نجحوا في إنشاء طريقة جديدة تتفوق باستمرار على الدرجات الأصلية بمفردها.
يتضمن جوهر عملهم عملية مكونة من خطوتين تحاكي كيف يقوم خبير بشري بالتحقق من ادعاء جديد. أولاً، يأخذ النظام سؤالاً جديداً والإجابة التي يقدمها النموذج اللغوي الكبير. ثم يقوم بحساب درجات عدم اليقين القياسية التي قد ينتجها النموذج أو الأدوات الأخرى عادةً. بعد ذلك، يبحث النظام في مكتبة مرجعية من الأسئلة التي تمت الإجابة عليها سابقاً للعثور على الأسئلة الأكثر تشابهاً مع السؤال الجديد. ويتحقق مما إذا كان النموذج قد أصاب أو أخطأ في تلك الأسئلة المماثلة في الماضي، ويقيس مدى قربها من السؤال الحالي. تُغذى هذه التفاصيل —الدرجات القياسية، وتاريخ الأسئلة المماثلة، وأداء النموذج السابق فيها— في مصنف بسيط. ويتعلم هذا المصنف التنبؤ بما إذا كانت الإجابة الجديدة صحيحة، مما يؤدي فعلياً إلى ترجمة إشارات عدم اليقين الخام إلى احتمالية صدق مُعايرة.
اختبر الباحثون هذه الطريقة عبر عدة مجموعات بيانات مختلفة، بما في ذلك معايير الاستدلال المنطقي الشائع، والحقائق العلمية، وأسئلة المعرفة العامة، باستخدام أحجام مختلفة من النماذج اللغوية. وقارنوا نظامهم الجديد بأفضل الطرق الموجودة، بما في ذلك تلك التي تطلب من النموذج التحدث عن ثقته أو تلك التي تولد العديد من التنوعات في الإجابة للتحقق من الاتساق. وأظهرت النتائج أن نهجهم قدم باستمرار تنبؤات أكثر دقة بالصحة. وفي معظم الاختبارات، كان النهج الجديد أفضل في التمييز بين الإجابات الصحيحة والخاطئة من الدرجات الأصلية وحدها. علاوة على ذلك، أنتج النظام احتمالات مُعايرة جيداً، مما يعني أنه عندما توقع أن الإجابة لديها احتمال 80 بالمائة لتكون صحيحة، فقد كانت صحيحة بنسبة 80 بالمائة تقريباً. وهذا المعايرة أمر بالغ الأهمية لاتخاذ القرار، حيث يسمح للمستخدمين بالوثوق بالأرقام التي يوفرها النظام.
كان أحد أهم النتائج هو أن الطريقة عملت بشكل جيد حتى عندما اعتمدت على القليل جداً من المعلومات الإضافية. ففي بعض الاختبارات، استخدم النظام إجابة واحدة فقط من النموذج وتاريخاً من الأسئلة المماثلة، دون الحاجة إلى جعل النموذج يولد تنوعات متعددة من الإجابة. وقد حافظ هذا على انخفاض التكلفة الحسابية، مما يجعل الطريقة عملية للاستخدام في العالم الحقيقي حيث تهم السرعة والكفاءة. كما وجد الباحثون أن أفضل طريقة لدمج هذه الإشارات تعتمد على المهمة المحددة، مما يشير إلى أن النهج المرن الذي يمكنه التكيف مع أنواع مختلفة من الأسئلة هو الأفضل مقارنة بالحل الواحد الذي يناسب الجميع. ومن خلال التعامل مع تقدير الثقة كمشكلة تعلم وليس كعملية حسابية ثابتة، أثبت الفريق أن البيانات الموجودة يمكن استخدامها لتحسين سلامة وموثوقية النماذج اللغوية الكبيرة بشكل كبير دون الحاجة إلى الوصول إلى آليات عملها الداخلية أو إعادة تدريب مكلفة.
تخلص الدراسة إلى أنه على الرغم من أن درجات عدم اليقين الأولية التي تولدها الأدوات الحالية مفيدة، إلا أنها ليست الكلمة الأخيرة في الموثوقية. فمن خلال الاستفيد من الحقيقة البسيطة المتمثلة في أن النماذج تميل إلى الأداء بشكل متسق في أنواع متشابهة من الأسئلة، يمكن لإطار عمل التعلم الخاضع للإشراف أن يصقل هذه الدرجات إلى تقديرات أكثر موثوقية بكثير. هذا لا يحل محل الحاجة إلى مقاييس جيدة لعدم اليقين، بل يعززها، محولاً البيانات الخام إلى رؤى قابلة للتنفيذ. ويشير العمل إلى أن الطريق نحو ذكاء اصطناعي أكثر أماناً لا يكمن فقط في بناء نماذج أفضل، بل في بناء طرق أفضل لفهم وتفسير الإجابات التي تقدمها تلك النماذج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.