From token probabilities to calibrated confidence: An empirical study of mathematical question answering
تتقصى هذه الدراسة التجريبية طرق معايرة الثقة في النماذج اللغوية الكبيرة للإجابة على الأسئلة الرياضية، وتجد أنه بينما توفر احتمالات الرموز (tokens) في المرة الواحدة إشارة محدودة، فإن تجميعها وتوظيف استراتيجيات متعددة المرات مثل التحقق الذاتي أو إسقاط مونت كارلو (Monte Carlo Dropout)، متبوعة بتقنيات المعايرة البعدية، يمكن أن يحسن بشكل كبير من التوافق بين الثقة المقدرة والدقة الفعلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة أسئلة عامة عالية المخاطر مع صديق آلي فائق الذكاء. تطرح عليه سؤالاً صعباً، فيصدر الروبوت طنيناً بإجابة ما. لكن هنا تكمن الخدعة؛ فالروبوت متحمس جداً لإرضائك، لذا غالباً ما يبدو واثقاً بنسبة 100% حتى عندما يكون مخطئاً تماماً. في عالم الذكاء الاصطناعي، يُسمى هذا "الثقة المفرطة". يحاول العلماء تعليم هذه الروبوتات كيف تقول: "أنا متأكد إلى حد ما"، أو "لست متأكداً تماماً"، حتى نعرف متى نثق بها. هذا هو تحدي "تقدير الثقة": معرفة مدى احتمالية كون إجابة الروبوت صحيحة. وللقيام بذلك، ينظر الباحثون إلى "همسات" الروبوت الداخلية—وهي أرقام صغيرة تسمى "احتمالات الرموز" (token probabilities) التي توضح مدى احتمالية اختيار الروبوت للكلمة التالية في الجملة. السؤال الكبير هو: هل يمكننا تحويل هذه الهمسات المشوشة إلى "مقياس للحقيقة" موثوق يخبرنا بالضبط مقدار الثقة التي يجب أن نوليها للروبوت؟
قرر فريق من الباحثين وضع هذه الفكرة قيد الاختبار، وتحديداً مع المسائل الرياضية. لقد عاملوا الذكاء الاصطناعي كطالب يؤدي امتحاناً وسألوا: "إذا استمعنا عن كثب إلى عملية التفكير لدى الطالب، فهل يمكننا معرفة ما إذا كان قد أجاب بشكل صحيح حتى قبل أن ينتهي من الكتابة؟" قارنوا بين طريقتين رئيسيتين للاستماع. الأولى كانت "استماعاً أحادي المسار"، حيث يقومون فقط بتحليل المسألة الرياضية والإجابة النهائية التي قدمها الروبوت في خطوة واحدة. والثانية كانت "استماعاً متعدد المسارات"، حيث يطلبون من الروبوت مراجعة عمله أو تشغيل نفس المسألة عبر دماغه عدة مرات مع تغييرات طفيفة ليروا ما إذا كان سيصل إلى نفس النتيجة.
إليكم ما اكتشفوه. أولاً، وجدوا أنه إذا استمعت فقط إلى الكلمات الأخيرة من الإجابة (الرقم النهائي)، فإن الروبوت يبدو واثقاً للغاية، حتى عندما يكون مخطئاً. الأمر يشبه طالباً يكتب "42" في نهاية امتحانه بينما وصل إلى هذه النتيجة عن طريق التخمين. ومع ذلك، إذا استمعت إلى سلسلة الاستنتاج بأكملها—أي الخطوات الرياضية التي قام بها الروبوت للوصول إلى هناك—يمكنك رصد اختلافات دقيقة ومتسقة بين الإجابات الصحيحة والخاطئة. ومن خلال حساب متوسط هذه الإشارات الصغيرة عبر عملية التفكير بأكملها، وجدوا طريقة للحصول على "مقياس حقيقة" أفضل بكثير دون الحاجة إلى طلب عمل إضافي من الروبوت.
حاول الباحثون أيضاً استخدام بعض الحيل المتطورة للحصول على إشارات أفضل. إحدى هذه الحيل هي سؤال الروبوت: "هل أنت متأكد من أن هذا صحيح؟" (وهي طريقة تسمى "التحقق الذاتي"). وجدوا أن طلب إعادة قراءة إجابته من البداية كان دقيقاً ولكنه بطيء ومكلف للغاية، مثل جعل الطالب يعيد كتابة مقالته بالكامل لمجرد التحقق من سطر واحد. لكنهم اكتشفوا اختصاراً ذكياً: بدلاً من إعادة كتابة الشيء بأكمله، يمكنهم ببساطة إضافة السؤال "هل هذا صحيح؟" إلى نهاية الإجابة الأصلية. هذه الطريقة (المعروفة بـ "in-situ") كانت دقيقة بنفس القدر ولكنها وفرت 88% من جهد الكمبيوتر، مما شكل فوزاً كبيراً في الكفاءة.
تضمنت حيلة أخرى "المسارات العشوائية"، حيث يطلبون من الروبوت حل نفس المسألة عدة مرات مع القليل من العشوائية (مثل رمي النرد) لمعرفة ما إذا كان سيغير رأيه. هذه الطريقة، التي تسمى "MC Dropout"، كانت جيدة في رصد عدم اليقين، لكنها تتطلب من الروبوت القيام بالعمل عدة مرات، وهو أمر ثقيل حسابياً. وجد الباحثون أنه بينما كانت هذه الطريقة فعالة، إلا أنها غالباً لم تكن تستحق التكلفة الإضافية مقارنة بطريقة "الاستماع إلى القصة بأكملها" الأبسط.
أخيراً، اختبروا خطوة "المعايرة"، وهي تشبه تعليم الروبوت كيفية ضبط "قرص الثقة" الخاص به. استخدموا أداتين رياضيتين كلاسيكيتين (Platt scaling و isotonic regression) لتعديل درجات ثقة الروبوت بحيث تتوافق مع الواقع بشكل أفضل. وجدوا أن هذه الأدوات تعمل بشكل رائع، خاصة عندما يكون لديهم مجموعة صغيرة من مسائل التدريب (50 مثالاً فقط) للتعلم منها. ومع ذلك، لاحظوا أيضاً أن المعايرة التي تم تعلمها على مسائل رياضية سهلة لم تكن تعمل دائماً بشكل جيد على المسائل الصعبة، وأن المعايرة التي تعلمت على نوع معين من الروبوتات لم تنتقل دائماً بنجاح إلى نوع آخر.
باختختصار، تشير الورقة البحثية إلى أننا لسنا بحاجة لجعل الروبوت يعمل بجهد مضاعف لنعرف ما إذا كان على صواب. فمن خلال الاهتمام الوثيق بمسار استنتاجه بأكمله بدلاً من مجرد الإجابة النهائية، وباستخدام طريقة ذكية ومنخفضة التكلفة لجعله يراجع نفسه، يمكننا بناء مقاييس ثقة أكثر موثوقية. تشير هذه النتائج إلى أنه مع الضبط الصحيح، يمكننا جعل أنظمة الذكاء الاصطناي أكثر صدقاً بشأن ما تعرفه وما لا تعرفه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.