Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification
تكشف هذه الورقة أن الندرة الشديدة في تقديرات الثقة اللفظية في النماذج اللغوية الكبيرة تؤثر بشكل حرج على مقاييس التقييم مثل AUARC اعتماداً على طرق الاستيفاء، وتقترح نهج "الاحتمالات اللوغاريتمية للفظ" (verbalization logprobs) الخالي من التكلفة والذي يخفف من هذه الندرة لتحقيق أداء متفوق وأكثر عدلاً في التصنيفات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف فريقًا من الروبوتات فائقة الذكاء والثرثارة لفرز جبل من البريد إلى أكوام "جيدة" و"سيئة". أنت لا تريد منهم مجرد فرز البريد فحسب؛ بل تريدهم أن يخبروك بمدى تأكدهم من كل قطعة. إذا كان الروبوت متأكدًا بنسبة 50% فقط، فقد ترغب في وضع تلك الرسالة جانبًا ليقوم إنسان بمراجعتها. هذا هو عالم نماذج اللغات الكبيرة (LLMs) التي تعمل كمصنفات. هذه الأنظمة من الذكاء الاصطناعي تشبه الطلاب العباقرة ولكنهم مفرطو الثقة أحيانًا؛ يمكنهم كتابة مقالات وحل الألغاز، ولكن عندما يُطلب منهم تصنيف الأشياء، يحتاجون إلى القدرة على قول: "أنا واثق تمامًا"، أو "أنا أخمن فقط".
السؤال الكبير الذي يطرحه العلماء هو: كيف نعرف ما إذا كانت هذه الروبوتات تقول الحقيقة حقًا بشأن ثقتها؟ إذا قال الروبوت: "أنا متأكد بنسبة 95%"، فهل هذا شعور حقيقي ومحسوب، أم أنه مجرد تخمين محظوظ؟ لاختبار ذلك، يستخدم الباحثون لوحة نتائج خاصة تسمى منحنى الدقة والرفض (Accuracy-Rejection Curve). تخيل مقياسًا منزلقًا: بينما تطلب من الروبوت أن يكون أكثر صرامة (أي لا يقبل إلا الإجابات التي يقول فيها إنه متأكد بنسبة 99%)، فإن كومة الرسائل المقبولة ستصبح أصغر، لكن الرسائل المتبقية في الكومة ستكون دائمًا صحيحة تقريبًا. الهدف هو العثور على "النقطة المثالية" حيث تحتفظ بأكبر قدر ممكن من الرسائل مع الحفاظ على دقة فائقة. المشكلة تكمن في أن قياس لوحة النتائج هذه يكون صعبًا إذا كانت إجابات الروبوت متكتلة ومتكررة.
عادة الروبوت في قول "95%"
في هذه الورقة البحثية، اكتشفت إيلينا ميردجانوفسكا وفريقها سمة غريبة في كيفية تعبير هذه الروبوتات من الذكاء الاصطناعي عن ثقتها. عندما تطلب من روبوت أن ينطق رقمًا بصوت عالٍ (مثل "أنا واثق بنسبة 95%")، فإنه لا يختار الأرقام عشوائيًا مثل الإنسان الذي يرمي النرد. بدلاً من ذلك، يعلق في مسار محدد.
فكر في الأمر كطالب يخوض اختبارًا متعدد الخيارات، وبدلاً من التفكير، يقوم ببساطة بكتابة "95" في كل ورقة إجابة لأنه يشعر أنها رقم مستدير وآمن. وجد الباحثون أن نموذجًا شهيرًا للذكاء الاصطناعي (Qwen3-32B) استخدم ثمانية أرقام فريدة فقط (0.6، 0.65، 0.7، 0.75، 0.85، 0.9، 0.95، و0.98) لوصف ثقته عبر آلاف الأسئلة. والأكثر غرابة؟ أنه في أكثر من نصف الحالات، كان يكتفي بالقول 95%.
هذه مشكلة لأن الأمر يشبه محاولة ضبط راديو لكن قرص الضبط فيه لا يتحرك إلا في ثماني نقاط محددة فقط. إذا أردت تصفية "الرسائل السيئة" للوصول إلى دقة 98%، فقد تضطر للتخلص من 40% من بريدك. ولكن إذا كان بإمكان الروبوت إعطاء رقم أكثر دقة، مثل 96.3%، فقد تحتاج فقط للتخلص من 28% من البريد. ولأن الروبوت "متفرق" للغاية (عالق في عدد قليل من الأرقام)، فإنه يهدر الكثير من البيانات الجيدة.
فخ "الخط الناعم"
هنا تزداد الحبكة تعقيدًا. وجد الباحثون أن الطريقة التي يقيس بها العلماء أداء الروبوت كانت تخدعهم في الواقع.
لحساب لوحة النتائج (المسماة AUARC)، يقوم الباحثون عادةً برسم خط يصل بين النقاط على الرسم البياني. معظم الناس يستخدمون الاستكمال الخطي (linear interpolation)، الذي يرسم خطًا ناعمًا ومستقيمًا بين النقاط، بافتراض أن ثقة الروبوت تتغير تدريجيًا. لكن إذا كان الروبوت يمتلك ثمانية أرقام فقط، فهناك فجوات ضخمة بين النقاط! رسم خط ناعم عبر تلك الفجوات يشبه توصيل النقاط في سلسلة جبال وعرة باستخدام مسطرة مستقيمة—فهذا يخلق تلاً ناعمًا زائفًا لا وجود له.
أظهر المؤلفون أن استخدام طريقة "الخط الناعم" هذه جعل الروبوتات تبدو أفضل بكثير مما هي عليه في الواقع. في الواقع، عندما انتقلوا إلى الطريقة الصحيحة—الاستكمال المتدرج (stepwise interpolation)، الذي يرسم خطًا أفقيًا حتى يظهر الرقم الفعلي التالي—انقلبت الترتيبات تمامًا. الطريقة التي بدت وكأنها "البطل" باستخدام الخط الناعم تراجعت إلى المركز الأخير باستخدام الخط المتدرج. اتضح أن الخط الناعم لم يكن سوى خدعة بصرية جعلت الروبوتات المتفرقة تبدو أكثر مرونة مما هي عليه في الواقع.
خدعة الـ "Logprobs" السحرية
إذًا، كيف نصلح روبوتًا يتحدث فقط بثمانية أرقام؟ اقترح الفريق حيلة ذكية تسمى Verbalization Logprobs.
عادةً، عندما يقول الروبوت "95%"، فإنه يخرج فقط الكلمتين "9" و"5". الطريقة القياسية لاستخدام هذا هي مجرد أخذ الرقم 95. لكن الروبوت يعرف شيئًا آخر: هو يعرف مدى احتمالية اختياره للرقم "9" مقابل "8"، ومدى احتمالية اختياره للرقم "5" مقابل "6". هذه الاحتمالات الخفية تسمى logprobs.
طريقتهم الجديدة تشبه سؤال الروبوت ليس فقط عن الرقم، بل عن الشعور الكامن وراء الرقم. بدلاً من مجرد أخذ "95"، يقومون بحساب متوسط مرجح بناءً على مدى تأكد الروبوت من كل رقم. هذا يحول إجابة الروبوت المتكتلة ذات الأرقام الثمانية إلى تدفق مستمر وسلس من الثقة.
كانت النتائج مبهرة. باستخدام هذه الحيلة، أصبحت درجات ثقة الروبوت أكثر تفصيلًا (حيث قفزت من 8 قيم فريدة فقط إلى أكثر من 600 قيمة فريدة!). لم يكلف هذا أي قوة حاسوبية إضافية أو وقت؛ لقد استخدموا فقط المعلومات التي يمتلكها الروبوت بالفعل. باستخدام هذه الطريقة الجديدة، استطاع الروبوت العثين على "النقطة المثالية" بشكل أفضل بكثير، مما حسن درجة أدائه بمقدار 2.3 نقطة مقارنة بالطريقة القديمة. كان الأمر بمثابة منح الروبوت قرص ضبط عالي الدقة بدلاً من قرص مكسور ومتقطع، مما سمح له بفرز البريد بهدر أقل بكثير.
الخلاصة
تخلص الورقة البحثية إلى أننا يجب أن نتوقف عن التظاهر بأن هذه الروبوتات تعمل بسلاسة بينما هي في الواقع جامدة للغاية. إذا استمررنا في استخدام طريقة "الخط الناعم" للحكم عليها، فإننا نحصل على شعور زائف بالأمان. من خلال الانتقال إلى طريقة القياس "المتدرجة" واستخدام خدعة "الـ logprobs" للحصول على إجابات أكثر تفصيلًا، يمكننا أخيرًا الوثوق بهذه المصنفات من الذكاء الاصطناعي لإخبارنا متى تكون واثقة حقًا ومتى تكون مجرد تخمين. إنه تغيير صغير في كيفية الاستماع إلينا، لكنه يحدث فرقًا هائلاً في مدى جودة استخدامنا لهؤلاء المساعدين الرقميين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.