Fixing Abstention with Token Probability: A Budget-Matched Causal Test Across Four Small Open-Weight Models
تُثبت هذه الورقة أن استبدال الثقة اللفظية بسياسة امتناع قائمة على احتمالية الرمز (token-probability) ومطابقة للميزانية، يقضي سببياً على تأثير محدد مسبب لخفض الدقة لوحظ في نموذج llama3.2:1b، لكنه يفشل في تعميم هذه الفائدة على النماذج الصغيرة الأخرى ذات الأوزان المفتوحة، مما يشير إلى أن مثل هذه الإصلاحات خاصة بكل نموذج، وأن الامتناع ذو الميزانية الثابتة يمكن أن يظل ضاراً في المحصلة حتى مع تحسين الاستهداف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، يعمل الباحثون باستمرار على تعليم البرامج الحاسوبية كيفية الإجابة على الأسئلة. ولكن يظل هناك تحدٍ حاسم: معرفة متى لا يعرف البرنامج الإجابة. عندما يكون الإنسان غير متأكد، يمكنه أن يقول: "لا أعرف". هذا الفعل من التراجع، المسمى "الامتناع" (abstention)، يُنظر إليه غالبًا كخاصية أمان، تمنع الآلة من التخمين العشوائي ونشر معلومات مضللة. ومع ذلك، كشفت تحقيقات حديثة عن خلل غريب في بعض هذه الأنظمة؛ فعندما يُطلب من أصغر النماذج وأخفها وزنًا في عائلة معينة من البرامج مفتوحة المصدر أن تعترف بعدم يقينها، فإنها أحيانًا تؤدي بشكل أسوأ مما لو كانت مجبرة ببساطة على التخمين في كل مرة. ويبدو أن مطالبة هذه النماذج بالتحدث عن ثقتها بنفسها يؤدي إلى انهيار، مما يتسبب في فقدانها للدقة في الأسئلة التي كانت تحاول التعامل معها بعناية.
تلقي هذه الدراسة الجديدة نظرة فاحصة على هذا الانهيار لمعرفة ما إذا كان يمكن إصلاحه. ركز الباحثون على أربعة نماذج صغيرة مفتوحة الأوزان — وهي نسخ من الذكاء الاصطناعي يمكن تشغيلها على أجهزة الكمبيوتر القياسية لكنها لا تزال قادرة على التفكير المعقد. لقد لاحظوا سابقًا أنه عندما يتم توجيه أصغر نموذج لقول "لا أعرف" إذا شعر بعدم اليقين، تنخفض دقته بشكل كبير عبر الأسئلة الطبية والنفسية. اشتبه الفريق في أن المشكلة لم تكن في فعل الامتناع نفسه، بل في الطريقة المستخدمة لتحديد متى يتم الامتناع. كان يُطلب من النموذج التعبير لفظيًا عن ثقته، وهي إشارة تبين أنها عديمة الفائدة إحصائيًا، فهي لا تزيد عن كونها بمستوى رمية عملة معدنية (خبط عشواء). وفي الوقت نفسه، كان "الرياضيات الداخلية" التي يستخدمها النموذج لتوليد كل كلمة، والمعروفة باسم "احتمالية الرمز" (token probability)، مؤشرًا أقوى بكثير على ما إذا كانت الإجابة صحيحة أم لا. وكان السؤال هو ما إذا كان تغيير عملية اتخاذ القرار من الثقة اللفظية للنموذج إلى رياضياته الداخلية سيوقف انخفاض الدقة.
ولإيجاد الإجابة، لم يقم الباحثون بإجراء أي تجارب جديدة أو طلب توليد نصوص جديدة من النماذج. بدلاً من ذلك، أجروا إعادة تحليل دقيقة للبيانات التي جُمعت بالفعل في ثلاث دراسات سابقة. أخذوا السجلات الموجودة لكيفية إجابة النماذج على الأسئلة وقارنوا بين طريقتين مختلفتين لتحديد متى يتم تخطي الإجابة. كانت الطريقة الأولى هي الأصلية: حيث يتخطى النموذج الإجابة فقط إذا صرح لفظيًا بأنه غير متأكد. أما الطريقة الثانية فكانت سياسة جديدة: حيث يتخطى النموذج الإجابة إذا أظهرت رياضياته الداخلية احتمالية منخفضة لكون الإجابة صحيحة. ومن الأهمية بمكان أن الباحثين قاموا بتعديل الطريقة الثانية بحيث تتخطى نفس عدد الإجابات التي تخطاها الطريقة الأولى. وقد ضمن ذلك أن أي فرق في النتائج يعود إلى "أي" الأسئلة تم تخطيها، وليس "كم عددها".
كانت النتائج مذهلة بالنسبة لأصغر نموذج. فعندما استبدل الباحثون فحص الثقة اللفظي بفحص الاحتمالية الداخلية، تلاشى الانخفاض الحاد في الدقة. تحت الطريقة القديمة، انخفضت دقة النموذج بمقدار سبع نقاط مئوية، وهو فقدان كبير. أما تحت الطريقة الجديدة، فقد تقلص الانخفاض إلى ما يقرب من الصفر، وهو تغيير لا يمكن تمييزه إحصائيًا عن عدم وجود تأثير على الإطلاق. نجح هذا الإصلاح باستمرار في كل من الأسئلة الطبية العامة وسيناريوهات الطب النفسي. وقد أكد ذلك أن الفشل الأصلي كان ناتجًا بالفعل عن عدم قدرة النموذج على الإبلاغ بدقة عن ثقته، وأن استخدام رياضياته الداخلية كدليل قد نجح في تصحيح الخطأ.
ومع ذلك، كشفت الدراسة أيضًا أن هذا الحل ليس علاجًا عالميًا. فعندما طبق الباحثون نفس الإصلاح على نموذج مختلف في المجموعة، والذي عانى أيضًا من مشكلة الثقة اللفظية، كانت النتائج مختلفة. كان هذا النموذج الثاني يمتلك أفضل رياضيات داخلية من بين جميع النماذج المختبرة، ومع ذلك انخفضت الدقة بشكل كبير عند تطبيق السياسة الجديدة. وجد الباحثون أن هذا النموذج لديه معدل أعلى بكثير في قول "لا أعرف" في المقام الأول. ولأن هذا النموذج تخطى الكثير من الأسئلة، فقد كان يستبعد عددًا كبيرًا من الإجابات الصحيحة جنباً إلى جنب مع الإجابات الخاطئة. وعلى الرغم من أن الرياضيات الداخلية كانت جيدة في فرز الإجابات، إلا أن الحجم الهائل للعناصر التي تم تخطيها كان مرتفعًا جدًا ليكون مفيدًا. وهذا يشير إلى أنه بالنسبة للنماذج التي تتمتع بدقة عالية جدًا، فإن مجرد تغيير الإشارة المستخدمة لتحديد ما يجب تخطيه ليس كافيًا؛ بل قد يلزم تقليل عدد العناصر التي يتم تخطيها بدلاً من ذلك.
تخلص الدراسة إلى أنه بينما يعد توجيه قرار التخطي عبر الرياضيات الداخلية بدلاً من الثقة اللفظية إصلاحًا قويًا لإخفاقات محددة، إلا أنه ليس حلاً يناسب الجميع. فبالنسبة لأصغر نموذج، كان التغيير بمثابة إنقاذ كامل، حيث حول تعليمات ضارة إلى تعليمات محايدة. أما بالنسبة للنموذج الأكبر والأكثر دقة، فلم تكن المشكلة في الإشارة، بل في "ميزانية" العناصر التي يتم تخطيها. وتؤكد النتائج أنه لا يوجد "رقعة أمان" واحدة تعمل لكل نظام. فكل نموذج يتطلب تحققًا خاصًا به لفهم كيفية تعامله مع عدم اليقين، وما يعمل كإصلاح لواحد قد لا يعمل للآخر. ويحذر الباحثون من أن هذه النتائج تستند إلى مجموعة محددة من البيانات ويجب النظر إليها كفرضيات لمزيد من الدراسة بدلاً من تعليمات نهائية للنشر، لكنها تقدم دليلًا سببيًا واضحًا على أن إصلاح قناة التواصل يمكن أن يصلح النتيجة أحيانًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.