💬 NLP

Can LLMs Refuse Questions They Do Not Know? Measuring Knowledge-Aware Refusal in Factual Tasks

تقدم هذه الورقة "مؤشر الرفض" (RI)، وهو مقياس مبتكر يعتمد على الارتباط بين احتمالات الرفض والخطأ، لقياس وكشف قدرات الرفض القائمة على المعرفة وغير الموثوقة غالباً في النماذج اللغوية الكبيرة خلال المهام الواقعية بشكل فعال.

المؤلفون الأصليون: Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "هل يمكن للنماذج اللغوية الكبيرة (LLMs) أن ترفض الأسئلة التي لا تعرفها؟" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الطالب الواثق بنفسه أكثر من اللازم

تخيل طالباً يؤدي اختباراً صعباً جداً في التاريخ. الطالب الذكي حقاً يعرف متى لا يعرف الإجابة، وسيرفع يده ليقول: "أنا لست متأكداً من هذه الإجابة". ومع ذلك، فإن النماذج اللغوية الكبيرة (LLMs) غالباً ما تكون مثل طالب واثق بنفسه أكثر من اللازم. فحتى عندما لا يملك أدنى فكرة عن الإجابة، سيقوم بثقة بتأليف قصة (ما يسمى بـ "الهلوسة") بدلاً من الاعتراف بأنه لا يعرف.

هذا الأمر خطير لأنه إذا سألت ذكاءً اصطناعياً عن نصيحة طبية أو قانونية، فأنت بحاجة لأن يقول لك "لا أعرف" إذا كان غير متأكد، بدلاً من أن يعطيك معلومات خاطئة بكل ثقة.

الطريقة القديمة للقياس: عدّ الأخطاء

في السابق، حاول الباحثون قياس مدى جودة الذكاء الاصطناعي في هذا الأمر من خلال النظر إلى رقمين بسيطين:

كم مرة رفض الإجابة.
كم مرة أصاب في الإجابة.

تجادل الورقة البحثية بأن هذه الطرق معيبة. الأمر يشبه الحكم على طالب فقط من خلال عدد المرات التي رفع فيها يده ليقول "لا أعرف".

إذا قلت للطالب: "من فضلك قل 'لا أعرف' لكل شيء"، سيرفع يده بنسبة 100% من الوقت. لكن هذا لا يعني أنه ذكي؛ بل يعني فقط أنه ينفذ الأوامر.
إذا قلت له: "أجب على كل شيء مهما كلف الأمر"، فقد يجيب على أسئلة أكثر بشكل صحيح، لكنه سيعطي أيضاً إجابات خاطئة بكل ثقة.

المقاييس القديمة لم تستطع التمييز بين الطالب الذي يرفض بذكاء الأسئلة الصعبة، وبين الطالب الذي يرفض أو يجيب بشكل عشوائي.

الحل الجديد: "مؤشر الرفض" (RI)

ابتكر المؤلفون درجة جديدة تسمى مؤشر الرفض (Refusal Index - RI). فكر في هذا المؤشر كأنه "درجة الصدق في قول الحقيقة".

بدلاً من مجرد عدّ المرات التي يقول فيها الذكاء الاصطناعي "لا أعرف"، يسأل مؤشر الرفض (RI): "هل يقول الذكاء الاصطناعي 'لا أعرف' تحديداً عندما يكون السؤال صعباً، وهل يجيب عندما يكون السؤال سهلاً؟"

مؤشر RI مرتفع: يتصرف الذكاء الاصطناعي مثل أمين مكتبة حكيم. فهو يرفض الأسئلة الغامضة والمستحيلة، لكنه يجيب بسعادة على الأسئلة السهلة. إنه يعرف الفرق.
مؤشر RI منخفض: يتصرف الذكاء الاصطناعي مثل روبوت مرتبك. قد يرفض أسئلة سهلة يمكنه الإجابة عليها، أو قد يجيب بثقة على أسئلة مستحيلة. سلوك "الرفض" لديه عشوائي أو معطل.

كيف قاموا بالقياس: خدعة "المرحلتين"

لحساب هذه الدرجة دون الحاجة لمعرفة "أفكار" الذكاء الاصطناعي الداخلية (والتي لا يمكننا رؤيتها)، استخدم الباحثون خدعة ذكية تعتمد على مرحلتين:

المرحلة الأولى (اختبار الصدق): يطرحون على الذكاء الاصطناعي مجموعة من الأسئلة ويتركون له حرية القرار: "هل تريد الإجابة، أم تريد أن تقول 'لا أعرف'؟" ويسجلون الأسئلة التي رفضها.
المرحلة الثانية (الإجابة القسرية): يأخذون فقط الأسئلة التي رفضها الذكاء الاصطناعي في الجولة الأولى. ثم يعودون إليه ويقولون: "حسناً، يجب عليك الإجابة على هذه الأسئلة الآن، لا يُسمح بالتخطي". ويرون ما إذا كان بإمكان الذكاء الاصطناعي في الواقع الإجابة عليها بشكل صحيح لو حاول ذلك.

من خلال مقارنة الجولتين، يمكنهم معرفة ما إذا كان الذكاء الاصطناعي ذكياً بما يكفي لرفض الأسئلة التي لا يستطيع الإجابة عليها. إذا رفض الأسئلة الصعبة في المرحلة الأولى، لكنه أخطأ فيها في المرحلة الثانية، فهذا يعني أن لديه مؤشر رفض مرتفع.

ما الذي اكتشفوه؟

اختبر الباحثون 16 نموذجاً مختلفاً للذكاء الاصطناعي (مثل GPT-4، وClaude، وLlama، إلخ) ووجدوا بعض الأشياء المفاجئة:

الدقة لا تضمن الحكمة: مجرد كون الذكاء الاصطناعي جيداً جداً في الإجابة على الأسئلة (دقة عالية) لا يعني أنه يعرف متى يتوقف. بعض النماذج الذكية جداً لا تزال تخمن بثقة في الأمور التي لا تعرفها.
"العائلة" هي الأهم: العامل الأكثر أهمية في تحديد ما إذا كان الذكاء الاصطناعي يعرف متى يرفض ليس حجمه أو عدد الأسئلة التي يجيب عليها بشكل صحيح، بل هو الشركة التي صنعته. بعض "عائلات" الذكاء الاصطناعي (مثل Claude وQwen) تتصرف بحكمة أكبر باستمرار من غيرها (مثل Gemini أو GPT-4.1)، بغض النظر عن حجمها.
السياق هو المفتاح: إذا أعطيت الذكاء الاصطناعي وثيقة ليقرأها ثم سألته سؤالاً غير موجود في الوثيقة، فإنه يرتبك. غالباً ما يفشل في الرفض، ويحاول التخمين بناءً على بيانات تدريبه الخاصة بدلاً من الالتزام بالوثيقة.

الخلاصة

تخلص الورقة البحثية إلى أننا بحاجة إلى طريقة جديدة لتقييم الذكاء الاصطناعي. لا ينبغي أن نسأل فقط، "كم سؤالاً أجبت عليه بشكل صحيح؟"، بل يجب أن نسأل أيضاً، "هل عرفت متى تتوقف وتقول 'لا أعرف'؟"

مؤشر الرفض (RI) هو المسطرة الجديدة لهذا الغرض. فهو يساعدنا في العثور على نماذج الذكاء الاصطناعي التي ليست ذكية فحسب، بل هي أيضاً متواضعة وموثوقة بما يكفي للاعتراف بحدود قدراتها.

ملخص تقني: هل يمكن للنماذج اللغوية الكبيرة رفض الأسئلة التي لا تعرفها؟ قياس الرفض المدرك للمعرفة في المهام الواقعية

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في المهام كثيفة المعرفة والواقعية. ومع ذلك، فإنها تعاني غالباً من سوء المعايرة، حيث تقدم إجابات غير صحيحة بثقة عالية (الهلوسة). وتعد القدرة على الرفض المدرك للمعرفة آلية سلامة بالغة الأهمية: وهي قدرة النموذج على رفض الإجابة على الأسئلة التي تقع خارج حدود معرفته. وبينما استكشفت الأعمال الحديثة تحفيز الرفض عبر التوجيه (prompting) أو الضبط الدقيق (fine-tuning)، إلا أن مقاييس التقييم الحالية تفشل في قياس هذه القدرة بدقة. فالمقاييس التقليدية، مثل معدلات الرفض أو تركيبات الدقة والرفض (مثل F-score)، غالباً ما تكون استدلالية، وحساسة للتغيرات في وتيرة الرفض الناتجة عن التوجيه، وتفشل في التقاط الارتباط الجوهري بين قرار النموذج بالرفض وبين عدم صحة الإجابة التي كان سيقدمها فعلياً.

المنهجية: مؤشر الرفض (RI)

لمعالجة هذه الفجوات، يقترح المؤلفون مؤشر الرفض (RI)، وهو مقي-س مبتكر مصمم لقياس الرفض المدرك للمعرفة.

التعريف

يُعرف مؤشر الرفض (RI) بأنه ارتباط سبيرمان (Spearman rank correlation) بين احتمالية الرفض ( $r_i$ ) واحتمالية الخطأ ( $w_i$ ) عبر مجموعة من الأسئلة.
$\text{RI} = \rho_S = \text{Corr}(\text{Rank}(r_i), \text{Rank}(w_i))$
يشير مؤشر RI المثالي البالغ 1 إلى أن النموذج يرفض باستمرار الأسئلة الأكثر صعوبة (الأكثر عرضة للخطأ) ويجيب على الأسئلة الأسهل. بينما يشير RI البالغ 0 إلى سلوك رفض عشوائي. وعلى عكس مقاييس المعايرة التي تقيس التباينات المطلقة (مثل خطأ المعايرة المتوقع - ECE)، يركز RI على ترتيب الصعوبة، مما يجعله قوياً تجاه التحولات في معدلات الرفض الإجمالية.

إطار التقييم ثنائي المرحلة

بما أن احتمالات الرفض هي قيم كامنة (النموذج إما يرفض أو يجيب في مرحلة واحدة)، فقد قدم المؤلفون طريقة تقييم ثنائية المرحلة خفيفة الوزن لتقدير RI:

المرحلة الأولى: يتم تقييم النموذج على مجموعة بيانات واقعية باستخدام توجيه نظام (system prompt) يسمح له بالإجابة أو الرفض. تُصنف الاستجابات كـ: صحيحة، أو غير صحيحة، أو مرفوضة. ينتج عن ذلك معدل الرفض ( $r$ ) ودقة الإجابات المحاولة.
المرحلة الثانية: بالنسبة للأسئلة التي رُفضت في المرحلة الأولى، يتم تحديث توجيه النظام لـ إجبار النموذج على الإجابة (إزالة خيار الرفض). يتم تسجيل صحة هذه الإجابات القسرية.
الحساب: باستخدام التوزيع المشترك لقرارات الرفض وصحة الإجابات القسرية، يقوم المؤلفون بنمذجة العلاقة باستخدام نسخة غاوس (Gaussian copula). ويقومون بتقدير معامل الارتباط ( $\rho$ ) عبر تقدير الاحتمال الأقصى (maximum likelihood) على جدول الطوارئ $2 \times 2$ الناتج، ثم يحولونه إلى ارتباط سبيرمان ( $\rho_S$ ) باستخدام الصيغة القياسية: $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$ .

المساهمات الرئيسية

مؤشر الرفض (RI): مقياس مبدئي يقيس مباشرة التوافق بين قرارات الرفض وعدم صحة الإجابات، بشكل مستقل عن دقة النموذج الإجمالية أو معدل الرفض لديه.
تقييم خفيف الوزن: بروتوكول ثنائي المرحلة يتطلب فقط تقييمات قياسية "الصندوق الأسود" (black-box) دون الحاجة لنماذج مساعدة، أو الوصول للحالة الداخلية، أو تقدير الثقة القائم على أخذ العينات المكلف لحساب RI.
التحقق التجريبي: تجارب واسعة النطاق عبر 16 نموذجاً (بما في ذلك النماذج مفتوحة المص المصدر والمملوكة مثل Qwen وLlama وClaude وGPT وGemini) و5 مجموعات بيانات (SimpleQA وPreciseWikiQA وFaithEval وغيرها).
رؤى حول موثوقية النماذج: تكشف الدراسة أن الدقة الواقعية العالية لا تضمن بالضرورة سلوك رفض موثوق، مما يحدد فجوة مستمرة في قدرات النماذج اللغوية الكبيرة الحالية.

النتائج التجريبية

الاستقرار: يظل مؤشر RI مستقراً عبر معدلات الرفض المختلفة الناتجة عن تغيير توجيهات النظام. في المقابل، تتقلب المقاييس الاستدلالية (مثل F-score وWeighted Score) بشكل كبير (تصل إلى 70% من التباين) عندما تتغير معدلات الرفض، مما يفشل في التقاط قدرة أساسية ثابتة.
الارتباط بالمعايرة: يظهر RI ارتباطاً إيجابياً قوياً (85.8%) مع درجات AUROC المستمدة من تقدير عدم اليقين القائم على أخذ العينات ( $P(\text{Answering})$ )، مما يؤكد صدقية عمله كمقياس لمعايرة الرتبة.
تصنيف النماذج: يوفر RI تصنيفات متسقة للنماذج بغض النظر عن الدقة ومعدلات الرفض. وعند إزالة التأثيرات الرتيبة للدقة ومعدلات الرفض، تتدهور المقاييس الاستدلالية إلى استقرار يقترب من العشوائية، بينما يحتفظ RI باتساق التصنيف العالي.
تأثير عائلة النماذج: المتنبئ الأقوى للقدرة على الرفض المدرك للمعرفة هو عائلة النموذج (مسار التدريب والبيانات)، وليس حجم النموذج أو الدقة العامة. على سبيل المثال، تتفوق نماذج Claude وQwen باستمرار في RI، بينما تقع متغيرات Gemini وGPT-4.1 غالباً تحت خط الانحدار.
الحساسية للسياق: تظهر النماذج أداءً متراجعاً في الرفض عندما لا تتوفر الحقيقة الأرضية (ground truth) في السياق المقدم (مثل سيناريوهات "غير قابل للإجابة" أو "غير متسق")، مما يشير إلى الاعتماد المفرط على الإشارات السياقية بدلاً من معايرة المعرفة الداخلية.

الأهمية والادعاءات

يزعم البحث أن RI يلتقط بُعداً جوهرياً تم التغافل عنه سابقاً في موثوقية النماذج. وبينما تركز تقييمات الواقعية الحالية على الدقة أو معدلات الهلوسة، يسلط RI الض {الضوء على حقيقة أن حتى النماذج ذات الدقة العالية يمكن أن تمتلك سلوكيات رفض غير موثوقة وهشة.

ويجادل المؤلفون بما يلي:

التوجيه غير كافٍ: إن مجرد تعليم النماذج أن تكون "أكثر حذراً" يزيد من معدلات الرفض ولكنه لا يحسن جودة قرارات الرفض (يبقى RI مستقراً وبعيداً عن الكمال).
الحاجة إلى معايير تقييم جديدة: يجب أن تتضمن تقييمات الواقعية الشاملة مقاييس الرفض المدرك للمعرفة. فالاعتماد فقط على الدقة أو مقاييس المعايرة القياسية قد يخفي مخاطر كبيرة في نشر النماذج.
الفائدة العملية: يوفر تقييم RI ثنائي المرحلة بديلاً عملياً ومنخفض التكلفة لطرق المعايرة المكلفة، مما يسمح بمقارنات أكثر موثوقية لمعرفة النماذج لذاتها دون الحاجة للوصول إلى "الصندوق الأبيض" أو التدريب المساعد.

تخلص الدراسة إلى أنه بينما تتحسن النماذج اللغوية الكبيرة في الدقة الواقعية، فإن قدرتها على الحكم بدقة على حدود معرفتها الخاصة تظل تحدياً حرجاً يتطلب قياساً وتحسيناً مخصصين.