💬 NLP

Knowing When Not to Answer: Abstention-Aware Scientific Reasoning

تقترح هذه الورقة إطار عمل للتحقق واعياً بالامتناع، يقوم بتفكيك الادعاءات العلمية ويمتنع انتقائياً عن الإجابة عندما تكون الأدلة غير كافية، مما يثبت أن تحديد متى يجب الإجابة أكثر أهمية للموثوقية العلمية من اختيار بنية نموذج محددة.

المؤلفون الأصليون: Samir Abdaljalil, Erchin Serpedin, Hasan Kurban

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Samir Abdaljalil, Erchin Serpedin, Hasan Kurban

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من جريمة، أنت تحقق في ادعاءات علمية مثل "هل هذا الدواء الجديد يعالج الصداع؟" أو "هل هذه النظرية المناخية صحيحة؟"

لفترة طويلة، كنا نطلب من نماذج الذكاء الاصطناي (مثل تلك التي تشغل برامج الدردشة الآلية) أن تعمل كهؤلاء المحققين. كانت القاعدة بسيطة: "يجب عليك تقديم إجابة، مهما حدث." وإذا لم تكن تعرف، فكان عليها أن تخمن. وفي العلم، يمكن أن تكون التخمينات الخاطئة خطيرة — فقد تؤدي إلى نصائح طبية سيئة أو إهدار أموال الأبحاث.

تقدم هذه الورقة طريقة جديدة للتفكير: من المقبول أن تقول، "لا أعرف بعد".

إليك تفصيل فكرتهم، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: "لعبة التخمين"

تخيل طالباً يخوض اختباراً يحصل فيه على صفر نقطة إذا ترك سؤالاً فارغاً، ولكنه يخسر 10 نقاط إذا أجاب بشكل خاطئ. بطبيعة الحال، سيقوم الطالب بالتخمين في كل الأسئلة، حتى تلك التي ليس لديه أدنى فكرة عنها.

تقييمات الذكاء الاصطناعي الحالية تشبه ذلك الاختبار؛ فهي تجبر الذكاء الاصطناعي على الإجابة على كل شيء. وتجادل الورقة بأننا في العلم، الإجابة الخاطئة أسوأ من عدم وجود إجابة. إذا قال الذكاء الاصطناعي بثقة إن دواءً خطيراً آمن بينما هو ليس كذلك، فهذه كارثة.

2. الحل: "مفتش مراقبة الجودة"

قام المؤلفون ببناء نظام يعمل مثل مفتش مراقبة جودة صارم في مصنع. فبدلاً من مجرد شحن كل منتج (إجابة) تصنعه الآلة، يقوم المفتش بفحص العمل أولاً.

إليك كيف يعمل نظامهم "المدرك للامتناع" (Abstention-Aware)، خطوة بخطوة:

الخطوة أ: تفكيك الادعاء الكبير إلى طوب صغير

تخيل أن عالماً يدعي أن "هذه البطارية الجديدة تدوم 100 عام وتكلفتها دولار واحد". هذا ادعاء كبير ومعقد.
يقوم النظام بتفكيك هذا الادعاء إلى طوب (شروط) صغيرة وقابلة للاختبار:

الطوبة 1: هل تدوم هذه البطارية 100 عام؟
الطوبة 2: هل تكلفتها دولار واحد؟
الطوبة 3: هل هي آمنة للاستخدام؟

الخطوة ب: تدقيق "التحقق من الحقائق"

لكل طوبة صغيرة، يستخرج النظام مدقق حقائق (نموذج ذكاء اصطناعي متخصص يسمى نموذج NLI). ينظر المدقق في الأدلة المتاحة (مثل ورقة علمية) ويسأل:

"هل الأدلة تدعم هذه الطوبة؟"
"هل الأدلة تناقض هذه الطوبة؟"
"هل لا توجد أدلة لهذه الطوبة؟"

إذا كانت الأدلة ضعيفة أو مفقودة، يرفع مدقق الحقائق راية حمراء.

الخطوة ج: قرار "التوقف أو الاستمرار"

هذا هو الجزء الأهم. لدى النظام قاعدة: "إذا كانت حتى طوبة واحدة حرجة مفقودة أو مكسورة، فلا يمكننا بناء المنزل."

إذا كانت الأدلة قوية لجميع الطوب، يقول النظام: "انطلق" (إليك الإجابة).
إذا كانت الأدلة مهتزة أو مفقودة أو متناقضة، يقول النظام: "توقف" (أنا أمتنع عن الإجابة). إنه يرفض تقديم إجابة.

3. النتائج: لماذا "قول لا" هو الأفضل

اختبر الباحثون هذا على مجموعتين كبيرتين من البيانات العلمية (واحدة حول التحقق من الحقائق، وأخرى حول الأسئلة الطبية) باستخدام ستة أنواع مختلفة من نماذج الذكاء الاصطناي.

النتائج المفاجئة:

الأذكى ليس دائماً الأفضل: لم يقدم نموذج ذكاء اصطناعي خارق القوة ومكلف إجابات أفضل من نموذج أصغر وأرخص إذا أُجبر كلاهما على الإجابة على كل شيء.
"قوة الامتناع" الخارقة: عندما سُمح للنظام بقول "لا أعرف" (الامتناع) في الأسئلة التي كانت فيها الأدلة ضعيفة، انخفض معدل الخطأ بشكل كبير.
المقايضة: من خلال قول "لا أعرف" في 20% من الأسئلة، أصبح النظام أكثر موثوقية بنسبة 50% في الـ 80% التي أجاب عنها بالفعل.

الخلاصة الكبرى

تخلص الورقة إلى أن التحدي الأكبر في الذكاء الاصطناي العلمي ليس العثور على النموذج "الأذكى". بل هو تعليم النموذج متى يصمت.

التشبيه:
فكر في خبير الأرصاد الجوية.

الطريقة القديمة: يجب على خبير الأرصاد التنبؤ بالمطر أو الشمس كل يوم، حتى لو كانت السماء مزيجاً مربكاً من السحب. فيخمن "شمس"، ثم تمطر. فيبدو غير موثوق به.
الطريقة الجديدة: ينظر خبير الأرصاد إلى البيانات. إذا كانت البيانات مشوشة، يقول: "لا يمكنني التنبؤ بالطقس الآن." وعندما يقدم تنبؤاً، يمكنك الوثوق به بنسبة 100% لأنه لا يتحدث إلا عندما تكون الأدلة واضحة.

لماذا يهم هذا؟

في العالم الحقيقي، لا نريد ذكاءً اصطنايياً يكون "عارفاً بكل شيء" ويخمن بشكل خاطئ. نريد خبيراً حذراً يعرف حدوده. يوفر هذا الإطار طريقة لقياس الذكاء الاصطناي ليس فقط بـ "كم عدد الأسئلة التي أجاب عليها بشكل صحيح"، ولكن بـ "مدى معرفته متى يظل صامتاً".

باخت-القول: أفضل ذكاء اصطناي علمي ليس هو الذي يجيب على كل شيء؛ بل هو الذي يعرف بالضبط متى لا يجيب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "معرفة متى لا يجب الإجابة: الاستدلال العلمي الواعي بالامتناع عن الإجابة" (Knowing When Not to Answer: Abstention-Aware Scientific Reasoning).

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد للتحقق من الادعاءات العلمية والإجابة على الأسئلة الطبية الحيوية. ومع ذلك، تفترض نماذج التقييم الحالية أن النماذج يجب أن تقدم دائمًا إجابة نهائية (الدقة غير المشروطة). وفي السياقات العلمية، يعد هذا أمرًا إشكاليًا لأن:

ضرر الخطأ: غالبًا ما يكون الاستنتاج الخاطئ (مثل تأييد علاج غير فعال) أكثر ضررًا من عدم تقديم أي استنتاج.
محدودية الأدلة: يتضمن الاستدلال العلمي غالبًا أدلة غير كاملة أو غامضة أو ضعيفة، ومع ذلك فإن المقاييس القياسية تحفز النماذج على "التخمين" بدلاً من الامتناع عن الإجابة.
فجوة التقييم: تركز الاختبارات المرجعية الحالية (مثل SciFact وPubMedQA) حصريًا على الدقة، مما يحجب قدرة النموذج على إدراك متى تكون الأدلة غير كافية.

تجادل الورقة بأن التحدي الرئيسي في الاستدلال العلمي ليس اختيار "أفضل" نموذج، بل تحديد متى تكون الأدلة المتاحة كافية لتبرير الإجابة.

2. المنهجية

يقترح المؤلفون إطار عمل للتحقق الواعي بالامتناع عن الإجابة يقوم بتفكيك الاستدلال إلى خطوات قابلة للتدقيق ويقوم بنمذجة خيار الامتناع عن الإجابة بشكل صريح. يتكون خط العمل من خمس مراحل رئيسية:

أ. صياغة المشكلة (التصنيف الانتقائي)

تمت صياغة المهمة كـ تصنيف انتقائي (Selective Classification)، حيث يتم توسيع فضاء المخرجات من العلامات $\mathcal{Y}$ إلى $\mathcal{Y} \cup \{\perp\}$ (حيث يرمز $\perp$ إلى الامتناع عن الإجابة). الهدف هو تقليل المخاطر الانتقائية (معدل الخطأ في الاستعلامات التي تمت الإجابة عليها) مع مراعاة قيد التغطية (نسبة الاستعلامات التي تمت الإجابة عليها).

ب. تفكيك الشروط

بدلاً من معاملة ادعاء أو سؤال ككتلة واحدة، يتم تفكيك المدخل $x$ بواسطة نموذج لغوي توليدي إلى مجموعة من $k$ من الشروط الدنيا والذرية $C = \{c_1, \dots, c_k\}$ .

يمثل كل شرط متطلبًا واقعيًا ضروريًا.
يتم تحديد الشروط كـ حرجة ( $\beta_i=1$ ) أو غير حرجة. يجب وجود شرط حرج واحد على الأقل.
تحول هذه الخطوة الاستدلال المعقد إلى مشكلات فرعية مستقلة.

ج. تدقيق الأدلة عبر الاستدلال اللغوي الطبيعي (NLI)

يتم تدقيق كل شرط $c_i$ مقابل مجموعة الأدلة $E$ باستخدام نموذج استدلال لغوي طبيعي (NLI) مدرب مسبقًا (نموذج Cross-encoder يعتمد على DeBERTa).

يحسب نموذج NLI احتمالات التأييد ( $s_{ent}$ ) و التناقض ( $s_{con}$ ).
حالة التدقيق ( $a_i$ ): يتم تعيينها بناءً على عتبات محددة:
- تناقض (CON): إذا كان $s_{con} \ge \theta_{con}$ .
- دعم (SUP): إذا كان $s_{ent} \ge \theta_{ent}$ مع عدم وجود تناقض.
- مفقود (MIS): خلاف ذلك (يُعامل كافتقار للأدلة، وليس مجرد دعم ضعيف).
عدم التماثل: يحظى التناقض بالأولوية على التأييد ليعكس التكلفة العالية للنتائج الإيجابية الكاذبة في العلوم.

د. تجميع القرار تحت خسارة غير متماثلة

تقوم دالة حتمية $h$ بتجميع نتائج التدقيق في قرار نهائي، محكومة بـ بنية خسارة غير متماثلة ( $\ell_{fs} > \ell_{fr} > \ell_{\perp} = 0$ )، حيث يكون "الدعم الزائف" أكثر تكلفة من "التفنيد الزائف".

التحقق من الادعاء (SciFact):
- يفند (Refutes): إذا تم تفنيد أي شرط حرج.
- يدعم (Supports): إذا تم دعم جميع الشروط الحرجة.
- معلومات غير كافية (NEI): خلاف ذلك.
الإجابة على الأسئلة (PubMedQA):
- لا (No): إذا تم تفنيد أي شرط حرج.
- نعم (Yes): إذا تم دعم شرط حرج واحد على الأقل (ولا يوجد تناقض).
- ربما (Maybe): خلاف ذلك.

هـ. تقدير الثقة والامتناع عن الإجابة

يتم اشتقاق درجة الثقة من هوامش التدقيق:
$conf(x, E) = \max_{c_i \in C_{crit}} |s_{ent}^i - s_{con}^i|$
يمتنع النظام عن الإجابة إذا كانت $conf(x, E) < \tau$ ، حيث $\tau$ هي عتبة قابلة للضبط. يسمح هذا بـ التحكم اللاحق (post-hoc control) في المقايضة بين المخاطر والتغطية دون الحاجة لإعادة التدريب.

و. بروتوكول التقييم

يتم قياس الأداء عبر منحنيات المخاطر والتغطية و المساحة تحت منحنى المخاطر والتغطية (AURC).

المخاطر (Risk): معدل الخطأ بين التنبؤات التي لم يتم الامتناع عنها.
التغطية (Coverage): نسبة الحالات التي تمت الإجابة عليها.
تشير قيمة AURC الأقل إلى موثوقية أفضل عبر مستويات التغطية.

3. المساهمات الرئيسية

خط عمل واعٍ بالامتناع: إطار عمل مبتكر يفكك المدخلات العلمية، ويدقق الشروط عبر NLI، ويسمح بالتنبؤ الانتقائي بناءً على كفاية الأدلة.
دراسة تجريبية منهجية: تقييم عبر ستة نماذج متنوعة (نماذج Encoder-Decoder، نماذج مفتوحة الأوزان، وواجهات برمجة التطبيقات المملوكة لشركات) على SciFact وPubMedQA، مما يثبت أن التحكم في المخاطر عبر الامتناع هو العامل المهيمن على الموثوقية، وغالبًا ما يفوق الاختلافات الهيكلية للنماذج.
إطار تقييم موحد: تقديم تحليل "المخاطر والتغطية" كمعيار للاستدلة العلمي، مع الحجة بأن تقييم متى يجب على النموذج عدم الإجابة هو أمر أكثر أهمية من تقييم ماذا يجيب به.

4. النتائج التجريبية

قيمت الدراسة نماذج تشمل Flan-T5، Llama-3.3، Mistral، DeepSeek، GPT-4o-mini، وGPT-5.2.

تمايز محدود في الدقة: في ظل المقاييس غير المشروطة (فرض الإجابة على كل استعلام)، تجمعت درجات الدقة الخام وF1 بشكل وثيق (على سبيل المثال، دقة SciFact تتراوح بين 0.39 و0.40). لم تتفوق النماذج الأكبر أو المملوكة لشركات بشكل كبير على النماذج الأصغر.
مكاسب كبيرة في المخاطر الانتقائية: عند تمكين الامتناع عن الإجابة:
- تقليل المخاطر: أظهرت جميع النماذج انخفاضًا حادًا في معدلات الخطأ مع انخفاض التغطية (على سبيل المثال، تقليل المخاطر إلى النصف عند تغطية متوسطة).
- الاستقلال عن النموذج: كان سلوك الامتناع عن الإجابة أكثر قدرة على التنبؤ بالموثوقية من بنية النموذج نفسها. فالنموذج الأصغر مع امتناع صارم غالبًا ما تفوق على نموذج أكبر أُجبر على الإجابة على كل شيء.
- ضبط التعليمات (Instruction Tuning): أظهرت النماذج المضبوطة بالتعليمات (مثل Flan-T5) اتخاذ قرار أكثر تحفظًا، محققة مخاطر أقل عند مستويات تغطية مماثلة.
دراسات الاستبعاد (Ablation Studies):
- بدون تفكيك: أدى ذلك إلى امتناع مبكر وأكثر تحفظًا، ولكنه فقد القدرة على التشخيص الدقيق.
- بدون تدقيق: أدى ذلك إلى دقة عالية "زائفة" (بسبب قواعد استدلال بسيطة)، ولكن مع انعدام الارتباط بين الثقة والصحة، مما يثبت أن تدقيق الأدلة أمر ضروري.
- بدون امتناع: أدى إلى أعلى مستويات المخاطر، مما يؤكد أن الامتناع هو الآلية الأساسية للتحكم في الخطأ.

5. الأهمية والآثار المترتبة

تحول في النموذج الفكري: تدعو الورقة إلى تحويل مقياس التقييم من "هل يمكن للنموذج الإجابة بشكل صحيح؟" إلى "هل يمكن للنموذذ إدراك متى لا ينبغي له الإجابة؟".
السلامة في العلوم: من خلال إعطاء الأولوية لتقليل النتائج الإيجابية الكاذبة (الدعم الزائف) عبر الخسارة غير المتماثلة والامتناع، يتماشى إطار العمل مع الطبيعة عالية المخاطر للمجالات العلمية والطبية.
الفائدة العملية: يوفر إطار العمل عدسة مستقلة عن النموذج لتقييم الموثوقية. ويشير إلى أنه في سير العمل العلمي، ليس النظام "الأفضل" بالضرورة هو الأكثر دقة، بل هو النظام الذي يضبط ثقته بأفضل شكل مع الأدلة المتاحة.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا ليشمل البيانات متعددة الوسائط، والمحققات المتخصصة في مجالات معينة، والاختبارات المرجعية التي تكافئ الامتناع المعاير.

باختالام، تثبت الورقة أن الامتناع المنهجي هو المفتاح للاستدلال العلمي الموثوق باستخدام النماذج اللغوية الكبيرة، مما يوفر طريقة قوية للتخفيف من مخاطر الهلوسة والثقة المفرطة في المجالات الحرجة.