💻 computer science

A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models

تقدم هذه الورقة "درجة إخلاص الاستدلال للإجابة" (RAFS)، وهي مقياس تشخيصي غير معتمد على مرجع مصمم للكشف عن حالات فشل الاستدلال الصامت في النماذج اللغوية الكبيرة من خلال تقييم المصداقية المحلية، والاستقرار، والاتساق المنطقي لآثار الاستدلال الرياضي بشكل مستقل عن دقة الإجابة النهائية.

المؤلفون الأصليون: Vivek Shukla, Varun Shukla, Atul, Divya Mishra, Mehul Kumar Das

نُشر 2026-07-30

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Vivek Shukla, Varun Shukla, Atul, Divya Mishra, Mehul Kumar Das

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

معضلة المحقق: عندما تكون الإجابة صحيحة، لكن القصة كذبة

تخيل أنك معلم تصحح اختبار رياضيات. ترى طالباً يكتب الإجابة النهائية، "15"، وتتحقق من نموذج الإجابة لديك. إنها تطابقها! فتعطيه نجمة ذهبية. ولكن بعد ذلك، تنظر إلى خطوات عمله: لقد طرح 55 ناقص 40 ليحصل على 10، ثم أضاف "سحرياً" رسوم معاملة قدرها 5 دولارات لم تكن موجودة في المسألة ليصل إلى 15. الإجابة صحيحة، لكن المسار الذي سلكه للوصول إليها كان عبارة عن فوضى عارمة من الأخطاء التي صادف أنها ألغت بعضها البعض. في عالم الذكاء الاصطناعي، وتحديداً النماذج اللغوية الكبيرة (LLMs)، تعد هذه مشكلة ضخمة. هذه النماذج تشبه الطلاب الأذكياء جداً الذين يمكنهم شرح تفكيرهم خطوة بخطوة (وهي طريقة تسمى "سلسلة التفكير" أو Chain-of-Thought)، لكنهم غالباً ما يؤلفون قصصاً لتبرير إجابات توصلوا إليها بالصدفة عبر التخمين الصحيح.

لفترة طويلة، كان العلماء يهتمون فقط بما إذا كانت الإجابة النهائية تطابق النموذج. إذا قال الذكاء الاصطناائي "15" وكانت الإجابة "15"، يحصل الذكاء الاصطناعي على نقطة. لكن هذا يتجاهل "إخفاقات الاستدلال الصامتة" — تلك اللحظات التي يكون فيها منطق الذكاء الاصطناعي مكسوراً، ومع ذلك تكون الإجابة النهائية صحيحة. وهذا أمر خطير لأننا إذا وثقنا في "قصة" الذكاء الاصطناعي لمجرد أن الرقم صحيح، فقد نصدقه عندما يكون في الواقع يهلوِس أو يؤلف حقائق. تدخل هذه الورقة البحثية إلى ذلك الفصل الدراسي الفوضوي لتطرح سؤالاً جديداً: كيف يمكننا معرفة ما إذا كان استدلال الذكاء الاصطناعي حقيقياً بالفعل، حتى لو لم يكن لدينا نموذج الإجابة للتحقق منه؟

"درجة الثقة" لتفكير الذكاء الاصطناعي

تقدم هذه الورقة أداة جديدة تسمى درجة صدق الاستدلال والإجابة (RAFS). فكر في RAFS كجهاز كشف الكذب للمحقق الذي يختبر عملية التفكير لدى الذكاء الاصطناعي. بدلاً من مجرد التحقق مما إذا كانت الإجابة النهائية صحيحة، تتحقق RAFS مما إذا كانت القصة التي يرويها الذكاء الاصطناعي تؤدي بالفعل إلى تلك الإجابة. إنها درجة "مستقلة عن المرجع"، مما يعني أنها لا تحتاج إلى معرفة الإجابة الصحيحة مسبقاً للقيام بعملها؛ بل تكتفي بالنظر في المنطق الذي كتبه الذكاء الاصطناعي.

يقترح المؤلفون أننا بحاجة إلى التوقف عن معاملة "الحصول على الإجابة الصحيحة" و"امتلاك استدلال جيد" كأنهما شيء واحد. هم يقسمون أداء الذكاء الاصطناعي إلى أربعة سيناريوهات متميزة، مثل شبكة من الاحتمالات:

العبقري الصادق: الاستدلال مثالي، والإجابة صحيحة. (هذا ما نريده).
الفشل الصامت: الاستدلال مليء بالثغرات، لكن الإجابة صحيحة. (هذا هو الفخ الخطير الذي تريد الورقة كشفه).
الخطأ الصادق: الاستدلال مثالي، لكن الذكاء الاصطناعي أخطأ في الرقم النهائي (مثل كتابة "15" بدلاً من "14").
الفشل الكلي: كل من الاستدلال والإجابة خاطئان.

غالباً ما تفوت الطرق الحالية "الفشل الصامت" لأنها تنظر فقط إلى الرقم النهائي. لقد صُممت RAFS لرصد هذه الأخطاء المتسللة.

كيف يعمل المحقق: الفروع الثلاثة

لحساب هذه الدرجة، تقترح الورقة مسار عمل يعمل كفريق من ثلاثة مفتشين مختلفين يعملون على نفس القضية. هم لا يقرؤون القصة فحسب؛ بل يفتشونها ويختبرونها ليروا مدى صمودها.

1. مفتش الخطوة بخطوة (صلاحية العملية)
أولاً، يقوم النظام بتفكيك فقرة الاستدلال الطويلة للذكاء الاصطناعي إلى خطوات ذرية صغيرة. إنه يفحص كل خطوة مثل معلم الرياضيات الذي يفحص مسألة قسمة مطولة. هل قام الذكاء الاصطناعي بعملية الحساب بشكل صحيح هنا؟ هل هذه الخطوة نتيجة منطقية للخطوة التي سبقتها؟ إذا ارتكب الذكاء الاصطناعي خطأ في الخطوة 3، تنخفض الدرجة، حتى لو تمكن من إصلاحها لاحقاً بطريقة ما. هذا الجزء يحدد "الخطوة المشتبه بها" حيث انحرف المنطق عن مساره لأول مرة.

2. مختبر "ماذا لو؟" (الحساسية الواقعية المضادة)
هذا هو الجزء الأكثر إبداعاً. يأخذ النظام خطوة محورية في قصة الذكاء الاصطناعي ويغيرها قليلاً — مثل لعبة "ماذا لو؟". على سبيل المثال، إذا قال الذكاء الاصطناعي: "لقد أضفت 5 بسبب رسوم"، فقد يغير النظام ذلك إلى: "ماذا لو أضفت 6؟" أو "ماذا لو لم تكن هناك رسوم؟".

إذا تغيرت إجابة الذكاء الاصطناعي النهائية بطريقة منطقية عند تغيير القصة، فهذه علامة جيدة. هذا يعني أن الإجابة كانت تعتمد بالفعل على الاستدلال.
إذا ظلت إجابة الذكاء الاصطناعي كما هي حتى بعد كسر المنطق، فهذا مؤشر خطر. هذا يشير إلى أن الذكاء الاصطناعي قد خمن الإجابة فقط وكتب قصة لتناسبها، بدلاً من إجراء عملية حسابية فعلية. يُسمى هذا "التبرير اللاحق" (post-hoc rationalization)، ولقد صُممت RAFS لاكتشافه.

3. مدقق الاتساق (الاستقرار والاتفاق)
أخيراً، يطلب النظام من الذكاء الاصطناعي حل نفس المسألة عدة مرات، مثل مطالبة شاهد بسرد قصته ثلاث مرات مختلفة.

إجماع الإجابات: هل تنتهي جميع محاولات الذكاء الاصطناعي عند نفس الرقم؟
استقرار الاستدلال: هل تبدو القصص متشابهة؟ إذا قدم الذكاء الاصطناعي نفس الإجابة لكنه قدم ثلاث قصص مختلفة تماماً ومتناقضة، فهذا أمر مريب. هذا يشير إلى أن الإجابة قد تكون تخميناً محظوظاً وليس استنتاجاً راسخاً.

الدرجة النهائية: لا يُسمح بـ "أكواد الغش"

تجمع الورقة هذه الاختبارات الثلاثة في درجة واحدة من 0 إلى 100. ولكن إليكم الجزء الذكي: الرياضيات المستخدمة لدمجها هي رياضيات "غير تعويضية".

تخيل أنك تصنع سموذي. إذا كان لديك فراولة رائعة (استدلال رائع) ولكنك نسيت الخلاط (لا يوجد صلاحية)، فقد يقول المتوسط الحسابي أن لديك سموذي "جيد". لكن في الواقع، لا يمكنك شربه. يستخدم المؤلفون المتوسط الهندسي بدلاً من ذلك. وهذا يعني أنه إذا فشل أي واحد من الاختبارات الثلاثة فشلاً ذريعاً (مثل انعدام الصلاحية)، فإن الدرجة الإجمالية تنهار نحو الصفر. لا يمكنك "تعويض" خطوة منطقية مكسورة بدرجة عالية في إجماع النتائج. هذا يضمن أن درجة RAFS العالية تعني حقاً أن الاستدلال متين، وليس مجرد أن الذكاء الاصطناعي جيد في التخمين.

ما تقوله الورقة (وما لا تقوله)

المؤلفون حذرون جداً بشأن ما يدعون. هم يؤكدون أن هذا إطار عمل ومقترح، وليس منتجاً نهائياً ومثبتاً يحل جميع مشاكل الذكاء الاصطناعي اليوم.

الخطة: لقد وضعوا دراسة مسجلة مسبقاً وصارمة لاختبار ذلك على مجموعتي بيانات رياضيتين شهيرتين (GSM8K و MATH) باستخدام نماذج ذكاء اصطناعي محددة (مثل Llama و Mistral و DeepSeek).
حدود "الدراسة التجريبية": ذكروا وجود "دراسة جدوى تجريبية" صغيرة للتأكد من أن النظام يعمل، لكنهم صرحوا بوضوح بأنهم لا يعرضون الأرقام النهائية أو معدلات النجاح بعد. إنهم ينتظرون انتهاء الدراسة الكاملة قبل تقديم ادعاءات كبيرة.
الهدف: الهدف ليس استبدال الذكاء الاصطناعي، بل إعطاؤه "إشارة تحذير". إذا كانت درجة RAFS منخفضة، يعرف النظام أنه يجب أن يقول: "أنا لست متأكداً من هذا المنطق"، أو يطلب من إنسان التحقق منه، بدلاً من إخراج إجابة خاطئة بثقة.

لماذا هذا مهم؟

هذه الورقة تشبه ابتكار طريقة جديدة لتصحيح الواجبات المنزلية تكشف الطلاب الذين يغشون عبر التخمين للوصات إلى الإجابة الصحيحة. في عالم يُستخدم فيه الذكاء الاصطناعي في كل شيء من البرمجة إلى الاستشارات الطبية، فإن معرفة كيف وصل الذكاء الاصطناعي إلى استنتاج ما لا يقل أهمية عن الاستنتاج نفسه. إذا أعطاك الذكاء الاصطناعي تشخيصاً طبياً "صحيحاً" ولكنه مبني على قصة مختلقة، فهو بمثبه قنبلة موقوتة. توفر RAFS طريقة للاستماع إلى القصة، وفحص المنطق، وتقرير ما إذا كان بإمكاننا الوثوق بالنتيجة النهائية، حتى قبل أن نعرف ما هي "الإجابة الصحيحة".

يقترح المؤلفون أنه في المستقبل، يمكننا استخدام هذه الدرجة لإصلاح أخطاء الذكاء الاصطناعي تلقائياً. إذا رصد النظام خطوة سيئة، يمكنه محاولة إعادة كتابة ذلك الجزء فقط من القصة، أو طلب حل المسألة من البداية من ذكاء اصطناعي آخر، مما يضمن أن الإجابة النهائية مدعومة بقصة صادقة، وليس بتخمين محظوظ.

ملخص تقني: درجة خالية من المراجع للكشف عن إخفاقات الاستدلال الصامتة في النماذج اللغوية الكبيرة

1. صياغة المشكلة

تتناول الورقة ثغرة حرجة في تقييم النماذج اللغوية الكبيرة (LLMs) في مهام الاستدلال الرياضي، وهي: فجوة الاتساق بين الاستدلال والإجابة (Reasoning–Answer Consistency Gap). يعتمد التقييم التقليدي على مطابقة دقيقة، حيث يقارن الإجابة النهائية للنموذج ( $A$ ) مع مرجع ذهبي ( $A^*$ ). هذا النهج يخلط بين بُعدين متمايزين:

صحة الاستدلال ( $Y_R$ ): ما إذا كان تتبع سلسلة الأفكق (CoT) الوسيط ( $R$ ) اشتقاقاً صحيحاً.
صحة الإجابة ( $Y_A$ ): ما إذا كانت المخرجات النهائية تطابق المرجع.

هذا الخلط يخلق نمطي فشل خطيرين تحجبهما مقاييس الدقة:

إخفاقات الاستدلال الصامتة (الإيجابيات الكاذبة في الاستدلال): ينتج النموذج اشتقاقاً خاطئاً يؤدي بالصدفة إلى إجابة صحيحة (على سبيل المثال، عبر أخطاء حسابية تعويضية). تصنف الدقة هذه الحالة كنجاح، مما يحجب المنطق غير الصالح.
إخفاقات الاستخراج (السلبيات الكاذبة في الاستدلال): ينتج النموذج اشتقاقاً صحيحاً ولكنه يخرج إجابة نهائية خاطئة بسبب أخطاء في النسخ أو التقريب. تصنف الدقة هذه الحالة كفشل، مما يحجب الاستدلال الكفء.

تجادل الورقة بأن معاملة دقة الإجابة النهائية كوكيل لجودة الاستدلال تخلق "ثغرة ناتجة عن عواقب"، لا سيما في التطبيقات الحرجة للسلامة أو القابلة للتدقيق حيث تكون صلاحية الاشتقاق بنفس أهمية النتيجة.

2. المنهجية: درجة إخلاص الاستدلال إلى الإجابة (RAFS)

تقترح الورقة RAFS، وهي درجة تشخيصية لكل حالة، خالية من المراجع (لا تتطلب مرجعاً ذهبياً أثناء التشغيل)، وتتراوح من 0 إلى 100، لتقييم مدى إخلاص التتبع المولد لإجابته النهائية. RAFS هي مقياس متكامل يتكون من أربعة مكونات متميزة، يتم تجميعها عبر متوسط هندسي مرجح لضمان عدم السلوك التعويضي (أي أن الفشل في بُعد واحد حرج لا يمكن تعويضه بالأداء العالي في الأبعاد الأخرى).

المكونات الأساسية

صلاحية الخطوة ( $P_R$ ):
- يقوم مُتحقق من الخطوات الذرية $g$ بتقييم كل خطوة $r_t$ في التتبع $R$ بناءً على المسألة $x$ والخطوات السابقة.
- يعيد احتمال $q_t$ بأن الخطوة صالحة.
- يتم حساب $P_R$ باستخدام مزيج من المتوسط الهندسي والحد الأدنى من هذه الاحتمالات لمعاقبة الأخطاء القاتلة مع الحفاظ على قابلية الاشتقاق. يتم تحديد أول خطوة تنخفض دون عتبة معينة كـ "الخطوة المشبوهة".
دعم الاستدلال للإجابة ( $SRA$ ):
- يقيس هذا المكون ما إذا كان التتبع يستلزم منطقياً الإجابة ( $R \models A$ ) ويختبر الحساسية الافتراضية المضادة (Counterfactual Sensitivity).
- يحدد النظام "الخطوات المحورية" ويولد تعديلات افتراضية مضادة ( $R^{(j)}$ ) تغير استنتاج خطوة معينة مع الالتزام الصارم بالقيود (الذرية، تغيير عدد الرموز المحدود، العزل الدلالي، وعدم تسريب الإجابة).
- يقيس $\Delta_j$ ، وهي درجة تغير الإجابة في الاتجاه المتوقع عند تعديل الخطوة المحورية.
- يجمع $SRA$ بين احتمال الاستلزام ومتوسط الحساسية الافتراضية المضادة. إذا تعذر توليد تدخلات صالحة كافية، يمتنع النظام عن التقييم.
إجماع الإجابة ( $C_A$ ):
- يقوم النموذج بأخذ عينات من $K$ من تتبعات الاستدلال المستقلة.
- يقيس $C_A$ اعتلاج (Entropy) توزيع الإجابات الناتج. يشير الإجماع العالي إلى الاستقرار، بينما يشير الاعتلاج العالي إلى عدم استقرار فك التشفيد.
استقرار الاستدال الشرطي ( $D_R$ ):
- من بين التتبعات التي تدعم الإجابة النمطية، يقيس هذا المكون التشابه الدلالي لسلاسل الاستدلال.
- يستخدم مسافة دلالية طبيعية للتتبع (بناءً على نماذج الاستلزام الطبيعي NLI والادعاءات المعيارية) لتحديد ما إذا كانت مسارات الاستدلال المختلفة تتقارب نحو نفس البنية المنطقية أم أنها مجرد متشابهة سطحياً.

التجميع والمعايرة

يتم حساب الدرجة النهائية كالتالي:
$\text{RAFS} = 100 \exp \left( \sum_{m \in \{P,S,C,D\}} w_m \log(s_m + \epsilon) \right)$
تم اختيار المتوسط الهندسي لأنه يلبي شرط الحدود بأن أي إشارة دليل ضرورية تقترب من الصفر، يجب أن تقترب الدرجة الإجمالية من الصفر. هذا يمنع "التعويض"، حيث يمكن للاستدلال الفصيح ولكن غير الصالح أن يحقق درجة عالية.

بنية الكشف

يعمل خط الأنابيب مع استقلال العائلات (Cross-family independence): يجب أن تأتي النماذج المولدة، والمحققة، والمصادقة من عائلات مختلفة (على سبيل-مثلاً: Llama للتوليد، وDeepSeek للتحقق) لمنع التحيزات المشتركة. يخرج النظام:

درجة RAFS.
حالة التشغيل: قبول (Accept)، مراجعة (Review)، أو امتناع (Abstain).
نوع الفشل (مثل: فشل صامت، خطأ استخراج) والخطوة المشبوهة.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات رئيسية:

التمييز المفاهيمي: تفصل رسمياً بين صحة الاستدلال وصحة الإجابة، مقدمةً تصنيفاً رباعي الأبعاد (نجاح مخلص، فشل صامت، فشل استخراج، فشل علني) لتشخيص قدرات النموذج بشكل أفضل.
مقياس خالٍ من المراجع: تقدم RAFS، وهو درجة مركبة تدمز التحقق من الخطوات، والحساسية الافتراضية المضادة، واستقرار الاستدلال دون الحاجة لإجابات ذهبية أثناء التشغيل.
تشخيصات قابلة للتنفيذ: على عكس الدقة الثنائية، توفر RAFS تغذية راجعة دقيقة (الخطوة المشبوهة، نوع الفشل) مما يسمح باستراتيجيات تصحيح محددة، مثل إصلاح الاستدال الموضعي أو إصلاح استخراج الإجابة.

4. التصميم التجريبي والادعاءات

تحدد الورقة دراسة تأكيدية مسجلة مسبقاً وعمياء النتائج على معايير GSM8K وMATH.

الحالة: حتى لحظة كتابة المخطوطة، تعتبر الورقة توصيفاً للإطار العملي. هي لا تعرض النتائج الرقمية النهائية للدراسة التأكيدية.
الدراسة التجريبية (Pilot): تم تحديد دراسة جدوى للتحقق من التنفيذ من البداية إلى النهاية وتقدير تغطية التدخل. تنص الورقة صراحة على حجب الادعاءات الرقمية التجريبية حتى تتوفر المصوغات على مستوى التتبع لمنع الخلط بين القيم "المحددة يدوياً" والملاحظات الفعلية.
الفرضيات: صُممت الدراسة لاختبار أربع فرضيات:
- $H_1$ : الدقة تبالغ في تقدير الاستدلال الصحيح عبر دمج حالات الفشل الصامت مع حالات النجاح المخلص.
- $H_2$ : تُحسن RAFS من اكتشاف حالات الفشل الصامت (مقاسة بـ AUPRC) مقارنة بمقاييس الإجماع أو الخطوات.
- $H_3$ : الحساسية الافتراضية المضادة هي المساهم الأقوى عندما تكون الإجابات صحيحة ولكن الاستدلال غير صالح.
- $H_4$ : استقرار الاستدلال الشرطي يكتشف التبرير المشترك للإجابة الذي يغفله الاعتلاج وحده.

5. الأهمية والقيود

الأهمية

تضع الورقة RAFS ليس كـ "أوراكل (عراف) مطلق" بل كـ إشارة تحذير معايرة وقابلة للتدقيق. تكمن قيمتها الأساسية في:

السلامة: اكتشاف "الإخفاقات الصامتة" حيث يبدو النموذج صحيحاً ولكنه غير سليم منطقياً، وهو أمر بالغ الأهمية في المجالات عالية المخاطر.
القابلية للتفسير: توفير تحليل هيكلي لسبب عدم إخلاص التتبع (مثل عدم الصلاحية المحلية مقابل عدم الاستقرار العالمي).
التغذية الراجعة للتدريب: تقديم آلية لمعاقبة الفشل الصامت ومكافأة الاستدلال المخلص، مما قد يوجه عمليات RLHF أو الضبط الدقيق الخاضع للإشراف بعيداً عن "تلاعب المكافأة" (Reward Hacking).

التواضع والقيود

المدققون صريحون بشأن القيود الحالية للإطار:

النطاق: تقتقتصر RAFS حالياً على الاستدلال الرياضي (الحساب والجبر) حيث تكون الخطوات قابلة للتدقيق.
التحقق: هي تقيم النص المنشور، وليس تنشيطات النموذج الخاصة.
التلاعب: النظام عرضة للتلاعب أثناء الاستدلال (مثل التبريرات المطولة أو الزائدة المصممة لاجتياز عمليات التدقيق). تم اقتراح حلول مثل إخفاء عائلات التدخل لكن لم يتم إثباتها بعد.
التبعية: تعتمد الدرجة على جودة مجموعة المُتحققات؛ فإذا شاركت المُتحققات نفس تحيزات النموذج المولد، فقد تظهر الدرجة مبالغاً فيها.

في الختام، تقدم الورقة إطاراً فنياً محدداً وقابلاً للتفنيد للكشف عن إخفاقات الاستدلال الصامتة. وتجادل بأنه بدون مثل هذا المقياس، يواجه المجال خطر التحسين من أجل الإجابات الصحيحة "المحظوظة" مع تجاهل صلاحية عملية الاستدلال الكامنة. إن التحقق الكامل من RAFS ينتظر اكتمال التجارب التأكيدية المسجلة مسبقاً.