🤖 AI

Claim-Level Reliability Assessment for Efficient Test-Time Reasoning

تقترح الورقة البحثية إطار عمل لتقييم موثوقية مستوى الادعاء (CLR)، وهو إطار عمل لا يتطلب تدريباً يعزز كفاءة الاستنتاج في وقت الاختبار من خلال الانتقال من تقييم المسار الكامل إلى التكذيب المستهدف على مستوى الادعاء، مما يعيد تخصيص الحوسبة للتحقق من الادعاءات الحاسمة للقرار ويحسن الدقة بشكل كبير مع تقليل استخدام الرموز (tokens).

المؤلفون الأصليون: Sen Xu, Wei Wang, Shixi Liu, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong Chen, Junlin Zhang

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC0 1.0

المؤلفون الأصليون: Sen Xu, Wei Wang, Shixi Liu, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong Chen, Junlin Zhang

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، ولكن بدلاً من القيام بذلك بمفردك، تطلب من غرفة مليئة بالأصدقاء الأذكاء كتابة إجاباتهم. هكذا تعمل "نماذج اللغات الكبيرة" (LLMs) الحديثة عندما تحاول التفكير في المسائل الصعبة. فبدلاً من مجرد التخمين مرة واحدة، يمكن لهذه النماذج توليد محاولات مختلفة، أو "مسارات"، لكيفية حل المشكلة. كانت الطريقة القديمة لاختيار أفضل إجابة بسيطة: عدّ الأصوات. إذا قال خمسة أصدقاء إن الإجابة هي "الأزرق" وثلاثة قالوا "الأحمر"، فإنك تختار "الأزرق". وهذا ما يسمى بـ "الاتساق الذاتي" (Self-consistency).

لكن هنا تكمن المشكلة: ليس بالضرورة أن يكون اتفاق المجموعة على أمر ما يعني أنهم على حق. فأحياناً، قد يتفق تجمع كامل بثقة على إجابة خاطئة لأنهم جميعاً ارتكبوا نفس الخطأ الصغير في البث، أو لأنهم تشتتوا بسبب شرح طويل ومربك أخفى الخطأ. الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة تحديداً. فهي تسأل: كيف يمكننا استخدام قدرة الحاسوب الذهنية بشكل أكثر ذكاءً؟ بدلاً من مجرد طلب المزيد من الإجابات، ماذا لو استهلكنا جزءاً من تلك الطاقة في فحص الإجابات التي لدينا بالفعل بحثاً عن العيوب الخفية؟ يقترح الباحثون طريقة جديدة تعمل مثل المحقق الفائق، الذي يبحث عن الشيء الوحيد الذي يثبت خطأ إجابة ما، بدلاً من محاولة إثبات صحتها.

اختصار المحقق: تقييم الموثوقية على مستوى الادعاء

تقدم الورقة إطار عمل جديداً وذكياً يسمى تقييم الموثوقية على مستوى الادعاء (CLR). فكر في الأمر كأنها لعبة "اكتشف الكذبة" يلعبها محقق ذكي جداً.

عادةً، عندما يحاول الحاسوب حل مسألة رياضية أو منطقية، فإنه يكتب قصة طويلة ("مسار استدلال") يشرح فيها كل خطوة. إذا حاولت فحص تلك القصة بأكملها بحثاً عن الأخطاء، فالأمر يشبه محاولة العثور على خطأ مطبعي واحد في رواية مكونة من 50 صفحة بينما بقية النص مجرد حشو صحيح وممل. يضيع الخطأ وسط الضجيج.

يغير (CLR) قواعد اللعبة من خلال مطالبة النموذج بالقيام بشيئين بشكل مختلف:

استخراج "الركائز": بدلاً من قراءة الرواية بأكملها، يقوم النموذج أولاً باستخراج الجمل الخمس أو الست الأكثر أهمية فقط — وهي "الادعاءات" — التي تمسك بزمام الحجة بأكملها. هذه هي الركائز المنطقية. إذا كانت هذه الجمل المحددة صحيحة، فقد تكون الإجابة صحيحة. وإذا كانت إحداها خاطئة، فإن الإجابة بأكملها تنهار.
البحث عن "التفنيد": هذا هو الجزء السحري. تجادل الورقة بأن من الأسهل بكثير كسر ادعاء ما من بناء حل مثالي. تخيل أنك تحاول بناء برج من المكعبات (بناء حل)؛ فأنت بحاجة إلى أن تكون كل قطعة فيه مثالية. لكن إذا كنت تحاول إثبات أن البرج غير آمن (تفنيد ادعاء)، فأنت تحتاج فقط إلى العثور على مكعب واحد مهتز لإسقاطه.

يستخدم (CLR) هذا "التباين". فهو يأخذ الادعاءات الحرجة من كل حل ويسأل النموذج: "هل يمكنك العثور على سبب واحد يجعل هذا الادعاء المحدد خاطئاً؟". هو لا يطلب من النموذج حل المسألة مرة أخرى؛ بل يطلب منه لعب دور الناقد الذي يبحث عن خلل قاتل.

كيف يعمل ذلك في الممارسة العملية

تتم العملية على مرحلتين، مثل تجربة أداء من جولتين:

الجولة الأولى (التوليد): يقوم النموذج بتوليد عدة حلول مختلفة (مثلاً 32 حلاً). ولكل حل، يكتب أيضاً أهم 5 ادعاءات تدعم إجابته النهائية.
الجولة الثانية (التفنيد): يعود النموذج وينظر في تلك الادعاءات. ويحاول "دحضها". هل وجد النموذج تناقضاً؟ خطأً رياضياً؟ فجوة منطقية؟
- إذا صمد الادعاء أمام الهجوم، فإنه يحصل على نقطة.
- إذا تم تفنيد الادعاء (إثبات خطئه)، يتم معاقبة الحل بأكمله بشدة.

تستخدم الورقة نظام تسجيل خاص. إذا كان لدى الحل حتى ادعاء حرج واحد تم إسقاطه، فإن درجته تنخفض بشكل كبير. وهذا يسمح لمجموعة صغيرة من الحلول "الموثوقة" (التي نجت من الهجوم) بالتفوق على مجموعة كبيرة من الحلول "الواثقة ولكن الخاطئة" (التي كانت تحتوي على خلل خفي).

ماذا تقول الأرقام

اختبر الباحثون هذه الفكرة على أربعة نماذج ذكاء اصطناعي مختلفة وأربعة معايير اختبار رياضية صعبة جداً (مثل HMMT25 و CMIMC25). وقارنوا طريقتهم الجديدة بطريقة "عد الأصوات" القياسية.

إليك ما وجدوه:

دقة أفضل: في نموذج GPT-OSS-20B، أدى استخدام (CLR) إلى تحسين الدقة في معيار CMIMC25 من 77.50% إلى 82.19%. وهي قفزة قدرها 4.69 نقطة مئوية.
توفير المال (الرموز/Tokens): والأفضل من ذلك، فعلوا هذا مع استخدام 37.0% أقل من الرموز (الكلمات الرقمية التي يولدها الحاسوب) مقارنة بالطريقة القياسية.
إنقاذ الأقلية: في كثيروط حالات كثيرة، كانت الطريقة القياسية ستختار الإجابة الخاطئة لأنها كانت الأكثر شعبية (تصويت 5 مقابل 3). نجح (CLR) في "إنقاذ" الإجابة الصحيحة في حوالي 37% من هذه الحالات، حيث قلب الإجماع الخاطئ عبر رصد الخلل الخفي في استدلال الأغلبية.

لماذا يهم هذا الأمر

تشير الورقة إلى أننا لا نحتاج دائماً لجعل نماذج الذكاء الاصطناعي أكبر أو نطلب منها التفكير لفترة أطول بنفس الطريقة. بدلاً من ذلك، يمكننا أن نكون أكثر ذكاءً في كيفية استخدام قدرة الحوسبة التي نمتلكها بالفعل. فمن خلال تحويل التركيز من "توليد المزيد من الإجابات" إلى "الفحص المستهدف لأهم أجزاء الإجابة"، يمكننا الحصول على نتائج أفضل بجهد أقل.

ويلاحظ المؤلفون بحذر أن هذا ليس عصا سحرية تعالج كل شيء فوراً. فهو يعمل بشكل أفضل عندما يكون النموذج قادراً بما يكفي لتوليد الأفكار الأولية ولكنه يحتاج إلى مساعدة في اكتشاف نقاطه العمياء. ومع ذلك، تشير النتائج إلى أن "التفنيد على مستوى الادعاء" هو طريقة جديدة قوية لجعل استدلال الذكاء الاصطناعي أكثر موثوقية، مما يحول النموذج من مجرد مُخمّن واثق إلى ناقد صارم.

ملخص تقني: تقييم موثوقية مستوى الادعاء من أجل استدلال فعال في وقت الاختبار

بيان المشكلة

برز التوسع في وقت الاختبار (TTS) كنموذج أساسي لتعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs) دون تحديث المعلمات. تندرج الأساليب الحالية عموماً تحت ثلاث فئات: اشتقاق الإشارات الجوهرية من مسارات فردية (مثل احتمالات الرموز)، أو تجميع النتائج من مسارات متعددة متوازية (مثل الاتساق الذاتي)، أو التدخل أثناء التوليد عبر البحث المهيكل (مثل التفرع).

على الرغم من فائدتها، تواجه هذه الأساليب اختناقاً جوهرياً: يظل استخراج إشارات موثوقية دقيقة وعالية التمييز أمراً صعباً مع زيادة ميزانيات الاستدلال. وتحديداً:

تخفيف الإشارة: غالباً ما يحجب تقييم المسار الكامل الأخطاء الحاسمة لأن رموز الاستدلال الروتينية تخلق خلفية ضعيفة التمييز، مما يخفض نسبة الإشارة إلى الضجيج.
الثقة المنطقية مقابل الإحصائية: الثقة الإحصائية العالية (مثل احتمالات الرموز) لا تضمن السلامة المنطقية؛ إذ يمكن أن يكون المسار واثقاً للغاية ومع ذلك ينطوي على خلل قاتل.
التكلفة الحسابية: التقييم على مستوى الخطوة مجهد حسابياً وغالباً ما يتطلب إشرافاً منفصلاً على مستوى العملية أو مُحقِّقين مدربين.

هناك حاجة ماسة إلى مستوى حبيبي وسيط يسد الفجوة بين تقييم المسار الكامل وتقييم الخطوة بخطوة من خلال استهداف المحتوى الدلالي الذي يرتكز عليه مسار الاستدلال مباشرة.

المنهجية: تقييم موثوقية مستوى الادعاء (CLR)

يقترح المؤلفون تقييم موثوقية مستوى الادعاء (CLR)، وهو إطار عمل لا يتطلب تدريباً يجسد مبدأ تفنيد مستوى الادعاء. يقوم CLR بإعادة تخصيص الحوسبة في وقت الاختبار من توليد عينات حلول إضافية إلى التحقق المستهدف من الادعاءات الحاسمة للقرار.

الآليات الجوهرية

التقييم على مستوى الادعاء:
بدلاً من تقييم مسار الاستدلال الكامل، يقوم CLR بتكثيف كل مسار في مجموعة مدمجة من $M$ من الادعاءات الحاسمة للقرار ( $C_k$ ). هذه الادعاءات هي استنتاجات وسيطة، أو قيود، أو تحويلات يؤدي فشلها إلى تقويض التنبؤ النهائي. ومن خلال تصفية الرموز الروتينية، يوجه CLR الحوسبة حصرياً نحو الركائز المنطقية التي تحدد صحة الإجابة.
التحقق القائم على التفنيد:
يستغل CLR عدم التماثل بين بناء الحل وتفنيد الادعاء. فبينما يتطلب بناء حل صالح مساراً خالياً من العيوب، يتطلب تفنيد ادعاء غير صحيح تحديد خلل حاسم واحد فقط.
- العملية: في المرحلة الثانية، يتم توجيه النموذج للبحث عن أدلة داحضة (تناقضات، أمثلة مضادة، أخطاء واقعية) لكل ادعاء في $C_k$ ، باستخدام المسألة الأصلية والادعاءات فقط (دون المسار الأصلي).
- النتيجة: يحصل كل ادعاء على حكم ثنائي: مُفند (0) أو غير مُفند (1). يشير وسم "غير مُفند" إلى أن الادعاء صمد أمام التقييم، وليس أنه ثبتت صحته رسمياً.
التسجيل والتجميع غير الخطي للموثوقية:
يحول CLR أحكام مستوى الادعاء إلى درجة موثوقية على مستوى المسار ( $r_k$ ) باستخدام دالة غير خطية:
$r_k = \left( \frac{1}{M} \sum_{m=1}^{M} v_{k,m} \right)^M$
حيث $v_{k,m}$ هو الحكم للادعاء $m$ .
- الأثر: يخلق الأس $M$ عقوبة غير خطية. فالادعاء الواحد المفند في قرار حاسم يقلل بشكل كبير من درجة المسار، أكثر مما يحدث في المتوسط الخطي. وهذا يقلل من تأثير المسارات عرضة للخطأ حتى لو كانت مهيمنة عددياً، مما يسمح لأقلية أصغر وأكثر موثوقية من المسارات بقلب الإجماع الخاطئ.

خط الأنابيب للاستدلال

يعمل CLR في مرحلتين بميزانية ثابتة قدرها $K$ من المسارات:

المرحلة الأولى: أخذ عينات من $K$ من مسارات الحل. لكل منها، يتم توليد التنبؤ النهائي و $M$ من الادعاءات الحاسمة للقرار.
المرحلة الثانية: إعادة استخدام نفس النموذج للتحقق من $M$ من الادعاءات لكل مسار من المسارات $K$ .
التجميع: رسم خرائط الأحكام إلى درجات الموثوقية وإجراء تجميع موثوقية مرجح للتنبؤات المتكافئة.

المساهمات الرئيسية

مبدأ تفنيد مستوى الادعاء: يصيغ البحث التفنيد على مستوى الادعاء كمبدأ متميز لـ TTS، محولاً التركيز من إعادة الحل المفتوح إلى البحث المستهدف عن الأدلة السلبية.
إطار عمل لا يتطلب تدريباً: لا يتطلب CLR أي تدريب إضافي أو مُحقِّقين خارجيين، حيث يستخدم قدرات النموذج الأساسي لكل من التوليد والتحقق.
التجميع غير الخطي: إن تقديم آلية تسجيل غير خطية ( $s^M$ ) يضغط بفعالية مساحة البقاء للمسارات عالية الثقة والخاطئة، مما يعالج مشكلة الإجماع الخ hatal.
الكفاءة: يوضح CLR أن إعادة تخصيص نصف ميزانية الاستدلال من التوليد إلى التحقق يمكن أن يحسن الدقة أو كفاءة الرموز، اعتماداً على نظام النموذج.

النتائج التجريبية

قيم المؤلفون CLR على أربعة نماذج لغوية كبيرة (Gemma-4-12B-it, GPT-OSS-20B, GPT-OSS-120B, Qwen3.5-27B) عبر أربعة اختبارات استدلال (HMMT25, HMMT26, CMIMC25, Apex-shortlist). تمت المقارنات مقابل الاتساق الذاتي القياسي (Cons) تحت ميزانيات استدعاء النموذج المتطابقة (CLR@32 مقابل Cons@64).

مكاسب الدقة:
- GPT-OSS-20B على CMIMC25: حسن CLR الدقة من 77.50% (Cons@64) إلى 82.19% مع استخدام 37.0% أقل من الرموز المولدة. وقد تجاوز Pass@1 بمقدار 27.15 نقطة مئوية.
- Gemma-4-12B-it على HMMT25: رفع CLR الدقة من 76.67% إلى 88.75% (زيادة قدرها 12.08 نقطة)، وإن كان ذلك جاء مع زيادة بنسبة 33.4% في استخدام الرموز.
- GPT-OSS-120B: حسن الدقة بما يصل إلى 5.00 نقاط مع تقليل استهلاك الرموز بنسبة ~22%.
- Qwen3.5-27B: نظراً لخط الأساس المرتفع بالفعل (>90%)، طابق CLR الدقة أو حسنها قليلاً (حتى +2.60 نقطة) مع تقليل الرموز بنسبة تصل إلى 14.5%.
إنقاذ الإجماع الخاطئ:
نجح CLR في قلب أصوات الأغلبية الخاطئة في حوالي 37% من الحالات التي كانت فيها الإجابة الصحيحة موجودة في مجموعة العينة الأولية ولكن تم قمعها بسبب التجميع القائم على العدد.
سلوك التوسع:
عبر ميزانيات زمن الاختبار المتنوعة، أظهر CLR سلوك توسع أكثر استقراراً مقارنة بالاتساق الذاتي، الذي غالباً ما يصل إلى حالة التشبع أو التذبذب مع إضافة المزيد من الحلول.
دراسة الاستئصال على عدد الادعاءات ( $M$ ):
أدى زيادة عدد الادعاءات من 1 إلى 3 أو 5 عموماً إلى تحسين الدقة، مما يشير إلى أن التغطية الأوسع للقرارات الحاسمة والأوزان غير الخطية المتدرجة مفيدة.

الأهمية والادعاءات

يضع البحث CLR كتحقق من الفرضية القائلة بأن الحوسبة في وقت الاختبار لا يجب أن تُنفق حصرياً على توليد المزيد من الحلول. من خلال إعادة تخصيص جزء من الميزانية للتفنيد المستهدف، يمكن لإطار العمل:

تحسين حدود الأداء: تحقيق دقة أعلى مع رموز أقل أو دقة أفضل ضمن نفس الميزحة.
استغلال عدم التماثل: استغلال حقيقة أن تفنيد الخلل أقل تكلفة وحسماً من بناء حل مثالي.
تخفيف تخفيف الإشارة: التركيز على موارد التحقق على الركائز الدلالية المحددة التي تحدد الصحة، بدلاً من مسار الاستدلال بأكمله.

يخلص المؤلفون إلى أنه بينما يعد CLR تجسيداً أولياً ضمن إطار عمل قائم على الإجماع، فإن مبدأ تفنيد مستوى الادعاء يقدم اتجاهاً واعداً لنماذج التوسع في وقت الاختبار، خاصة في السيناريوهات التي تعطي فيها عمليات أخذ العينات الإضافية عوائد متناقصة.