🤖 AI

Measuring Black-Box Confidence via Reasoning Trajectories: Geometry, Coverage, and Verbalization

تقترح هذه الورقة طريقة مبتكرة لتقدير الثقة في النماذج الصندوقية السوداء (black-box) تعتمد على دمج مسارات استدلال "سلسلة الأفكار" (chain-of-thought) لقياس التقارب الهندسي نحو ركائز الإجابة، مما يثبت أن دمج هذا المقياس القائم على المسار مع قنوات التغطية والتعبير اللفظي يتفوق بشكل كبير على خطوط الأساس التقليدية لـ "الاتساق الذاتي" (self-consistency) عبر مختلف المعايير والنماذج اللغوية الكبيرة دون الحاجة إلى الوصول إلى الحالات الداخلية للنموذج.

المؤلفون الأصليون: Marc Boubnovski Martell, Josefa Lia Stoisser, Kaspar Märtens, Jialin Yu, Robert Kitchen, Philip Torr, Jesper Ferkinghoff-Borg

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Marc Boubnovski Martell, Josefa Lia Stoisser, Kaspar Märtens, Jialin Yu, Robert Kitchen, Philip Torr, Jesper Ferkinghoff-Borg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مستشاراً عبقرياً ولكنه غامض لحل لغز صعب. لا يمكنك سوى رؤية ملاحظاته المكتوبة ("سلسلة الأفكون" - Chain of Thought)، لكن لا يمكنك رؤية موجات دماغه الداخلية، أو درجات ثقته، أو البيانات الخام التي يعالجها. أنت بحاجة لمعرفة: هل يمكننا الوثوق بإجابته؟

عادةً، للتحقق مما إذا كان هذا المستشار واثقاً، تطلب منه حل نفس اللغز 10 مرات لترى ما إذا كان سيعطي نفس الإجابة 10 مرات. هذا ما يسمى بـ "الاتساق الذاتي" (Self-Consistency). إنه يعمل، لكنه مكلف (عليك دفع ثمن 10 إجابات) وهو وسيلة خرقاء نوعاً ما—كأنك تسأل: "هل حصلت على نفس النتيجة 10 مرات؟" بدلاً من النظر في كيفية وصوله إلى تلك النتيجة.

تقدم هذه الورقة البحثية طريقة جديدة، أرخص وأذكى لقياس الثقة من خلال النظر في الهندسة (الشكل والمسار) لملاحظات المستشار.

إليك تفصيل اكتشافهم باستخدام تشبيهات بسيطة:

1. تشبيه "مسار المشي" (الهندسة)

تخيل أن عملية التفكير لدى المستشار هي شخص يسير عبر غابة ضبابية نحو وجهة محددة (الإجابة الصحيحة).

الطريقة القديمة: أنت فقط تنتظر حتى يصل ويسأل نفسه: "هل أنا متأكد؟"
الطة الجديدة: تراقب مساره. بينما يسير، هل يبدأ بالاقتراب أكثر فأكثر من الوجهة الصحيحة، حتى قبل أن ينطق باسم الوجهة بصوت عالٍ؟

وجد الباحثون أنك إذا نظرت إلى ملاحظات المستشار قبل أن يكتب الإجابة النهائية (الخطوة "قبل الأخيرة")، فإن كلماته تتجمع طبيعياً بشكل أقرب نحو الإجابة الصحيحة في فضاء رياضي. الأمر يشبه رؤية خطوات السائر وهي تضيق وتشتد حول الشجرة الصحيحة قبل أن يشير إليها أخيراً. هذا "التقارب الهندسي" هو إشارة قوية على أنه واثق ومحق، حتى لو لم تستطع رؤية دماغه الداخلي.

2. فحص الثقة المكون من ثلاثة أجزاء

تجادل الورقة بأنه لا يمكنك الاعتماد على إشارة واحدة فقط. لقد قسموا الثقة إلى ثلاث قنوات متميزة، مثل فحص سيارة قبل رحلة طويلة:

التغطية (فحص الخريطة): هل نظر المستشار حتى إلى الخريطة الصحيحة؟ هل اعتبر الإجابة الصحيحة احتمالاً وارداً على الإطلاق؟ إذا لم يفكر أبداً في الإجابة الصحيحة، فلا قيمة لأي قدر من الثقة. هذا هو فحص "إمكانية الوصول" (Reachability).
الهندسة (فحص المسار): بمجرد النظر إلى الخريطة الصحيحة، هل يسير بثبات نحو الموقع الصحيح؟ هذه هي إشارة "المسار" الموصوفة أعلاه. وهي تقيس مدى انضباط تفكيره حول خيار محدد.
التعبير اللفظي (التقرير الذاتي): أخيراً، تسأل المستشار: "على مقياس من 0 إلى 100، ما مدى تأكدك؟"
- اكتشاف مفاجئ: هذا الجزء الأخير هو الأقل موثوقية بمفرده. أحياناً يقول المستشار إنه متأكد بنسبة 100%، لكنه في الواقع يمشي في دوائر. هو لا يساعد إلا عندما تكون الفحوصات الأخرى تبدو جيدة بالفعل.

3. سر "ما قبل الأخير"

أحد أروع الاكتشافات هو متى تنظر.

إذا نظرت إلى الجملة الأخيرة حيث يذكر الإجابة، تصبح الإشارة مشوشة. الأمر يشبه الواقف الذي يتوقف ويصرخ: "لقد وصلت!" حتى لو كان واقفاً بجانب الشجرة الخطأ.
وجد الباحثون أن النقطة المثالية هي الجملة التي تسبق الإجابة النهائية مباشرة. هنا يكون منطق المستشار الداخلي أكثر التزاماً بالحقيقة، قبل أن يتشتت بفعل كتابة الكلمة النهائية.

4. النتيجة: أذكى وأرخص

من خلال الجمع بين هذه الإشارات الثلاث (الخريطة، المسار، والتقرير الذاتي)، أنشأ الباحثون نظاماً:

يكلف أقل: يحتاج فقط إلى 4 محاولات للحصول على درجة ثقة أفضل من محاولات الطريقة القديمة التي تتطلب 8 محاولات.
يعمل بشكل أفضل: يتنبأ بالإجابة الصحيحة بدقة أكبر (درجات "AUC" أعلى) عبر الاختبارات الطبية والعلمية.
يتسم بالمتانة: يعمل حتى لو استخدمت نماذج ذكاء اصطناعي مختلفة أو طرقاً مختلفة لقياس "المسافة" بين الكلمات.

الخلاصة

لست بحاجة لتكون قارئاً للأفكار لتعرف ما إذا كان الذكاء الاصطناعي واثقاً. كل ما تحتاجه هو مراقبة كيف يفكر. إذا كان مسار تفكيره يضيق طبيعياً حول الإجابة الصحيحة قبل أن يتحدث، وإذا كان قد فكر فعلياً في الإجابة الصحيحة في المقام الأول، فيمكنك الوثوق به أكثر مما لو طلبت منه فقط تكرار الإجابة عشر مرات.

قصور مهم: تشير الورقة إلى أنه إذا لم يفكر الذكاء الاصطناعي في الإجابة الصحيحة من الأساس، فلا يوجد قدر من "مراقبة المسار" يمكنه إصلاح ذلك. يمكن للنظام فقط أن يخبرك بمدى ثقة الذكاء الاصطناعي في الخيارات التي وضعها في الاعتبار بالفعل.

ملخص تقني: قياس ثقة الصندوق الأسود عبر مسارات الاستدلال

بيان المشكلة

يعد تقدير الثقة الموثوق متطلباً أساسياً للنشر الآمن لسلسلة الأفكور (CoT) عبر واجهات برمجة التطبيقات النصية فقط، حيث لا يمكن الوصول إلى القيم اللوجيتية (logits)، أو الحالات الخفية (hidden states)، أو آليات الاسترجاع الداخلية. تعاني الطريقة المرجعية السائدة في "الصندوق الأسود"، وهي الاتساق الذاتي (sampling $K$ من سلاسل الأفكار واستخدام تركيز التصويت كإشارة للثقة)، من ثلاث عيوب رئيسية:

التكلفة الخطية: تتطلب أخذ عينات لـ $K$ من المسارات، مما يجعلها مكلفة خطياً بالنسبة لـ $K$ .
العمى الهندسي: تتجاهل الهندسة الداخلية لمسار الاستدلال، وتتعامل مع المسار مجرد وسيلة للوصول إلى إجابة نهائية.
الدقة المنفصلة: تنتج درجة ثقة منفصلة ( $k/K$ )، والتي تفتقر إلى الدقة عند قيم $K$ الصغيرة ولا يمكنها ترتيب حالات التعادل بفعالية.

يبحث هذا البحث في إشارة بديلة: مسار سلسلة الأفكار (CoT) نفسها. يقترح المؤلفون قياس كيفية تقارب تضمين (embedding) مسار الاستدلال نحو مرتكزات الإجابة الخارجية، بهدف اشتقاق درجة ثقة مستمرة من النص وحده دون الوصول إلى مكونات النموذج الداخلية.

المنهجية

يقوم الإطار المقترح بتفكيك ثقة الصندوق الأسود إلى ثلاث قنوات متكاملة: التغطية (C)، الهندسة (G)، والتعبير اللفظي (V).

1. القناة الهندسية (G)

تقيس هذه القناة "الالتزام المكاني داخل المسار" لسلسلة الأفكار تجاه مرتكز إجابة خارجي.

بناء المسار: يتم تضمين سلسلة الأفكار كمسار من النوافذ المنزلقة المتداخلة (نافذة $W=30$ كلمة، وخطوة $S=15$ ) باستخدام نموذج تضمين ثابت $\phi$ .
المرتكزات الخارجية: في البروتوكول المعمي، يقوم المولد بالاستدلال دون رؤية قائمة الخيارات. يتم تضمين نصوص الخيارات خارجياً كمرتكزات ثابتة.
التسجيل: تحسب الطريقة مسافة جيب التمام (cosine distance) من النافذة قبل الأخيرة في المسار إلى كل مرتكز خيار. "الاختيار" هو المرتكز ذو متوسط المسافة الأدنى.
المعايرة: يقوم نموذج softmax ذو معلمة واحدة برسم هذه المسافات إلى احتمالية ثقة:
$\text{GEO}(q) = \frac{\exp(\hat{\beta}_{\text{all}} D_{\hat{y}})}{\sum_{j'} \exp(\hat{\beta}_{\text{all}} D_{j'})}$
حيث يتم ضبط $\hat{\beta}_{\text{all}}$ عبر أقصى قدر من الاحتمالية (maximum likelihood). يشير $\hat{\beta}$ السالب القوي إلى أن المرتكزات الأقرب هي الأكثر احتمالاً لأن تكون صحيحة.
اختيار النافذة قبل الأخيرة: يكشف التحليل التجريبي أن إشارة المعايرة تصل إلى ذروتها في النافذة قبل الأخيرة. غالباً ما تحتوي النافذة النهائية على التعبير اللفظي للإجابة حرفياً، مما يؤدي إلى محاذاة الإجابة المختارة بدلاً من الإجابة الصحيحة، مما يسبب انقلاب الإشارة ( $\hat{\beta}$ موجب) في اختبارات معينة مثل GPQA Diamond.

2. تفكيك القنوات الثلاث

لمعالجة السقف الهيكلي حيث قد لا تصل السلسة أبداً إلى الفرضية الصحيحة، قدم المؤلفون نظاماً مفتوحاً يعتمد على إعداد المقترح/القاضي (Proposer/Judge):

التغطية (C): إشارة سابقة يتوسطها قاضٍ تقيس ما إذا كانت الفرضية الصحيحة قابلة للوصول أصلاً. تستخدم "نموذج مقترح" لتوليد مجموعة من الفرضيات و"نموذج قاضٍ" لتقييم إمكانية الوصول. تعمل هذه كإشارة لصعوبة السؤال.
الهندسة (G): كما هو معرف أعلاه، ولكن باستخدام فرضيات مولدة من قبل المقترح كمرتكزات بدلاً من الخيارات الثابتة لمجموعة البيانات.
التعبير اللفظي (V): يُعرض على المولد سلسلة الأفكار الخاصة به ويُطلب منه تقديم تقييم رقمي ذاتي (0–100) لثقته.

الدمج: يتم دمج القنوات الثلاث عبر الانحدار اللوجستي لإنتاج درجة ثقة نهائية.

المساهمات الرئيسية

درجة ثقة مسار الصندوق الأسود: طريقة لربط $(\text{text}, \text{embedder}, \text{anchor set})$ بدرجة ثقة مستمرة باستخدام softmax ذي معلمة واحدة على تضمينات النوافذ المنزلقة. تتكرر إشارة واتجاه الميل ( $\hat{\beta}$ ) عبر ثلاثة من مختلف المضمنات (Gemini, OpenAI, E5)، وثلاثة من المستنتجين، وثلاثة من الاختبارات المرجعية.
بصمة الالتزام في أواخر المسار: حدد المؤلفون بصمة ميكانيكية حيث تكون الإشارة الهندسية في أعمق مستوياتها (أكثر $\hat{\beta}$ سالبية) في النافذة قبل الأخيرة وتنعكس في النافذة النهائية في GPQA Diamond. يؤكد هذا أن النافذة قبل الأخيرة هي موضع قوي للتسجيل يلتقط الالتزام بالإجابة قبل التعبير اللفظي الحرفي عنها.
التفكيك غير المتماثل للقنوات الثلاث:
- تحمل التغطية (C) والهندسة (G) إشارة مستقلة في جميع الإعدادات تقريباً (18/18 و 16/18 على التوالي).
- يساهم التعبير اللفظي (V) بإشارة متبقية فريدة في 6/18 حالة فقط، حيث يعمل كقناة معرفة عليا (metacognitive) محكومة بدلاً من كونه ركيزة عالمية.
- دمج C+G+V عند $K=4$ يحقق تحسيناً باريتو (Pareto-improves) للاتساق الذاتي عند $K=8$ في جميع الإعدادات المغلقة الستة (متوسط $\Delta \text{AUC} = +0.075$ ).

النتائج

يقيّم البحث الطريقة على MedQA-USMLE، و GPQA Diamond، و MMLU-Pro باستخدام Gemini 3.1 Pro و Claude Sonnet 4.6.

الإشارة الهندسية: تحقق الميزة الهندسية الواحدة (G) دقة تنبؤ انتقائي (selective-prediction AUC) تتراوح بين 0.71–0.82 في البروتوكولات المعماة، متفوقة بشكل كبير على الاتساق الذاتي في 9/10 من مجموعات النماذج والاختبارات عند مطابقة الميزانية.
كسب الدمج: تتفوق درجة C+G+V المدمجة عند $K=4$ $K = 4$ على الاتساق الذاتي عند $K=8$ $K = 8$ (SC@8) في جميع الإعدادات المغلقة الستة.
- متوسط $\Delta \text{AUC} = +0.075$ (Stouffer $z = 5.67, p = 7.1 \times 10^{-9}$ ).
- يستمر هذا الكسب حتى عندما يتم تثبيت الإجابة المختارة على اختيار أغلبية SC@8، مما يؤكد أن التحسن ناتج عن معايرة أفضل، وليس تغيير الإجابة.
المتانة:
- تظل النتائج ثابتة عبر مختلف المضمنات (بما في ذلك E5-large-v2).
- تبديل القاضي (من GPT-5-mini إلى Claude Sonnet 4.6) يترك AUC الخاص بالهندسة فقط دون تغيير ( $|\Delta| \le 0.013$ ) ويغير AUC الخاص بالتغطية بمقدار $\pm 0.02$ كحد أقصى، مما يشير إلى أن الإشارات ليست نتاجاً لشركة واحدة.
- الطريقة متينة تجاه تصميم المرتكزات؛ حيث يعد استخدام مرتكزات خيارات مجموعة البيانات أمراً حاسماً، بينما تنهار المرتكزات المشتقة من مخرجات النموذج نفسه لتصل إلى أداء يقارب الصدفة.

الأهمية والادعاءات

يزعم البحث أن ثقة سلسلة الأفكار في الصندوق الأسود يمكن قراءتها بشكل أكثر موثوقية من خلال التقارب الهندسي للمسار في فضاء التضمين مقارنة باتفاق التصويت من العينات، محققة ذلك بتكلفة أقل دون الحاجة للوصول إلى القيم اللوجيتية أو الحالات الخفية.

النقاط الرئيسية التي أكدها المؤلفون:

البنية فوق العينات: الثقة هي إشارة مهيكلة تتكون من قنوات متميزة (الوصول، الالتزام، التقرير الذاتي) وليست مجرد قيمة عددية واحدة.
الرؤية الميكانيكية: تبلغ الإشارة الهندسية ذروتها قبل أن يعبر النموذج لفظياً عن إجابته، مما يشير إلى أن "الالتزام بالإجابة" هو مرحلة متميزة في مسار الاستدلال يمكن اكتشافها عبر ديناميكيات فضاء التضمين.
الكفاءة العملية: يوفر دمج C+G+V عند $K=4$ معايرة أفضل من SC@8 مع تقليل إجمالي تكلفة API بنسبة تقارب 51% (بسبب تقليل استدعاءات التوليد وكفاءة عملية التضمين).
القيود: أشار المؤلفون بتواضع إلى أن قناة التغطية تتم بوساطة قاضٍ من نماذج LLM (مما قد يدخل انحيازات القاضي)، وأن التعبير اللفظي ليس مفيداً بشكل عالمي، وأنه لا يمكن لأي درجة داخل المسار استعادة فرضية صحيحة إذا لم يقترحها النموذج أبداً (السقف الهيكلي).

يوفر هذا العمل أداة أولية للثقة على مستوى المسار للأنظمة التي تتطلب وصولاً للصندوق الأسود، مما يسمح بالامتناع الانتقائي والتنبؤ الانتقائي في المجالات عالية الخطورة مثل دعم القرار السريري.