💬 NLP

PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chains

تقدم الورقة البحثية PiCSAR، وهي طريقة لا تتطلب تدريباً تعمل على تحسين دقة استنتاج النماذج اللغوية الكبيرة من خلال اختيار أفضل توليد للمرشح بناءً على الاحتمالية اللوغاريتمية المشتركة لاستنتاجه وإجابته، محققةً مكاسب أداء كبيرة عبر معايير متنوعة بعدد عينات أقل من الخطوط المرجعية الحالية.

المؤلفون الأصليون: Joshua Ong Jun Leang, Zheng Zhao, Aryo Pradipta Gema, Sohee Yang, Wai-Chung Kwan, Xuanli He, Wenda Li, Pasquale Minervini, Eleonora Giunchiglia, Shay B. Cohen

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Joshua Ong Jun Leang, Zheng Zhao, Aryo Pradipta Gema, Sohee Yang, Wai-Chung Kwan, Xuanli He, Wenda Li, Pasquale Minervini, Eleonora Giunchiglia, Shay B. Cohen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقوم بتصحيح كومة من واجبات الرياضيات المنزلية. لقد طلبت من طلابك (نماذج الذكاء الاصطنا est) حل مسألة صعبة. وبدلاً من مجرد إعطائك إجابة واحدة، يكتب كل طالب عملية تفكيره بالكامل خطوة بخطوة، ثم يعطي إجابة نهائية.

أحياناً، يكتب الطالب قصة طويلة ومسترسلة تنتهي بالإجابة الصحيحة. وأحياناً أخرى، يكتب شرحاً قصيراً وموجزاً ينتهي بإجابة خاطئة. أو قد يكتب فوضى مربكة تصل بالصدفة إلى الرقم الصحيح.

المشكلة: كيف تختار الأفضل؟

تقليدياً، استخدم المعلمون (أو أنظمة الذكاء الاصطناعي) طريقتين رئيسيتين لاختيار الفائز:

"تصويت الأغلبية" (الاتساق الذاتي - Self-Consistency): إذا قال ثلاثة طلاب أن الإجابة هي "4" وقال واحد أن الإجابة "3"، فإنك تختار "4". ولكن ماذا لو ارتكب الثلاثة جميعاً نفس الخطأ السخيف؟ ستختار الإجابة الخاطئة.
"المصحح الخبير" (نماذج المكافأة - Reward Models): تقوم بتعيين ذكاء اصطناعي خاص ومكلف لقراءة كل ورقة واجب من زملائك وإعطائها درجة. لكن تدريب هذا الخبير أمر صعب ومكلف، ويمكن أن يرتبك أحياناً.

الحل: PiCSAR (محقق الثقة)

تقدم الورقة البحثية طريقة جديدة تسمى PiCSAR (الاختيار والترتيب القائم على الثقة الاحتمالية). فكر في PiCSAR ليس كمدرس جديد، بل كـ آلة تسجيل ذكية للغاية تستخدم صوت الطالب نفسه لتقييمه. إنها لا تحتاج إلى أي تدريب إضافي أو خبراء مكلفين.

إليك كيف تعمل PiCSAR، باستخدام تشبيه بسيط:

بطاقة التقييم المكونة من جزأين

عندما تنظر PiCSAR إلى واجب الطالب، فإنها تحسب درجة بناءً على شيئين:

درجة "التدفق" (ثقة الاستنتاج - Reasoning Confidence):
تخيل أن الطالب يروي قصة. تسأل PiCSAR: "هل تتدفق هذه القصة بشكل طبيعي؟ هل تبدو الجملة التالية كخطوة منطقية وواثقة بعد السابقة؟"

إذا تعثر الطالب، أو كرر نفسه، أو قفز بشكل غير منطقي، تنخفض درجة "التدفق".
إذا كان الاستنتاج سلساً، مباشراً، وواثقاً، ترتفع الدرجة.
رؤية جوهرية: تفضل PiCSAR القصص التي تكون موجزة ومنطقية، بدلاً من القصص الطويلة والمسترسلة التي تهدف فقط لحشو الصفحات.

درجة "الخاتمة" (ثقة الإجابة - Answer Confidence):
بمجرد انتهاء القصة، تسأل PiCSAR: "بالنظر إلى كل ما قيل للتو، ما مدى تأكد الطالب من هذه الإجابة النهائية؟"

إنها تنظر إلى اللحظة المحددة التي يكتب فيها الطالب الرقم النهائي. إذا كان النموذج واثقاً جداً من هذا الرقم بناءً على الاستنتاج الذي قدمه للتو، ترتفع الدرجة.
إذا كان الاستنتاج مهزوزاً ولكن الطالب خمن الرقم الصحيح، تظل هذه الدرجة منخفضة.

الخدعة السحرية:
تقوم PiCSAR بجمع هاتين الدرجتين معاً. وهي تختار ورقة الواجب التي تمتلك أعلى إجمالي درجات.

لماذا هذا أفضل؟

اختبر الباحثون هذه الطريقة على العديد من ألغاز الرياضيات والعلوم المختلفة (مثل مسابقة AIME الرياضية). وهذا ما وجدوه:

إنها تتفوق على "تصويت الأغلبية": أحياناً تكون الأغلبية مخطئة لأنهم جميعاً اتبعوا نفس المنطق السيئ. تستطيع PiCSCL رصد الطالب الذي امتلك أفضل منطق وأكثر خاتمة ثقة، حتى لو كان هو الوحيد الذي أصاب.
إنها فعالة: عادةً، للوص obtener نتيجة جيدة، تحتاج إلى توليد 32 إجابة مختلفة واختيار الأفضل من بينها. يمكن لـ PiCSAR غالباً العثور على الإجابة الأفضل بـ 6 محاولات فقط. الأمر يشبه العث_ور على إبرة في كومة قش عن طريق البحث عن الإبرة التي تلمع بوضوح، بدلاً من الحفر في الكومة بأكملها.
تعمل على "العقول الكبيرة" و"العقول الصغيرة": تعمل بشكل رائع على نماذج الذكاء الاصطناعي الضخمة والقوية، كما أنها تساعد النماذج الأصغر والأرخص على حل المسائل الصعبة من خلال مساعدتها في اختيار أفضل محاولة لها.

اكتشاف "كثافة المعلومات"

لاحظ الباحثون أيضاً شيئاً رائعاً حول كيفية تفكير الطلاب الأذكياء.

الطلاب "عاليي الثقة" كتبوا إجابات قصيرة وكثيفة. كل جملة كانت تضيف معلومة جديدة ومفيدة.
الطلاب "منخفضي الثقة" كتبوا إجابات طويلة جداً، لكنها كانت مليئة بالدوائر، والتكرارات، و"الحشو". كانوا يتحدثون فقط لملء المساحة.

PiCSAR تكره "الحشو" بطبيعتها. فهي تكافئ الطلاب الذين يدخلون في صلب الموضوع مباشرة بثقة عالية.

الملخص

PiCSAR هي أداة مجانية وسهلة الاستخدام تساعد نماذج الذكاء الاصطناعي على اختيار أفضل إجابة لها من خلال طرح سؤالين بسيطين:

"هل فكرت في هذا بوضوح؟" (ثقة الاستنتاج)
"هل أنت متأكد من إجابتك بناءً على هذا التفكير؟" (ثقة الإجابة)

لا تحتاج إلى تعلم أي شيء جديد؛ فهي تستمع فقط لمستويات الثقة الخاصة بالذكاء الاصطناست لتجد المسار الصحيح. النتيجة؟ إجابات أذكى، موارد حاسوبية أقل هدراً، وأداء أفضل في المسائل الصعبة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PiCSAR: الاختيار والترتيب القائم على الثقة الاحتمالية لسلاسل الاستدلال."

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) والنماذج اللغوية الكبيرة للاستدلال (LRMs) تحسينات ملحوظة في مهام الاستدلال المعقدة من خلال تقنيات مثل "سلسلة التفكير" (Chain-of-Thought - CoT) وتوسيع وقت الاختبار (توليد عدة مرشحات واختيار الأفضل بينها). ومع ذلك، لا يزال اختيار سلسلة الاستدلال الصحيحة من بين $N$ من المرشحات ( $Best\text{-}of\text{-}N$ ) يمثل تحديًا:

محدودية الطرق الحالية:
- فك التشفير الجشع (Greedy Decoding): غالبًا ما يفشل في الوصول إلى أداء يضاهي أحدث المعايير في المهام المعقدة.
- الاتساق الذاتي (Self-Consistency - SC): يختار الإجابة النهائية الأكثر تكرارًا. وهو يتجاهل جودة مسار الاستدلال المؤدي إلى تلك الإجابة، مما قد يؤدي إلى اختيار سلسلة متكررة ولكنها معيبة منطقيًا.
- الاتساق الذاتي الشامل (Universal Self-Consistency - USC): يحاول اختيار الاستجابة الكاملة الأكثر اتساقًا، لكنه يعتمد على اتفاق الأغلبية عبر النصوص الكاملة، متجاهلاً إشارات مستوى الاستدلال الحرجة (مثل التماسك والمنطقية)، ويعاني من قيود نافذة السياق.
- نماذج المكافأة المدربة (Trained Reward Models): رغم فعاليتها، إلا أن تدريب نماذج مكافأة خارجية مكلف حاسوبيًا وعرضة لتغير التوزيع (distribution shifts).
التحدي الجوهري: تصميم دالة تسجيل (scoring function) خالية من التدريب يمكنها تحديد سلاسل الاستدلال الصحيحة دون الوصول إلى الإجابات النموذجية (ground-truth)، وذلك عبر الاستفادة الفعالة من إشارات الثقة الداخلية للنموذج.

2. المنهجية: PiCSAR

يقترح المؤلفون PiCSAR (الترتيب والاختيار القائم على الثقة الاحتمالية)، وهي طريقة خالية من التدريب تقوم بتقييم المرشحات المتولدة بناءً على الاحتمالية اللوجاريتمية المشتركة لمسار الاستدلال والإجابة النهائية.

أ. دالة التسجيل (The Scoring Function)

يؤطر PiCSAR مشكلة الاختيار كتقريب لفك التشفير بنمط "الاحتمال الأقصى البعدي" (Maximum A Posteriori - MAP) عبر الفضاء المشترك لسلاسل الاستدلال ( $r$ ) والإجابات ( $y$ ) بناءً على المطالبة ( $x$ ). يتم تفكيك الدرجة إلى حدين متكاملين:

$\text{Score}(r, y) = \underbrace{\log p(r \mid x)}_{\text{ثقة الاستدلال}} + \underbrace{\log p(y \mid \langle a \rangle, r, x)}_{\text{ثقة الإجابة}}$

ثقة الاستدلال ( $\log p(r \mid x)$ ):
- تمثل ثقة النموذج في توليد سلسلة استدلال محددة $r$ بناءً على المطالبة.
- تُحسب كمجموع الاحتمالات اللوجاريتمية على مستوى الرموز (tokens) أثناء عملية التوليد.
- خيار التصميم الرئيسي: يستخدم المؤلفون الاحتمالية اللوجاريتمية غير المعيرة (unnormalized). وهذا يفضل بشكل طبيعي مسارات الاستدلال الموجزة والمباشرة، لأن التسلسلات الأطول تتراكم فيها قيم سالبة أكثر للاحتمال اللوجاريتمي (مما يعاقب الاستدلال المفرط في الإسهاب أو "الهلوسة" أو الاستدلال الدائري).
ثقة الإجابة ( $\log p(y \mid \langle a \rangle, r, x)$ ):
- تمثل يقين النموذج بالإجابة النهائية $y$ ، بشرط الاستدلال المتولد.
- التدخل: لضمان أن يكون احتمال الإجابة قابلاً للمقارنة عبر السلاسل المختلفة (لتجنب الارتباك الناتج عن النص اللاحق)، يتم تكييف النموذج مع تعليمات صريحة $\langle a \rangle$ (على سبيل المثال: "عندما ترى استدلالًا محتملاً متبوعًا بـ <sep>، أخرج الإجابة النهائية"). هذا يجبر النموذج على تقييم الاستلزام المنطقي للإجابة بشكل مستقل عن الاحتمالية التوليدية للنص السابق.

ب. الخوارزمية

التوليد: عينة $k$ من سلاسل الاستدلال $\{r_1, \dots, r_k\}$ من النموذج.
الاستخراج: استخراج الإجابة النهائية $y_i$ من كل سلسلة.
التسجيل: حساب الدرجة المشتركة لكل زوج $(r_i, y_i)$ باستخدام الصيغة أعلاه.
الاختيار: اختيار المرشح صاحب أعلى درجة.

ج. القدرة على الفصل (Decoupling Capability)

من الميزات الفريدة لـ PiCSAR هي إمكانية تقدير حد "ثقة الإجابة" بواسطة نموذج مختلف ( $M_{eval}$ ) عن النموذج الذي يولد الاستدلال ( $M_{gen}$ ). تظهر التجارب أن النماذج الأصغر يمكنها تقييم الاستلزام المنطقي لسلاسل الاستدلال التي تولدها النماذج الأكبر، مما يسمح بنشر مرن وفعال من حيث التكلفة.

3. المساهمات الرئيسية

آلية تسجيل مبتكرة: تقديم إطار احتمالي بسيط وخالٍ من التدريب يعمل على تحسين منطقية الاستدلال ويقين الإجابة بشكل مشترك، متفوقًا على الطرق القائمة على التكرار مثل "الاتساق الذاتي".
تحليل كثافة المعلومات: اكتشاف أن سلاسل الاستدلال الصحيحة تظهر "كثافة معلومات" أعلى (نسبة أعلى من قمم الثقة العالية إلى عدد الجمل). السلاسل الصحيحة ليست بالضرورة أطول؛ بل غالبًا ما تكون أكثر إيجازًا وتتقارب بشكل أسرع نحو الإجابة.
الارتباط بين الثقة والدقة: إثبات أن كلاً من ثقة الاستد_دلال وثقة الإجابة هما مؤشران قويان على الصحة، حيث تعد ثقة الاستدلال مؤشرًا أقوى بكثير (تم التحقق من ذلك إحصائيًا عبر اختبارات t).
القابلية للنقل: إظهار أن إشارة ثقة الإجابة قابلة للنقل عبر النماذج، مما يسم يسمح للنماذج الأصغر والأرخص بالعمل كمقيمات للنماذج الأكبر والأكثر تكلفة.

4. النتائج التجريبية

قام المؤلفون بتقييم PiCSAR عبر 5 نماذج لغوية كبيرة (Llama-3.1, Gemma-2, Qwen3) و3 نماذج استدلال كبيرة (نماذج DeepSeek-R1 المقطرة، وQwen3 في وضع التفكير) على معايير تشمل GSM8K, MATH500, GPQA-Diamond, TheoremQA, وAIME 2024/2025.

مكاسب الأداء:
- نماذج الاستدلال الكبيرة (LRMs): حقق PiCSAR مكاسب جوهرية في AIME 2024 (+11.7% على DeepSeek-Llama-8B) وAIME 2025 (+9.81%). وقد تفوق على النماذج المرجعية في 19 من أصل 21 مقارنة.
- النماذج اللغوية الكبيرة (LLMs): تحسن مستمر عبر جميع النماذج. على سبيل المثال، في Llama-3.1-70B، حسن PiCSAR دقة GPQA-Diamond بنسبة 7.07% مقارنة بـ Self-Certainty.
كفاءة العينات: يتميز PiCSAR بكفاءة عالية في استخدام العينات. فباستخدام $k=6$ من العينات فقط، تفوق كثيرًا على النماذج المرجعية (Self-Consistency, USC) التي استخدمت $k=16$ أو $k=32$ .
المقارنة مع نماذج المكافأة المدربة: رغم كونه نموذجًا صفري المعرفة (zero-shot) وخاليًا من التدريب، حقق PiCSAR توازيًا مع أو تفوقًا على نماذج المكافأة المدربة بكثافة (مثل Skywork-Reward-V2) في معايير MATH500 وGSM8K.
الأهمية الإحصائية: أكدت اختبارات Friedman وNemenyi البعدية أن PiCSAR يتفوق بشكل كبير على جميع النماذج المرجعية ( $p < 0.05$ ).

5. الأهمية والآثار المترتبة

التوسع منخفض التكلفة: يوفر PiCSAR وسيلة لتحسين دقة الاستدلال دون العبء الحسابي لتدريب نماذج المكافأة أو توليد أعداد هائلة من العينات.
فهم أعمق للاستدلال: يتحدى هذا العمل الافتراض القائل بأن "زيادة التفكير" (السلاسل الأطول) هي الأفضل دائمًا. فهو يسلط الضد على أن الاستدلال المتقارب وعالي الثقة هو مؤشر أفضل على الصحة من مجرد الطول.
النشر العملي: تسمح القدرة على فصل التوليد عن التقييم بإنشاء أنظمة هجينة حيث تولد النماذج المكلفة استدلالات معقدة، بينما تتحقق النماذج الأصغر والمحلية من النتيجة المنطقية، مما يحسن تكاليف الاستدلال.
القدرة على التعميم: الطريقة قابلة للتطبيق على أي نموذج لغوي كبير (LLM) أو نموذج استدلال كبير (LRM) دون الحاجة لضبط دقيق (fine-tuning)، مما يجعلها أداة متعددة الاستخدامات في عصر نماذج الاستدلال واسعة النطاق الحالي.

في الختام، يقدم PiCSAR نهجًا احتماليًا قويًا لاختيار سلسلة الاستدلال يستفيد من إشارات الثقة الجوهرية للنموذج، مما يثبت أن الاختيار الدقيق لمسارات الاستدلة عالية الجودة أكثر أهمية من مجرد زيادة ميزانية أخذ العينات.