💬 NLP

Process Rewards with Learned Reliability

تقدم هذه الورقة البحثية BetaPRM، وهو نموذج مكافأة عمليات توزيعي يتنبأ بكل من احتمالات النجاح على مستوى الخطوة وموثوقيتها لتمكين تخصيص الحوسبة التكيفي، مما يحسن بشكل كبير مقايضة الدقة مقابل عدد الرموز (accuracy-token tradeoff) في استدلال "الأفضل من N" (Best-of-N) من خلال ضبط الحوسبة ديناميكيًا بناءً على ثقة التنبؤ.

المؤلفون الأصليون: Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

نُشر 2026-05-18

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقوم بتصحيح مقال رياضي طويل ومتعدد الخطوات لطالب. أنت تريد تقديم ملاحظات على كل خطوة، وليس فقط على الإجابة النهائية. هذا هو بالضبط ما تفعله نماذج مكافأة العمليات (Process Reward Models - PRMs) للذكاء الاصطنا artificial: فهي تعمل كمدرب خطوة بخطوة، تخبر الذكاء الاصطناعي: "عمل جيد في الخطوة 1"، أو "هذا يبدو خاطئاً في الخطوة 2".

ومع ذلك، تشير الورقة البحثية إلى خلل في كيفية عمل هؤلاء المدربين حالياً. فهم يعطون رقماً واحداً (مثل درجة 8/10) ويتصرفون وكأن هذا الرقم مؤكد بنسبة 100%. ولكن في الواقع، قد يكون المدرب يخمن. إذا سلك الذكاء الاصطناعي مساراً غريباً يبدو جيداً في الظاهر ولكنه قد يؤدي إلى طريق مسدود، فإن المدرب القديم لا يزال يعطيه درجة عالية، والذكاء الاصطناعي يثق به بشكل أعمى.

يقترح المؤلفون مدرباً جديداً يسمى BETAPRM؛ فهو لا يعطي درجة فحسب، بل يعطي درجة ومستوى ثقة معها.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: المدرب "المخمن"

تخيل أنك تحاول التنبؤ بما إذا كانت رمية العملة ستكون "صورة".

الطريقة القديمة (PRM القياسي): ترمي العملة 8 مرات، وتأتي على وجه "الصورة" 5 مرات. يقول المدرب القديم: "الاحتمالية هي بالضبط 62.5%". إنه يعامل هذه العينة الصغيرة كحقيقة كاملة وغير قابلة للتغيير.
المشكلة: إذا رميت العملة 8 مرات أخرى، فقد تحصل على 4 صور أو 6 صور. المدرب القديم لا يعرف هذا. إنه يعامل الـ "62.5%" كحقيقة صلبة، رغم أنها مبنية على عينة صغيرة مليئة بالضجيج. هذا يجعل الذكأ الاصطناعي مفرط الثقة في المواقف غير المؤكدة.

2. الحل: المدرب "الصادق" (BETAPREM)

يغير BETAPREM قواعد اللعبة. فبدلاً من إعطاء رقم واحد، فإنه يعطي نطاقاً من الاحتمالات ويخبرك بمدى تأكده من هذا النطاق.

التشبيه: تخيل أن المدرب يمسك بشريط مطاطي.
- مركز الشريط: هو الدرجة المتوقعة (مثلاً: "هذه الخطوة من المرجح أن تكون صحيحة بنسبة 70%").
- ضيق الشريط: هو الموثوقية.
  - الشريط الضيق (ثقة عالية): المدرب متأكد جداً. الشريط المطاطي مشدود بقوة حول علامة الـ 70%. إذا رميت العملة مرة أخرى، فمن المرجح أن تظل قريبة من الـ 70%.
  - الشريط الواسع (ثقة منخفضة): المدرب غير متأكد. الشريط المطاطي ممدد بشكل واسع، ليغطي كل شيء من 40% إلى 90%. المدرب يقول: "أعتقد أنها 70%، لكن قد أكون مخطئاً تماماً".

من خلال تعلم هذا "الضيق" (الذي تسميه الورقة التركيز)، يتعلم النموذج أن يقول: "أنا واثق من هذه الخطوة"، أو "أنا فقط أخمن هنا، لذا لا تثق بي كثيراً".

3. كيف يتعلم: تدريب "مونت كارلو"

كيف يتعلم المدرب ليكون صادقاً؟

تستخدم الورقة طريقة تسمى استمرارات مونت كارلو (Monte Carlo continuations). تخيل أن الذكاء الاصطناعي يحاول حل مشكلة، ثم يتوقف عند الخطوة 3، وبعد ذلك يحاول إنهاء المشكلة 16 مرة مختلفة من تلك النقطة تحديداً.
بعض هذه المحاولات الـ 16 تنجح، وبعضها يفشل.
المدرب القديم: ينظر إلى المحاولات الـ 16، ويعد النجاحات (مثلاً 10)، ويحفظ "10/16 = 0.625" كحقيقة مطلقة.
BETAPREM: ينظر إلى المحاولات الـ 16 ويفكر: "حسناً، رأيت 10 نجاحات. هذه علامة جيدة، ولكن بما أنني رأيت 16 محاولة فقط، فهناك الكثير من العشوائية. يجب أن أبقي شريطي المطاطي واسعاً لأخذ هذا الضجيج في الاعتبار".

إنه يستخدم أداة رياضية تسمى توزيع بيتا-بينوميال (Beta-Binomial) لتعلم هذا التوازن بين الدرجة وعدم اليقين.

4. القوة الخارقة: تخصيص الحوسبة التكيفي (ACA)

تقدم الورقة طريقة جديدة لاستخدام هذا "المدرب الصادق" تسمى تخصيص الحوسبة التكيفي (Adaptive Computation Allocation - ACA).

فكر في هذا الأمر كأنه ميزانية لرحلة بالسيارة. لديك كمية محددة من الوقود (أو المال) للعثور على أفضل طريق.

الطريقة القديمة (ميزانية ثابتة): ترسل 16 سيارة مختلفة للبحث عن أفضل طريق، مهما كان الأمر. حتى لو كانت السيارة رقم 1 هي الفائزة بوضوح بعد الميل الأول، فإنك لا تزال ترسل السيارات الـ 15 الأخرى لمجرد الأمان. هذا يهدر الوقود.
الطريقة الجديدة (ACA):
1. ترسل مجموعة صغيرة من السيارات (مثلاً 4).
2. تتحقق من "المدرب الصادق" (BETAPREM).
3. السيناريو أ (ثقة عالية): المدرب يقول: "السيارة رقم 1 هي الفائزة، وأنا متأكد جداً (شريط ضيق) من أنه لا توجد سيارة أخرى يمكنها هزيمتها".
  - الإجراء: توقف فوراً! وفر الوقود. لست بحاجة لإرسال السيارات الـ 12 الأخرى.
4. السيناريو ب (ثقة منخفضة): المدرب يقول: "السيارة رقم 1 تبدو جيدة، لكن شريطي المطاطي واسع. لست متأكداً مما إذا كانت السيارة رقم 2 أو 3 قد تكون أفضل بالفعل".
  - الإجراء: لا تتوقف. أرسل المزيد من السيارات لاستكشاف المسارات غير المؤكدة.

النتائج

اختبرت الورقة هذا على أربعة نماذج ذكاء اصطناعي وأربعة معايير رياضية.

اختيار أفضل: من خلال الثقة في درجات "الشريط المطاطي الضيق" أكثر، اختار الذكاء الاصطناعي الإجابات الصحيحة في كثير من الأحيان مقارنة بالطريقة القديمة.
توفير الوقود: وفرت الطريقة الجديدة (ACA) ما يصل إلى 33.57% من قدرة الكمبيوتر (الرموز/Tokens) اللازمة لحل المشكلات. لقد توقفت عن إضاعة الوقت في المشكلات التي كانت إجابتها واضحة بالفعل، وركزت وقتها فقط عندما كانت غير متأكدة حقاً.

الملخص

BETAPREM هو مدرب أذكى لا يعطيك درجة فحسب، بل يخبرك بمدى الثقة في تلك الدرجة. ومن خلال معرفة متى يخمن، يمكن للذكاء الاصطناعي التوقف عن إهدار الطاقة في المشكلات السهلة وتركيز قدراته الذهنية فقط على المشكلات الصعبة وغير المؤكدة.

ملخص تقني: مكافآت العمليات مع الموثوقية المتعلمة (BETAPRM)

1. بيان المشكلة

توفر نماذج مكافأة العمليات (PRMs) تغذية راجعة على مستوى الخطوة لمهام الاستنتاج، مما يوجه عملية اختيار المرشحين وتحسين السياسات. ومع ذلك، فإن نماذج PRM الحالية تقدم عادةً تقديرًا نقطيًا واحدًا (مثل قيمة عددية للاحتمالية) لكل خطوة استنتاج. توفر هذه الواجهة قيودين حرجين:

الافتقار إلى تقدير عدم اليقين: لا يمكن لقيمة عددية واحدة أن تميز بين التنبؤ الواثق والتنبؤ غير الواثق. وتضطر الطرق اللاحقة للتعامل مع تنبؤات الخطوات غير المثالية كإشارات قرار موثوقة، حتى عندما تكون ثقة النموذج منخفضة.
الإشراف ذو العينات المحدودة المشوش: غالبًا ما يعتمد تدريب PRM القياسي على استمراريات مونت كارلو (Monte Carlo continuations) لتوليد الإشراف. إذا تم أخذ عينات عددها $N$ من استمرارية من بادئة معينة وكان عدد النجاحات $K$ ، فإن النسبة التجريبية $\hat{q} = K/N$ تُعامل كهدف نقطي للانحدار. ومع ذلك، فإن $\hat{q}$ ليس سوى تقدير مشوش للاحتمال الحقيقي لنجاح البادئة. قد تؤدي عمليات أخذ العينات المتكررة من نفس البادئة إلى قيم $K$ مختلفة بسبب العشوائية، ومع ذلك فإن التدريب القياسي يجبر النموذج على ملاءمة هذه النسبة المشوشة المحددة بدلاً من التوزيع الأساسي للنتائج المحتملة.

وبناءً على ذلك، لا تستطيع التطبيقات اللاحقة التمييز بين الخطوات ذات المكافأة العالية التي تعد صحيحة بشكل موثوق، وتلك ذات المكافأة العالية ولكن غير المؤكدة، مما يؤدي إلى تحسين دون المستوى في تخصيص الحوسبة وتوسيع النطاق في وقت الاختبار.

2. المنهجية: BETAPRM

يقترح المؤلفون BETAPRM، وهو نموذج مكافأة عمليات توزيعي يتنبأ بكل من احتمال نجاح الخطوة وموثوقية ذلك التنبؤ.

2.1 نموذج العدّ بيتا-ثنائي الحدين (Beta-Binomial Count Model)

بدلاً من الانحدار إلى هدف نقطي $\hat{q} = K/N$ ، يقوم BETAPRM بنمذجة احتمال نجاح البادئة $q_t$ كمتغير كامن يتبع توزيع بيتا (Beta distribution):
$q_t \sim \text{Beta}(\alpha_t, \beta_t)$
ويتم نمذجة عدد الاستمراريات الناجحة الملحوظة $K_t$ من أصل $N$ من التجارب كسحب ثنائي الحدين (Binomial draw) مشروط بـ $q_t$ :
$K_t | q_t \sim \text{Binomial}(N, q_t)$
من خلال تهميش المتغير الكامن $q_t$ ، يتعلم النموذج توزيع بيتا-ثنائي الحدين (Beta-Binomial distribution) على الأعداد الملحوظة. وهذا يسمح للنموذج بتعيين احتمالية للعدد الملحوظ $K_t$ بدلاً من الإجبار على الملاءمة مع النسبة $K_t/N$ .

2.2 المعلمات (Parameterization)

يتم إعادة تمثيل توزيع بيتا بواسطة متوسطه $\mu_t$ وتركيزه $\kappa_t$ :

المتوسط ( $\mu_t$ ): يمثل احتمال النجاح المتوقع، ويعمل كدرجة PRM عددية قياسية.
التركيز ( $\kappa_t$ ): يتحكم في حدة الاعتقاد. يشير $\kappa_t$ المرتفع إلى اعتقاد مركز (موثوق)، بينما يشير $\kappa_t$ المنخفض إلى اعتقاد مسطح (غير مؤكد) يمكنه تفسير نطاق أوسع من ملاحظات مونت كارلو.

تستخدم بنية النموذج هيكل نموذج لغوي قياسي. يتم اشتقاق $\mu_t$ من احتمال softmax لرمز المكافأة "نعم" (Yes)، ويتم التنبؤ بـ $\kappa_t$ عبر رأس خطي خفيف الوزن منفصل يُطبق على الحالة المخفية عند علامة العملية، مما يضمن تميز قنوات المكافحة والموثوقية.

2.3 هدف التدريب

يتكون فقدان التدريب من مكونين:

احتمالية بيتا-ثنائي الحدين ( $L_{\text{Beta-Binomial}}$ ): تعظيم احتمالية العدد الملحوظ $K_t$ بناءً على معاملات بيتا المتوقعة. هذا يشجع النموذج على تفسير توزيع بيانات مونت كارلو الملحوظة.
التنظيم المساعد ( $L_{\text{reg}}$ ): لمنع معلمة التركيز من أن تصبح غير معايرة، يقوم فقدان مساعد بمعاقبة التركيز العالي ( $\kappa_t$ ) عندما يختلف المتوسط المتوقع $\mu_t$ مع النسبة الملحوظة $K_t/N$ . ومن المهم تطبيق عملية إيقاف التدرج (stop-gradient) على $\mu_t$ في هذا المصطلح لضمان أن المنظم يعاير $\kappa_t$ دون سحب متوسط المكافأة نحو النسبة المشوشة.

$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$

3. التطبيق: تخصيص الحوسبة التكيفي (ACA)

بالاستفادة من إشارة الموثوقية المتعلمة، يقدم المؤلفون تخصيص الحوسبة التتكيُفي (Adaptive Computation Allocation - ACA) لعملية Best-of-N المدعومة بـ PRM. وعلى عكس نظام Best-of-N ذي الميزانية الثابتة، الذي يأخذ عينات من عدد ثابت من المرشحين بغض النظر عن الصعوبة، يقوم ACA بتخصيص الحوسبة ديناميكيًا:

التقييم المعدل حسب المخاطر: يتم تقييم المرشحين باستخدام مقياس معدل حسب المخاطر $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$ ، حيث $\sigma_t$ هو الانحراف المعياري المستمد من توزيع بيتا. هذا يعاقب المرشحين ذوي عدم اليقين العالي.
الإيقاف المبكر: يقوم ACA بأخذ عينات من المرشحين في دفعات تدريجية. ويتوقف مبكرًا إذا تجاوز الحد الأدنى للثقة (LCB) للمرشح الأفضل الحالي الحد الأعلى للثقة (UCB) لجميع المنافسين، مما يشير إلى أن الفائز متقدم بشكل موثوق.
إصلاح موجه بعدم اليقين: إذا لم يتحقق معيار الإيقاف، يخصص ACA دفعة الحوسبة التالية لإصلاح أكثر البادئات غير المؤكدة واعدة (التي ليست فائزة ولكن لديها أعلى UCB)، بدلاً من توليد مرشحين جدد تمامًا من البداية.

4. النتائج التجريبية

قيم المؤلفون BETAPRM عبر أربعة نماذج أساسية (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) وأربعة اختبارات استنتاج (MathVision, OlympiadBench, MathVerse, MathVista).

اختيار Best-of-N: حقق BETAPRM تحسنًا في دقة الإجابة النهائية مقارنة بنماذج PRM القياسية عبر جميع النماذج الأساسية. على سبيل المثال، في نموذج InternVL2.5-8B، حقق BETAPRM متوسط زيادة قدرها +3.37 نقطة عن PRM القياسي.
كشف الخطأ: حافظ BETAPRM على قدرات كشف الخطأ على مستوى الخطوة القياسية، محققًا درجات micro-F1 مماثلة أو أفضل قليلاً في VisualProcessBench مقارنة بنماذج PRM القياسية.
المقايضة بين الدقة والرموز (Accuracy-Token Tradeoff): في إعداد ACA (بميزانية قصوى ثابتة $N=16$ $N = 16$ )، حسن BETAPRM كفاءة الاستنتاج بشكل كبير.
- قلل من استخدام الرموز (tokens) بنسبة تصل إلى 33.57% (في MathVerse باستخدام InternVL2.5-8B) مع تحسين دقة الإجابة النهائية في الوقت نفسه مقارنة بـ Best-of-16 ثابت الميزانية.
- أكدت دراسات الاستئصال (Ablation studies) أن إشارة عدم اليقين المتعلمة من BETAPRM كانت متفوقة على استخدام PRM قياسي مع عدم يقين تقريبي أو تخصيص قائم على المكافأة فقط، حيث فشلت الأخيرة في تحديد البادئات التي تتطلب حوسبة إضافية رغم درجاتها العالية.

5. الأهمية والادعاءات

يدعي البحث أن BETAPRM يعالج عدم تطابق جوهري في واجهات PRM الحالية: وهي عدم القدرة على التمييز بين التنبؤات الموثوقة وغير الموثوقة. من خلال نمذجة احتمال نجاح البادئة كتوزيع بدلاً من تقدير نقطي، يقوم BETAPRM بـ:

تمكين اتخاذ القرار الموثوق: يمكن للخوارزميات اللاحقة الآن التمييز بين المكافآت الواثقة وغير الواثقة، مما يمنع الدرجات غير الموثوقة من التحكم في القرارات.
تحسين كفاءة وقت الاختبار: تسمح إشارة الموثوقية المتعلمة بتخصيص الحوسبة التكيفي، مما يقلل تكاليف الاستنتاج (الرموز) دون التضحية بالدقة، بل وتحسينها في كثير من الأحيان.
تحسين الاستفادة من الإشراف: يستخدم هدف بيتا-ثنائي الحدين (Beta-Binomial) طبيعة العينات المحدودة لمونت كارلو بفعالية، حيث يعامل العدد $K$ كملحوظة عشوائية وليس كعلامة حتمية.

يخلص المؤلفون إلى أن تحويل مكافآت العمليات من قيم عددية إلى إشارات مدركة للموثوقية يعد خطوة حاسمة لتوسيع نطاق الحوسبة في وقت الاختبار وتحسين قوة أنظمة الاستنتاج.