📊 statistics

E-valuator: Reliable Agent Verifiers with Sequential Hypothesis Testing

تقدم الورقة البحثية E-valuator، وهو إطار عمل خفيف الوزن ومستقل عن النموذج يحول درجات الموثق (verifier) ذات الصندوق الأسود إلى قواعد قرار صالحة إحصائياً باستخدام اختبار الفرضيات المتسلسلة وعمليات e (e-processes) لمراقبة مسارات الذكاء الاصطنا�ي الوكيل بشكل موثوق، والتحكم في معدلات الإنذار الكاذب، وتمكين الإنهاء المبكر للتسلسلات الفاشلة.

المؤلفون الأصليون: Shuvom Sadhuka, Drew Prinster, Clara Fannjiang, Gabriele Scalia, Bonnie Berger, Aviv Regev, Hanchen Wang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuvom Sadhuka, Drew Prinster, Clara Fannjiang, Gabriele Scalia, Bonnie Berger, Aviv Regev, Hanchen Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتوظيف فريق من الروبوتات المستقلة لحل الألغاز المعقدة، أو كتابة الأكواد البرمجية، أو حتى المساعدة في مستشفى. هذه الروبوتات (التي تُسمى "الوكلاء" أو Agents) لا تعطيك مجرد إجابة نهائية؛ بل تتخذ سلسلة من الخطوات، تماماً مثل المحقق الذي يجمع الأدلة. وفي بعض الأحيان، يسلك الروبوت مساراً خاطئاً في وقت مبكر. إذا تركته يستمر، فسيؤدي ذلك إلى إهدار الوقت، والمال، وقوة الحوسبة (الرموز/Tokens) قبل أن يفشل في النهاية.

المشكلة هي: كيف تعرف متى توقف الروبوت قبل أن يهدر الموارد؟

حالياً، لدينا "مُحقِّقون" (Verifiers) — وهم بمثابة قضاة ذكاء اصطناعي صغيرين ينظرون إلى خطوات الروبوت ويعطونه درجة (مثل التقييم المدرسي). لكن هذه الدرجات ليست سوى تخمينات؛ فقد يقولون: "هذا يبدو سيئاً"، لكنهم لا يستطيعون ضمان أنه سيفشل حتماً. إذا أوقفت الروبوت بناءً على تخمين سيء، فقد تتسبب بالخطأ في فصل روبوت كان سينجح بالفعل. وهذا ما يسمى بـ "الإنذار الخاطئ".

هنا يأتي دور e-valuator. فكر فيه كأنه حزام أمان إحصائي يحول تلك التخمينات المهتزة إلى قاعدة قرار صلبة وموثوقة.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: معضلة "الذئب الكاذب"

تخيل حارس أمن (المُحقِّق) يراقب روبوتاً أثناء عمله. يصرخ الحارس: "هذا يبدو مريباً!" بناءً على شعور داخلي.

إذا أوقفت الروبوت في كل مرة يصرخ فيها الحارس، فقد توقف روبوتاً كان يقوم بعمل رائع حقاً (إنذار خاطئ).
أما إذا لم توقف الروبوت أبداً، فستبدد الموارد على حالات الفشل.

تجادل الورقة البحثية بأن الطرق السابقة لم تكن قادرة على ضمان عدد المرات التي قد يخطئ فيها الحارس. أما e-valuator فيغير قواعد اللعبة من خلال الوعد بـ: "سأضمن أننا لن نوقف روبوتاً ناجحاً إلا بنسبة 5% فقط (أو أي حد آخر تحدده أنت)."

2. الحل: "اختبار فرضية" عبر خط زمني

بدلاً من مجرد النظر إلى درجة واحدة، يعامل e-valuator رحلة الروبوت كقصة تتكشف فصولها بمرور الوقت. فهو يطرح سؤالاً محدداً عند كل خطوة:

الفرضية (أ): هذا الروبوت يسير في "مسار نجاح".
الفرضية (ب): هذا الروبوت يسير في "مسار فشل".

هو لا ينظر فقط إلى الدرجة الحالية؛ بل ينظر إلى نمط الدرجات حتى الآن. ويستخدم خدعة رياضية ذكية تسمى اختبار الفرضية المتسلسل (Sequential Hypothesis Testing).

3. الأداة السحرية: "نسبة الكثافة" (عداد السرعة)

لتحديد المسار الذي يسلكه الروبوت، يبني e-valuator عداد سرعة خاصاً يسمى نسبة الك كثافة (Density Ratio).

تخيل أن لديك خريطتين: واحدة للرحلات الناجحة وأخرى للرحلات الفاشلة.
يقارن عداد السرعة مسار الروبوت الحالي بكلتا الخريطتين.
إذا بدا مسار الروبوت أكثر شبهاً بـ "خريطة الفشل"، فإن إبرة عداد السرعة ترتفع للأعلى.
إذا بدا مساره أكثر شبهاً بـ "خريطة النجاح"، فإن الإبرة تبقى منخفضة.

وتزعم الورقة أن عداد السرعة هذا هو أسرع طريقة ممكنة لاكتشاف الفشل. فهو يراكم الأدلة ضد الروبوت الفاشل بشكل أسرع من أي طريقة أخرى.

4. شبكة الأمان: "عتبة PAC"

هذا هو الجزء الصعب: مسار الروبوت عشوائي، ونحن لا نعرف بالضبط كم سيستغرق من الوقت. إذا وضعنا خطاً ثابتاً لإيقاف الروبوت، فقد نوقف الكثير من الروبوتات الجيدة.

يستخدم e-valuator طريقة تسمى عتبة PAC (الضبط الصحيح تقريباً - Probably Approximately Correct).

التشبيه: تخيل أنك تقوم بمعايرة كاميرا سرعة جديدة. تأخذ 100 صورة لسيارات تسير بشكل قانوني (روبوتات ناجحة). تنظر إلى أعلى سرعة تم تسجيلها بين تلك السيارات القانونية الـ 100.
ثم تضع خط "الإيقاف" الخاص بك فوق أعلى سرعة قانونية مسجلة بقليل.
الضمان: لأنك حسبت هذا الخط بناءً على بيانات حقيقية، يمكنك رياضياً أن تعد: "لن أصنف سائقاً قانونياً على أنه متجاوز للسرعة إلا في أكثر من 5% من الحالات."

هذا هو أكبر ادعاء للورقة البحثية: فهي توفر ضماناً رياضياً بأنك لن توقف روبوتاً جيداً عن طريق الخطأ.

5. النتائج: توفير المال والوقت

اختبر المؤلفون e-valuator على ست مجموعات بيانات مختلفة (مثل المسائل الرياضية والأسئلة الطبية) باستخدام ثلاثة أنواع مختلفة من الروبوتات.

تحكم أفضل: على عكس الطرق الأخرى التي كانت أحياناً توقف الروبوتات الجيدة بالخطأ (إنذارات خاطئة عالية)، التزم e-valuator بالقواعد في كل مرة.
اكتشاف أسرع: لأن "عداد السرعة" الخاص به فعال للغاية، فقد اكتشف الروبوتات الفاشلة في وقت أبكر من الطرق الأخرى.
توفير الرموز (Tokens): من خلال إيقاف الروبوتات الفاشلة في وقت مبكر، وفروا كمية هائلة من رموز الكمبيوتر (الوقود الذي يشغل نماذج الذكاء الاصطناعي هذه). في أحد الاختبارات، استعادوا 90% من الدقة الأصلية بينما استخدموا 80% فقط من الرموز.

الملخص

e-valuator هو غلاف برمجِي خفيف الوزن يوضع فوق أي قاضٍ ذكاء اصطناعي موجود. إنه يأخذ درجات القاضي المهتزة ويحولها إلى قاعدة صارمة ومضمونة رياضياً. إنه يضمن:

أنك نادراً ما توقف روبوتاً كان سيحقق النجاح.
أنك تلحق بالروبوتات الفاشلة بأسرع ما يمكن لتوفير المال.

إنه لا يجعل الروبوت أكثر ذكاءً؛ بل يجعل قرار إيقاف الروبوت موثوقاً وجديراً بالثقة.

ملخص تقني: e-valuator: مُحقِّقو وكلاء موثوقون باستخدام اختبار الفرضيات المتسلسل

بيان المشكلة

تنفذ أنظمة الذكاء الاصطنيكنة الوكيلية (Agentic AI) تسلسلات من الإجراءات (المسارات) لحل مطالبات المستخدم. وبينما توفر نماذج التحقق (مثل نماذج مكافأة العمليات أو نماذج الحكم اللغوية الكبيرة) درجات استدلالية لتقييم جودة هذه المسارات، إلا أنها تفتقر إلى الضمانات الإحصائية الصارمة. وتحديداً، فإن استخدام درجات التحقق لاتخاذ قرار بشأن وسم مسار ما بأنه غير ناجح لا يتحكم في معدل الإنذارات الكاذبة (FAR) — وهو احتمال رفض مسار ناجح عن طريق الخطأ. وهذا أمر بالغ الأهمية في المجالات عالية المخاطر (مثل المختبرات ذاتية التشغيل، أو تحرير الجينات) حيث يكون الرفض الخاطئ مكلفاً. علاوة على ذلك، تتطلب النهج الحالية غالباً ضبطاً دقيقاً مكلفاً لنماذج التحقق أو وصولاً إلى "الصندوق الأبيض" لأوزان النموذج، كما أنها تواجه صعوبة في اكتشاف الإخفاقات مبكراً في المسارات الطويلة ومتغيرة الطول دون تكبد تكاليف حوسبية باهظة.

المنهجية

يقدم المؤلفون e-valuator، وهو غلاف إحصائي خفيف الوزن يحول أي درجة تحقق "صندوق أسود" إلى قاعدة قرار ذات تحكم مثبت في معدل الإنذار الكاذب (FAR). تصيغ الطريقة هذه المشكلة كمسألة اختبار فرضيات متسلسل:

الفرضية الصفرية ( $H_N$ ): المسار ناجح ( $Y=1$ ).
الفرضية البديلة ( $H_A$ ): المسار غير ناجح ( $Y=0$ ).

تعمل الطريقة عبر ثلاث مراحل أساسية:

1. إطار اختبار الفرضيات المتسلسل

الهدف هو بناء تسلسل من الإحصائيات الاختبارية $(M_t)_{t=1}^T$ بناءً على درجات التحقق $S_{[1:t]}$ المرصودة حتى الخطوة $t$ . يتم رفض المسار (وسمه كغير ناجح) إذا تجاوز $M_t$ عتبة $c_\alpha$ عند أي نقطة $t$ . الهدف الرئيسي هو ضمان:
$\Pr_{H_N} [\exists t \in [T] : M_t > c_\alpha] \leq \alpha$
حيث $\alpha$ هو مستوى الخطأ الذي يحدده المستخدم.

2. الإحصائية الاختبارية المثلى لوغاريتمياً (نسب الكثافة)

لتعظيم قوة الاختبار (اكتشاف الإخفاقات بسرعة)، يبني المؤلفون $M_t$ كـ نسبة كثافة بين توزيع الدرجات للمسارات غير الناجحة ( $p_0$ ) والمسارات الناجحة ( $p_1$ ):
$M_t = \frac{p_0(S_{[1:t]})}{p_1(S_{[1:t]})}$
هذه العملية هي عملية-e (تحديداً "مارتينجال اختبار" تحت الفرضية $H_N$ ). يثبت المؤلفون أن عملية نسبة الكثافة هذه هي مثلى لوغاريتمياً، مما يعني أنها تراكم الأدلة ضد الفرضية الصفرية بشكل أسرع من أي عملية-e أخرى في التوقع. وبما أن $p_0$ و $p_1$ غير معلومين، يتعلم e-valuator تقديراً لـ $\hat{M}_t$ باستخدام مجموعة معايرة. ويتم تحقيق ذلك عبر تقدير نسبة الكثافة القائم على التصنيف، حيث يتنبأ مصنف $\hat{g}_t$ باحتمالية النجاح $P(Y=1|S_{[1:t]})$ , ويتم اشتقاق النسبة باستخدام قاعدة بايز.

3. عتبة PAC للتحكم في FAR

بسبب تقدير نسب الكثافة (مما يؤدي إلى حدوث خطأ محتمل) ولأن المسارات ذات أطوال عشوائية، فإن العتبات القياسية (مثل $1/\alpha$ ) قد لا تضمن التحكم في FAR. يقترح المؤلفون إجراء عتبة "التعلم التقريبي المحتمل" (PAC thresholding):

تُستخدم مجموعة معايرة من المسارات الناجحة لحساب الإحصائية القصوى $M^{(i)} = \max_t M_t$ لكل مسار.
يتم ضبط العتبة $c_\alpha$ لتكون حداً علوياً عالي الاحتمال لربيع $(1-\alpha)$ لهذه القيم القصوى، ويتم تحديده عبر حد ذيل ثنائي الحدين.
يضمن هذا أنه مع احتمال لا يقل عن $1-\delta$ ، يتم التحكم في معدل FAR التجريبي عند المستوى $\alpha$ ، حتى مع نسب الكثافة المقدرة.

المساهمات الرئيسية

التحكم المثبت في معدل الإنذار الكاذب: توفر الورقة إطاراً لتحويل أي نموذج تحقق "صندوق أسود" إلى قاعدة قرار ذات ضمانات صارمة على معدل الإنذار الكاذب، مما يعالج فجوة حرجة في نشر الوكلاء الموثوقين.
الاختبار المتسلسل الأمثل لوغاريتمياً: من خلال استخدام نسب الكثافة كعمليات-e، تحقق الطريقة أسرع تراكم ممكن للأدلة ضد المسارات غير الناجحة، مما يسمح بإنهاء المسارات الفاشلة في وقت مبكر.
عتبة PAC للعمليات المقدرة: طور المؤلفون إجراء عتبة يظل صالحاً حتى عندما يتم تعلم نسب الكثافة من البيانات، بدلاً من كونها معلومة تحليلياً.
تنفيذ خفيف الوزن: تتطلب الطريقة حوسبة دنيا (تعمل على حاسوب محمول قياسي) ولا تستلزم الضبط الدقيق للوكيل أو لنموذج التحقق، ولا تتطلب الوصول إلى "الصندوق الأبيض" لأوزان النموذج.

النتائج التجريبية

قيم المؤلفون e-valuator عبر ست مجموعات بيانات (GSM8k, MATH, AIME, HotpotQA, MedQA, MMLU-Pro) و ثلاثة وكلاء (Aviery, OctoTools, Claude Sonnet 4) باستخدام نماذج تحقق متنوعة.

التحكم في FAR: على عكس نماذج التحقق الخام، أو النماذج المعايرة، أو خطوط أساس Randomized Ville، حافظ e-valuator باستمرار على معدل الإنذار الكاذب التجريبي تحت العتبة المطلوبة $\alpha$ عبر جميع مجموعات البيانات. أما الطرق الأخرى فقد انتهكت قيود FAR بشكل متكرر.
القوة الإحصائية: من بين الطرق التي نجحت في التحكم في FAR، حقق e-valuator أعلى قوة (معدل اكتشاف المسارات غير الناجحة). على سبيل المثال، في مجموعة بيانات MATH عند $\alpha=0.4$ ، حقق e-valuator قوة قدرها 0.78 بينما تحكم في FAR عند 0.31، بينما حقق النموذج الخام قوة 0.84 ولكن مع تضخم في FAR ليصل إلى 0.60.
كفاءة الرموز (Tokens): من خلال اكتشاف الإخفاقات في وقت مبكر (طول تشغيل متوسط أقصر تحت $H_A$ )، قلل e-valuator من استخدام الرموز بشكل كبير. في مجموعة بيانات MATH، استعاد 86% من الدقة الأصلية باستخدام 84% فقط من الرموز، بينما تطلبت طرق الأساس أكثر من 98% من الرموز لتحقيق دقة مماثلة.

الأهمية والادعاءات

تدعي الورقة أن e-valuator يوفر إطاراً خفيف الوزن لسد الفجوة بين درجات التحقق الاستدلالية وقواعد القرار الموثوقة إحصائياً. وتكمن أهميته في تمكين نشر الوكلاء الموثوقين في البيئات عالية المخاطر حيث يجب التحكم بصرامة في الإنذارات الكاذبة. ويؤكد المؤلفون أن e-valuator يكمل التحسينات المستقبلية لنماذج التحقق؛ فكلما تحسنت جودة نموذج التحقق، ستؤدي قواعد قرار e-valuator طبيعياً إلى قوة أعلى مع الحفاظ على نفس الضمانات الصارمة لـ FAR. لا يدعي العمل حل مشكلة توليد المسارات الصحيحة، بل يوفر آلية قوية لمراقبة وإنهاء تلك المسارات عندما يُرجح فشلها.