🤖 AI

Toward Scalable Verifiable Reward: Proxy State-Based Evaluation for Multi-turn Tool-Calling LLM Agents

تقدم هذه الورقة "التقييم القائم على الحالة الوسيطة" (Proxy State-Based Evaluation)، وهو إطار محاكاة مدفوع بالنماذج اللغوية الكبيرة يتيح تقييماً قابلاً للتوسع وموثوقاً لوكلاء استدعاء الأدوات متعدد الخطوات عبر استنتاج حالات وسيطة مهيكلة من آثار التفاعل، مما يوفر بديلاً عملياً للأنظمة الخلفية الحتمية المكلفة مع دعم كل من ترتيب النماذج والتدريب في السياسة المتبعة (on-policy training).

المؤلفون الأصليون: Yun-Shiuan Chuang, Chaitanya Kulkarni, Alec Chiu, Avinash Thangali, Zijie Pan, Shivani Shekhar, Yirou Ge, Yixi Li, Uma Kona, Linsey Pang, Prakhar Mehrotra

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yun-Shiuan Chuang, Chaitanya Kulkarni, Alec Chiu, Avinash Thangali, Zijie Pan, Shivani Shekhar, Yirou Ge, Yixi Li, Uma Kona, Linsey Pang, Prakhar Mehrotra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم موظف جديد (الوكيل الذكي - AI Agent) كيفية التعامل مع طلبات العملاء المعقدة، مثل العثور على الحذاء المثالي أو إدارة حساب بنكي. للقيام بذلك، تحتاج إلى وسيلة لاختباره.

الطريقة القديمة: بناء محاكاة مثالية ومكلفة
تقليديًا، لكي تقوم الشركات باختبار هؤلاء الوكلاء الأذكياء، كانت تبني "عالمًا مثاليًا" للمحاكاة. فكر في الأمر كأنك تبني نموذجًا يعمل بكامل طاقته لبنك أو متجر، بمال حقيقي، ومخزون حقيقي، وقواعد صارمة.

المشكلة: بناء هذا "العالم المثالي" مكلف للغاية وبطيء للغاية. الأمر يشبه استئجار فريق من المهندسين لبناء مدينة وهمية فقط لاختبار سائق توصيل. إذا أردت تغيير الاختبار (على سبيل المثال: "ماذا لو لم يكن لدى العميل مال؟")، فسيتعين عليك إعادة كتابة الكود البرمجي للمدينة الوهمية بأكملها. تشير الورقة البحثية إلى أن أحد هذه الأنظمة تطلب ما يقرب من 100,000 سطر من الكود البرمجي وأكثر من عام من العمل لمجرد تشغيل المحرك.

الطريقة الجديدة: "الحالة البديلة" (السيناريو الذكي)
يقترح مؤلفو هذه الورقة طريقة أذكى وأسرع تسمى التقييم القائم على الحالة البديلة (Proxy State-Based Evaluation). بدلاً من بناء مدينة وهمية، يستخدمون فريقًا من "المخرجين" الأذكياء جدًا لإدارة مسرحية.

إليك كيف يعمل هذا التشبيه:

السيناريو (النص المسرحي):
بدلاً من قاعدة بيانات، يقومون بكتابة نص تفصيلي. هذا النص يقول:

من هو العميل؟ (مثلاً: سارة، التي تحب الأحذية البيضاء).
ما هو الهدف؟ (مثلاً: العثور على أحذية تستطيع تحمل تكلفتها).
كيف يجب أن تبدو النتيجة النهائية؟ (مثلاً: لدى سارة 300 دولار في حسابها، لكنها لم تشترِ أي شيء بعد).

الممثلون (محاكيات الذكاء الاصطناعي):

محاكي المستخدم: ذكاء اصطناعي يلعب دور العميل، ويتحدث مع الوكيل.
محاكيات الأدوات: ذكاء اصطناعي آخر يتظاهر بأنه البنك أو المتجر. هم لا يملكون حسابًا بنكيًا حقيقيًا؛ بل "يمثلون" فقط وكأن لديهم حسابًا بناءً على النص.
متتبع الحالة (حافظ الذاكرة): هذا هو الجزء الجديد والأهم. بينما تجري المحادثة، يراقب ذكاء اصطناعي خاص كل شيء ويقوم بتحديث "لوحة نتائج ذهنية" (الحالة البديلة). إنه يتتبع: هل طلب الوكيل المال؟ هل وافق "البنك"؟ ما هو الرصيد الآن؟ إنه يبني صورة للموقف خطوة بخطوة دون الحاجة إلى قاعدة بيانات حقيقية.

القاضي (المخرج):
في نهاية المحادثة، ينظر "قاضٍ" (ذكاء اصطناعي نهائي) إلى "لوحة النتائج الذهنية" وإلى نص المحادثة. ويسأل: "هل حقق الوكيل الهدف المحدد في السيناريو؟"

إذا وجد الوكيل الأحذية وقام بتحديث الرصيد بشكل صحيح في "لوحة النتائج الذهنية"، فإنه ينجح.
إذا قام الوكيل بتأليف معلومات (هلوسة) أو نسي التحقق من الرصيد، فإنه يفشل.

لماذا هذه الطريقة أفضل؟

السرعة والمرونة: لا تحتاج لبناء بنك وهمي. أنت فقط تكتب سيناريو جديدًا. إذا أردت اختبار سيناريو مختلف، فأنت تغير النص وليس الكود البرمجي.
الموثوقية: اختبر المؤلفون هذا النظام من خلال جعل خبراء بشريين يراجعون تقييم الذكاء الاصطناعي. وقد اتفق الخبراء مع قضاة الذكاء الاصطناعي في أكثر من 90% من الحالات.
التدريب: نظرًا لأن هذا النظام سريع، يمكنه توليد آلاف المحادثات التدريبية. يمكن للوكيل الذكي أن يتعلم من هذه الجولات التدريبية (سواء عندما يشارك في اللعب أو عندما يشاهد وكيلًا أفضل منه يلعب)، مما يجعله أكثر ذكاءً بسرعة أكبر.

النتائج
اختبرت الورقة البحثية هذا النظام مع نماذج ذكاء اصطناٍ مختلفة. ووجدوا أن:

النماذج الأكثر ذكاءً (أو النماذج التي تفكر لفترة أطول قبل الإجابة) حصلت على درجات أعلى.
تدريب الذكاء الاصطناعي باستخدام هذا النظام جعله أفضل بشكل ملحوظ في حل المشكلات، حتى في السيناريوهات التي لم يسبق له رؤيتها.
كان النظام جيدًا جدًا في رصد الحالات التي يكذب فيها الذكاء الاصطناعي أو يرتكب فيها أخطاء، مع وجود شبه انعدام للأخطاء "الزائفة" الناتجة عن عملية المحاكاة نفسها.

باخت مختصر
تقدم هذه الورقة طريقة لاختبار وتدريب الوكلاء الأذكياء من خلال "مسرحية مكتوبة" تضم ممثلين من الذكاء الاصطناعي وذكاءً اصطناعيًا حافظًا للذاكرة، بدلاً من بناء محاكاة واقعية ضخمة ومكلفة. إنها أسرع، وأرخص، وبنفس القدر من الدقة، مما يسمح للشركات بتطوير وتحسين وكلائها الأذكياء بسرعة أكبر بكثير.

ملخص تقني: التقييم القائم على الحالة الوكيلية (Proxy State) لعملاء النماذج اللغوية الكبيرة (LLM) متعددي الخطوات لاستدعاء الأدوات

بيان المشكلة

تُستخدم عملاء النماذج اللغوية الكبيرة (LLM) التفاعلية بشكل متزايد في سير العمل الصناعي (مثل التجارة، وإدارة الحسابات) لحل مهام استدعاء الأدوات متعددة الخطوات ومتعددة الجولات. يتطلب التطوير الفعال مكونين: (1) تقييم مستقر يعكس بدقة ما إذا كان العميل قد حقق أهداف المستخدم، و(2) توليد بيانات تعتمد على السياسة المتبعة (on-policy) لتمكين التعلم من التفاعل والتغذية الراجعة من البيئة.

تستخدم معايونات الوكلاء الحالية (مثل $\tau$ -bench، $\tau^2$ -bench، AppWorld) نموذج "المعيار كبيئة" (benchmark-as-environment) الذي يعتمد على التقييم القائم على الحالة النهائية. وبينما ينجح هذا النهج في تسجيل حالات قواعد البيانات النهائية بدلاً من مطابقة المسارات الجامدة، إلا أنه يعتمد على أنظمة خلفية حتمية بالكامل. إن بناء وتطوير هذه المحركات الحتمية يتطلب جهداً هندسياً كبيراً (مثل تصميم المخططات، الأدوات الحتمية، والتحقق من الصحة)، حيث تتطلب بعض المعايونات عشرات الآلاف من أسطر الكود واختبارات وحدة مكثفة. هذا العبء الهندسي يبطئ عملية التكرار ويحد من القدرة على التوسع في التطبيقات الصناعية.

السؤال المركزي الذي تعالجه الورقة هو: هل يمكننا الاحتفاظ بفوائد التقييم القائم على الحالة النهائية دون بناء نظام خلفي حتمي ضخم؟

المنهجية: التقييم القائم على الحالة الوكيلية (Proxy State-Based Evaluation)

يقترح المؤلفون التقييم القائم على الحالة الوكيلية، وهو إطار عمل محاكاة مدفوع بالنماذج اللغوية الكبيرة يستبدل قاعدة البيانات الحتمية بـ "حالة وكيلية" مستنتجة من النموذج اللغوي. يعمل النظام كـ "معيار كبيئة" يتكون من خمسة مكونات تعاونية من النماذج اللغية الكبيرة:

توصيف السيناريو ( $z$ ): كائن مهيكل يحدد هدف المستخدم، وحقائق المستخدم، وحقائق النظام (الحالة الأولية)، والحالة الوكيلية النهائية المتوقعة، وسلوك العميل المتوقع. هذا يحل محل الحاجة إلى مسار حقيقي (ground-truth trajectory).
عميل الاستدلال (RA): النموذج قيد التقييم، والذي يتبع حلقة نمط (ReAct) (استنتاج $\leftarrow$ فعل $\leftarrow$ ملاحظة) للتفاعل مع البيئة عبر حوار متعدد الجولات واستدعاءات أدوات متعددة الخطوات.
محاكي المستخدم ( $f_{user}$ ): يولد عبارات المستخدم مشروطة بحقائق المستخدم، وأهدافه، وشخصية محددة (مثل: مستخدم خبير، مستخدم مرتبك، أو مستخدم غامض).
محاكيات الأدوات ( $f_{tool}$ ): تحاكي استجابات الأدوات (مثل إدارة الحسابات، التجارة) من خلال "القراءة من" و"الكتابة إلى" الحالة الوكيلية الحالية بناءً على الاستعلامات الفرعية لعميل الاستدلال وحقائق النظام.
متتبع الحالة ( $f_{state}$ ): مكون من نموذج لغوي كبير يستنتج الحالة الوكيلية المهيكلة ( $\tilde{s}_{t,k}$ ) من مسار التفاعل الكامل حتى الخطوة $(t,k)$ . وبخلاف تحديثات الحالة خطوة بخطوة، فإنه يعتمد على مقدمة المسار بالكامل لضمان المتانة ضد تراكم الأخطاء.
أحكام النماذج اللغية الكبيرة (LLM Judges):
- حكم إتمام الهدف: يقيم الحالة الوكيلية النهائية واستجابة العميل مقابل الحالة النهائية المتوقعة للسيناريو والسلوك المتوقع لتصنيف النتائج (تم إكمال الهدف، خطأ مستخدم، أو خطأ عميل).
- حكم كشف الهلوسة: يكشف ما إذا كان محاكي الأداة أو محاكي المستخدم قد ولّد معلومات غير متوافقة مع قيود السيناريو.

مقاييس التقييم: يقيس إطار العمل معدلات إتمام الهدف (GC)، ومعدلات خطأ المستخدم/العميل، ومعدلات الهلوسة (للأدوات والمستخدم). كما يدعم توليد البيانات القائمة على السياسة المتبعة (on-policy) (من أجل ضبط الاستدلال بالرفض - Rejection Sampling Fine-Tuning) والبيانات الخارجة عن السياسة (off-policy) (من أجل الضبط الدقيق الخاضع للإشراف - Supervised Fine-Tuning).

المساهمات الرئيسية

صياغة التقييم القائم على الحالة الوكيلية: تصيغ الورقة معياراً عملياً يحافظ على مبادئ التقييم القائم على الحالة دون الحاجة إلى نظام خلفي حتمي، وذلك باستخدام حالة وكيلية مستنتجة من نماذج لغوية كبيرة من مسارات التفاعل.
مخطط السيناريو وبنية المكونات: تقدم الورقة مخطط سيناريو محدداً وبنية مكونات خماسية (عميل الاستدلال، محاكي المستخدم، محاكيات الأدوات، متتبع الحالة، والحكم) التي تتعاون لمحاكاة سير العمل المعقد.
إطار المتانة: يحدد المؤلفون معايير المتانة بما في ذلك الأخطاء المعيارية المجمعة (bootstrapped standard errors)، ومعدلات الهلوسة، واتفاق الحكم البشري-الآلي. كما أجروا تجارب استبعاد (ablations) مستهدفة على حساسية الشخصية، واكتمال حقائق النظام/المستخدم، وقوة متتبع الحالة.
توليد البيانات القابل للتوسع: تولد البيئة عمليات تشغيل (rollouts) قابلة للتوسع، سواء كانت قائمة على السياسة المتبعة أو خارجة عنها، وهي مناسبة لمرحلة ما بعد التدريب (SFT/RFT) وتوفر مقاييس مستقرة لمقارنة النماذج.

النتائج

تم تقييم المعيار عبر عائلات نماذج متنوعة (GPT-5, GPT-4o, Gemini-2.5, Qwen3) وجهود استدلال مختلفة:

تمايز النماذج: تزداد معدلات إتمام الهدف (GC) باستمرار مع قوة النموذج وجهد الاستدلال أثناء وقت الاستنتاج. على سبيل المثال، ضمن عائلة GPT-5، يؤدي جهد الاستدلال الأعلى إلى مكاسب رتيبة في إتمام الهدف (عالي: 85.76% > أدنى: 66.04%).
فعالية التدريب: أدى تدريب نموذج Qwen3-30B-A3B الأساسي ضمن هذه البيئة إلى تحسين الأداء بشكل ملحوظ. حيث رفع الضبط الدقيق الخاضع للإشراف (SFT) باستخدام بيانات خارج السياسة من نموذج معلم أقوى، معدل إتمام الهدف من 65.64% إلى 77.34%. كما حقق "ضبط الاستدلال بالرفض" (RFT) تحسينات أيضاً.
المتانة تجاه التعقيد: بينما ينخفض الأداء مع زيادة عمق المحادثة للنماذج الأساسية، يوفر تدريب SFT مكاسب جوهرية في المحادثات الطويلة (+26.69 نقطة مئوية)، مما يشير إلى أن إشارة التدريب تتعمم على التفاعلات الأكثر صعوبة ومتعددة الخطوات.
الموثوقية والهلوسة:
- الاتفاق البشري-الآلي: تجاوز 90%، مما يؤكد صحة التقييم الآلي.
- هلوسات المحاكي: في الإعدادات الافتراضية (GPT-5o مع جهد استدلال متوسط)، كانت معدلات هلوسة الأدوات والمستخدم قريبة من الصفر (1.33% و 0.67% على التوالي).
- نتائج الاستبعاد (Ablation): أدى حذف حقائق النظام أو حقائق المستخدم من السيناريوهات إلى زيادة رتيبة في معدلات الهلوسة، مما يؤكد أن التوصيف الدقيق للسيناريو أمر بالغ الأهمية. كما أدت متتبعات الحالة الأضعف (مثل GPT-4o) إلى زيادة معدلات هلوسة الأدوات، مما يسلط الض stwierment الضوء على الحاجة إلى استنتاج دقيق للحالة.
المتانة عبر النماذج: ظلت ترتيبات النماذج ومكاسب التدريب ثابتة حتى عند تبديل نماذج المحاكاة والحكم (على سبيل المثال، استخدام Gemini-2.5-Pro بدلاً من GPT-5o)، مما ينفي وجود تحيز دائري ناتج عن إعداد يعتمد على عائلة نموذج واحدة.

الأهمية والادعاءات

تدعي الورقة أن التقييم القائم على الحالة الوكيلية يقدم بديلاً عملياً وقابلاً للتوسع للمعايونات الحتمية للوكلاء الصناعيين. ومن خلال فصل التقييم القائم على الحالة عن العبء الهندسي لبناء الأنظمة الخلفية الحتمية، يتيح الإطار:

سرعة التكرار: يمكن إعداد السيناريوهات بسرعة وتطويرها مع خرائط طريق المنتجات دون هندسة برمجية واسعة النطاق.
تقييم صارم: يحافظ على صرامة التحقق من الحالة النهائية مع دعم مرونة مسارات استدعاء الأدوات المتعددة والصحيحة.
تدريب فعال: يولد بيانات عالية الجودة (على السياسة وخارجها) تنجح في تحسين الوكلاء ذوي الأوزان المفتوحة عبر SFT و RFT، مع انتقال المكاسب إلى سيناريوهات غير مرئية.

يضع المؤلفون هذا العمل ليس كبديل لكل الاختبارات الحتمية، بل كتطور ضروري في البيئات الصناعية حيث تكون تكلفة الأنظمة الخلفية الحتمية باهظة، بينما تظل الحاجة إلى التقييم الموجه نحو الأهداف والقائم على الحالة أمراً بالغ الأهمية.