💬 NLP

PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning

تقدم الورقة البحثية PORTool، وهو خوارزمية لتحسين السياسات القائمة على الأهمية تستفيد من أشجار التدحرج (rollout trees) ذات المكافآت لتعيين مكافآت على مستوى الخطوة بناءً على الصحة وصحة التنفيذ، مما يؤدي إلى حل غموض تحديد المسؤولية (credit-assignment ambiguity) وتحسين كل من دقة وكفاءة وكلاء الاستدلال المتكاملين مع أدوات متعددة.

المؤلفون الأصليون: Feijie Wu, Weiwu Zhu, Yuxiang Zhang, Soumya Chatterjee, Jiarong Zhu, Fan Mo, Rong Luo, Jing Gao

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Feijie Wu, Weiwu Zhu, Yuxiang Zhang, Soumya Chatterjee, Jiarong Zhu, Fan Mo, Rong Luo, Jing Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم مساعداً ذكياً جداً ولكنه يفتقر للخبرة، كيف يستخدم مجموعة من الأدوات (مثل تطبيق الطقس، أو الخريطة، أو الآلة الحاسبة، أو موجز الأخبار) لحل مشكلات معقدة. الهدف هو جعل المساعد يكتشف التسلسل الصحيح من الإجراءات للوصول إلى الإجابة الصحيحة.

تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى PORTool لجعل هذا المساعد أفضل بكثير في استخدام هذه الأدوات. وإليك كيف تعمل، مشروحة ببساية:

المشكلة: "الصندوق الأسود" للمكافآت

في الماضي، عندما كان الباحثون يدربون هذه المساعدين، كانوا يستخدمون طريقة تشبه تقييم طالب في امتحانه النهائي.

الطريقة القديمة: يحاول المساعد حل مشكلة ما. إذا حصل على الإجابة النهائية الصحيحة، يحصل على نجمة ذهبية (+1). وإذا أخطأ، يحصل على علامة (X) حمراء (-1).
العيب: هذا يشبه إخبار الطالب: "لقد حصلت على درجة امتياز في الامتحان النهائي"، ولكن دون إخباره أي من خطوات خطته الدراسية ساعدته على النجاح، أو أي منها تسبب في فشله.
النتيجة: قد يصيب المساعد في الإجابة بالصدفة، أو قد يرتكب خطأً فادحاً في البداية لكنه يتوصل إلى الإجابة الصحيحة لاحقاً عن طريق المصادفة. ولأن التدريب ينظر فقط إلى النتيجة النهائية، فإن المساعد لا يتعلم لماذا نجح أو فشل. بل قد ينسى حتى الخطوات الصحيحة التي اتخذها لأن "المكافأة" كانت موزعة بشكل ضعيف جداً.

الحل: PORTool (مدرب "المسارات المتفرعة")

تغير PORTool قواعد اللعبة في التدريب من خلال النظر إلى الرحلة، وليس فقط إلى الوجهة. وهي تستخدم حيلة ذكية تسمى الشجرة ذات المكافآت (Rewarded Tree).

1. تشبيه "اختر مغامرتك الخاصة"
تخيل أنك تدرب المساعد عبر إرساله في مسارات متعددة في نفس الوقت، بدءاً من نفس النقطة تماماً.

الإعداد: تعطي المساعد سؤالاً (مثلاً: "ما هي حالة الطقاء عند الساعة 7؟").
التفرع: بدلاً من ترك المساعد يتخبط بمفرده، تجبره على تجربة خيارات أدوات مختلفة في لحظات رئيسية.
- المسار أ: يخمن "الساعة 7 صباحاً" ويستدعي أداة الطقس.
- المسار ب: يخمن "السالس 7 مساءً" ويستدعي أداة الطقس.
- المسار ج: يدرك أنه لا يعرف الوقت، فيقرر استدعاء أداة "الوقت الحالي" أولاً.
المقارنة: بما أن كل هذه المسارات بدأت بنفس السؤال وبنفس السجل التاريخي، يمكنك مقارنتها مباشرة. يمكنك أن ترى أن المسار (ج) (الذي تحقق من الوقت أولاً) أدى إلى الإجابة الصحيحة، بينما أدت المسارات (أ) و(ب) إلى أخطاء.

2. إعطاء الفضل لمن يستحق
بمجرد تشغيل المسارات، تنظر PORTool إلى النتائج:

ترى أن المسار الذي تحقق فيه المساعد من الوقت أولاً (المسار ج) كان هو الفائز.
تعطي مكافأة عالية تحديداً لخطوة "التحقق من الوقت" هذه.
تعطي مكافأة منخفضة للخطوات التي خمن فيها المساعد الوقت بشكل خاطئ.
والأهم من ذلك، أنها تتجاهل "النهايات المسدودة" (التخمينات الخاطئة) وتركز على تعليم المساعد أن هذا القرار المحدد كان هو مفتاح النجاح.

3. "شبكة الأمان" للأخطاء
تشير الورقة أيضاً إلى أنه في بعض الأحيان تفشل الأدوات (مثل تطبيق طقس يعيد رسالة خطأ). PORTool ذكية بما يكفي لتعرف أنه إذا تم استدعاء الأداة بصيغة صحيحة ولكن الأداة نفسها معطلة، فلا ينبغي معاقبة المساعد بشدة. فهي تفصل بين "هل تحدثت بلغة الأداة بشكل صحيح؟" وبين "هل حصلت على الإجابة الصحيحة؟".

لماذا هذا الأمر مهم؟

اختبر المؤلفون PORTool على أسئلة واقعية تتعلق بالطقس والرياضة والسفر.

دقة أعلى: المساعدون الذين تدربوا باستخدام PORTool حصلوا على الإجابات الصحيحة في كثير من الأحيان أكثر من أولئك الذين تدربوا بالطرق القديمة.
أخطاء أقل: ارتكبوا عدداً أقل من استدعاءات الأدوات غير الضرورية. فبدلاً من التخمين العشوائي، تعلموا التوقف، والتحقق من السياق (مثل الوقت الحالي)، ثم التصرف.
القدرة على الصمود: عندما يكون الواقع فوضوياً (على سبيل المثال، أداة تعيد خطأً أو سؤالاً غامضاً)، تكون المساعدات المدربة بـ PORTool أفضل في التعافي وإيجاد المسار الصحيح، بينما غالباً ما تستسلم الطرق القديمة أو تتعثر.

باختصار

فكر في PORTool كمدرب لا يكتفي بقول "لعبة جيدة" أو "لعبة سيئة" في نهاية المباراة. بدلاً من ذلك، يشاهد المدرب المباراة، ويوقف الشريط عند كل نقطة قرار حرجة، ويقول: "لقد اتخذت القرار الصحيح هنا لأنه أدى إلى هدف"، ويقول: "لقد اتخذت قراراً سيئاً هنا لأنه أدى إلى عقوبة". ومن خلال تفكيك اللعبة إلى هذه اللحظات المحددة والقابلة للمقارنة، يتعلم اللاعب بشكل أسرع ويلعب بذكاء أكبر.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PORTool: تحسين السياسة القائم على الوعي بالأهمية باستخدام الشجرة ذات المكافأة لعمليات الاستدلال المتكاملة مع تعدد الأدوات."

١. بيان المشكلة

تعالج الورقة التحدي المتمثل في تدريب وكلاء النماذج اللغوية الكبيرة (LLMs) للقيام بـ الاستدلال المتكامل مع تعدد الأدوات (التداخل بين الاستدلال باللغة الطبيعية واستدعاءات الأدوات الخارجية). وبينما أظهر التعلم المعزز (RL) إمكانات واعدة، تعاني الطرق الحالية من غموض تخصيص الائتمان (Credit-assignment ambiguity) عند الاعتماد فقط على المكافآت القائمة على النتائج (أي ما إذا كانت الإجابة النهائية صحيحة أم لا).

محدودية الإشراف على الخطوات (Step-Supervised Limitations): تخصص طرق مثل ToolRL مكافآت عند كل خطوة بناءً على إجراءات وسيطة ذات حقيقة أرضية (ground-truth). هذا يفرض روتينًا صارمًا ومعياريًا، ويثبط الاستكشاف، ويفشل في البيئات غير المستقرة حيث تختلف مخرجات الأدوات (مثل بيانات الطقب في الوقت الفعلي).
محدودية الإشراف على المسار (Trajectory-Supervised Limitations): تقوم طرق مثل GRPO أو ARPO بتحسين المسار بناءً على النتيجة النهائية للمسار. ومع ذلك، فإنها تبث نفس مكافأة مستوى المسار إلى جميع الخطوات. وهذا يخلق غموضًا: لا يمكن للنموذج التمييز بين أي قرار محدد لاستدعاء الأداة أدى إلى النجاح أو الفشل.
المشكلة الجوهرية: يثبت المؤلفون (النظرية ٣.١) أن تخصيص الائتمان الموحد يمكن أن يؤدي إلى "إلغاء التعلم العرضي" (collateral unlearning)، حيث يقلل النموذج من احتمالية توليد خطوة ضرورية لأن تلك الخطوة ظهرت في بعض المسارات الفاشلة (بسبب أخطاء أخرى حدثت لاحقًا في السلسلة).

٢. المنهجية: PORTool

يقترح المؤلفون PORTool (تحسين السياسة القائم على الوعي بالأهمية باستخدام الشجرة ذات المكافأة)، وهو إطار عمل يحول التغذية الراجعة المتفرقة للنتائج إلى إشارات أهمية دقيقة على مستوى الخطوة دون الحاجة إلى تسميات توضيحية كثيفة لكل خطوة.

أ. شجرة عمليات التدفق ذات المكافأة (Tree Rollouts)

بدلاً من أخذ عينات من $n$ من المسارات بشكل مستقل، ينظم PORTool عمليات التدفق في شجرة ذات تفرع محدود:

مشاركة البادئة (Prefix Sharing): تتشارك المسارات نفس البادئة الأولية (السياق التاريخي) وتتنوع فقط عند خطوات استدعاء أدوات محددة (نقاط التفرع).
المقارنات المتطابقة (Matched Comparisons): يسمح هذا الهيكل بالمقارنة المباشرة بين الإجراءات الشقيقة (استدعاءات أدوات مختلفة) تحت نفس السياق تمامًا، مما يعزل تأثير القرارات المحددة.

ب. تقدير الأهمية خطوة بخوة

يحسب PORTool مكافأة $R(s_{j,t})$ لكل خطوة عن طريق تجميع نتائج ذرائياتها في الشجرة:
$R(s_{j,t}) = G\left( \{ \gamma^{T_k-t} R_{out}(q, \tau_k) + R_{fm}(s_{j,t}) \}_{k \in m(s_{j,t})} \right)$

هيمنة النتيجة (Outcome Dominance): الإشارة الأساسية هي صحة الإجابة النهائية ( $R_{out} \in \{+1, 0, -1\}$ )، والتي تخضع لعامل اضمحلال $\gamma$ لتفضيل المسارات الأقصر.
الإشارة المساعدة (Auxiliary Signal): تُضاف مكافأة تنسيق/تنفيذ محدودة ( $R_{fm}$ ) لمعاقبة صيغ JSON غير الصالحة أو فشل استدعاء الأدوات، ولكن يتم قياسها لتكون أصغر بصرامة من مكافأة النتيجة لضمان بقاء الصحة هي الأولوية.
التجميع التكيفي ( $G$ ):
- إذا كانت الفروع الشقيقة لها نتائج أفضل حالات مختلفة، يستخدم $G$ عملية الحد الأقصى (max) لإبراز الفرع المتفوق.
- إذا تساوت الفروع الشقيقة في أفضل أداء، يستخدم $G$ عملية المتوسط (avg) لتفضيل الفرع ذي الموثوقية الأعلى (اتساق النجاح) بدلاً من مجرد مسار واحد محظوظ.

ج. تحسين الميزة المختلطة (Mixed Advantage Optimization)

يتم تحديث السياسة باستخدام ميزة على مستوى الرمز (token-level advantage) $A(s_{j,t,o})$ تجمع بين إشارتين:

الميزة النسبية للمسار ( $A_{trj}$ ): إشارة خشنة تقارن المسار بأكمله بالمسارات الأخرى التي تم أخذ عينات منها.
الميزة النسبية للتفرع ( $A_{fork}$ ): إشارة دقيقة تقارن خطوة محددة بنظيراتها الشقيقة عند نفس نقطة التفرع في الشجرة.

الميزة النهائية هي مجموع موزون:
$A(s_{j,t,o}) = \omega_1 \cdot \text{Avg}(A_{trj}) + \omega_2 \cdot A_{fork}$
استنتج المؤلفون مقياسًا مبدئيًا لـ $\omega_2$ (النظرية ٣.٢) لضمان توافق هدف مستوى التفرع رياضيًا مع هدف GRPO القياسي لكل رمز، مما يمنع تشوه التدرج.

٣. المساهمات الرئيسية

الرؤية النظرية: صياغة مشكلة "إلغاء التعلم العرضي" في التعلم المعزز الخاضع للإشراف على المسار، وإثبات أن المكافآت الموحدة يمكن أن تقمع الخطوات الضرورية.
تصميم الخوارزمية: تقديم PORTool، الذي يستخدم شجرة تدفق ذات بادئة مشتركة لتمكين المقارنات داخل السياق، ويستنتج إشارة أهمية خطوة بخطوة من التغذية الراجعة المتفرقة للنتائج.
إشارة تعلم قوية: اقتراح آلية تجميع تكيفية تميز بين النجاحات "المحظوظة" والاستراتيجيات "الموثوقة"، مما يضمن تعلم النموذج لسياسات استخدام أدوات قوية.
التحقق التجريبي: إثبات تفوق PORTool على أفضل النماذج المرجعية (GRPO, ARPO, AgentFlow, إلخ) في الدقة مع تقليل عدد استدعاءات الأدوات ومعدلات الفشل.

٤. النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات تضم ٣,٦٠٧ استعلام مستخدم من العالم الحقيقي عبر ٨ مجالات (الطقس، الرياضة، الجغرافيا، إلخ) باستخدام نماذج Qwen-2.5-7B و Qwen-3-1.7B كقواعد أساسية.

الدقة: حقق PORTool أعلى دقة (٥١.٩٨٪ على Qwen-2.5-7B)، متفوقًا على ثاني أفضل نموذج مرجعي (ARPO/AgentFlow ~٤٨٪) بفارق كبير.
الكفاءة: قلل من متوسط عدد خطوات استدعاء الأدوات (٣.٠٧ مقابل ~٣.٣ للمراجع)، مما يشير إلى اتخاذ قرارات أكثر كفاءة.
المتانة: خفض بشكل كبير معدل عدم القدرة على الإجابة (٧.١٠٪ مقابل >١١٪ للمراجع) وحسن درجات التنسيق/التنفيذ.
التعميم: أظهر PORTool أداءً قويًا في اختبارات خارج التوزيع (ToolBench و TravelPlanner)، محققًا أفضل أو أفضل النتائج الإجمالية، مما يثبت قدرته على التعميم خارج توزيع التدريب.
دراسات الاستئصال (Ablation Studies):
- عامل الاضمحلال ( $\gamma$ ): وفر $\gamma=0.95$ أفضل توازن بين الصحة والكفاءة.
- تدرج الميزة: كان التدرج المستنتج نظريًا لـ $\omega_2$ أمرًا حاسمًا؛ حيث أدى إزالته أو استخدام ميزات المسار/التفرع فقط إلى انخفاض في الأداء.
- التجميع ( $G$ ): تفوقت قاعدة (max/avg) التكيفية على استراتيجيات "الحد الأقصى دائمًا" أو "المتوسط دائمًا" الثابتة.

٥. الأهمية

يمثل PORTool تقدمًا كبيرًا في التعلم المعزز الوكيلي (Agentic RL) من خلال حل مشكلة تخصيص الائتمان الأساسية في استخدام الأدوات متعدد الخطوات.

الأثر العملي: يتيح للوكلاء (Agents) التعلم من تفاعلات الأدوات الديناميكية في العالم الحقيقي دون الحاجة إلى تسميات توضيحية بشرية مكلفة لكل خطوة.
الموثوقية: من خلال التمييز بين الخطوات الضرورية والأخطاء العرضية، فإنه يمنع النموذج من "إلغاء تعلم" السلوكيات الصحيحة، مما يؤدي إلى وكلاء أكثر قوة وموثوقية في بيئات الإنتاج.
الكفاءة: تشجع الطريقة النموذج على إيجاد المسار الأكثر مباشرة للحل، مما يقلل التكاليف الحسابية المرتبطة باستدعاءات الأدوات المفرطة.

باختًا، يسد PORTool الفجوة بين الإشراف على النتائج المتفرقة وتحسين السياسة دقيق التفاصيل، ويقدم إطار عمل قابل للتوسع وقوي لتدريب الوكلاء في بيئات متعددة الأدوات ومعقدة.