🤖 machine learning

TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition

تقترح الورقة البحثية TIER، وهو إطار عمل للمكافأة يستفيد من مخططات الدوال والتنفيذ أثناء التشغيل لتوفير إشراف كثيف وغير مرتبط بمسار محدد لاستخدام الأدوات متعدد الخطوات، مما يمكّن النماذج اللغوية الكبيرة من تحقيق دقة عالية في المهام التركيبية المعقدة حيث تفشل الأساليب الحالية القائمة على المسارات.

المؤلفون الأصليون: Anay Kulkarni, ChiaEn Lu, Dheeraj Mekala, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Anay Kulkarni, ChiaEn Lu, Dheeraj Mekala, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم مساعد آلي (روبوت) ذكي جداً ولكنه يفتقر للخبرة، كيف يحل المشكلات المعقدة باستخدام مجموعة من الأدوات الرقمية (مثل التحقق من حالة الطقس، أو البحث عن مواعيد الرحلات الجوية، أو حجز مطعم).

المشكلة هي أنه عندما تطلب من الروبوت مهمة بسيطة (مثل "تحقق من الطقس")، فإنه يتعلم بسرعة. ولكن عندما تطلب منه سلسلة من المهام (مثل "ابحث عن رحلتي، وانظر إلى وجهة هبوطي، ثم تحقق من الطقس هناك، ثم ابحث عن مطعم")، فإن الروبوت غالباً ما يصاب بالارتباك ويفشل.

تقدم هذه الورقة طريقة تعليم جديدة تسمى TIER لإصلاح ذلك. وإليك كيف تعمل، مشروحة ببساطة:

المشكلة: فخ "الإجابة الصحيحة"

حالياً، هناك طريقتان رئيسيتان لتعليم هذه الروبوتات، وكلتاهما تعاني من عيوب:

طريقة "النجاح/الفشل" (القائمة على النتيجة): أنت لا تعطي الروبوت مكافأة إلا إذا حصل على الإجابة النهائية الصحيحة. إذا ارتكب خطأ في الخطوة رقم 2 من عملية مكونة من 5 خطوات، فإنه يحصل على صفر من النقاط. الأمر يشبه طالباً في اختبار رياضيات أخطأ في الخطوات الأربع الأولى ولكنه خمن الرقم النهائي بشكل صحيح؛ فإنه يحصل على درجة امتياز. ولكن إذا أخطأ في الرقم النهائي، فإنه يحصل على درجة رسوب، حتى لو قام بالخطوات الأربع الأولى بشكل مثالي. هنا، لا يعرف الروبوت أبداً أين أخطأ.
طريقة "التقليد" (القائمة على مسار العمل): أنت تظهر للروبوت "مساراً مثالياً" محدداً ومكتوباً مسبقاً لحل المشكلة. إذا اتبع الروبوت هذا المسار بالضبط، فإنه يحصل على نقاط. أما إذا وجد طريقة أخرى صحيحة تماماً لحل المشكلة، فإنه يُعاقب. هذا يشبه معلماً لا يعطي الدرجات إلا إذا رسم الطالب خريطة تماماً كما رسمها المعلم، حتى لو وجد الطالب طريقاً أسرع. ومع زيادة تعقيد المهام، تزداد الطرق الصالحة المتعددة، وبالتالي يُعاقب الروبوت بشكل متكرر ويتوقف عن التعلم.

الحل: TIER (المفتش الذكي)

يقترح المؤلفون TIER، والذي يعمل كـ مفتش ذكي وآلي يفحص عمل الروبوت عند كل خطوة، دون الحاجة إلى "مسار مثالي" مكتوب مسبقاً للمقارنة به.

بدلاً من السؤال: "هل نسخت مسار المعلم؟" أو "هل حصلت على الإجابة النهائية؟"، يسأل TIER أربعة أسئلة محددة حول كل أداة يحاول الروبوت استخدامها:

فحص التنسيق (Format Check): "هل كتبت الطلب باللغة الصحيحة (بناء الجملة)؟" (على سبيل المثال: هل استخدمت الأقواس والفواصل الصحيحة؟)
فحص المخطط (Schema Check): "هل طلبت الأداة الصحيحة والمعلومات الصحيحة؟" (على سبيل المثال: هل طلبت أداة "رحلة طيران" عندما كنت بحاجة إليها، وهل قدمت رقم الرحلة؟)
فحص التنفيذ (Execution Check): "هل نجحت الأداة فعلياً؟" (على سبيل المثال: هل تمكن الكمبيوتر من تشغيل الكود بنجاح دون حدوث خطأ؟)
فحص الإجابة (Answer Check): "هل حللت المشكلة الأصلية؟"

سحر TIER:
إذا وجد الروبوت طريقة أخرى صالحة لحل المشكلة (على سبيل المثال: التحقق من الطقس قبل البحث عن الرحلة بدلاً من العكس)، فإن TIER لا يزال يمنحه الدرجة الكاملة، طالما أن الخطوات صحيحة والنتيجة النهائية صحيحة. هو لا يهتم بالترتيب، بل يهتم بأن المنطق سليم.

التشبيه: بناء منزل

تخيل أنك تبني منزلاً.

الطريقة القديمة 1 (النجاح/الفشل): أنت لا تدفع للبناء إلا عند انتهاء المنزل. إذا انهار السقف بسبب ضعف الأساس، فلن تدفع له شيئاً. البناء لا يعرف لماذا فشل.
الطريقة القديمة 2 (التقليد): أنت تعطي البناء مخططاً وتقول له: "ابنِ المنزل تماماً كما في هذا المخطط". إذا قرر وضع المرآب على اليسار بدلاً من اليمين (وهو أمر مقبول)، فإنك ترفض الدفع له.
طريقة Tier: لديك مفتش يفحص كل مرحلة.
- "هل الأساس مستوٍ؟" (التنسيق)
- "هل استخدمت المواد الصحيحة للجدران؟" (المخطط)
- "هل صمد الجدار؟" (التنفيذ)
- "هل المنزل صالح للسكن؟" (الإجابة)
- إذا بنى العامل المرآب على اليسار، يقول المفتش: "عمل رائع، هذا منزل صالح!" ويدفع له.

النتائج

اختبر الباحثون هذا النظام على معيار جديد يسمى DepthBench، والذي يقيس مدى قدرة الروبوتات على التعامل مع مهام تزدัง تعقيداً (من خطوة واحدة إلى 6 خطوات).

الطرق القديمة: عملت الروبوتات بشكل رائع في المهام ذات الخطوة الواحدة، لكنها فشلت فشلاً ذريعاً بمجرد وصول المهمة إلى 4 أو 5 خطوات، حيث انخفضت دقتها إلى ما يقرب من الصفر.
TIER: حافظت الروبوتات التي تستخدم TIER على دقة تزيد عن 90% حتى في أصعب المهام المكونة من 6 خطوات. لقد تعلمت كيفية ربط الأدوات معاً بشكل موثوق لأنها حصلت على ملاحظات مفيدة عند كل خطوة، وليس فقط في النهاية.

لماذا هذا مهم؟

هذا النهج يعني أننا لسنا بحاجة إلى كتابة آلاف الأمثلة "المثالية" من قبل البشر لكل طريقة ممكنة لحل مشكلة ما. يمكن للنظام التحقق تلقائياً مما إذا كان الروبوت يقوم بالأشياء بشكل صحيح بناءً على قواعد الأدوات نفسها. وهذا يجعل من السهل جداً تعليم وكلاء الذكاء الاصطناعي كيفية التعامل مع الوظائف المعقدة في العالم الحقيقي التي تتطلب خطوات متعددة.

تخلص الورقة إلى أنه لكي يصبح الذكاء الاصطناعي جيداً في التفكير المعقد متعدد الخطوات، نحتاج إلى هذا النوع من الملاحظات التفصيلية خطوة بخزوة، والتي تكافئ الحلول الصحيحة، وليس فقط الحلول المحددة.

ملخص تقني: TIER – مكافآت التنفيذ المستقلة عن المسار لتكوين الأدوات متعدد الخطوات

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في استخدام الأدوات أحادية الخطوة، إلا أنها تعاني بشكل كبير عند تكليفها بـ تكوين الأدوات متعدد الخطوات. فكلما زاد عمق استدعاءات الأدوات المطلوبة (على سبيل المثال، استرداد معلومات الرحلة لتحديد الوجهة، ثم التحقق من الطقس في تلك الوجهة)، تدهور الأداء بسرعة. تفشل مناهج التعلم المعزز (RL) الحالية في التوسع لهذه الإعدادات بسبب القيود في تصميم المكافأة:

المكافآت القائمة على النتيجة (Outcome-based rewards): توفر فقط تغذية راجعة متباعدة وثنائية (نجاح/فشل) عند إتمام المهمة. وهذا يجعل تخصيص الائتمان للقرارات الوسيطة (اختيار الأداة، تحديد الوسائط، ترتيب التنفيذ) أمراً صعباً للغاية، مما يؤدي إلى انهيار التدريب عند الأعماق الضحلة (على سبيل المثال، تنخفض الدقة من >94% في خطوة واحدة إلى 0% بعد 4 خطوات).
المكافآت الخاضعة للإشراف على المسار (Trajectory-supervised rewards): تعتمد على مسارات مرجعية مشروحة لتوفير تغذية راجعة دقيقة. ورغم أنها توفر إشارات أكثر كثافة، إلا أنها تعاقب الحلول البديلة الصالحة التي تحيد عن المسار المرجعي المحدد. وتصبح هذه الصلابة عائقاً حرجاً مع زيادة عدد مسارات التنفيذ الصالحة مع عمق التكوين، مما يسبب عدم استقرار التدريب والفشل عند المستويات الأكثر عمقاً.

المنهجية: إطار عمل TIER

يقترح المؤلفون TIER (مكافآت التنفيذ المستقلة عن المسار)، وهو إطار عمل للمكافآت يستمد الإشراف مباشرة من مخططات الدوال (function schemas) والتنفيذ وقت التشغيل، مما يلغي الحاجة إلى مسارات مرجعية مشروحة.

المبدأ الأساسي: الاستقلال عن المسار (Trajectory Invariance)

تكون دالة المكافأة مستقلة عن المسار إذا كانت قيمتها تعتمد فقط على الخصائص القابلة للتحقق من التسلسل المُولد وبيئة الأداة، وليس على تشابه التسلسل مع مسار مرجعي. وهذا يضمن أن:

جميع مسارات الحل الصالحة تحصل على أقصى مكافأة، بغض النظر عن الترتيب أو العمليات التبادلية.
يتم تمييز الحلول غير الصالحة من خلال الخصائص المحددة التي انتهكتها، مما يوفر إشارة تعلم متدرجة دون الرجوع إلى مسار "ذهبي".

تفكيك المكافأة

يتم حساب إجمالي المكافأة $R_{total}$ لكل تسلسل استدعاء أداة مُولد ويتم قياسه ليكون ضمن النطاق $[0, 1]$ . وهي تتفكك إلى أربعة مكونات متميزة:

صلاحية التنسيق ( $R_{format}$ ): فحص ثنائي (0 أو 1) لضمان أن شجرة الإعراب المجردة (AST) لاستدعاءات الأدوات سليمة وقابلة للتحليل. الفشل هنا يلغي جميع المكافآت اللاحقة.
الالتزام بالمخطط / التحليل ( $R_{parse}$ ): درجة متدرجة (من 0 إلى 3) تتحقق من:
- صحة الاسم: ما إذا كانت جميع أسماء الأدوات موجودة في المخطط.
- صحة المعلمات والنوع: معاقبة عدم التطابق في أسماء المعلمات وأنواع البيانات مقابل مخطط الدالة.
نجاح التنفيذ ( $R_{exec}$ ): فحص ثنائي (0 أو 1) للتحقق من أن كل استدعاء للأداة في التسلسل يتم تنفيذه بنجاح دون أخطاء وقت التشغيل. يستخدم هذا المكون قاعدة "الكل أو لا شيء" لأن الفشل في الخطوة $k$ يبطل الاستدعاءات المعتمدة اللاحقة.
صحة الإجابة ( $R_{answer}$ ): فحص ثنائي (0 أو 5) للتحقق مما إذا كانت الإجابة النهائية المُركبة تطابق الحقيقة الأرضية المتوقعة. يتم وزن هذا المكون بشكل كبير لمنع "تلاعب المكافأة" (reward hacking) حيث يستوفي النموذج قيود التنسيق والتنفيذ ولكنه يفشل في المهمة الفعلية.

إعداد التدريب

الخوارزمية: يتم تحسين إطار العمل باستخدام هدف تدرج السياسة من نوع GRPO مع مزايا معيرة للمجموعات.
التمثيل الوسيط (IR): تولد النماذج استدعاءات أدوات مهيكلة كأشجار إعراب مجردة (ASTs) قائمة على JSON، والتي يتم تحليلها وتنفيذها مقابل خلفية (backend) حتمية.
الاستقلالية: صياغة المكافأة مستقلة عن خوارزمية تحسين RL المحددة (تم التحقق من ذلك عبر GRPO، وBatch-Normalized GRPO، وDAPO).

المساهمات الرئيسية

إطار عمل مكافأة TIER: نظام مكافأة مستقل عن المسار يستفيد من مخططات الدوال وتغذية تنفيذ العمليات، مما يلغي الاعتماد على المسارات المرجعية المشروحة بشرياً والمكلفة.
DepthBench: معيار جديد مصمم خصيصاً لتقييم تكوين الأدوات متعدد الخطوات، مصنف حسب العمق (من 0 إلى 6 خطوات). ويتميز بـ 1,710 استعلاماً عبر 163 أداة مصممة يدوياً مع خلفيات قابلة للتنفيذ، مما يسمح بتحليل منهجي للتعميم التكويني.
التحقق التجريبي من الإشراف متعدد المستويات: يوضح البحث أن تعلم الأدوات التكويني يتطلب إشرافاً متزامناً على المستويات النحوية (التنسيق)، والهيكلية (المخطط)، والوظيفية (التنفيذ). وتظهر دراسات الاستئصال (Ablation studies) أن إزالة أي مكون يؤدي إلى فشل كارثي عند التكوينات الأكثر عمقاً.

النتائج التجريبية

قيم المؤلفون TIER على DepthBench وBFCL v3 وNestFUL، مقارنة بالنماذج المرجعية القائمة على النتيجة (Simple-RL) والنماذج الخاضعة للإشراف على المسار (ToolRL).

أداء DepthBench:
- TIER: حقق دقة >90% عبر جميع أعماق التكوين (1-6 خطوات)، بما في ذلك دقة 90% عند الأعماق 5 و6.
- Simple-RL (القائم على النتيجة): انهارت الدقة من 94% في خطوة واحدة إلى 0% بعد 4 خطوات.
- ToolRL (الخاضع للإشراف على المسار): تدهور الأداء بشكل كبير عند الأعماق 5 و6، ليصل إلى 0% دقة، مما يؤكد أن معاقبة المسارات البديلة الصالحة يعيق التكوين العميق.
المعايير الخارجية:
- BFCL v3: حقق TIER أفضل دقة إجمالية (68.92%)، متفوقاً على ToolRL (37.27%) وSimple-RL (66.30%). ومن الجدير بالذكر أن ToolRL فشل في فئات "Multiturn" و"Irrelevance" حيث يتطلب الأمر اتخاذ قرار تكيفي.
- NestFUL: حقق TIER دقة مطابقة تامة (Exact Match Accuracy) بلغت 0.684، متفوقاً بشكل كبير على ToolRL (0.476) ومتجاوزاً نماذج أكبر بكثير (مثل GPT-4o وDeepSeek-V3) في إعداد 3-shot.
رؤى الاستئصال (Ablation Insights):
- أدت المكافآت الجزئية (مثل إضافة التنفيذ بدون التحليل) إلى "تلاعب بالمكافأة"، حيث وجهت النماذج الاستعلامات إلى أدوات "آمنة" لتعظيم مكافآت التنفيذ مع تجاهل الصحة.
- فقط المكافأة الكاملة والمفككة مكنت من التقارب المستقر نحو الأداء العالي، مما يبرز أن المكونات متكاملة وغير قابلة للاستبدال.

الأهمية والادعاءات

يزعم البحث أن تصميم المكافأة هو العائق الرئيسي أمام تكوين الأدوات متعدد الخطوات في النماذج اللغوية الكبيرة المدربة بالتعلم المعزز (RL). ومن خلال الانتقال من الاعتماد على المسار المرجعي إلى الإشراف المستند إلى التنفيذ والمستقل عن المسار، يُمكّن TIER النماذج من تعلم استراتيجيات استدلال معقدة ومتعددة الخطوات كانت مستعصية سابقاً.

يؤكد المؤلفون على أن:

القابلية للتوسع: يتكيف TIER بشكل طبيعي مع واجهات الأدوات المتطورة دون الحاجة إلى إعادة شرح البيانات المرجعية.
التعميم: ينتقل النهج بفعالية إلى إعدادات استدعاء الوظائف في العالم الحقيقي (BFCL v3) وتكوينات واجهة برمجة التطبيقات المتداخلة (NestFUL).
ضرورة التفصيل (Granularity): الاستدلال التكويني الناجح ليس هدفاً واحداً، بل هو مشكلة تخصيص ائتمان متعددة المستويات تتطلب إشرافًا متزامنًا على التنسيق، والمخطط، والتنفيذ.

يخلص العمل إلى أن TIER يوفر أساساً قوياً لاستخدام الأدوات متعدد الخطوات القابل للتوسع، رغم اعترافه بالقيود المتعلقة بالبيئات العشوائية في العالم الحقيقي والتركيز الحالي على التدريب أحادي الدور.