ملخص تقني: MAVEN – تحسين التعميم في استدعاء الأدوات الوكيل (Agentic Tool Calling)

1. بيان المشكلة

تتناول الورقة البحثية تحدي التعميم في أنظمة استدعاء الأدوات الوكيلية. فبينما تُظهر النماذج اللغوية الكبيرة (LLMs) أداءً قوياً في المعايق القياسية الفردية، إلا أنها غالباً ما تفتقر إلى المتانة في الإعدادات طويلة الأمد حيث يتعين على الوكلاء تفكيك الطلبات المعقدة، والحفاظ على الحالات الوسيطة، وتنسيق أدوات متعددة عبر مجالات مختلفة، والتحقق من النتائج الجزئية.

تعتمد طرق التقييم الحالية غالباً على صحة الإجابة النهائية، مما قد يحجب الإخفاقات في عمليات الاستدلال. قد تتكيف النماذج مع تنسيقات مجموعات بيانات محددة أو أنماط تفاعل (فرط التخصيص/Overfitting) بدلاً من تطوير مهارات استدلال تركيبي قابلة للتعميم. ويرى المؤلفون أن المعايك القياسية الحالية (مثل BFCL v3 وTauBench) لا تختبر بشكل كافٍ أمانة العملية (Process Fidelity)، أو إدارة الحالة الوسيطة، أو التحقق الصريح، مما يؤدي إلى فجوة بين جودة الاستدلال الجزئي والنجاح في تنفيذ المهمة بالكامل.

2. المنهجية

MAVEN: شبكة التحقق والتنفيذ الوكيلية التركيبية

يقترح المؤلفون MAVEN، وهو هيكل استدلال رمزي خفيف الوزن مصمم لتعزيز النماذج اللغوية الكبيرة دون الحاجة إلى تدريب إضافي. يعمل MAVEN كطبقة مهيكلة تفرض خط معالجة يتكون من ثلاث مراحل:

1. تخزين السياق مؤقتاً (Context Buffering): يقوم النظام باستخراج وتنظيم المعلومات ذات الصلة من المدخلات الحوارية وتحويلها إلى تمثيل مدمج وقصير الأمد. هذا يحافظ على الحقائق الجوهرية والاستدلال الوسيط الضروري للمعالجة اللاحقة.
2. تخليق الإجراء (Action Synthesis): باستخدام التمثيل المخزن مؤقتاً، يقوم النظام بتوليد أوصاف مهام ذرية وقابلة للاختبار تتماشى مع أهداف المستخدم. تتضمن هذه المرحلة عملية تنقية محدودة لضمان الوضوح وتدعم الإنهاء المبكر إذا لم تكن هناك حاجة لمزيد من الإجراءات.
3. توليد الاستدعاء (Invocation Generation): ينتج النظام إجراءات قابلة للتفسير آلياً ومتوافقة مع بيئة التنفيذ. ومن الأهمية بمكان أن هذه المرحلة تفصل صراحةً بين الاستدلال والتنفيذ لتقليل الآثار الجانبية غير الآمنة والحفاظ على قابلية التدقيق.

تتضمن دورة العمل (الخوارزمية 1) حلقة حيث يقوم الوكيل بتخليق مهام فرعية، واختيار الأدوات، وتنفيذها، وتخزين المخرجات مع التشخيصات والمصدر في مخزن مؤقت. إذا فشل التحقق، يقوم الوكيل بمراجعة المهمة الفرعية أو الاستدعاء باستخدام السياق المخزن قبل المتابعة.

MAVEN-Bench: معيار اختبار الإجهاد

لتقييم هذه القدرات، قدم المؤلفون MAVEN-Bench، وهو معيار يركز على الاستدلال العلمي متعدد الخطوات (الرياضيات والفيزياء) باستخدام أدوات خارجية. وتشمل الميزات الرئيسية ما يلي:

• التجسيد البارامتري (Parametric Instantiation): تتكون المجموعة الأساسية من 100 قالب مشكلة نموذجي عبر التفاضل والتكامل، والجبر، والميكانيكا، والكهرومغناطيسية. يتم تجسيد هذه القوالب لإنشاء أنظمة عددية وتعبيرات جبرية ومتطلبات تحقق متنوعة، بما في ذلك الاضطرابات العدائية (مثل سوء التكييف، أو النقاط شبه المتدهورة).
• بروتكول سياق النموذج (MCP): مكون محدد حيث تُعامل المصنوعات الوسيطة (التعبيرات الرمزية، الأرقام، التشخيصات) ككائنات من الدرجة الأولى. يتم تخزينها تحت معرفات خطوات صريحة، مما يسمح للوكلاء باستمرار، والاستعلام، والاستدلال حول النتائج الوسيطة.
• مقاييس التقييم: يقيم المعيار الوكلاء على عدة محاور:
  • دقة الأسئلة الفرعية: الصحة عند نقاط تحقق فردية.
  • دقة اختيار الأداة: مدى ملاءمة الأداة الأولية المختارة.
  • أمانة التتبع (Trace fidelity): المواءمة مع مسارات المرجع النموذجية.
  • درجة التحقق: تنفيذ وتفسير صحيح للفحوصات الصريحة (مثل اتساق الوحدات، أو بقايا الحل/solver residuals).
  • صحة الإجابة النهائية: التكافؤ الرمزي والتسامح العددي.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات رئيسية:

1. MAVEN-Bench: معيار مدرك للعملية للاستدلال المعزز بالأدوات في الرياضيات والفيزياء، يركز على حفظ الحالة الوسيطة والتحقق الصريح بدلاً من مجرد صحة الإجابة النهائية.
2. بروتوكول التقييم: بروتوكول صارم يسجل آثار الأدوات، والمصنوعات الوسيطة، وسلوكيات التحقق، باستخدام حكم (Judge) يعتمد على نموذج لغوي كبير مع قواعد ثابتة لتقييم استخدام الأدوات، والصحة، والمنهج المتبع.
3. إطار عمل MAVEN: تقييم لهيكل MAVEN، يوضح أن الهياكل الخفيفة التي تركز على التحقق يمكن أن تحسن بشكل كبير الاستدلال التركيبي والمتانة طويلة الأمد في النماذج مفتوحة الأوزان.

4. النتائج

الأداء على المعايك العامة

تم تقييم MAVEN على معايك قائمة (BFCL v3، TauBench، Tau2Bench، AceBench). وعند تشغيله فوق النموذج الأساسي GPT-OSS-120b، تفوق MAVEN باستمرار على النموذج الأساسي، لا سيما في الإعدادات متعددة الدورات والوكيلية. تشير التحسينات إلى أن التفكيك المهيكل والتحقق الوسيط يقللان من انتشار الخطأ في المهام المعقدة.

الأداء على MAVN-Bench

في عمليات التشغيل المباشرة على MAVEN-Bench:

• تحسن الدقة: حسن MAVEN دقة النموذج الأساسي GPT-OSS-120b من 48% إلى 71% دون تدريب إضافي.
• التنافسية: حقق MAVEN (يعمل على GPT-OSS-120b) درجة قدرها 71.0%، متفوقاً على العديد من النماذج المملوكة الرائدة (مثل GPT-5 بنسبة 32.0%، وo4-mini بنسبة 38.0%) وظل منافساً لآخرين (مثل Claude-Sonnet-4.5 بنسبة 70.0%).
• كفاءة التكلفة: يُقدر أن نسبة تكلفة العمود الفقري مفتوح الأوزان المستخدم في MAVEN تبلغ حوالي 1/10 مقارنة بالنماذج المملوكة المنافسة.
• المتانة: أظهر تحليل الدقة كدالة لخطوات الاستدلال (الشكل 4) أنه بينما تتدهور الدقة عموماً مع زيادة تعقيد المشكلة، فإن النماذج المعززة بـ MAVEN أظهرت معدل تدهور أبطأ، مما يشير إلى متانة أفضل في المدى الطويل.

أنماط الفشل الملحوظة

حدد البحث أنماط فشل متكررة في الأنظمة الحالية، بما في ذلك:

• الاختيار الخاطئ للأداة (مثل اختيار حلول غير مستقرة عددياً).
• الفشل في إجراء التحقق الوسيط الصريح (إغفال التحقق من الإشارة أو فحوصات المشتقات).
• انتهاكات البروتوكول (الانحراف عن قيود الاستدعاء الواحد).
• عدم الاستقرار العددي في الأنظمة البارامترية العدائية.

5. الأهمية والادعاءات

تجادل الورقة بأن التقييم المدرك للعملية ضروري لتقييم موثوقية الأنظمة الوكيلية. وتكشف النتائج عن فجوة كبيرة بين الأداء في المعايك القياسية والاستدلال القوي في الإعدادات التي تتطلب تفكيكاً مستداماً وإدارة للحالة.

يدعي المؤلفون أن:

• الهياكل الخفيفة (Lightweight scaffolds) مثل MAVEN يمكن أن تعزز الاستدلال التركيبي وتقلل من تراكم الأخطاء في إعدادات استخدام الأدوات طويلة الأمد.
• التحقق الصريح والتفكيك المهيكل أمران حاسمان للتعامل مع المهام المعقدة متعددة الخطوات حيث يمكن للأخطاء الصغيرة في اختيار الأداة أو الاستقرار العددي أن تتراكم بمرور الوقت.
• MAVEN-Bench يكشف بفعالية عن الإخفاقات (مثل اختيار الأداة الخاطئة أو نقص التحقق) التي غالباً ما تكون غير مرئية عند تقييم الإجابات النهائية فقط.

تخلص الورقة إلى أن الوكلاء الموثوقين في استخدام الأدوات لا ينبغي أن ينتجوا إجابات نهائية صحيحة فحسب، بل يجب أيضاً اتباع عمليات استدلال قابلة للتدقيق والتحقق والتركيب. ويضع المؤلفون MAVEN كتعزيز للاستدلال وليس كنماذج تأسيسية جديدة، مما يشير إلى أن مثل هذه الهياكل يمكن أن تحفز تقييماً أكثر صرامة للوكلاء "في الواقع".

ملاحظة: تقر الورقة بالقيود، بما في ذلك التركيز على المجالات الرياضية والفيزيائية، والعيب المحتمل لبروتوكولات التنفيذ المقيدة للنماذج المحسنة للاستدلال المرن، والاعتماد على الحكام القائمين على النماذج اللغوية الكبيرة رغم معايرة القواعد.