ملخص تقني: تعلم تهيئة أنظمة الذكاء الاصطناعي الوكيلية (ARC)

بيان المشكلة

تتضمن عملية تهيئة أنظمة الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) الاختيار من فضاء تصميم تركيبي هائل يضم سير العمل، والأدوات، وميزانيات الرموز (tokens)، والمطالبات (prompts). تعتمد النهج الحالية على استدلالات ثابتة أو استراتيجيات "حوض المطبخ" (kitchen sink) التي تطبق تهيئة ثابتة بغض النظر عن صعوبة الاستعلام. يؤدي هذا النهج "الذي يناسب الجميع" إلى مشكلتين رئيسيتين:

1. تدهور الأداء: غالبًا ما تعاني السياقات الطويلة من ظاهرة "الضياع في المنتصف" (lost-in-the-middle)، حيث تفشل النماذج في الانتباه إلى المعلومات ذات الصلة.
2. عدم الكفاءة: تستهلك الأنظمة الثابتة موارد حوسبية كبيرة عبر تطبيق سير عمل ثقيل ومتكرر (مثل الاستنتاج متعدد الخطوات مع البحث في الويب) على استعلامات بسيطة، مما يؤدي إلى تأخير وتكلفة غير ضروريين.

التحدي الجوهري هو أن فضاء التصميم كبير جدًا بحيث لا يمكن البحث فيه عبر القوة الغاشمة (brute-force) أو الضبط اليدوي. فعلى سبيل المثال، يمكن لنظام متواضع يحتوي على عدد قليل من أنماط سير العمل، والأدوات، ومستويات الميزانية، أن ينتج عشرات الآلاف من التكوينات الهيكلية، والتي تتوسع لتتجاوز $10^5$ عند تضمين تنويعات المطالبات. علاوة على ذلك، فإن سير عمل الوكيل ليست إجراءات ذرية؛ بل هي عمليات ممتدة زمنيًا ذات مدد وتكاليف متغيرة، مما يجعل صياغات "عملية ماركوف لاتخاذ القرار" (MDP) القياسية غير كافية.

المنهجية: ARC (متعلم موارد وتكوينات الوكيل)

يقترح المؤلفون ARC، وهو إطار عمل للتعلم التعزيزي الهرمي يصيغ تهيئة الوكيل كـ عملية ماركوف لاتخاذ القرار شبه الماركوفية (SMDP). في هذه الصياغة، يعمل كل تكوين كـ "خيار" (option) ممتد زمنيًا يحدد كيفية معالجة نظام الوكيل للاستعلام.

1. صياغة SMDP

على عكس نماذج MDP التقليدية حيث تكون للإجراءات مدد ثابتة، يعامل ARC التكوينات كخيارات ذات أوقات تنفيذ وتكاليف متغيرة.

• الحالة ($S$): دمج للتضمينات الدلالية للاستعلام مع سمات مصممة يدويًا (مثل طول الاستعلام، والكثافة العددية).
• الخيارات ($O$): يمثل كل خيار تكوينًا كاملاً $(\omega, t, b, p)$، حيث $\omega$ هو سير العمل، و $t$ هي الأدوات، و $b$ هي ميزانية الرموز، و $p$ هي المطالبة.
• المكافأة: دالة منفعة توازن بين الصحة مقابل التكلفة: $U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$. تتضمن المكافأة عقوبات على استخدام الرموز، ووقت التشغيل، والمدة (عدد استدعاءات LLM).

2. تفكيك السياسة الهرمي

لإدارة التعقيد التركيبي، يتم تفكيك السياسة $\pi_{arc}$ إلى مستويين:

• سياسة الهيكل ($\pi_{struct}$): تختار طوبولوجيا سير العمل، وتخصيص الأدوات، ومستويات الميزانية.
• سياسة المطالبة ($\pi_{prompt}$): تقوم بتكوين تعليمات مطالبات محددة بشكل تلقائي (autoregressively) من مكتبة من الشظايا الدلالية بناءً على الاختيار الهيكلي.
• قناع الإجراء (Action Masking): للتعامل مع عدم الصلاحية الهيكلية (مثل تخصيص أدوات لسير عمل "مباشر" ذو وكيل واحد)، يطبق النظام قناع الإجراء لتقليم التكوينات غير الصالحة أثناء التدريب.

3. خط أنابيب التدريب

تجمع عملية التدريب بين التعلم التعزيزي (RL) والضبط الدقيق الخاضع للإشراف (SFT):

1. مرحلة RL: تستخدم تحسين السياسة القريبة (PPO) مع مكافآت مشكلة لاستكشاف فضاء التصميم. يتم تفكيك دالة المكافأة إلى حدود للصحة، وعقوبات الخطوات، وعقوبات الرموز، وتشكيل الأدوات لمعالجة عدم التطابق بين تخصيص الأداة واستخدامها الفعلي.
2. تحسين SFT: بعد تقارب RL، يقوم النظام بتصفية سجل إعادة التشغيل (replay buffer) للحصول على المسارات "النخبوية" (إجابات صحيحة مع مكافآت عالية). ثم تقوم مرحلة ضبط دقيق خاضعة للإشراف بتقطير هذه الاستراتيجيات الناجحة في شبكات السياسة. تعمل هذه الخطوة على استقرار التعلم، وتقليل التباين، وتوفير حد أدنى للأداء.

4. الضمانات النظرية

يؤسس البحث لنتيجتين نظريتين:

• التقارب: تسمد صياغة SMDP دالة قيمة مثلى فريدة $Q^*$، مما يضمن أن هدف RL محدد جيدًا.
• تركيز السياسة: تضمن مرحلة SFT تركيز السياسة النهائية على التكوينات ذات المكافأة العالية، مما يضمن حداً أدنى للأداء.

المساهمات الرئيسية

1. صياغة SMDP: صاغ المؤلفون تهيئة الوكيل كمسألة SMDP، حيث تُعامل سير العمل كخيارات ممتدة زمنيًا للتعامل بشكل طبيعي مع البصمات الحوسبية المتغيرة.
2. إطار عمل ARC: تقديم سياسة هرمية خفيفة الوزن تختار ديناميكيًا التكوينات الخاصة بكل استعلام (سير العمل، الأدوات، الميزانية، المطالبات) دون تحديث النموذج اللغوي الأساسي.
3. التدريب الهجين: خط أنابيب يجمع بين استكشاف PPO المقنع و SFT على المسارات النخبوية لاستقرار التعلم تحت المكافآت الشحيحة وتحسين الاتساق.
4. التحقق التجريبي: تجارب واسعة النطاق تثبت أن تعلم التكوينات لكل استعلام يعد بديلًا متفوقًا للتصاميم الثابتة.

النتائج التجريبية

قيم المؤلفون ARC عبر مهام الاستنتاج، واستخدام الأدوات، والاختبارات الوكيلية باستخدام Qwen 2.5 7B و Gemini 2.5 Flash Lite.

• مهام الاستنتاج: حسن ARC متوسط دقة الاستنتاج بنسبة 31.3% مقارنة بالنماذج المعززة بالأدوات المتوافقة مع الميزانية. وفي اختبار GSM8k، حقق ARC دقة بنسبة 88.6%، متفوقًا على نماذج قوية مثل GEPA (83.6%) و RL Episodes (85.2%).
• مهام استخدام الأدوات: زاد ARC من دقة استخدام الأدوات بنسبة 13.95%. وفي HotpotQA، طابق ARC نموذج AutoGen (34.1%) وتفوق على أقوى نموذج أساسي لـ RL بنسبة 6.3%.
• المهام الوكيلية: في $\tau$-Bench (الطيران)، ضاعف ARC معدل نجاح Pass$^1$ من 9.0% إلى 18.0%، بينما أدى تحسين المطالبة الثابت (DSPy) إلى خفض الأداء.
• الكفاءة: يشغل ARC مناطق Pareto-optimal في مقايضة الدقة والتكلفة، محققًا دقة أعلى بتكاليف أقل مقارنة بالنماذج الثابتة أو القائمة على البحث.
• التعميم: أظهرت السياسات المتعلمة قدرة متوسطة على الانتقال عبر مهام الاستنتاج (مثل GSM8k إلى DROP) وتوسعًا صفريًا (zero-shot scaling) عبر أحجام النماذج (من 7B إلى 72B)، مما يشير إلى أن الأولويات الهيكلية ثابتة إلى حد كبير تجاه الحجم.

الأهمية والادعاءات

يدعي البحث أن تعلم تهيئة الوكيل لكل استعلام هو بديل قوي للتصاميم "التي تناسب الجميع". تكمن أهمية هذا العمل في إثبات أن:

• القابلية للتكيف: يمكن لنظام الوكيل تعديل بصمته الحوسبية ديناميكيًا حسب صعوبة المهمة، موازنًا بين الدقة والكفاءة.
• القابلية للتوسع: يمكن لمتحكم خفيف الوزن إدارة فضاء تصميم تركيبي ضخم بفعالية دون إعادة تدريب النموذج اللغوي الأساسي.
• الواقعية: يوفر الجمع بين استكشاف RL وتحسين SFT طريقة قابلة للتطبيق للتنقل في بنيات الوكيل المعقدة، مما يوفر اتجاهًا عمليًا لبناء أنظمة وكيلة مرنة وفعالة حوسبيًا تعتمد على LLM.

يؤكد المؤلفون أنه بينما قد تهيمن الدلالات المطالبية (prompt semantics) في المجالات كثيفة المعرفة، فإن التحسين الهيكلي الذي يوفره ARC يظل ضروريًا لتخصيص الموارد والتعامل مع التفاعلات المعقدة متعددة الخطوات.