ملخص تقني: Uno-Orchestra

بيان المشكلة

تعتمد أنظمة الوكلاء المتعددين (multi-agent systems) الحالية لنماذج اللغة الكبيرة (LLM) عادةً على أنماط تنسيق جامدة تفشل في التحسين المشترك لتفكيك المهام، واختيار العامل، وميزانية الاستدلال. تندرج النهج الحالية عموماً تحت مسارين متوازيين ولكن محدودين:

1. توجيه النماذج (Model Routing): تقوم الموجهات ذات الاستدعاء الواحد بتوجيه استعلام كامل إلى نموذج خبير واحد. يفتقر هذا النهج إلى الهيكل المتوازي للمهام المعقدة ولا يمكنه الموازنة بين عمق التفكيك وميزانية التنفيذ.
2. التنسيق الهرمي (Hierarchical Orchestration): تقوم المخططات بتفكيك المهام إلى وكلاء فرعيين، ولكن تعيين المهام الفرعية إلى منفذين محددين غالباً ما يكون هندسياً يدوياً، أو مدفوعاً بالأوامر (prompts)، أو مرتبطاً بنموذج رائد واحد مملوك لجهة معينة.

بناءً على ذلك، فإن القرارين الحاسمين — سواء/كيفية تفكيك المهمة بعمق و أي خبير سيتم توجيه كل مهمة فرعية إليه — لا يتم تحسينهما تحت هدف موحد. يؤدي هذا إلى عدم كفاءة حيث يتم الإفراط في تنسيق الاستعلامات البسيطة، أو توجيه المهام المعقدة إلى نماذج دون المستوى الأمثل.

المنهجية: Uno-Orchestra

يقدم المؤلفون UNO-ORCHESTRA، وهو سياسة تنسيق موحدة تعامل التفويض الانتقائي كمسألة نموذج لغة (LM) سببية واحدة. يتعلم النظام كيفية إصدار خطة تفكيك المهمة وقرار توجيه محدد لكل زوج من (النموذج، البدائية - model, primitive) لكل مهمة فرعية ضمن دورة مساعدة واحدة.

البنية الأساسية

• السياسة الموحدة: بدلاً من وحدات التخطيط والتوزيع المنفصلة، يقوم عمود فقري واحد لنموذج لغة سببي بإصدار مخطط التفكيك وأزواج التوجيه في آن واحد.
• فضاء العمل (Action Space): تختار السياسة من مجموعة متفرقة من الأزواج المقبولة $P \subseteq \mathcal{M} \times \mathcal{S}$، حيث $\mathcal{M}$ هي مجموعة من النماذج العمالية غير المتجانسة، و $\mathcal{S}$ هي مفردات مغلقة من "البدائيات" (أفعال ذرية مثل الإجابة المباشرة، أو التفكير المتسلسل/chain-of-thought، أو استدعاء الأدوات، أو تنفيذ الكود).
• التفويض الانتقائي: يمكن للسياسة دمج الاستعلامات البسيطة في إجابة مباشرة واحدة (تكلفة توزيع صفرية) أو تفكيك الاستعلامات المعقدة إلى رسم بياني موجه غير حلقي (DAG) من المهام الفرعية. يتم توزيع المهام الفرعية المستقلة بالتوازي.

مسار التدريب

يتم تدريب السياسة على مرحلتين باستخدام تفاعلات العمال الحقيقية:

1. الضبط الدقيق الخاضع للإشراف والمحكوم بالتحقق (Verifier-Gated SFT):

   • يتم بناء منهج دراسي من 61,201 مساراً مستخلصاً من معلم (teacher-distilled) من 38 مجموعة بيانات عامة.
   • آلية "المحكوم بالتحقق" (verifier-gated) تقوم بفلترة المسارات: تُستبعد المهام التي حلها موجه البداية البارد (cold-start router)؛ وتُحتفظ بالمهام التي حلها منسق معلم قوي لعملية الـ SFT؛ أما المهام التي فشل فيها المعلم فتُخصص لعملية التعلم التعزيزي (RL).
   • والأهم من ذلك، يتم تنفيذ مهام الكود والأدوات في بيئات تجريبية (sandboxes) حقيقية، مما يضمن أن الملاحظات هي مخرجات وقت التشغيل وليست آثاراً محاكاة.

2. التعلم التعزيزي (Agentic-GRPO):

   • يتم صقل السياسة على "المجمع الصعب المتبقي" (residual hard pool) (المهام التي فشل فيها المعلم) باستخدام Agentic-GRPO، وهو امتداد متعدد الخطوات لـ Group Relative Policy Optimization (GRPO).
   • تخصيص الائتمان الوسيط (Intermediate Credit Assignment): على عكس GRPO التقليدي الذي يخصص مكافأة واحدة لمسار كامل، يقوم Agentic-GRPO بنسب الائتمان على مستوى الخطوات الفردية. هو يعزز المكافأة النهائية بإشارات تشكيل لكل خطوة محدودة (مثل صحة المخطط، ومؤشرات الإصلاح) لحل مشكلة تخصيص الائتمان طويلة الأمد.
   • الهدف: يسعى المتحكم لتعظيم دالة المنفعة $J(\theta)$ التي توازن بين الصحة (التي يتم التحقق منها بواسطة مُحققات خاصة بالمصدر) مقابل تكلفة الرموز (tokens)، مع معاقبة عمليات التوزيع الزائدة.

المساهمات الرئيسية

1. التفويض الانتقائي الموحد: صياغة تفكيك المهام وتوجيه كل مهمة فرعية كسياسة نموذج لغة سببي واحد، مما يلغي عمليات تمرير السياق المتكررة بين الوحدات المنفصلة.
2. Agentic-GRPO: تقديم هدف تعلم تعزيزي متكيف مع الوكيل يتيح تخصيص الائتمان المهيكل لتنسيق متعدد الخطوات، مما يسمح للنموذج بتعلم متى يقوم بالإصلاح، أو التفكيك، أو التجميع بناءً على الملاحظات الوسيطة.
3. المنهج الدراسي المحكوم بالتحقق: مسار تدريب يستفيد من التنفيذ في بيئة تجريبية حقيقية والتحقق الصارم لتوليد مسارات عالية الجودة وواعية بالتكلفة، مما يضمن تعلم السياسة من نتائج وقت التشغيل الفعلية.

النتائج التجريبية

قام المؤلفون بتقييم UNO-ORCHESTRA عبر مجموعة من 13 اختباراً معيارياً تغطي خمسة مجالات قدرات: الاستدلال الرياضي، البرمجة/هندسة البرمجيات، استرجاع المعرفة، القراءة ذات السياق الطويل، واستخدام الأدوات الوكيلية.

• الأداء: حقق UNO-Orchestra نسبة 77.0% macro pass@1، وهي أعلى بنحو 16% من أقوى خط أساس سير العمل (AgentOrchestra).
• الكفاءة: يعمل النظام بتكلفة أقل بنحو رتبة مقدار واحدة لكل استعلام (حوالي 0.10 دولار مقابل 1.20 دولار لخطوط الأساس) مع الحفاظ على دقة أعلى.
• جبهة التكلفة-الدقة: يشغل الأسلوب زاوية مواتية في المقايضة بين الدقة والكفاءة، حيث يتفوق على الموجهات المسطحة (التي لا تستطيع التفكيك) والمنسقات الهرمية (التي لا تستطيع الامتناع عن التفكيك).
• التعميم: تظل مكاسب الأداء قائمة في أطر العمل داخل النطاق، وقريبة من النطاق، وخارج النطاق. تؤكد دراسات الاستبعاد أن التحسينات تنبع من سياسة التوجيه المتعلمة وليس الاعتماد على نماذج رائدة محددة، حيث يتفوق النظام على خطوط الأساس حتى عند تقييده بمجموعة من النماذج مفتوحة الأوزان "الأضعف".

الأهمية والادعاءات

يفترض البحث أن التفويض الانتقائي — القدرة على التفكيك والامتناع عن التفكيك تحت هدف واحد — هو مبدأ تنظيمي حاسم لتقدم أنظمة الوكلاء المتعددين الواعية بالتكلفة.

• الكفاءة الهيكلية: من خلال دمج التفكيك والتوزيع في عمود فقري مشترك واحد، يتجنب Uno-Orchestra عبء التنسيق المتأصل في الأنظمة النمطية.
• التكيف الديناميكي: يتعلم النظام "الامتناع" عن التفكيك للاستعلامات الباسية (بالتجميع في عامل واحد رخيص) مع حجز التنسيق متعدد الاستدعاءات حصرياً للمهام المركبة حقاً.
• القابلية للتوسع: يوضح النهج أن الدقة العالية لا تتطلب سير عمل ضخماً ومكلفاً؛ بل تنبثق من متحكم متعلم يخصص السعة لاختيار العامل المناسب بدلاً من مجرد استدعاء المزيد من العمال.

يخلص المؤلفون إلى أن Uno-Orchestra يدفع بجبهة الدقة-الكفاءة، ويقدم نموذجاً قابلاً للتوسع حيث يخصص المتحكم القدرة لاختيار العامل الصحيح بدلاً من مجرد استدعاء المزيد من العمال.