Technische Samenvatting: Uno-Orchestra

Probleemstelling

Huidige multi-agent-systemen op basis van Large Language Models (LLM) vertrouwen doorgaans op rigide orkestratiepatronen die niet gezamenlijk taakdecompositie, werkerselectie en het inferentiebudget optimaliseren. Bestaande benaderingen vallen over het algemeen uiteen in twee parallelle maar beperkte lijnen:

1. Modelrouting: Single-call-routers sturen een volledige query naar één expertmodel. Deze aanpak mist de parallelle structuur van complexe taken en kan geen afweging maken tussen decompositiediepte en uitvoeringsbudget.
2. Hiërarchische Orkestratie: Planners decomponeren taken in sub-agenten, maar de toewijzing van subtaken aan specifieke uitvoerders is vaak handmatig ontworpen, prompt-gedreven of gekoppeld aan één enkel proprietair frontiermodel.

Bijgevolg worden de twee kritieke beslissingen – of/hoe diep een taak moet worden gedecomposeerd en naar welke expert elke subtaak moet worden gerouteerd – niet geoptimaliseerd onder een uniek doel. Dit leidt tot inefficiënties waarbij eenvoudige queries over-georkestreerd worden, of complexe taken worden gerouteerd naar suboptimale modellen.

Methodologie: Uno-Orchestra

De auteurs introduceren UNO-ORCHESTRA, een unificerend orkestratiebeleid dat selectieve delegatie behandelt als één enkele taak voor een causaal taalkundig model (LM). Het systeem leert om binnen één enkele assistent-beurt gezamenlijk een taakdecompositieplan en een specifieke (model, primitief)-routeringsbeslissing voor elke subtaak te genereren.

Kernarchitectuur

• Unificerend Beleid: In plaats van aparte planner- en dispatchermodules, genereert één enkel causaal-LM-ruggengraat het decompositiegrafiek en de routeringsparen gelijktijdig.
• Actieruimte: Het beleid selecteert uit een schaarse set toelaatbare paren $P \subseteq \mathcal{M} \times \mathcal{S}$, waarbij $\mathcal{M}$ een pool van heterogene werkermodellen is en $\mathcal{S}$ een gesloten vocabulaire van "primitieven" (atomaire acties zoals direct beantwoorden, chain-of-thought-resoneren, toolaanspreking of code-uitvoering).
• Selectieve Delegatie: Het beleid kan eenvoudige queries samenvoegen tot één direct antwoord (nul dispatchkosten) of complexe queries decomponeren in een Directed Acyclic Graph (DAG) van subtaken. Onafhankelijke subtaken worden parallel uitgevoerd.

Trainingspijplijn

Het beleid wordt in twee fasen getraind met behulp van echte werkerinteracties:

1. Verifier-Gated Supervised Fine-Tuning (SFT):

   • Een curriculum van 61.201 door docenten gedistilleerde trajecten wordt samengesteld uit 38 openbare datasets.
   • Een "verifier-gated" mechanisme filtert trajecten: taken die worden opgelost door een cold-start-router worden verworpen; taken die worden opgelost door een sterke docent-orkestrator worden behouden voor SFT; taken waarbij de docent faalt, worden gereserveerd voor RL.
   • Cruciaal: code- en toolsubtaken worden uitgevoerd in echte sandboxes, zodat observaties runtime-uitkomsten zijn in plaats van gesimuleerde traces.

2. Agentic-GRPO (Versterkend Leren):

   • Het beleid wordt verfijnd op de "residuale harde pool" (taken waarbij de docent faalde) met behulp van Agentic-GRPO, een multi-turn-extensie van Group Relative Policy Optimization (GRPO).
   • Intermediaire Krediettoewijzing: In tegenstelling tot standaard GRPO, dat één beloning toekent aan een volledig traject, kiest Agentic-GRPO krediet op het niveau van individuele beurten. Het verrijkt de terminale beloning met gebonde per-beurt vormgevingssignalen (bijv. schema-validiteit, reparatie-indicatoren) om het probleem van krediettoewijzing op lange termijn op te lossen.
   • Doel: De controller maximaliseert een nuttigheidsfunctie $J(\theta)$ die afweging maakt tussen correctheid (geverifieerd door bron-specifieke verifiers) en token-niveau kosten, met een boete voor redundante dispatches.

Belangrijkste Bijdragen

1. Unificerende Selectieve Delegatie: De formulering van taakdecompositie en per-subtaak routing als één enkel causaal-LM-beleid, waardoor redundante contextoverdrachten tussen aparte modules worden geëlimineerd.
2. Agentic-GRPO: De introductie van een agent-adaptief RL-doel dat gestructureerde krediettoewijzing voor multi-turn-orkestratie mogelijk maakt, waardoor het model leert wanneer het moet repareren, decomponeren of aggregeren op basis van intermediaire observaties.
3. Verifier-Gated Curriculum: Een trainingspijplijn die gebruikmaakt van echte sandbox-uitvoering en strikte verificatie om hoogwaardige, kostenbewuste trajecten te genereren, zodat het beleid leert van feitelijke runtime-uitkomsten.

Experimentele Resultaten

De auteurs hebben UNO-ORCHESTRA geëvalueerd op een suite van 13 benchmarks die vijf competentiedomeinen bestrijken: wiskundig redeneren, code/software-engineering, kennisretrieval, lang-context lezen en agentische toolgebruik.

• Prestaties: UNO-ORCHESTRA behaalde een 77,0% macro pass@1, ongeveer 16% hoger dan de sterkste workflow-baseline (AgentOrchestra).
• Efficiëntie: Het systeem opereert met ongeveer één orde van grootte lagere kosten per query (ongeveer $0,10 versus $1,20 voor baselines) terwijl het een hogere nauwkeurigheid behoudt.
• Kosten-Nauwkeurigheid Frontier: De methode bezet een gunstige hoek van de nauwkeurigheid-efficiëntie-afweging en presteert beter dan zowel platte routers (die niet kunnen decomponeren) als hiërarchische orkestrators (die niet kunnen afzien van decompositie).
• Generalisatie: De prestatiewinsten gelden voor in-domein, nabij-domein en buiten-domein regimes. Ablatiestudies bevestigen dat de verbeteringen voortkomen uit het geleerde routeringsbeleid in plaats van afhankelijkheid van specifieke frontiermodellen, aangezien het systeem zelfs baselines overtreft wanneer het wordt beperkt tot een "zwakkere" pool van open-weight modellen.

Betekenis en Aanspraken

Het artikel stelt dat selectieve delegatie – het vermogen om zowel te decomponeren als af te zien van decompositie onder één enkel doel – een cruciaal organiserend principe is voor de vooruitgang van kostenbewuste multi-agent-systemen.

• Structurele Efficiëntie: Door decompositie en dispatch te laten samenvallen in één gedeelde ruggengraat, vermijdt Uno-Orchestra de coördinatie- overhead die inherent is aan modulaire systemen.
• Dynamische Adaptatie: Het systeem leert om af te zien van decompositie voor eenvoudige queries (samenvoegen tot één goedkope werker), terwijl multi-call-orkestratie strikt wordt gereserveerd voor echt samengestelde taken.
• Schaalbaarheid: De aanpak toont aan dat hoge nauwkeurigheid geen dure, monolithische workflows vereist; deze ontstaat juist uit een geleerde controller die heterogene resources dynamisch toewijst op basis van taakcomplexiteit.

De auteurs concluderen dat Uno-Orchestra de nauwkeurigheid-efficiëntie frontier vooruitbrengt, en een schaalbaar paradigma biedt waarbij de controller capaciteit toewijst aan het selecteren van de juiste werker in plaats van simpelweg meer werkers aan te spreken.