Riepilogo Tecnico: Uno-Orchestra

Enunciato del Problema

I sistemi multi-agente basati su Modelli Linguistici di Grande Dimensione (LLM) attuali si affidano tipicamente a pattern di orchestrazione rigidi che non riescono a ottimizzare congiuntamente la decomposizione del compito, la selezione degli operatori e il budget di inferenza. Gli approcci esistenti ricadono generalmente in due filoni paralleli ma limitati:

1. Instradamento del Modello: I router a chiamata singola instradano un'intera query a un singolo modello esperto. Questo approccio ignora la struttura parallela dei compiti complessi e non può scambiare la profondità di decomposizione con il budget di esecuzione.
2. Orchestrazione Gerarchica: I pianificatori decompongono i compiti in sottogruppi di agenti, ma l'assegnazione dei sottocompiti a specifici esecutori è spesso progettata manualmente, guidata da prompt o vincolata a un singolo modello proprietario all'avanguardia.

Di conseguenza, le due decisioni critiche—se/de quanto decomporre un compito e a quale esperto instradare ogni sottocompito—non sono ottimizzate sotto un obiettivo unificato. Ciò porta a inefficienze in cui query semplici sono sovraccaricate di orchestrazione, o compiti complessi sono instradati a modelli subottimali.

Metodologia: Uno-Orchestra

Gli autori introducono UNO-ORCHESTRA, una politica di orchestrazione unificata che tratta la delega selettiva come un singolo compito di modello linguistico (LM) causale. Il sistema impara a emettere congiuntamente un piano di decomposizione del compito e una specifica decisione di instradamento (modello, primitiva) per ogni sottocompito all'interno di un singolo turno di assistente.

Architettura Principale

• Politica Unificata: Invece di moduli separati per pianificatore e dispatcher, un unico backbone LM causale emette simultaneamente il grafo di decomposizione e le coppie di instradamento.
• Spazio delle Azioni: La politica seleziona da un insieme sparso di coppie ammissibili $P \subseteq \mathcal{M} \times \mathcal{S}$, dove $\mathcal{M}$ è un pool di modelli operatori eterogenei e $\mathcal{S}$ è un vocabolario chiuso di "primitivi" (azioni atomiche come risposta diretta, ragionamento a catena di pensiero, invocazione di strumenti o esecuzione di codice).
• Delega Selettiva: La politica può collassare query semplici in una singola risposta diretta (costo di instradamento zero) o decomporre query complesse in un Grafo Aciclico Diretto (DAG) di sottocompiti. I sottocompiti indipendenti vengono instradati in parallelo.

Pipeline di Addestramento

La politica viene addestrata in due fasi utilizzando interazioni reali con operatori:

1. Fine-Tuning Supervisionato (SFT) con Cancello del Verificatore:

   • Viene costruito un curriculum di 61.201 traiettorie distillate da insegnanti a partire da 38 dataset pubblici.
   • Un meccanismo "con cancello del verificatore" filtra le traiettorie: i compiti risolti da un router a avvio freddo vengono scartati; i compiti risolti da un orchestratore insegnante forte sono mantenuti per l'SFT; i compiti in cui l'insegnante fallisce sono riservati al RL.
   • Crucialmente, i sottocompiti di codice e strumenti vengono eseguiti in sandbox reali, garantendo che le osservazioni siano output di runtime e non tracce simulate.

2. Agentic-GRPO (Apprendimento per Rinforzo):

   • La politica viene raffinata sul "pool residuo difficile" (compiti in cui l'insegnante ha fallito) utilizzando Agentic-GRPO, un'estensione multi-turno dell'Ottimizzazione della Politica Relativa di Gruppo (GRPO).
   • Assegnazione del Credito Intermedia: A differenza della GRPO classica che assegna una singola ricompensa a un'intera traiettoria, Agentic-GRPO attribuisce il credito alla granularità dei singoli turni. Aumenta la ricompensa terminale con segnali di modellazione per-turno limitati (ad esempio, validità dello schema, indicatori di riparazione) per risolvere il problema dell'assegnazione del credito a lungo orizzonte.
   • Obiettivo: Il controllore massimizza una funzione di utilità $J(\theta)$ che bilancia correttezza (verificata da verificatori specifici per fonte) contro il costo a livello di token, penalizzando gli instradamenti ridondanti.

Contributi Chiave

1. Delega Selettiva Unificata: La formulazione della decomposizione del compito e dell'instradamento per sottocompito come una singola politica LM causale, eliminando i passaggi di contesto ridondanti tra moduli separati.
2. Agentic-GRPO: L'introduzione di un obiettivo di RL adattivo all'agente che abilita un'assegnazione strutturata del credito per l'orchestrazione multi-turno, permettendo al modello di imparare quando riparare, decomporre o aggregare in base alle osservazioni intermedie.
3. Curriculum con Cancello del Verificatore: Una pipeline di addestramento che sfrutta l'esecuzione in sandbox reale e una verifica rigorosa per generare traiettorie di alta qualità e consapevoli dei costi, garantendo che la politica apprenda dai reali risultati di runtime.

Risultati Sperimentali

Gli autori hanno valutato UNO-ORCHESTRA su una suite di 13 benchmark che coprono cinque domini di capacità: ragionamento matematico, codice/ingegneria del software, recupero di conoscenze, lettura in contesto lungo e uso di strumenti agentic.

• Prestazioni: UNO-ORCHESTRA ha raggiunto un 77,0% macro pass@1, circa il 16% in più rispetto alla baseline di workflow più forte (AgentOrchestra).
• Efficienza: Il sistema opera a un costo per query circa un ordine di grandezza inferiore (circa $0,10 contro $1,20 per le baseline) mantenendo al contempo una maggiore accuratezza.
• Frontiera Costo-Accuratezza: Il metodo occupa un angolo favorevole del compromesso accuratezza-efficienza, superando sia i router piatti (che non possono decomporre) sia gli orchestratori gerarchici (che non possono astenersi dalla decomposizione).
• Generalizzazione: I guadagni di prestazioni si mantengono attraverso regimi intra-dominio, near-dominio e out-of-domain. Gli studi di ablazione confermano che i miglioramenti derivano dalla politica di instradamento appresa piuttosto che dalla dipendenza da modelli specifici all'avanguardia, poiché il sistema supera le baseline anche quando limitato a un pool "più debole" di modelli open-weight.

Significato e Affermazioni

Il documento postula che la delega selettiva—la capacità sia di decomporre che di astenersi dalla decomposizione sotto un singolo obiettivo—è un principio organizzativo critico per l'avanzamento dei sistemi multi-agente consapevoli dei costi.

• Efficienza Strutturale: Collassando decomposizione e instradamento in un unico backbone condiviso, Uno-Orchestra evita il sovraccarico di coordinamento intrinseco nei sistemi modulari.
• Adattamento Dinamico: Il sistema impara ad "astenersi" dalla decomposizione per query semplici (collassando su un singolo operatore economico) riservando l'orchestrazione multi-chiamata strettamente a compiti genuinamente compositi.
• Scalabilità: L'approccio dimostra che un'alta accuratezza non richiede workflow monolitici costosi; piuttosto, emerge da un controllore appreso che alloca dinamicamente risorse eterogenee in base alla complessità del compito.

Gli autori concludono che Uno-Orchestra avanza la frontiera accuratezza-efficienza, offrendo un paradigma scalabile in cui il controllore alloca capacità per selezionare il lavoratore giusto piuttosto che semplicemente invocare più lavoratori.