Learning to Recommend Multi-Agent Subgraphs from Calling Trees

Sintesi Tecnica: Imparare a Raccomandare Sottografi Multi-Agente da Alberi di Chiamata

Formulazione del Problema
Il documento affronta una lacuna critica nei Sistemi Multi-Agente (MAS) man mano che i marketplace di agenti si espandono fino a contenere miglia di migliaia di agenti eterogenei. Mentre i sistemi di raccomandazione esistenti eccellono nel classificare singoli articoli basandosi su log utente-articolo piatti (ad es., e-commerce), essi non riescono ad affrontare la natura strutturata, sequenziale e dipendente dalle interazioni dell'orchestrazione multi-agente. Nei MAS, la selezione di un agente non è una decisione terminale, ma un intervento che altera lo stato del sistema, induce dipendenze e influenza la compatibilità delle scelte successive. La sfida centrale è che molti agenti sono funzionalmente sovrapponibili; pertanto, la selezione non può essere trattata come un puro problema di recupero (retrieval). Un orchestratore deve scegliere agenti che siano non solo rilevanti, ma anche affidabili, compatibili con l'attuale contesto di esecuzione e capaci di cooperare con altri agenti selezionati. Il documento formula questo scenario come un problema decisionale vincolato dove l'obiettivo è raccomandare o un singolo agente (Livello Agente) o un team connesso di agenti (Livello Sistema/Sottografo) per eseguire un sotto-task.

Metodologia
Gli autori propongono un framework di raccomandazione vincolata generico a due stadi basato su alberi di chiamata storici (tracce di esecuzione che catturano chiamate genitore-figlio, dipendenze di branching e pattern di cooperazione locale) piuttosto che su log piatti. Il framework opera in due fasi:

1. Costruzione della Fattibilità (Retrieval): Un modulo di recupero filtra il vasto pool di agenti per costruire un set di candidati compatto e semanticamente rilevante ($A_{feasible}$ per gli agenti o $G_{feasible}$ per i sistemi di agenti) condizionato dal sotto-task e dal contesto corrente. Questa fase si affida a meccanismi di recupero standard (ad es., somiglianza di embedding o tool calling basato su LLM) per ridurre lo spazio di ricerca.
2. Ottimizzazione dell'Utilità (Reranking): All'interno del set di fattibilità, un modello di scoring appreso esegue l'ottimizzazione dell'utilità per selezionare l'opzione migliore. Questa fase tiene conto di rilevanza, affidabilità ed effetti di interazione.

Il documento definisce due specifiche istanze di questo framework:

• SARL (Single-Agent Recommendation Learning): Seleziona il singolo agente/tool successivo. Utilizza una funzione di scoring parametrica $s_\theta(t, a)$ che incorpora l'encoding della query del task, la capacità dell'agente, le relazioni strutturate a grafo, l'affidabilità storica e gli effetti contestuali consapevole della lista (list-aware).
• ASRL (Agent-System Recommendation Learning): Seleziona un piccolo team di agenti connessi (sottografo). Generalizza l'unità decisionale a un gruppo, utilizzando una funzione di scoring $s_\theta(t, g)$ che aggrega capacità collettive, pattern di cooperazione interna e idoneità strutturale all'interno del grafo globale.

Entrambi i modelli sono addestrati utilizzando le tracce storiche degli orchestratori, minimizzando una funzione di perdita (ad es., softmax cross-entropy) sugli esiti di esecuzione osservati, con vincoli che garantiscono che l'agente o il sistema selezionato appartenga al set di fattibilità.

Contributi Chiave

1. Formulazione del Problema: Il documento identifica e formalizza la raccomandazione di agenti nei MAS come un problema decisionale vincolato, evidenziando i limiti delle tradizionali assunzioni di indipendenza a livello di singolo articolo nei contesti multi-agente.
2. Framework Unificato: Introduce un framework a due stadi "divide et impera" che separa la costruzione della fattibilità dall'ottimizzazione dell'utilità, supportando sia la raccomandazione a livello di agente che a livello di sistema (sottografo).
3. Benchmark di Dati Strutturati: Gli autori costruiscono un benchmark unificato di alberi di chiamata normalizzando i log di invocazione di otto corpora multi-agente eterogenei (inclusi Agent-data-protocol, GTA, MCPToolBench++, ecc.) in una rappresentazione strutturata condivisa, consentendo una valutazione coerente.
4. Validazione Empirica: Esperimenti estesi dimostrano che l'approccio proposto supera costantemente le forti strategie di baseline (recupero diretto, classificazione per similarità del coseno e selezione a passaggio singolo tramite LLM) in termini di accuratezza Top-1, stabilità e coerenza di esecuzione.

Risultati

• Singolo Agente (SARL): Su sei dataset di scala moderata, SARL (recupero tramite LLM + reranking) ha ottenuto un'accuratezza Top-1 superiore rispetto ai baseline di recupero diretto e similarità del coseno (ad es., 79,85% vs 40,0% su Agent-data-protocol). I risultati indicano che, sebbene il recupero fornisca un forte set di candidati, il reranking supervisionato è cruciale per risolvere l'ambiguità e selezionare l'agente più affidabile.
• Livello Sistema (ASRL): L'approccio ASRL ha raggiunto un'accuratezza Top-1 quasi perfetta (100% sulla maggior parte dei dataset) attraverso tutti i benchmark. Il documento nota che il recupero a livello di grafo produce un recall più elevato e riduce l'ambiguità semantica rispetto alla selezione del singolo agente, permettendo al ranker appreso di identificare il sottografo corretto in modo più affidabile.
• Scalabilità: L'analisi della complessità dei token mostra che il design a due stadi eguaglia il costo in termini di big-O dei token del recupero diretto, offrendo al contempo significativi guadagni di prestazione, rendendolo praticabile per pool di agenti su larga scala dove lo scoring diretto tramite LLM sarebbe computazionalmente proibitivo.

Significatività e Rivendicazioni
Il documento sostiene che un'efficace orchestrazione multi-agente richieda di andare oltre la selezione isolata dell'agente per passare al ragionamento su interi sottografi e sfruttare la supervisione tramite alberi di chiamata. Fondando le raccomandazioni sulle strutture di esecuzione storiche, il framework proposto consente la costruzione di team di agenti coerenti ed eseguibili piuttosto che semplici liste compatibili di tool. Gli autori affermano che questo approccio migliora significativamente l'affidabilità, la coordinazione e la qualità dell'esecuzione end-to-end dei sistemi multi-agente su larga scala.

Il documento include anche una dichiarazione di impatto che riconosce i potenziali rischi, come l'amplificazione dei bias presenti nei log storici (ad es., bias di popolarità) e il potenziale di riduzione della diversità del marketplace. Suggerisce che le implementazioni pratiche debbano includere vincoli espliciti di sicurezza, budget e policy all'interno del set di fattibilità per mitigare tali problemi.