💬 NLP

MASPO: Joint Prompt Optimization for LLM-based Multi-Agent Systems

MASPO è un nuovo framework che ottimizza automaticamente i prompt per sistemi multi-agente basati su LLM impiegando un meccanismo di valutazione congiunta e una ricerca a fascio evolutiva per allineare gli obiettivi locali degli agenti con gli obiettivi globali del sistema, superando così i metodi esistenti in una varietà di compiti collaborativi.

Autori originali: Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Pubblicato 2026-05-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhexuan Wang, Xuebo Liu, Li Wang, Zifei Shan, Yutong Wang, Zhenxi Song, Min Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un team di robot esperti che lavorano insieme per risolvere un puzzle molto difficile. Ogni robot ha un compito specifico: uno legge gli indizi, un altro fa i calcoli, un terzo controlla gli errori e un quarto scrive la risposta finale.

In passato, se il team falliva, era difficile capire chi incolpare. Era il robot dei calcoli scarso in matematica? O forse il robot che leggeva gli indizi gli aveva fornito indizi sbagliati? Questo è il problema che il paper MASPO risolve.

Ecco come funziona MASPO, spiegato attraverso semplici analogie:

1. Il Problema: Il "Gioco dell'Incolpare" in un Team

Di solito, quando addestriamo questi team di robot, guardiamo solo alla risposta finale. Se la risposta è sbagliata, non sappiamo quale robot abbia sbagliato.

L'Analogia: Immagina una staffetta. Se la squadra perde, non puoi semplicemente sgridare l'ultimo corridore. Forse il primo corridore ha fatto cadere il testimone, o il secondo ha percorso la strada sbagliata. Se addestri solo l'ultimo corridore a correre più veloce, la squadra perderà comunque perché il passaggio del testimone è rotto.
L'Intuizione del Paper: Gli autori hanno realizzato che in un sistema multi-agente, un robot può svolgere perfettamente il proprio compito (successo locale) ma fornire comunque al robot successivo informazioni che portano a un fallimento totale (fallimento globale). Questo è chiamato "Disallineamento Locale-Globale".

2. La Soluzione: MASPO (L'Allenatore del Team)

MASPO è un nuovo framework che agisce come un allenatore intelligente che non guarda solo il traguardo, ma osserva ogni singolo passaggio del testimone nella staffetta. Riscrive automaticamente i "manuali di istruzioni" (prompt) per ogni robot per far sì che l'intero team lavori meglio insieme.

Lo fa utilizzando tre trucchi principali:

A. La "Scheda di Valutazione" "Preparata per il Futuro" (Valutazione Congiunta)

Invece di chiedere semplicemente: "Questo robot ha fatto il suo lavoro?", MASPO chiede: "Il lavoro di questo robot ha aiutato il prossimo robot a avere successo?"

L'Analogia: Immagina uno chef che prepara un pasto. Un giudice standard potrebbe solo assaggiare la zuppa e dire: "È salata". Ma MASPO è come un giudice che chiede anche: "Questa zuppa è abbastanza salata da stare bene con il pane che il prossimo chef sta cuocendo?"
Come funziona: MASPO assegna a ogni robot un punteggio basato su tre cose:
1. Hanno seguito le proprie regole? (Validità Locale)
2. Il loro output ha reso il lavoro del prossimo robot più facile? (Potenziale di Previsione)
3. Ha aiutato la squadra a vincere la partita finale? (Allineamento Globale)

B. Imparare dai "Quasi" Disastri (Estrazione di Disallineamenti)

La maggior parte dei sistemi impara solo dagli errori in cui la risposta finale era sbagliata. MASPO cerca un tipo specifico e subdolo di errore: quando un robot ha svolto il suo lavoro perfettamente, ma il team ha comunque fallito.

L'Analogia: Immagina un conducente che segue perfettamente ogni regola del codice della strada (successo locale) ma finisce accidentalmente in una strada senza uscita perché la mappa era confusa (fallimento globale). Un allenatore normale direbbe: "Ottimo lavoro, conducente!". MASPO dice: "Aspetta, hai seguito le regole, ma ci siamo comunque persi. Rivediamo le tue istruzioni così la prossima volta non finirai in strade senza uscita".
Come funziona: Il sistema salva questi casi di "Successo Locale, Fallimento Globale" e costringe i robot a studiarli, assicurandosi che non ripetano gli stessi errori di coordinazione.

C. La Manovra di "Riallineamento" (Aggiornamento del Fascio)

Man mano che i robot imparano e modificano il loro comportamento, le istruzioni per il prossimo robot potrebbero diventare improvvisamente obsolete.

L'Analogia: Immagina una squadra di danza. Se il primo ballerino accelera, il tempismo del secondo ballerino è ora sbagliato. Se continui a praticare la vecchia routine, continueranno a calpestarsi i piedi.
Come funziona: MASPO controlla costantemente la squadra. Se il primo robot ha cambiato il suo stile, MASPO aggiorna immediatamente il "punteggio" per le istruzioni del secondo robot in modo che stiano praticando contro la realtà attuale, non contro una vecchia versione del team.

3. I Risultati: Un Team Migliore

Gli autori hanno testato questo metodo su 6 diversi tipi di compiti difficili, inclusi complessi calcoli matematici, enigmi logici e scrittura di codice informatico.

L'Esito: I team addestrati con MASPO hanno costantemente superato altri metodi. Hanno migliorato la loro accuratezza di una media del 2,9% rispetto ai migliori metodi esistenti.
Perché è importante: Questo dimostra che insegnando ai robot a preoccuparsi di come il loro lavoro influisce sui loro compagni di squadra (non solo del proprio compito), l'intero sistema diventa molto più intelligente.

Riassunto

Pensa a MASPO come a un allenatore di squadra che riscrive il manuale di gioco in tempo reale. Invece di dire semplicemente ai giocatori di "fare del loro meglio", analizza come il passaggio del Giocatore A influisce sulla presa del Giocatore B, e riscrive le istruzioni per entrambi per assicurarsi che vinca l'intera squadra, non solo i singoli giocatori. Risolve il problema di "Ho fatto il mio lavoro, ma abbiamo comunque perso" assicurandosi che il lavoro di tutti sia progettato per aiutare la squadra a vincere.

Riepilogo Tecnico: MASPO – Ottimizzazione Congiunta dei Prompt per Sistemi Multi-Agente Basati su LLM

Enunciato del Problema

I Sistemi Multi-Agente (MAS) basati su Modelli Linguistici di Grande Dimensione (LLM) hanno dimostrato un potenziale significativo nel risolvere compiti collaborativi complessi orchestrando agenti eterogenei tramite prompt specifici per ruolo. Tuttavia, l'ottimizzazione congiunta di tali prompt rimane un collo di bottiglia critico. A differenza degli scenari a singolo agente, l'ottimizzazione dei MAS coinvolge uno spazio di ricerca combinatorio in cui l'ottimalità del prompt di un agente è intrinsecamente dipendente dai comportamenti degli altri.

I metodi esistenti di ottimizzazione dei prompt affrontano due sfide principali nel contesto MAS:

Disallineamento Locale-Globale (Assegnazione del Credito): In contesti collaborativi, gli agenti intermedi spesso svolgono compiti come il ragionamento o il riassunto piuttosto che generare l'output finale. I metodi di valutazione standard, che si basano su etichette di verità fondamentale (ground-truth), falliscono nell'assegnare il credito in modo efficace a questi passaggi intermedi. Un agente può soddisfare perfettamente le sue istruzioni locali (Validità Locale) e tuttavia generare output che fuorviano i pari a valle, causando un fallimento sistemico.
Non Stazionarietà e Complessità della Ricerca: L'accoppiamento funzionale tra gli agenti crea un paesaggio di ottimizzazione non stazionario. La modifica del prompt di un agente a monte altera il contesto di input per gli agenti a valle, inducendo spostamenti di covariate che rendono inaffidabili i punteggi di prestazione storici. Inoltre, i metodi esistenti come gli Stimatori Parzen a Struttura Ad Albero (TPE) sono spesso limitati alla selezione da pool di candidati fissi e discreti, limitando l'ottimizzazione aperta e fine.

Metodologia: Il Framework MASPO

Per affrontare queste sfide, gli autori propongono MASPO, un framework progettato per rifinire automaticamente e iterativamente i prompt in tutto il sistema multi-agente. Il framework opera attraverso un ciclo sistematico che include la pianificazione topologica, la generazione guidata dalle tracce, la valutazione congiunta e la ricerca a fascio adattiva.

1. Contesto Topologico e Proposta Guidata dalle Tracce

MASPO adotta una strategia in stile ascesa delle coordinate che rispetta le dipendenze causali del grafo di comunicazione degli agenti. Invece di convergere completamente un agente prima di passare al successivo, impiega un protocollo di evoluzione intercalata. Gli agenti vengono ottimizzati in ordine topologico per un numero limitato di generazioni ( $T$ ) prima di essere congelati, permettendo al sistema di stabilizzare la co-adattamento e prevenire l'overfitting a monte verso comportamenti a valle subottimali.

Per la generazione dei prompt, MASPO utilizza un approccio basato sui dati fondato su tracce di esecuzione reali piuttosto che su mutazioni cieche. Un Modello Ottimizzatore ( $M_{opt}$ ) analizza la mappatura dal contesto di input all'output per proporre variazioni. Crucialmente, il framework impiega il Campionamento di Disallineamento, iniettando tracce "negative difficili" nel processo di generazione. Si tratta di casi storici in cui un agente ha soddisfatto gli obiettivi locali ma non ha supportato il sistema globale, guidando esplicitamente l'ottimizzatore a colmare il divario tra istruzioni locali e obiettivi globali.

2. Valutazione Congiunta Multi-Granulare

Per risolvere il dilemma dell'assegnazione del credito, MASPO introduce una funzione di punteggio composita ( $R$ ) che valuta i prompt candidati lungo tre dimensioni:

Validità Locale: Misura se l'output dell'agente soddisfa i vincoli specifici per ruolo meglio della baseline.
Potenziale di Anticipazione (Lookahead): Una metrica consapevole della topologia che quantifica l'"effetto domino". Valuta se gli agenti a valle producono output migliori quando alimentati con il nuovo contesto generato dall'agente corrente.
Allineamento Globale: Misura l'impatto sulla risposta finale del sistema, catturando le dipendenze a lungo raggio.

Questo modello di ricompensa congiunto ( $R = \alpha \cdot \text{Locale} + \beta \cdot \text{Anticipazione} + \theta \cdot \text{Globale}$ ) permette al sistema di valutare l'utilità di un agente attraverso il suo contributo all'intera catena causale piuttosto che attraverso output isolati.

3. Ricerca a Fascio Evolutiva con Dinamiche Adattive

Per navigare lo spazio dei prompt ad alta dimensionalità, MASPO impiega una Ricerca a Fascio Guidata dalle Tracce. Mantiene un fascio dei migliori $K$ candidati, accumulando punteggi di ricompensa congiunta lungo il percorso per selezionare i prompt più robusti.

Una innovazione chiave è il Meccanismo di Aggiornamento del Fascio (Beam Refresh). Mentre gli agenti pari evolvono durante la traversata topologica, la distribuzione di input per un agente specifico si sposta, rendendo i punteggi storici obsoleti. Quando un agente viene rivisitato in un nuovo epoca, MASPO scarta i punteggi cumulativi obsoleti e riancora il fascio valutando i candidati rispetto al miglior prompt globale corrente. Ciò garantisce che la ricerca riparta da una varietà di prestazioni valida e aggiornata, mitigando efficacemente la non stazionarietà.

Contributi Chiave

Il documento delinea tre contributi principali:

Valutazione Congiunta Multi-Granulare: Una metrica composita che risolve il dilemma dell'assegnazione del credito sinergizzando Validità Locale, Potenziale di Anticipazione e Allineamento Globale, catturando l'impatto causale completo di un agente all'interno della catena collaborativa.
Ricerca Generativa Guidata dal Disallineamento: Una strategia di ricerca a fascio guidata esplicitamente da "Casi di Disallineamento" – scenari in cui gli agenti soddisfano ruoli locali ma inducono un fallimento sistemico. Ciò permette all'ottimizzatore di diagnosticare e rettificare specifici collassi di interazione.
Dinamiche di Ottimizzazione Adattive: Un protocollo di pianificazione basato sull'ascesa delle coordinate potenziato da un meccanismo di aggiornamento del fascio. Queste tecniche mitigano la non stazionarietà intrinseca nelle interazioni multi-agente, garantendo che gli agenti si adattino ai comportamenti in evoluzione dei loro pari.

Risultati Sperimentali

Gli autori hanno valutato MASPO su sei compiti diversificati che spaziano dalla competenza matematica (MATH-500, AGIEval-MATH, AQuA), al ragionamento complesso (GPQA), fino alla generazione di codice (MBPP, HumanEval-ET). Il framework è stato testato su architetture MAS sia Sequenziali che Gerarchiche utilizzando Qwen3-8B come backone, con Gemini-2.5-pro come ottimizzatore e valutatore.

Miglioramenti delle Prestazioni: MASPO ha costantemente superato le baseline all'avanguardia, incluse strategie a singolo agente (Vanilla, CoT, Self-Refine) e metodi esistenti di ottimizzazione multi-agente (TPE, SPO). Ha raggiunto un miglioramento medio dell'accuratezza del 2,9% rispetto alle migliori baseline di ottimizzazione.
Robustezza: Il framework ha dimostrato prestazioni agnostiche rispetto alla topologia, migliorando i MAS Sequenziali del 5,06% e i MAS Gerarchici del 2,73% rispetto alle rispettive baseline.
Studi di Ablazione: Gli esperimenti hanno confermato la necessità di tutti i componenti principali. La rimozione del meccanismo di aggiornamento del fascio o della Valutazione Congiunta ha portato a cali significativi delle prestazioni. L'analisi di sensibilità ha rivelato che bilanciare Validità Locale e Potenziale di Anticipazione (pesi 0,4/0,4) ha prodotto un'adattabilità superiore rispetto a una forte dipendenza dall'Allineamento Globale.
Trasferibilità: I prompt ottimizzati su Qwen3-8B sono stati trasferiti con successo ad architetture non viste (DeepSeek-V3, GLM-4.6, Claude-Sonnet-4, Gemini-2.5-Pro), indicando che MASPO cattura una logica di interazione generalizzata piuttosto che overfittare su idiosincrasie di modelli specifici.

Significato e Affermazioni

Il documento afferma che MASPO offre una soluzione robusta alla sfida poco esplorata dell'ottimizzazione congiunta dei prompt in ambienti multi-agente dinamici. Superando la sintonizzazione isolata degli agenti, MASPO colma efficacemente il divario tra interazioni locali e risultati globali senza fare affidamento su etichette di verità fondamentale per i passaggi intermedi.

Gli autori sottolineano che il loro approccio è particolarmente significativo per:

Risolvere il Problema dell'Assegnazione del Credito: Fornire un meccanismo per valutare gli agenti intermedi in base alla loro utilità a valle piuttosto che solo alla correttezza finale.
Gestire la Non Stazionarietà: Introdurre un meccanismo di aggiornamento dinamico che mantiene stabile il processo di ottimizzazione nonostante gli spostamenti delle distribuzioni di input causati dagli agenti pari.
Applicabilità Pratica: Dimostrare che alte prestazioni possono essere raggiunte con un piccolo pool di campioni non etichettati (50 istanze), rendendo il framework computazionalmente efficiente e adatto a deployment con risorse limitate o sensibili alla privacy.

Il lavoro suggerisce che la ricerca futura nei sistemi di IA collaborativa dovrebbe concentrarsi sulla specializzazione dinamica dei ruoli e sull'ottimizzazione architetturale, con MASPO che funge da passo fondamentale verso sistemi multi-agente automatizzati e auto-miglioranti.