💬 NLP

CANTANTE: Optimizing Agentic Systems via Contrastive Credit Attribution

CANTANTE è un nuovo framework che ottimizza i sistemi multi-agente basati su LLM risolvendo il problema dell'assegnazione del credito attraverso un'attribuzione contrastiva delle ricompense a livello di sistema agli agenti individuali, ottenendo prestazioni all'avanguardia nell'ottimizzazione dei prompt su diversi benchmark e riducendo al contempo i costi di inferenza.

Autori originali: Tom Zehle

Pubblicato 2026-05-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tom Zehle

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un team di tre esperti che lavorano insieme per risolvere un difficile puzzle: un Pianificatore che mappa i passaggi, un Programmatore che scrive la soluzione e un Validatore che verifica se funziona. Questo è ciò che il documento definisce un "Sistema Multi-Agente".

Il problema identificato dagli autori, guidati da Tom Zehle, è questo: quando il team fallisce, si ottiene un unico voto per l'intero gruppo (ad esempio, "Hai preso una C"). Ma non si sa chi abbia sbagliato. Ha dato istruzioni sbagliate il Pianificatore? Ha fatto un errore di battitura il Programmatore? O ha trascurato un errore il Validatore?

Nel machine learning tradizionale, l'intero gruppo riceve lo stesso voto e tutti cercano di modificare il proprio comportamento basandosi su quel singolo punteggio. È come se un insegnante dicesse a una squadra di calcio: "Avete perso la partita", e poi chiedesse al portiere, all'attaccante e all'arbitro di modificare tutti le proprie strategie basandosi su quella singola frase. È inefficiente e confuso.

La Soluzione: CANTANTE

Gli autori introducono un nuovo framework chiamato CANTANTE. Considera CANTANTE come un Analista Sportivo super-intelligente che osserva il team giocare la stessa partita più volte con strategie leggermente diverse, per poi analizzare esattamente chi ha contribuito alla vittoria o alla sconfitta.

Ecco come funziona, utilizzando una semplice analogia:

1. Il Gioco "E Se" (Attribuzione Contrastiva)

Invece di valutare il team una sola volta, CANTANTE fa eseguire al team lo stesso puzzle tre o quattro volte di fila.

Esecuzione A: Il Pianificatore usa un tono severo, il Programmatore usa uno stile veloce.
Esecuzione B: Il Pianificatore usa un tono amichevole, il Programmatore usa lo stesso stile veloce.
Esecuzione C: Il Pianificatore usa un tono severo, il Programmatore usa uno stile lento.

Dopo aver eseguito queste prove, il team riceve un punteggio per ogni esecuzione. Ora interviene l'Attributore (l'Analista). Esamina le differenze:

"Nelle Esecuzioni A e B, il Programmatore era lo stesso, ma il Pianificatore è cambiato. Il punteggio è salito. Quindi, il nuovo tono del Pianificatore è stato utile!"
"Nelle Esecuzioni A e C, il Pianificatore era lo stesso, ma il Programmatore è cambiato. Il punteggio è sceso. Quindi, il nuovo stile del Programmatore è stato dannoso."

Questo è chiamato Attribuzione Contrastiva. Isola il contributo di ogni persona confrontandoli tra loro, invece di guardare semplicemente il punteggio finale.

2. Il "Punteggio di Credito" per Ogni Agente

Una volta che l'Analista ha capito chi ha aiutato e chi ha danneggiato il team, assegna a ogni agente un specifico Punteggio di Credito (che va da -1 a +1).

Se il Pianificatore ottiene un +0,8, il sistema sa che deve modificare le istruzioni del Pianificatore per renderle più simili a quella versione di successo.
Se il Programmatore ottiene un -0,5, il sistema sa che deve indirizzare il Programmatore lontano da quello specifico stile.

È fondamentale notare che il documento afferma che questo è migliore rispetto alla semplice copia del punteggio globale. Nel vecchio metodo, se il team falliva, il Pianificatore poteva essere incolpato anche se aveva fatto un ottimo lavoro ed era il Programmatore il problema. CANTANTE risolve questo dicendo: "Il Pianificatore ha fatto bene; il Programmatore deve cambiare".

3. I Risultati: Team più Intelligenti, Meno Sprechi

Gli autori hanno testato questo approccio su tre tipi molto diversi di "puzzle":

Programmazione (MBPP): Scrittura di programmi informatici.
Matematica (GSM8K): Risoluzione di problemi verbali.
Ricerca (HotpotQA): Risposta a domande complesse che richiedono la consultazione di informazioni in più luoghi.

Le Scoperte:

Punteggi Migliori: CANTANTE ha costantemente battuto altri metodi. Nel compito di programmazione, ha migliorato l'accuratezza di quasi il 19% rispetto al metodo successivo migliore. Nel compito matematico, ha migliorato del 12,5%.
Meno Costoso da Eseguire: Sorprendentemente, i team ottimizzati da CANTANTE non avevano bisogno di "pensare" più a lungo o di utilizzare più potenza di calcolo per ottenere la risposta corretta. In effetti, nei compiti di programmazione e matematica, hanno utilizzato meno risorse (token) rispetto ai team non ottimizzati.
Stabilità: Il metodo non ha avuto solo un colpo di fortuna una volta; ha funzionato in modo coerente attraverso diversi avvii casuali.

Perché Questo È Importante (Secondo il Documento)

Il documento sostiene che la creazione di questi team di IA non dovrebbe essere un gioco di "prova ed errore" in cui gli umani modificano manualmente i prompt. Invece, dovrebbe essere una scienza dell'Assegnazione del Credito.

Proprio come un allenatore non urla contro l'intera squadra quando un giocatore manca un tiro, CANTANTE assicura che il sistema di IA impari esattamente quale parte del team abbia bisogno di migliorare. Trasforma la "scatola nera" di un sistema multi-agente in una macchina trasparente dove ogni agente sa esattamente come migliorare.

In sintesi: CANTANTE è un metodo che permette ai team di IA di imparare dai propri errori chiedendo: "Chi specificamente ha causato questo risultato?" invece di dire semplicemente: "Abbiamo fallito, provate di più". Questo porta a sistemi di IA più intelligenti, efficienti e accurati.

Riepilogo Tecnico: CANTANTE

Enunciato del Problema

I sistemi multi-agente (MAS) basati su Modelli Linguistici di Grandi Dimensioni (LLM) hanno dimostrato prestazioni elevate in compiti complessi come l'ingegneria del software, la modellazione predittiva e la generazione aumentata dal recupero. Tuttavia, automatizzare la loro configurazione rimane una sfida strutturale. Sebbene siano disponibili punteggi di valutazione a livello di sistema (ad esempio, accuratezza, ricompensa), i parametri che governano il comportamento dei singoli agenti (come i prompt) sono locali. Ciò crea un disallineamento nell'"assegnazione del credito": ottimizzare il sistema richiede la conversione di un segnale scalare globale in segnali di aggiornamento specifici per ciascun agente.

Gli approcci esistenti spesso propagano i punteggi globali direttamente ai singoli agenti o aggiornano gli agenti in sequenza (ad esempio, round-robin), non riuscendo a decomporre efficacemente il segnale di ricompensa. Ciò risulta in un'ottimizzazione inefficiente in cui gli agenti possono ricevere segnali di aggiornamento errati (ad esempio, un pianificatore viene penalizzato per un errore di un programmatore) o in cui lo spazio di ricerca diventa intrattabile a causa della natura combinatoria delle configurazioni congiunte.

Metodologia: CANTANTE

Gli autori introducono CANTANTE (Contrastive Attribution for Tuning of Multi-Agent Systems), un framework che formalizza l'ottimizzazione dei MAS come un problema di assegnazione del credito. Il meccanismo centrale è l'attribuzione contrastiva di gruppo, che scompone le ricompense a livello di sistema in segnali di aggiornamento per agente.

Meccanismo Centrale

Campionamento della Configurazione Congiunta: Ad ogni iterazione, gli ottimizzatori locali propongono $K$ parametrizzazioni candidate (ad esempio, prompt) per ciascuno degli $N$ agenti. Queste vengono assemblate in $K$ configurazioni congiunte.
Esecuzione e Valutazione: Ogni configurazione congiunta viene eseguita su un insieme di query, producendo punteggi a livello di sistema e tracce di esecuzione (traiettorie degli output degli agenti).
Attribuzione Contrastiva: Invece di assegnare il credito in base ai punteggi assoluti, un modello di attribuzione (un LLM con prompt) confronta le traiettorie all'interno di un gruppo di confronto casuale di dimensione $g$ $g$ . Valuta come l'output specifico di ciascun agente abbia contribuito alle differenze osservate nei risultati del sistema rispetto alle altre configurazioni nel gruppo.
- L'attributore produce un credito scalare $c \in [-1, +1]$ per ciascun agente per ogni esecuzione.
- Ciò permette al sistema di distinguere tra configurazioni con punteggi di sistema identici analizzando le differenze comportamentali intermedie.
Aggiornamenti Locali: I crediti aggregati vengono inoltrati ai rispettivi ottimizzatori locali, che aggiornano i parametri degli agenti (prompt) in modo indipendente.

Istanza

Negli esperimenti, CANTANTE è istanziato per l'ottimizzazione dei prompt, trattando i prompt degli agenti come parametri di sistema apprendibili. Il framework è agnostico rispetto alla scelta dell'ottimizzatore locale; gli autori utilizzano CAPO (Cost-aware Prompt Optimization) come ottimizzatore locale predefinito, ma ne dimostrano la compatibilità con altri come EvoPrompt.

Contributi Chiave

Formalizzazione: Il documento formalizza l'ottimizzazione dei MAS basati su LLM come un problema di assegnazione del credito, distinguendolo dall'ottimizzazione standard dei prompt in cui il sistema è trattato come un blocco monolitico.
Progettazione del Framework: CANTANTE introduce un meccanismo di attribuzione contrastiva che isola i contributi per agente confrontando le esecuzioni congiunte, disaccoppiando l'attribuzione dal meccanismo di aggiornamento specifico.
Validazione Empirica: Il framework è valutato rispetto a baseline all'avanguardia (GEPA e MIPROv2) su tre benchmark distinti con diverse topologie di flusso di lavoro:
- MBPP: Programmazione (flusso di lavoro condizionale con pianificatore, esecutore, validatore).
- GSM8K: Ragionamento matematico (ensemble parallelo con tre esecutori e un agente di consenso).
- HotpotQA: Risposta a domande multi-hop (generazione aumentata dal recupero con recuperatore, lettore, sintetizzatore e controllore di allucinazioni).
Ablazione e Analisi: Gli autori isolano l'attribuzione contrastiva come il principale motore dei guadagni di prestazioni tramite un'ablation "identity attribution" (dove i punteggi globali vengono propagati direttamente). Analizzano inoltre le correlazioni dei crediti per diagnosticare i colli di bottiglia nella topologia dei MAS.

Risultati

CANTANTE ottiene il miglior rango medio tra tutti gli ottimizzatori valutati sui benchmark.

Guadagni di Prestazioni:
- MBPP: Ha raggiunto il 41,89% di accuratezza, un miglioramento di +18,9 punti percentuali rispetto alla baseline più forte (MIPROv2) e di +36,35 punti rispetto ai prompt iniziali non ottimizzati. Ha inoltre mostrato una varianza significativamente inferiore tra i semi rispetto alle baseline.
- GSM8K: Ha raggiunto l'82,33% di accuratezza, migliorando rispetto a MIPROv2 di +12,5 punti percentuali e rispetto a GEPA di 21,06 punti.
- HotpotQA: Ha raggiunto l'11,93% di accuratezza, rimanendo entro una deviazione standard dalla baseline più forte e migliorando rispetto alla configurazione iniziale.
Efficienza: Su MBPP e GSM8K, CANTANTE ha raggiunto una maggiore accuratezza richiedendo meno token di inferenza per query rispetto ai prompt non ottimizzati e ad altre baseline, indicando che i guadagni non sono stati guidati da un aumento del calcolo ma da una migliore parametrizzazione.
Robustezza: Il metodo è rimasto efficace con dimensioni del dataset ridotte (fino a 75 campioni) ed è stato robusto rispetto a cambiamenti nel modello di attribuzione e nel prompt.
Correlazione del Credito: L'analisi ha confermato che l'attributore produce segnali significativi per agente invece di limitarsi a ripetere i punteggi globali. Ad esempio, in GSM8K, gli agenti che eseguono in seguito hanno ricevuto un'attribuzione più alta a causa del bias di recenza, un pattern coerente con i comportamenti noti degli LLM.

Significato e Affermazioni

Il documento afferma che CANTANTE rappresenta un passo verso il trattamento dei parametri dei sistemi multi-agente come oggetti di apprendimento automatico piuttosto che come configurazioni manuali. Affrontando il disallineamento strutturale tra parametri locali e feedback globale, il framework abilita un adattamento principiato dei MAS a nuovi compiti.

Gli autori sottolineano che l'attribuzione contrastiva è un primitivo di ottimizzazione più efficace per i MAS basati su LLM rispetto alla propagazione dei punteggi globali. La capacità di generare segnali significativi per agente permette:

Un'ottimizzazione più stabile ed efficiente (come osservato nella minore varianza e nella convergenza più rapida).
Capacità diagnostiche per la progettazione della topologia dei MAS (identificando quali agenti sono colli di bottiglia).
Disaccoppiamento del meccanismo di attribuzione dall'ottimizzatore locale, consentendo l'integrazione di strategie di ottimizzazione sofisticate.

Il lavoro è presentato come un approccio fondazionale per automatizzare la configurazione di flussi di lavoro agenziali complessi, riducendo il lavoro manuale attualmente richiesto per il deployment.