💻 computer science

Fantastic Adaptive Taxonomies and How to Use Them

Il documento presenta AdaMAST, un sistema che induce automaticamente tassonomie di fallimento compatte e basate su evidenze dalle tracce di esecuzione degli agenti per fungere da interfaccia di feedback riutilizzabile, migliorando significativamente le prestazioni degli agenti nei compiti di ricerca, runtime e selezione della traiettoria rispetto ai tradizionali metodi di riflessione a forma libera.

Autori originali: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

Pubblicato 2026-07-21

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot molto intelligente, ma un po' goffo, come risolvere dei puzzle. Ogni volta che il robot prova a risolvere un puzzle, lascia dietro di sé una lunga e disordinata scia di pensieri, azioni ed errori. Questa scia è chiamata "esecuzione di traccia" (execution trace). Per molto tempo, gli scienziati che cercavano di riparare questi robot hanno avuto due modi principali per esaminare il disordine. Il primo modo era semplicemente dire: "Hai fallito", e andare avanti. Questo è come un insegnante che ti dà un "F" rosso su un compito senza spiegarti perché hai sbagliato. Il secondo modo era chiedere al robot di scrivere un lungo, sgangherato saggio su cosa sia andato storto. Questo è meglio, ma è come chiedere a uno studente di scrivere un nuovo saggio per ogni singolo problema di matematica che sbaglia, ancora e ancora, usando parole diverse ogni volta. Il robot non impara mai un vocabolario coerente per i suoi errori, e l'insegnante (o il programma informatico che cerca di riparare il robot) viene sopraffatto da tutti i diversi modi in cui viene descritto lo stesso errore.

La grande domanda in questo angolo dell'informatica è: come possiamo aiutare questi agenti IA a imparare dai loro fallimenti senza restare impantanati in un testo infinito e ripetitivo? L'obiettivo è trasformare quelle lunghe e disordinate scie di errori in un elenco pulito e organizzato di "codici di errore" — come un dizionario standardizzato di errori. Se il robot continua a dimenticare di controllare il proprio lavoro, invece di scrivere un paragrafo su questo ogni volta, dovrebbe semplicemente ricevere un tag che dice "Controllo_Dimenticato". Ciò consente al sistema di individuare i modelli, correggere la causa principale e smettere di commettere lo stesso errore due volte. Questa è la base per il nuovo metodo chiamato AdaMAST.

La Grande Idea del Paper: Il Dizionario Personale degli Errori del Robot

Questo articolo introduce un sistema ingegnoso chiamato AdaMAST (Adaptive Multi-Agent System Failure Taxonomies). Pensa ad AdaMAST come a un bibliotecario super intelligente che osserva un robot tentare di risolvere problemi e, invece di leggere solo il disordinato diario del robot, crea un dizionario personalizzato e vivente di errori.

Ecco come funziona nel mondo reale:

L'Osservazione: Il robot prova a risolvere un sacco di compiti (come scrivere codice o risolvere problemi di matematica) e fallisce. Lascia dietro di sé una lunga e disordinata scia di testo.
La Magica Traduzione: Inveve di far leggere ogni singola parola agli esseri umani, AdaMAST legge la scia e dice: "Ah, vedo questo schema! Il robot ha continuato a provare a usare uno strumento che non esiste", oppure "Il robot ha smesso di pensare troppo presto". Trasforma queste osservazioni disordinate in nomi brevi e accattivanti come "Premature_Reasoning_Truncation" (Troncamento_Ragionamento_Prematuro) o "Tool_Mismatch" (Disallineamento_Strumento).
Il Dizionario Vivente: Il sistema costruisce una "tassonomia", che è solo un termine elegante per un elenco categorizzato. Questo elenco ha tre scaffali:
- Livello di sistema (System-level): Errori legati all'intera configurazione (come il robot che rimane bloccato in un loop).
- Specifico del ruolo (Role-specific): Errori commessi da parti specifiche della squadra del robot (come la parte "controllore" che è pigra).
- Specifico del dominio (Domain-specific): Errori riguardanti l'argomento effettivo (come sbagliare i calcoli matematici).
La Parte Migliore: Il robot non deve mai essere istruito su questo dizionario da un essere umano. Il dizionario è costruito interamente dai fallimenti del robot stesso. È come se uno studente scrivesse la propria guida allo studio basandosi sui propri errori nei test, e poi usasse quella guida per studiare per il test successivo.

Cosa ha Scoperto il Paper: Il Dizionario Funziona

Gli autori hanno testato questa idea in tre modi diversi, e i risultati suggeriscono che avere questo "Dizionario degli Errori" rende i robot significativamente più intelligenti e affidabili.

1. Trovare Migliori Progetti di Robot (La Ricerca)
Immagina di cercare di inventare un robot migliore mescolando e abbinando diverse parti. Di solito, guardi solo il punteggio: "Questo robot ha ottenuto l'80%, quello l'85%". Ma con AdaMAST, il sistema guarda i codici del dizionario dei robot falliti.

Il Risultato: Quando i ricercatori hanno usato questi codici per guidare la ricerca di migliori progetti di robot, i nuovi robot hanno performato molto meglio. In cinque diverse tipologie di sfide (dalla programmazione competitiva alla matematica), i robot che utilizzavano il dizionario hanno migliorato i loro punteggi del 3,4% - 7,5% rispetto ai robot che ricevevano solo feedback testuali generici.
L'Analogia: È come un allenatore che dice a un giocatore: "Continui a sbagliare la palla perché stai guardando nel punto sbagliato" (un codice specifico) invece di dire solo: "Hai giocato male" (un punteggio generico). Il giocatore sa esattamente cosa correggere.

2. Correggere gli Errori Durante il Lavoro (Monitoraggio Runtime)
A volte, un robot è nel mezzo di un compito e inizia a prendere una strada sbagliata. Il paper ha testato se il robot potesse fermarsi, controllare il proprio "Dizionario degli Errori" e correggersi prima di finire.

Il Risultato: Quando al robot è stato dato questo dizionario per controllare se stesso, ha risolto più problemi.
- Su un test di ingegneria del software chiamato SWE-bench, un robot chiamato SWE-agent è passato dal risolvere il 60% dei problemi con il normale auto-controllo al 70% con il dizionario.
- Un altro robot, Claude Code, è passato dal 64,0% al 70,7%.
La Conclusione: Il dizionario ha aiutato il robot a individuare errori specifici e ricorrenti (come dimenticare di controllare gli errori di sintassi) che continuava a mancare quando usava solo un generico prompt "controlla il tuo lavoro".

3. Scegliere il Tentativo Migliore (Selezione della Traiettoria)
Immagina che un robot provi a risolvere un problema cinque volte. Non sai quale sia quello giusto, ma devi scegliere il vincitore.

Il Risultato: I ricercatori hanno costruito un "giudice" che guardava i cinque tentativi e contava i "Codici di Errore". Il tentativo con meno codici di errore era solitamente il vincitore.
I Numeri: Questo metodo ha migliorato l'accuratezza nella scelta della risposta corretta di 8 - 15 punti rispetto al semplice indovinare o all'uso di una checklist standard. Era particolarmente efficace nel distinguere tra un tentativo "vicino ma sbagliato" e uno "effettivamente corretto".

Cosa il Paper Esclude (E Cosa Non Esclude)

Gli autori sono attenti a precisare cosa questo sistema non è.

Non è una bacchetta magica per tutto: Il paper mostra che una lista di errori fissa e predefinita (come una lista standard da un libro di testo) va bene, ma non è efficace quanto un dizionario costruito specificamente per lo stile del robot. La parte "Adattiva" è la chiave. Se usi una lista generica, perderai gli errori unici e strani che solo il tuo robot commette.
Non riguarda lo scrivere saggi migliori: Il paper ha testato se scrivere il feedback in un formato più elegante e strutturato (come un elenco) fosse il segreto del successo. Hanno scoperto che il contenuto del dizionario contava più del formato. La vera vittoria era avere un elenco di nomi di errori coerente e riutilizzabile, non solo il modo in cui le parole erano disposte.
Non è un'invenzione umana: Il paper sostiene esplicitamente contro l'idea che gli umani scrivano queste liste a mano. Hanno scoperto che quando gli umani cercano di indovinare quali errori commetterà un robot, mancano gli errori specifici e bizzarri. Il comportamento del robot stesso è il miglior insegnante.

Quanto Siamo Sicuri?

Il paper presenta queste scoperte come risultati misurati da esperimenti reali, non come semplici supposizioni.

I numeri sono solidi: I miglioramenti (come il salto dal 60% al 70% nella risoluzione dei problemi) sono stati misurati attraverso molteplici test e diversi tipi di robot.
Il "Dizionario" è compatto: Gli autori hanno dimostrato che questo dizionario è incredibilmente efficiente. Può comprimere una enorme quantità di disordinati dati di fallimento in una piccola lista di codici (circa 18 volte più piccola) senza perdere i dettagli importanti.
È comprensibile per l'uomo: Quando hanno confrontato il dizionario creato dal robot con una lista creata da esperti umani, la lista del robot si è rivelata coincidere con la comprensione degli esperti degli errori meglio della lista creata dagli umani. Ciò suggerisce che il robot è sorprendentemente bravo a comprendere i propri errori.

In breve, AdaMAST suggerisce che il modo migliore per sistemare un robot intelligente non è scrivergli un nuovo manuale o dargli un rimprovero generico. Invece, dovresti lasciargli costruire il proprio dizionario di errori dai propri fallimenti, e poi usare quel dizionario per insegnargli come fare meglio la prossima volta. Trasforma un mucchio disordinato di errori in una tabella di marcia chiara e azionabile per il miglioramento.

Riepilogo Tecnico: Tassonomie Adattive Fantastiche e Come Usarle (AdaMAST)

1. Definizione del Problema

Gli attuali metodi per migliorare i sistemi di agenti basati su Large Language Model (LLM) senza modificare i pesi del modello si basano sul consumo di tracce di esecuzione. Queste procedure — come la selezione delle traiettorie, l'ottimizzazione di prompt/workflow e il monitoraggio runtime — estraggono feedback dalle tracce grezze per diagnosticare i fallimenti. Tuttavia, l'articolo sostiene che le tracce grezze siano un mezzo subottimale per accumulare feedback perché sono:

Lunghe e specifiche per istanza: consumano una porzione significativa della finestra di contesto.
Privi di un vocabolario stabile: i modelli di fallimento ricorrenti (ad esempio, un tentativo di riproposta di una chiamata a uno strumento o un controllore che approva acriticamente un risolutore) vengono ridiagnosticati in prosa testuale libera ad ogni esecuzione. Ciò impedisce l'accumulo di un'interfaccia diagnostica condivisa e riutilizzabile.
Inefficienti per i cicli di feedback: le critiche in testo libero vengono scartate dopo ogni esecuzione, mentre gli esiti scalari (passaggio/fallimento) mancano di profondità diagnostica.

Le tassonomie fisse esistenti (ad esempio, MAST) affrontano limitazioni strutturali: presuppongono ruoli degli agenti e conoscenze di dominio che potrebbero non esistere in un sistema target, portando a un disallineamento tra il vocabolario e i reali modi di fallimento osservati.

2. Metodologia: AdaMAST

L'articolo introduce AdaMAST (Adaptive Multi-Agent System Failure Taxonomies), una pipeline che induce un vocabolario di fallimenti compatto e fondato sull'evidenza direttamente dalle tracce di esecuzione di un sistema target.

Architettura Core

La tassonomia indotta consiste in codici di fallimento nominati, organizzati lungo tre assi fissi, garantendo la comparabilità tra i sistemi pur permettendo al contenuto di adattarsi:

Livello di Sistema (Asse A): Fallimenti che richiedono modifiche all'armatura (harness) o all'orchestrazione (es. mancata conformità alle istruzioni, stagnazione).
Specifico del Ruolo (Asse B): Fallimenti specifici dei ruoli degli agenti scoperti (es. mancata conformità del controllore, aggregazione errata del coordinatore). Questi sono interamente indotti dalle tracce; se un sistema non ha ruoli differenziati, questo asse rimane vuoto.
Specifico del Dominio (Asse C): Fallimenti che richiedono conoscenze specifiche del compito (es. ragionamento errato sulla combinatoria, violazioni delle leggi fisiche).

La Pipeline di Induzione

Il processo di generazione della tassonomia è un costo una tantum per ogni sistema target, composto da quattro fasi:

Analisi: Estrae il contesto di dominio, i ruoli degli agenti scoperti e i segnali comportamentali ricorrenti da un campione di tracce.
Curatela: Propone codici candidati per ogni asse. I codoli di sistema e di dominio sono seminati da ampi priori proposti dalla pipeline; i codici di ruolo sono interamente indotti dall'architettura.
Consolidamento: Rimuove i duplicati, ripara le violazioni di denominazione ed impone regole di copertura. Questa fase si compila in circa otto chiamate LLM.
Accordo tra Annotatori (Gate di Deployment): Quattro annotatori LLM indipendenti etichettano le traiettorie tenute da parte (held-out). La tassonomia viene accettata solo se la media del coefficiente Kappa di Cohen $\kappa \ge 0.75$ (a livello di area di fallimento) con un pavimento di copertura di 0.70. Se i target non vengono raggiunti, il sistema propone modifiche (fusione, aggiunta, rinominazione) e riavvia il processo.

Raffinamento Online

Man mano che il sistema target evolve (ad esempio, durante la ricerca basata su ricerca), la tassonia può essere raffinata online. Gli eventi di raffinamento fondono, aggiungono o rinominano i codici in base alle tracce recenti, assicurando che il vocabolario tracci lo stato attuale del sistema piuttosto che un'istantanea storica.

Modalità di Integrazione

La tassonomia indotta funge da interfaccia di feedback condivisa per tre distinti tipi di consumatori:

Ricerca Agente-Sistema: Le diagnosi codificate dalla tassonomia (codici attivati + evidenza) sostituiscono la riflessione in testo libero nei prompt di mutazione per guidare la ricerca evolutiva (es. AdaEvolve).
Monitoraggio Runtime: La tassonomia funge da "abilità runtime" o ancora in-context, permettendo all'agente di auto-verificarsi contro i modi di fallimento noti in checkpoint specifici.
Selezione delle Traiettorie: Un verificatore (AdaMAST-Judge) converte i codici indotti in criteri di verifica per classificare le traiettorie candidate senza controllori basati su verità fondamentale (ground-truth).

3. Contributi Chiave

Tassonomie di Fallimento Adattive: Una pipeline che induce tassonomie compatte e fondate sull'evidenza dalle tracce senza codici scritti a mano o annotazione umana per ogni traccia.
Interfaccia di Feedback Misurabile: Il vocabolario indotto dimostra di essere:
- Compatto: Comprime il contenuto rilevante per il fallimento di circa $18\times$ preservando le distinzioni (l'89% delle tracce mantiene firme di codice uniche).
- Fedele all'Umano: Corrisponde alle annotazioni di fallimento degli esperti meglio dei vocabolari creati a mano in condizioni identiche ( $\kappa = 0.682$ vs $0.516$ su TRAIL).
- Adattivo: Le tassonomie indotte per diversi domini condividono solo una media di Jaccard pari a 0.14, dimostrando la specificità rispetto ai ruoli e agli strumenti del sistema target.
Miglioramento Cross-Consumer: La stessa tassonomia indotta migliora le prestazioni in tre compiti downstream distinti: ricerca agente-sistema, monitoraggio runtime e selezione delle traiettorie.

4. Risultati Sperimentali

L'articolo valuta AdaMAST attraverso tre impostazioni di integrazione e molteplici benchmark.

Ricerca Agente-Sistema

Utilizzando AdaEvolve come spina dorsale della ricerca, le diagnosi codificate dalla tassonomia hanno superato la riflessione LLM in forma libera su tutti i cinque benchmark:

Frontier-CS: $26.0\% \to 32.7\%$ (+6.7 pp)
OlympiadBench: $87.9\% \to 91.9\%$ (+4.0 pp)
MMLU-Pro: $35.0\% \to 42.5\%$ (+7.5 pp)
TheoremQA: $60.0\% \to 65.0\%$ (+5.0 pp)
DROP: $88.2\% \to 91.7\%$ (+3.5 pp)
Meccanismo: Nel caso studio di OlympiadBench, codici specifici (es. Coordinator Aggregation Mismatch) hanno stimolato direttamente modifiche architettoniche (promuovendo la verifica da un gate binario a un incremento di punteggio), portando a salti di punteggio.

Monitoraggio Runtime

Su SWE-bench Verified Mini, ancorare i checkpoint al vocabolario indotto ha migliorato i tassi di risoluzione:

Claude Code: $64.0\%$ (Base) $\to 70.7\%$ (AdaMAST), superando Reflexion in testo libero ( $60\%$ ) e la checklist MAST fissa ( $67.3\%$ ).
SWE-agent: $50\%$ (Base) $\to 70\%$ (AdaMAST), superando Reflexion ( $60\%$ ) e MAST ( $68\%$ ).
Il vocabolario indotto ha ridotto specificamente i fallimenti nella fase di verifica e ha convertito le risoluzioni "instabili" (flaky) in risoluzioni affidabili.

Selezione delle Traiettorie

Su Terminal-Bench 2.0, AdaMAST-Judge ha migliorato l'accuratezza della selezione Best-of-5 rispetto a Pass@1 di 8–15 punti e rispetto al vocabolario MAST fisso di 3.4–4.5 punti su armature (harness) non saturate. È stato dimostrato che i codici attivati discriminano le traiettorie corrette da quelle errate (mediana di 3 codici per il successo vs 4 per il fallimento).

Validazione

Allineamento Umano: Sul dataset TRAIL, il vocabolario indotto ha ottenuto $\kappa = 0.682$ rispetto alle etichette degli esperti, superando significativamente il vocabolario TRAIL creato a mano ( $\kappa = 0.516$ ) utilizzando lo stesso panel di annotazione.
Compressione: La tassonomia ha compresso il contenuto di fallimento di circa $18\times$ (ovvero circa $95\times$ meno token) mantenendo l'equivalenza funzionale rispetto ai pool di tracce grezze per i compiti di predizione a valle.

5. Significato e Rivendicazioni

L'articolo sostiene che le tassonomie di fallimento adattive chiudono il cerchio tra le tracce che gli agenti producono e le procedure che le migliorano.

L'argomento centrale è che la "rappresentazione mancante" tra le tracce grezze e gli esiti scalari è un vocabolario di fallimento nominato, fondato sull'evidenza e specifico del sistema. Inducendo questo vocabolario una sola volta dal comportamento del sistema stesso, esso diventa un artefatto duraturo che:

Ammortizza l'analisi: Il costo della diagnosi viene pagato una sola volta per generare la tassonomia, che viene poi riutilizzata in vari cicli e procedure.
Permette interventi mirati: A differenza delle critiche in testo libero, i codici mappano direttamente sui punti di intervento (sistema, ruolo o dominio).
Traccia l'evoluzione: Il vocabolario si adatta man mano che il sistema cambia, catturando la "coda lunga" di fallimenti specifici di ruolo e di dominio che i cataloghi fissi non possono anticipare.

Gli autori sottolineano che i guadagni non sono dovuti semplicemente alla formattazione del prompt o all'uso di testo strutturato, ma derivano dall'induzione e dal riutilizzo di un vocabolario che è fedele ai modi di fallimento del sistema agente specifico. L'articolo conclude che il modo più economico per migliorare un sistema di agenti potrebbe essere quello di "imparare prima, nei propri termini, come si fallisce".