🤖 machine learning

TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition

Il documento propone TIER, un framework di ricompensa che sfrutta gli schemi di funzione e l'esecuzione a runtime per fornire una supervisione densa e invariante rispetto alla traiettoria per l'uso di strumenti multi-step, consentendo ai grandi modelli linguistici di raggiungere un'alta accuratezza su compiti compositi complessi dove i metodi esistenti basati sulla traiettoria falliscono.

Autori originali: Anay Kulkarni, ChiaEn Lu, Dheeraj Mekala, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Anay Kulkarni, ChiaEn Lu, Dheeraj Mekala, Jayanth Srinivasa, Gaowen Liu, Jingbo Shang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un assistente robotico molto intelligente ma inesperto come risolvere problemi complessi utilizzando una cassetta degli attrezzi di strumenti digitali (come controllare il meteo, cercare gli orari dei voli o prenotare un ristorante).

Il problema è che quando chiedi al robot di eseguire un compito semplice (come "controlla il meteo"), impara rapidamente. Ma quando gli chiedi di eseguire una catena di compiti (come "trova il mio volo, vedi dove atterro, controlla il meteo lì e poi trova un ristorante"), il robot spesso si confonde e fallisce.

Questo articolo introduce un nuovo metodo di insegnamento chiamato TIER per risolvere il problema. Ecco come funziona, spiegato in modo semplice:

Il Problema: La Trappola della "Risposta Corretta"

Attualmente, esistono due modi principali per insegnare a questi robot, e entrambi presentano difetti:

Il Metodo "Promosso/Bocciato" (Basato sul Risultato): Si assegna una ricompensa al robot solo se ottiene la risposta finale corretta. Se commette un errore nel secondo passaggio di un processo di cinque passaggi, riceve zero punti. È come uno studente che sostiene un test di matematica: sbaglia i primi quattro passaggi ma indovina correttamente il numero finale; ottiene un A. Ma se sbaglia il numero finale, ottiene un E, anche se ha eseguito perfettamente i primi quattro passaggi. Il robot non impara mai dove ha sbagliato.
Il Metodo "Copione" (Supervisionato sulla Traiettoria): Si mostra al robot un "percorso perfetto" specifico e pre-scritto per risolvere il problema. Se il robot segue esattamente quel percorso, riceve punti. Se trova un modo diverso, ma ugualmente valido, per risolvere il problema, viene punito. È come un insegnante che assegna crediti solo se uno studente disegna una mappa esattamente come ha fatto l'insegnante, anche se lo studente ha trovato un percorso più veloce. Man mano che i compiti diventano più complessi, ci sono più percorsi validi, quindi il robot viene punito più spesso e smette di imparare.

La Soluzione: TIER (L'"Ispettore Intelligente")

Gli autori propongono TIER, che agisce come un ispettore intelligente e automatizzato che verifica il lavoro del robot ad ogni singolo passaggio, senza aver bisogno di un "percorso perfetto" pre-scritto da confrontare.

Invece di chiedere: "Hai copiato il percorso dell'insegnante?" oppure "Hai ottenuto la risposta finale?", TIER pone quattro domande specifiche su ogni strumento che il robot tenta di utilizzare:

Controllo del Formato: "Hai scritto la richiesta nel linguaggio corretto (sintassi)?" (Ad esempio: hai usato le parentesi e le virgole giuste?)
Controllo dello Schema: "Hai richiesto lo strumento giusto e le informazioni corrette?" (Ad esempio: hai richiesto uno strumento "Volo" quando ne avevi bisogno e hai fornito il numero di volo?)
Controllo dell'Esecuzione: "Lo strumento ha funzionato effettivamente?" (Ad esempio: il computer ha eseguito con successo il codice senza bloccarsi?)
Controllo della Risposta: "Hai risolto il problema originale?"

La Magia di TIER:
Se il robot trova un modo diverso ma valido per risolvere il problema (ad esempio, controllare il meteo prima di trovare il volo, invece che dopo), TIER gli assegna comunque il pieno credito, purché i passaggi siano validi e la risposta finale sia corretta. Non si cura dell'ordine, ma solo che la logica regga.

L'Analogia: Costruire una Casa

Immagina di costruire una casa.

Vecchio Metodo 1 (Promosso/Bocciato): Si paga il costruttore solo quando la casa è finita. Se il tetto crolla perché le fondamenta erano deboli, non gli si paga nulla. Il costruttore non sa perché ha fallito.
Vecchio Metodo 2 (Copione): Si dà al costruttore un progetto e si dice: "Costruiscilo esattamente così". Se decide di mettere il garage a sinistra invece che a destra (il che va bene), ci si rifiuta di pagarlo.
Metodo TIER: Si ha un ispettore che verifica ogni fase.
- "Le fondamenta sono in piano?" (Formato)
- "Hai usato i materiali giusti per le pareti?" (Schema)
- "La parete è rimasta in piedi?" (Esecuzione)
- "La casa è abitabile?" (Risposta)
- Se il costruttore mette il garage a sinistra, l'ispettore dice: "Ottimo lavoro, è una casa valida!" e lo paga.

I Risultati

I ricercatori hanno testato questo approccio su un nuovo benchmark chiamato DepthBench, che misura quanto bene i robot riescono a gestire compiti di complessità crescente (da 1 passaggio fino a 6 passaggi).

Vecchi metodi: I robot funzionavano benissimo per compiti di 1 passaggio, ma fallivano miseramente non appena il compito arrivava a 4 o 5 passaggi. La loro accuratezza scendeva vicino allo zero.
TIER: I robot che utilizzavano TIER hanno mantenuto un'accuratezza superiore al 90% anche nei compiti più difficili di 6 passaggi. Hanno imparato a collegare gli strumenti in modo affidabile perché ricevevano feedback utili ad ogni passaggio, non solo alla fine.

Perché è Importante

Questo approccio significa che non abbiamo bisogno che gli umani scrivano migliaia di esempi "perfetti" per ogni possibile modo di risolvere un problema. Il sistema può verificare automaticamente se il robot sta facendo le cose correttamente basandosi sulle regole degli strumenti stessi. Questo rende molto più facile insegnare ad agenti AI a gestire lavori complessi e reali che richiedono più passaggi.

L'articolo conclude che affinché l'AI diventi brava nel ragionamento complesso e multi-passaggio, abbiamo bisogno di questo tipo di feedback dettagliato, passaggio per passaggio, che premia le soluzioni valide, non solo le soluzioni specifiche.

Riepilogo Tecnico: TIER – Ricompense di Esecuzione Invarianti rispetto alla Traiettoria per la Composizione di Strumenti Multi-Step

Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) hanno dimostrato forti capacità nell'uso di strumenti in un singolo passaggio, ma faticano significativamente quando sono incaricati della composizione di strumenti multi-step. All'aumentare della profondità delle chiamate agli strumenti richieste (ad esempio, recuperare informazioni sui voli per determinare una destinazione, quindi controllare il meteo in quella destinazione), le prestazioni decadono rapidamente. Gli approcci esistenti di Apprendimento per Rinforzo (RL) non riescono a scalare in questi contesti a causa di limitazioni nella progettazione delle ricompense:

Ricompense basate sull'esito: Forniscono solo feedback sparsi e binari (successo/fallimento) al completamento del compito. Ciò rende estremamente difficile l'assegnazione del credito per le decisioni intermedie (selezione dello strumento, specificazione degli argomenti, ordine di esecuzione), portando al collasso dell'addestramento oltre profondità ridotte (ad esempio, l'accuratezza scende dal >94% a 1 passaggio allo 0% oltre 4 passaggi).
Ricompense supervisionate per traiettoria: Si basano su traiettorie di riferimento annotate per fornire feedback granulare. Sebbene offrano segnali più densi, penalizzano soluzioni alternative valide che si discostano dal percorso di riferimento specifico. Questa rigidità diventa un collo di bottiglia critico all'aumentare del numero di percorsi di esecuzione validi con la profondità della composizione, causando instabilità dell'addestramento e fallimento a livelli più profondi.

Metodologia: Framework TIER

Gli autori propongono TIER (Ricompense di Esecuzione Invarianti rispetto alla Traiettoria), un framework di ricompensa che deriva la supervisione direttamente dagli schemi delle funzioni e dall'esecuzione runtime, eliminando la necessità di traiettorie di riferimento annotate.

Principio Fondamentale: Invarianza rispetto alla Traiettoria

Una funzione di ricompensa è invariante rispetto alla traiettoria se il suo valore dipende solo da proprietà verificabili della sequenza generata e dall'ambiente degli strumenti, non dalla somiglianza della sequenza con una traiettoria di riferimento. Ciò garantisce che:

Tutti i percorsi di soluzione validi ricevano la ricompensa massima, indipendentemente dall'ordinamento o dalle operazioni commutative.
Le soluzioni non valide siano differenziate dalle specifiche proprietà che violano, fornendo un segnale di apprendimento graduale senza riferimento a un percorso "gold".

Decomposizione della Ricompensa

La ricompensa totale $R_{total}$ è calcolata per ogni sequenza di chiamate agli strumenti generata e scalata nell'intervallo $[0, 1]$ . Si decompone in quattro componenti distinte:

Validità del Formato ( $R_{format}$ ): Un controllo binario (0 o 1) che assicura che l'Albero Sintattico Astratto (AST) delle chiamate agli strumenti sia ben formato e analizzabile. Un fallimento qui azzerza tutte le ricompense a valle.
Aderenza allo Schema / Analisi ( $R_{parse}$ ): Un punteggio graduale (da 0 a 3) che verifica:
- Validità del Nome: Se tutti i nomi degli strumenti esistono nello schema.
- Correttezza dei Parametri e dei Tipi: Penalizzando le discrepanze nei nomi dei parametri e nei tipi di dati rispetto allo schema della funzione.
Successo dell'Esecuzione ( $R_{exec}$ ): Un controllo binario (0 o 1) che verifica che ogni chiamata agli strumenti nella sequenza venga eseguita con successo senza errori runtime. Ciò utilizza una regola "tutto o niente" perché un fallimento al passaggio $k$ invalida le chiamate dipendenti a valle.
Correttezza della Risposta ( $R_{answer}$ ): Un controllo binario (0 o 5) che verifica se la risposta finale sintetizzata corrisponde alla verità fondamentale attesa. Questa componente è pesata fortemente per prevenire l'"hacking della ricompensa", dove il modello soddisfa i vincoli di formato ed esecuzione ma fallisce nel compito effettivo.

Configurazione dell'Addestramento

Algoritmo: Il framework è ottimizzato utilizzando un obiettivo di gradiente della politica in stile GRPO con vantaggi normalizzati per gruppo.
Rappresentazione Intermedia (IR): I modelli generano chiamate agli strumenti strutturate come AST basati su JSON, che vengono analizzati ed eseguiti contro un backend deterministico.
Agnosticismo: La formulazione della ricompensa è indipendente dal particolare algoritmo di ottimizzazione RL (verificato su GRPO, GRPO normalizzato per batch e DAPO).

Contributi Chiave

Framework di Ricompensa TIER: Un sistema di ricompensa invariante rispetto alla traiettoria che sfrutta gli schemi delle funzioni e il feedback di esecuzione, rimuovendo la dipendenza da costose traiettorie di riferimento annotate da umani.
DepthBench: Un nuovo benchmark progettato specificamente per valutare la composizione di strumenti multi-step, stratificato per profondità (da 0 a 6 passaggi). Presenta 1.710 query su 163 strumenti creati a mano con backend eseguibili, consentendo un'analisi sistematica della generalizzazione composizionale.
Validazione Empirica della Supervisione Multi-Livello: Il documento dimostra che l'apprendimento composizionale degli strumenti richiede una supervisione concorrente a livelli sintattico (formato), strutturale (schema) e funzionale (esecuzione). Gli studi di ablazione mostrano che la rimozione di qualsiasi componente porta a un fallimento catastrofico nelle composizioni più profonde.

Risultati Sperimentali

Gli autori hanno valutato TIER su DepthBench, BFCL v3 e NestFUL, confrontandolo con baseline basate sull'esito (Simple-RL) e baseline supervisionate per traiettoria (ToolRL).

Prestazioni su DepthBench:
- TIER: Ha raggiunto un'accuratezza >90% su tutte le profondità di composizione (1–6 passaggi), inclusa un'accuratezza del 90% alle profondità 5 e 6.
- Simple-RL (Basato sull'esito): L'accuratezza è collassata dal 94% a 1 passaggio allo 0% oltre 4 passaggi.
- ToolRL (Supervisionato per traiettoria): Le prestazioni sono decadute significativamente alle profondità 5 e 6, raggiungendo un'accuratezza dello 0%, confermando che penalizzare percorsi alternativi validi ostacola la composizione profonda.
Benchmark Esterni:
- BFCL v3: TIER ha raggiunto la migliore accuratezza complessiva (68,92%), superando ToolRL (37,27%) e Simple-RL (66,30%). In particolare, ToolRL ha fallito nelle categorie "Multiturn" e "Irrelevance", dove è richiesta una presa di decisione adattiva.
- NestFUL: TIER ha raggiunto un'Accuratezza di Corrispondenza Esatta di 0,684, superando significativamente ToolRL (0,476) e battendo modelli molto più grandi (ad esempio, GPT-4o, DeepSeek-V3) in un setting a 3-shot.
Insight dagli Studi di Ablazione:
- Le ricompense parziali (ad esempio, aggiungere esecuzione senza analisi) hanno portato a "hacking della ricompensa", dove i modelli instradavano le query a strumenti "sicuri" per massimizzare le ricompense di esecuzione ignorando la correttezza.
- Solo la ricompensa completa e decomposta ha permesso una convergenza stabile verso alte prestazioni, evidenziando che i componenti sono complementari e non intercambiabili.

Significato e Affermazioni

Il documento afferma che la progettazione delle ricompense è il collo di bottiglia primario per la composizione di strumenti multi-step negli LLM addestrati con RL. Spostandosi dalla dipendenza dalle traiettorie di riferimento a una supervisione basata sull'esecuzione e invariante rispetto alla traiettoria, TIER permette ai modelli di apprendere strategie di ragionamento complesse e multi-step che erano precedentemente intrattabili.

Gli autori sottolineano che:

Scalabilità: TIER si adatta naturalmente alle interfacce degli strumenti in evoluzione senza richiedere la re-annotazione dei dati di riferimento.
Generalizzazione: L'approccio si trasferisce efficacemente a contesti reali di chiamata di funzioni (BFCL v3) e composizioni di API annidate (NestFUL).
Necessità della Granularità: Il ragionamento composizionale di successo non è un singolo obiettivo, ma un problema di assegnazione del credito multi-livello che richiede una supervisione simultanea a livelli di formato, schema ed esecuzione.

Il lavoro conclude che TIER fornisce una base robusta per l'uso scalabile di strumenti multi-step, sebbene riconosca limitazioni riguardanti ambienti stocastici reali e l'attuale focus sull'addestramento a turno singolo.