💬 NLP

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

Questo articolo introduce InflationAgent, un nuovo framework di routing che affronta il divario di "inflazione dei token" nei sistemi di LLM agentici attraverso la previsione dei costi a livello di workflow tramite la CoT Branching Entropy e l'ottimizzazione della selezione del modello attraverso un Tasso di Scambio Semantico, ottenendo così una precisione maggiore con meno token rispetto ai metodi esistenti come FrugalGPT.

Autori originali: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Pubblicato 2026-08-17

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un servizio di consegna per una flotta di robot. Alcuni robot sono minuscoli, veloci ed economici da gestire, ma a volte si confondono e fanno cadere i pacchi. Altri sono giganti, super intelligenti e costosi, ma quasi non commettono mai errori. Nel mondo dell'Intelligenza Artificiale, questi robot sono i "Large Language Models" (LLM). Sono i cervelli dietro i chatbot e gli assistenti di programmazione. Di solito, quando poniamo una domanda, la inviamo semplicemente a un robot e aspettiamo una risposta. Ma nel mondo reale, le cose si complicano. Se il robot minuscolo sbaglia, un sistema intelligente non si limita ad arrendersi; chiede al robot di riprovare. Potrebbe persino chiedere al robot gigante di intervenire. Questo è chiamato un "sistema agentico" — un team di agenti IA che lavorano insieme per risolvere un problema.

Il problema è che abbiamo contato i costi di queste consegne nel modo sbagliato. Abbiamo pagato per il prezzo di un singolo viaggio, dimenticando che se il robot si schianta e deve tornare all'emporio per riprovare, stiamo pagando per l'intero viaggio di andata e ritorno, non solo per il biglietto di sola andata. Questo articolo riguarda un nuovo modo per gestire questi team di IA in modo da non esaurire accidentalmente il budget inviando il robot sbagliato su un lavoro che richiede troppi tentativi.

Il costo nascosto del "Riprova"

Immagina di essere a una fiera con un banchetto di giochi. Hai una quantità limitata di denaro (gettoni) per giocare. Puoi scegliere tra una macchina traballante e poco costosa che costa $1 a tentativo, o una macchina lussuosa e hi-tech che costa $10 a tentativo.

Il vecchio modo di pensare era semplice: "La macchina economica costa $1, quindi scelgo quella!". Ma ecco il trucco: la macchina economica è capricciosa. Se le poni una domanda difficile, potrebbe sbagliare. Quindi, devi pagare di nuovo $1 per un secondo tentativo. E un terzo. E un quarto. Nel momento in cui finalmente ottieni la risposta corretta, hai speso $5 con la macchina economica. Nel frattempo, la macchina lussuosa avrebbe dato la risposta giusta al primo colpo per $10.

Questo articolo chiama questo costo extra nascosto "Inflazione dei Token". È la differenza tra quello che pensi di pagare (un tentativo) e quello che effettivamente paghi (cinque tentativi). Gli autori hanno scoperto che per i compiti difficili, questa inflazione può essere enorme. Un modello piccolo e poco costoso può finire per costare 4,25 volte più del previsto perché continua a fallire e richiede continui tentativi.

La nuova strategia: L' "InflationAgent"

I ricercatori hanno costruito un nuovo sistema chiamato InflationAgent per risolvere questo problema. Inveve di guardare solo al prezzo di un singolo tentativo, questo sistema agisce come un esperto gestore di fiere che sa esattamente quali macchine sono soggette a guasti.

Ecco come funziona, passo dopo passo:

1. Il "Controllo Istintivo" (CoT Branching Entropy)
Prima ancora che il sistema chieda a un robot di risolvere un problema, esegue un test rapido e gratuito. Chiede a un piccolo robot locale di riflettere sul problema in tre modi diversi.

Se il robot dà la stessa risposta tutte e tre le volte, il sistema sa che il problema è facile.
Se il robot dà tre risposte totalmente diverse e confuse, il sistema sa che il problema è difficile e che il robot è probabile che rimanga bloccato in un ciclo di tentativi.
Gli autori chiamano questa misurazione CoT Branching Entropy. È come controllare se il motore di un'auto tossisce prima ancora di iniziare il viaggio. Questo non costa nulla in più perché avviene su un computer locale, non sui costosi server cloud.

2. Il calcolatore del "Prezzo al Cartellino"
Usando quel "controllo istintivo", il sistema prevede quanta "inflazione" ci sarà. Non tira a indovinare; utilizza un piccolo e intelligente calcolatore (un modello di machine learning) addestrato su dati passati. Prevede: "Se inviamo questa domanda difficile al piccolo robot, probabilmente fallirà 3 volte, quindi il costo reale è 3 volte il prezzo".

3. Il selettore del "Miglior Affare"
Ora il sistema calcola il Semantic Exchange Rate (SER). Questo è un modo elegante per chiedere: "Quanta precisione ottengo per ogni dollaro che effettivamente spendo?".

Se il piccolo robot è economico ma fallirà 4 volte, il suo "affare" è terribile.
Se il grande robot è costoso ma darà la risposta giusta al primo colto, il suo "affare" potrebbe essere in realtà migliore.
Il sistema sceglie il robot che offre il miglior valore, non solo il prezzo d'acquisto più basso.

4. La regola del "Nuovo Inizio"
Questo è il trucco più importante. Se il sistema invia una domanda a un robot e questo fallisce, e poi decide di passare a un robot più grande e intelligente, scarta il vecchio tentativo fallito.
I ricercatori hanno scoperto qualcosa di sorprendente: se mostri al grande robot gli appunti disordinati e confusi del fallimento del piccolo robot, anche il grande robot si confonde! È come mostrare a uno studente geniale gli scarabocchi di uno studente in difficoltà; il genio potrebbe iniziare a dubitare di se stesso.
Fornendo al grande robot un prompt fresco (una tabula rasa), il sistema mantiene alta la precisione. Se avessero semplicemente passato gli appunti falliti, l'accuratezza del grande robot sarebbe scesa di 34,8 punti percentuali su compiti difficili.

Cosa hanno scoperto

Il team ha testato questo su problemi matematici (GSM8K) e domande di cultura generale difficili (HotpotQA). Ecco cosa è successo:

L'inflazione è reale: Su domande di cultura generale difficili, il modello piccolo (Qwen2.5-7B) aveva un tasso di inflazione di 4,25×. Significava che per ogni dollaro che pensavi di spendere, ne stavi effettivamente spendendo $4,25 perché il robot continuava a fallire.
Risultati migliori per meno soldi: Quando hanno impostato un budget fisso (un limite rigoroso di token che potevano spendere), il loro nuovo sistema (InflationAgent) ha ottenuto il 94,7% delle risposte corrette. Il vecchio metodo popolare (FrugalGPT) ne ha ottenute il 91,0%.
Risparmio di Token: Per ottenere la stessa accuratezza del 91,0% del vecchio metodo, il nuovo sistema ha utilizzato il 31% in meno di token. È un risparmio enorme.
Il pericolo di "Più Tentativi": Hanno scoperto che dare semplicemente al piccolo robot più possibilità di provare (fino a 10 volte) non funziona per sempre. Dopo un certo punto, il robot si confonde per i propri fallimenti passati e la sua accuratezza in realtà diminuisce. A volte, è meglio passare a un robot più intelligente piuttosto che continuare a sbattere la testa contro il muro.

Conclusione

Questo articolo dimostra che nel mondo dell'IA, "economico" non è sempre economico. Se un modello è propenso a fallire e ha bisogno di riprovare ancora e ancora, diventa costoso e inefficiente. Misurando quanto è probabile che un modello rimanga bloccato (usando l'entropia del controllo istintivo) e partendo da zero quando si passa a un modello più intelligente, possiamo risparmiare denaro e ottenere risposte migliori.

Gli autori sono fiduciosi in questi risultati basandosi sui loro test con dataset specifici di matematica e cultura generale. Suggeriscono che, sebbene questo funzioni molto bene per i compiti di ragionamento, dobbiamo ancora capire come applicarlo a conversazioni più aperte o agli strumenti. Ma per ora, hanno dimostato che un po' di pianificazione intelligente va molto lontano nel mantenere il budget dell'IA sotto controllo, evitando che l'inflazione prenda il sopravvento.

Sintesi Tecnica: Non tutti i token sono uguali: Routing consapevole dell'inflazione per sistemi LLM agentici

Problema

I moderni sistemi agentici basati su Large Language Models (LLM) impiegano frequentemente meccanismi di retry quando un modello non riesce a rispondere correttamente a una query o produce una catena di ragionamento incompleta. Mentre i sistemi di routing esistenti (ad esempio, FrugalGPT, RouteLLM) ottimizzano i costi basandosi sul prezzo per token di una singola chiamata, essi non tengono conto del costo cumulativo dei retry.

Gli autori definiscono Inflazione dei Token come il rapporto tra il costo reale del workflow (inclusi tutti i retry) e il costo stimato di una singola chiamata.
$\text{Inflazione}(m, x) = \frac{C_{\text{true}}(m, x)}{C_{\text{direct}}(m, x)}$
Dove $C_{\text{true}}$ è la somma dei token consumati attraverso $k^*$ tentativi fino al successo (o all'esaurimento dei retry), e $C_{\text{direct}}$ è il conteggio dei token di un singolo tentativo.

Il documento dimostra che questa inflazione è non trascurabile e altamente variabile. Per compiti multi-hop difficili, un modello piccolo e "economico" può fallire ripetutamente, risultando in un costo reale 4,25 volte superiore alla stima della singola chiamata. Di conseguenza, le decisioni di routing basate esclusivamente sulle stime di singola chiamata possono sottostimare sistematicamente i costi reali di oltre 2×, portando a una selezione del modello subottimale.

Metodologia: InflationAgent

Per affrontare questo problema, gli autori propongono InflationAgent, una pipeline di routing in quattro fasi progettata per massimizzare il Semantic Exchange Rate (SER), definito come l'accuratezza attesa diviso per il costo vero predetto:
$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{true}}(m, x)}$

La pipeline opera come segue:

Estrazione delle Feature (Locale): Il sistema estrae caratteristiche strutturali dalla query (conteggio dei token, diversità del vocabolario, indizi multi-hop) senza effettuare chiamate API.
Calcolo della CoT Branching Entropy (CBE) (Locale): Il sistema campiona $K$ catene di ragionamento indipendenti da un modello locale. Calcola l'entropia di Shannon della distribuzione delle risposte risultanti:
$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$
Un'alta entropia indica percorsi di ragionamento divergenti e un'alta difficoltà della query, fungendo da proxy a costo zero per la probabilità di retry.
Predizione dell'Inflazione e Routing: Un Multi-Layer Perceptron (MLP) leggero predice il fattore di inflazione ( $\hat{\text{Inflation}}$ ) utilizzando quattro feature: CBE, punteggio di accordo, lunghezza media della catena e conteggio dei token del prompt. Il sistema stima il costo vero ( $\hat{C}_{\text{true}} = C_{\text{direct}} \times \hat{\text{Inflation}}$ ) e seleziona il tier di modello con il SER più elevato.
Esecuzione con Fresh-Escalation: Il modello selezionato esegue la query. Se l'inflazione osservata supera il 2× rispetto alla predizione, il sistema scala verso un tier di modello più forte. Fondamentalmente, questa escalation utilizza un prompt fresco (fresh prompt), scartando la catena di ragionamento fallita per evitare la contaminazione del contesto.

Contributi Chiave

Misurazione sistematica dell'Inflazione dei Token: Gli autori hanno strumentato un harness di retry agentico attraverso tre tier di modelli (Qwen2.5-7B, GPT-4o-mini, GPT-4o) e due dataset (GSM8K, HotpotQA). Hanno scoperto che l'inflazione varia significativamente in base al tipo di task, raggiungendo 4,25× per un modello 7B su QA multi-hop, mentre GPT-4o sullo stesso task inflazionava solo di 2,92×.
CoT Branching Entropy (CBE): Un segnale di difficoltà pre-esecuzione calcolato interamente tramite inferenza locale. Predice l'alta inflazione con un AUROC di 0,887, consentendo al sistema di anticipare l'overhead dei retry senza incorrere in costi API.
Routing Semantic Exchange Rate (SER): Un obiettivo di routing che bilancia l'accuratezza rispetto al costo vero predetto, piuttosto che solo al costo di singola chiamata.
Politica di Fresh-Escalation: Un risultato empirico secondo cui inoltrare le catene di ragionamento fallite a un modello più forte degrada le prestazioni. Gli autori mostrano che contaminare GPT-4o con catene fallite da un modello più piccolo riduce la sua accuratezza di 34,8 punti percentuali su query difficili, validando la necessità di scartare il contesto fallito durante l'escalation.

Risultati Sperimentali

L'evaluazione è stata condotta su GSM8K e HotpotQA con un budget di token fisso e un massimo di 5 retry.

Accuratezza vs. Costo: Su GSM8K, InflationAgent ha raggiunto il 94,7% di accuratezza rispetto al 91,0% del baseline FrugalGPT. Per raggiungere il livello di accuratezza di FrugalGPT, InflationAgent ha richiesto il 31% in meno di token.
Predizione dell'Inflazione: Il predittore MLP ha raggiunto una correlazione di Pearson di 0,714 e un AUROC di 0,887 sul test set tenuto fuori (held-out) per il rilevamento di query ad alta inflazione (soglia $\ge$ 2×).
Rendimenti Marginali: Aumentare i retry per un modello piccolo (Qwen2.5-7B) mostra rendimenti decrescenti; l'accuratezza ha raggiunto il picco a 5× il budget (92,5%) ed è scesa all'82,0% a 10× a causa dell'interferenza del contesto dalle catene fallite.
Contaminazione del Contesto: In un esperimento controllato, l'accuratezza di GPT-4o è scesa dal 73,9% al 39,1% quando alimentato con catene di ragionamento fallite da Qwen2.5-7B, un calo statisticamente significativo ( $p=0,0078$ ).

Significato e Assertions

Il paper sostiene che l'inflazione dei token sia un fattore critico, precedentemente trascurato, nella progettazione di sistemi agentici. Ignorando l'overhead dei retry, le strategie di routing esistenti possono involontariamente selezionare modelli che sono "economici" per token ma costosi per ogni task completato con successo.

Gli autori affermano che InflationAgent risolve questo problema:

Modellando esplicitamente il divario tra le stime di singola chiamata e i costi veri del workflow.
Utilizzando l'inferenza locale (CBE) per predire questo divario senza costi API aggiuntivi.
Implementando una strategia di "fresh-escalation" che previene la degradazione delle prestazioni del modello a valle causata dalla contaminazione del contesto.

Il lavoro stabilisce che, per compiti multi-hop difficili, un modello nominalmente economico con alta inflazione non è né conveniente né efficace. Il framework proposto offre una via per un'inferenza agentica più efficiente, allineando le decisioni di routing con il vero costo economico del completamento del task.

Limitazioni

Gli autori notano che la loro valutazione è limitata a due benchmark di ragionamento (GSM8K, HotpotQA) e non si estende alla generazione open-ended, al dialogo multi-turno o agli agenti di tool-use. Il predittore di inflazione è addestrato su distribuzioni di task specifiche, e la generalizzazione cross-task rimane una questione aperta. Inoltre, i rapporti delle unità di calcolo utilizzati sono fissi e non tengono conto della dinamicità dei prezzi delle API.