🤖 AI

Agent-Omit: Adaptive Context Omission for Efficient LLM Agents

Questo articolo introduce Agent-Omit, un framework di addestramento unificato che migliora l'efficienza degli agenti LLM consentendo loro di omettere in modo adattivo pensieri e osservazioni ridondanti mediante fine-tuning a freddo e apprendimento per rinforzo consapevole dell'omissione, ottenendo compromessi superiori tra efficacia ed efficienza su più benchmark.

Autori originali: Yansong Ning, Jun Fang, Naiqiang Tan, Hao Liu

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yansong Ning, Jun Fang, Naiqiang Tan, Hao Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: L'Agente "Spiegone"

Immagina di assumere un assistente di ricerca molto intelligente, ma leggermente ossessivo, per trovare un fatto specifico su internet per te.

La Buona Notizia: È brillante. Trova la risposta.
La Cattiva Notizia: Per arrivarci, scrive un'entrata di diario di 50 pagine per ogni singolo passo che compie. Scrive: "Sto pensando di cliccare il pulsante blu", poi clicca. Poi scrive: "Sto leggendo il testo sullo schermo", poi legge. Anche quando sta solo cliccando un pulsante che era ovvio dal passo precedente, scrive un intero paragrafo a riguardo.

Questo è esattamente ciò che fanno gli attuali agenti AI. Generano molte "pensieri" (ragionamenti) e "osservazioni" (lettura dei risultati delle loro azioni). Sebbene questo li aiuti a risolvere problemi difficili, crea una quantità enorme di "disordine digitale". Questo disordine:

Costa molto denaro (perché le aziende AI addebitano in base alla parola/token).
Rallenta tutto.
Confonde l'AI perché la cronologia della conversazione diventa così lunga da dimenticare l'inizio.

L'Insight: Non Tutti i Pensieri Sono Uguale

I ricercatori dietro questo paper si sono posti una domanda semplice: "Dobbiamo davvero leggere ogni singola pagina di quel diario di 50 pagine?"

Hanno analizzato il viaggio dell'AI e scoperto che l'importanza di questi pensieri e osservazioni cambia a seconda di quando accadono:

L'Inizio: L'AI deve pensare intensamente per pianificare il suo percorso. (Alto valore).
Il Centro: L'AI sta solo cliccando pulsanti o leggendo semplici risultati di ricerca. Spesso, non ha bisogno di scrivere un'entrata di diario per questo; può semplicemente eseguire l'azione. (Basso valore).
La Fine: L'AI deve riassumere i risultati. Ha bisogno dei risultati finali, ma non deve rileggere i risultati di ricerca di tre ore fa. (Basso valore per i dati vecchi).

L'Analogia: Immagina di seguire una ricetta. Devi leggere le istruzioni attentamente all'inizio (pianificazione). Ma quando stai solo mescolando la pentola per il decimo minuto, non hai bisogno di scrivere un romanzo su come stai mescolando. Mescoli semplicemente. Se continui a scrivere di mescolamento, ti finisci la carta prima di finire di cucinare.

La Soluzione: Agent-Omit

Il team ha costruito un nuovo framework di addestramento chiamato Agent-Omit. Pensa a questo come all'insegnamento di un nuovo superpotere all'AI: L'Arte di Sapere Cosa Saltare.

Invece di costringere l'AI a scrivere tutto, Agent-Omit le insegna a dire: "So cosa sto facendo, non ho bisogno di scrivere questo", oppure "Non ho bisogno di rileggere quella vecchia nota".

Hanno fatto questo in due passaggi:

Passo 1: Il "Partenza Fredda" (Insegnare le Basi)

Prima, hanno creato un set speciale di problemi di pratica. Hanno mostrato manualmente all'AI esempi di:

"Ecco un momento in cui hai pensato troppo. La prossima volta, salta semplicemente il pensiero."
"Ecco un momento in cui hai letto una vecchia osservazione che non ha aiutato. La prossima volta, salta di leggerla."

Hanno insegnato all'AI i specifici "segnali manuali" (codici speciali) da usare quando vuole saltare un passaggio. È come insegnare a uno studente che a volte, "So la risposta" è una risposta valida, e non deve mostrare il procedimento per ogni singolo problema di matematica.

Passo 2: Il "Sistema di Ricompensa" (Apprendimento per Rinforzo)

Successivamente, hanno lasciato che l'AI giocasse a giochi (come navigare un sito web o risolvere un puzzle scientifico) e le hanno dato un sistema di ricompensa speciale:

Ricompensa per aver dato la risposta corretta.
Ricompensa Extra per aver usato meno parole.

Se l'AI cercava di essere pigra e saltava un passaggio necessario, otteneva un punteggio basso. Ma se identificava correttamente un passaggio ridondante e lo saltava, risparmiando denaro e tempo, otteneva un enorme bonus. Col tempo, l'AI ha imparato a essere un "minimalista intelligente": fa il lavoro ma scrive meno a riguardo.

I Risultati: L'Agente "Porcellino d'Oro"

I ricercatori hanno testato questa nuova AI (chiamata Agent-Omit) contro altri sette agenti AI di alto livello.

Prestazioni: Ha risolto i problemi esattamente allo stesso modo dei giganti "super-intelligenti" (come DeepSeek-R1 o o3).
Efficienza: Ha utilizzato significativamente meno parole (token) per arrivarci.
Il Trade-off: Ha trovato l'equilibrio perfetto. Non era così pigra da fallire, e non era così loquace da sprecare denaro.

L'Analogia: Immagina due automobilisti che cercano di arrivare alla stessa destinazione.

Autista A (Vecchia AI): Guida per tutto il percorso narrando ogni svolta, ogni semaforo e ogni nuvola che vede. Arrivano, ma bruciano molta benzina e impiegano molto tempo.
Autista B (Agent-Omit): Guida per tutto il percorso, ma parla solo quando deve prendere una decisione complessa o controllare una mappa. Arrivano esattamente alla stessa velocità, ma usano molta meno benzina.

Perché Questo Conta (Secondo il Paper)

Il paper afferma che insegnando all'AI a "omettere" (saltare) il contesto non necessario, possiamo rendere questi agenti:

Più economici da eseguire.
Più veloci.
Allo stesso modo intelligenti.

Hanno dimostrato matematicamente che questo salto non danneggia la capacità dell'AI di pensare correttamente, purché salti le cose giuste. Hanno mostrato che l'AI ha imparato naturalmente a saltare circa 3 o 4 round di chiacchiere inutili nel mezzo di un compito, che è esattamente dove solitamente accadono le parti "noiose" del lavoro.

In breve, Agent-Omit è un metodo di addestramento che insegna agli agenti AI a smettere di spiegare troppo, risparmiando tempo e denaro senza perdere la loro intelligenza.

) o emettere comandi specifici per omettere osservazioni storiche (ad esempio, <omit tool response N ...>`).
* Omissione Multi-turno: Costruisce traiettorie complete in cui i turni ridondanti identificati vengono sostituiti con comportamenti di omissione, costringendo l'agente a mantenere la continuità del ragionamento nonostante il contesto mancante.

Fine-Tuning: L'agente viene sottoposto a fine-tuning su questi dati sintetici utilizzando la perdita standard di modellazione linguistica, applicando una maschera alle osservazioni ambientali.

Fase 2: Apprendimento per Rinforzo Agente Consapevole dell'Omissione
Per generalizzare oltre i dati sintetici e gestire interazioni dinamiche, gli autori introducono un framework RL caratterizzato da:

Strategia di Campionamento Duale: Per affrontare il problema del "cambiamento di contesto" (dove un agente non può imparare da una decisione presa dopo un'omissione), l'addestramento disaccoppia il campionamento in:
- Traiettoria Completa (y): Valuta l'efficienza complessiva e il successo finale del compito.
- Traiettoria Parziale (y'): Campiona il contesto prima che si verifichi un'omissione, consentendo all'agente di apprendere la politica di omissione condizionata allo stato pre-omissione.
Ricompensa Consapevole dell'Omissione: Una funzione di ricompensa composita che bilancia la correttezza del compito ( $R_{task}$ ) e l'efficienza dei token ( $R_{omit}$ ). La ricompensa per l'omissione è calcolata in base al rapporto di token risparmiati, ma viene impostata a zero se la ricompensa del compito è zero, prevenendo lo sfruttamento della ricompensa.
Ottimizzazione della Politica: La politica dell'agente viene ottimizzata utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) per massimizzare le ricompense attese su entrambi i tipi di traiettoria, minimizzando al contempo la divergenza KL rispetto a una politica di riferimento.

2.3 Garanzia Teorica

Gli autori forniscono una dimostrazione teorica secondo cui la deviazione della politica di omissione appresa rispetto alla politica ottimale è limitata superiormente dalla divergenza KL tra le due. Assumendo la continuità di Lipschitz semantica delle funzioni di ricompensa del compito e dei costi dei token, il framework garantisce che, man mano che la politica approssima la strategia di omissione ottimale, la deviazione in termini di efficacia ed efficienza converga.

3. Contributi Chiave

Framework di Analisi Unificato: Il documento stabilisce un framework di analisi a livello di turno che dimostra quantitativamente come i meccanismi di omissione possano migliorare l'efficienza degli agenti senza sacrificare l'efficacia.
Framework Agent-Omit: Un paradigma di addestramento innovativo che integra la sintesi del comportamento di omissione (cold-start) con l'apprendimento per rinforzo agente consapevole dell'omissione per addestrare agenti capaci di gestione adattiva del contesto.
Validazione Empirica e Teorica: Esperimenti estesi su cinque benchmark e analisi teorica che dimostrano l'efficacia dell'approccio nel raggiungere compromessi superiori tra efficacia ed efficienza.

4. Risultati Sperimentali

Il framework è stato valutato su cinque benchmark diversificati: DeepSearch, WebShop, TextCraft, BabyAI e SciWorld.

Prestazioni vs. Modelli Frontier: Il modello Agent-Omit-8B ha raggiunto un'accuratezza paragonabile a quella di sette agenti LLM frontier (inclusi DeepSeek-R1-0528, o3 e Qwen3-32B), riducendo sostanzialmente i costi in termini di token.
Efficienza vs. Metodi Esistenti: Quando applicato a Qwen3-8B, Agent-Omit ha costantemente superato sette metodi esistenti per la costruzione efficiente di agenti (inclusi Thought Management, Observation Management e approcci basati sul riassunto). Ha raggiunto la massima accuratezza Pass@1 con il costo medio di token più basso su tutti i benchmark.
Studi di Ablazione: I risultati hanno confermato che sia il cold-start SFT (in particolare i dati di omissione a turno singolo) sia la fase RL (in particolare il campionamento di traiettorie parziali e le ricompense per l'omissione) sono fondamentali per le prestazioni.
Analisi Comportamentale: Gli agenti addestrati hanno omesso in modo adattivo una media di 3-4 turni di contesto ridondante per traiettoria, con omissioni che si sono verificate prevalentemente nei turni intermedi, in linea con i risultati quantitativi iniziali.

5. Significato e Affermazioni

Il documento afferma che Agent-Omit offre un nuovo paradigma per agenti LLM efficienti, spostandosi dalla compressione del contesto statica e basata su euristiche verso politiche di omissione adattive e apprese.

Efficienza: L'approccio riduce significativamente il consumo di token e i costi computazionali, il che, come notano gli autori, potrebbe contribuire a ridurre l'impronta energetica del dispiegamento di agenti basati su grandi modelli linguistici.
Scalabilità: Consentendo a modelli più piccoli (ad esempio, 8 miliardi di parametri) di eguagliare le prestazioni di modelli frontier molto più grandi utilizzando meno risorse, il metodo migliora l'applicabilità pratica degli agenti LLM in ambienti con risorse limitate.
Limitazioni: Gli autori riconoscono modestamente che l'approccio attuale comporta campioni di addestramento aggiuntivi durante la fase RL, il che limita la scalabilità. Viene proposto un lavoro futuro per scalare la pipeline di sintesi dei dati di omissione al pre-addestramento su larga scala e estendere il paradigma a LLM più grandi.

Gli autori dichiarano l'assenza di potenziali conflitti di interesse finanziari relativi al lavoro.