Riepilogo Tecnico: AGORA – Conservazione delle Osservazioni e Azioni Basata su Adattatore per la Compressione dei Prompt Senza Inferenza negli Agenti LLM

1. Definizione del Problema

Gli agenti basati su Large Language Model (LLM) accumulano lunghe traiettorie di azioni e osservazioni mentre interagiscono con gli ambienti. Man mano che gli orizzonti dei compiti si estendono (ad esempio, superando 100k token al passo 30 su WebShop), comprimere questo contesto diventa una necessità pratica. Tuttavia, l'articolo sostiene che le tecniche standard di compressione dei prompt, progettate per modelli linguistici (LM) generici a turno singolo, sono strutturalmente inadatte per gli agenti LLM.

Il problema centrale identificato è la distruzione della grammatica delle azioni. Nelle traiettorie degli agenti, i token che trasportano semantica critica delle azioni (identificatori, parentesi, verbi d'azione come search[...] o click[...]) sono spesso altamente prevedibili dal contesto linguistico naturale circostante. Di conseguenza, i compressori estrattivi a livello di token — che classificano i token in base all'informazione propria o alla perplessità e rimuovono quelli con punteggio più basso — cancellano sistematicamente questi token semantici. Il prompt "compresso" risultante contiene un inglese grammaticale ma comandi per l'agente grammaticalmente errati, causando il rifiuto dell'azione da parte dell'ambiente e il fallimento dell'agente.

Gli autori dimostrano che, attraverso 17 configurazioni sperimentali che coprono due famiglie indipendenti di metodi a livello di token (Selective Context e LLMLINGUA-2), ogni configurazione collassa a una ricompensa media ($m_r$) di $\leq 0.05$, nonostante raggiungano una compressione di 1,3–13,3×.

2. Metodologia: AGORA

Per affrontare questo problema, gli autori propongono AGORA (Adapter-Grounded Observation-Action Retention Architecture), un compressore a livello di passo senza inferenza. A differenza dei metodi a livello di token, AGORA opera sulla granularità di coppie complete (azione, osservazione), garantendo che la sintassi delle azioni rimanga intatta.

AGORA è composta da tre componenti principali:

1. Parser Strutturale del Prompt:

   • Suddivide la traiettoria dell'agente in blocchi tipizzati per ruolo (Sistema, Compito, Passi Precedenti, Osservazione Corrente, Risposta Pendente).
   • Raggruppa le interazioni passate in coppie discrete di passi $(a_i, o_i)$.
   • Questa analisi sintattica è deterministica e indipendente dal compito, basandosi su marcatori di ruolo (ad esempio, [ASSISTANT], [USER]).

2. Soglia di Mantenimento Obbligatorio (Soglia di Qualità Deterministica):

   • Mantiene incondizionatamente contenuti critici specifici per preservare il formato e la recenza:
     • Messaggio di sistema ($c_{sys}$) e istruzione del compito ($c_{task}$).
     • Osservazione corrente ($c_{now}$) e qualsiasi risposta pendente ($c_{pend}$).
     • Gli ultimi $K_{recent}=2$ passi.
   • Questo livello garantisce che l'"invariante" necessaria affinché l'agente funzioni (ad esempio, conoscere lo stato corrente e la storia recente) non vada mai persa.

3. Valutatore di Rilevanza dei Passi Appreso:

   • Un classificatore RoBERTa-base da 125 milioni di parametri addestrato a valutare la rilevanza dei passi passati rimanenti rispetto all'osservazione corrente.
   • Segnale di Addestramento: Il modello è addestrato su etichette controfattuali di cambiamento della prossima azione. Per ogni passo passato $s_i$ e osservazione corrente $c_{now}$, il backbone dell'agente viene interrogato $K=8$ volte (metà con $s_i$, metà senza). L'etichetta è la frazione di volte in cui la prossima azione canonizzata cambia. Questo crea un'etichetta morbida $y_i \in [0, 1]$ che indica la criticità del passo.
   • Inferenza: Il valutatore esegue un singolo passaggio in avanti ($\sim 2$ms/passaggio) senza chiamate API. Restituisce una probabilità $p_i$ che la rimozione del passo $s_i$ cambi la prossima azione.

4. Riempimento Grezzo del Budget:

   • Dato un budget target di caratteri (ad esempio, il 25% della lunghezza originale), il sistema riempie lo spazio rimanente dopo la "Soglia di Mantenimento Obbligatorio" selezionando in modo greedy i passi non inclusi nella soglia in ordine decrescente dei loro punteggi di rilevanza $p_i$.
   • I passi eliminati sono sostituiti da un singolo marcatore di ellissi (ad esempio, [... N passo/i omesso/i ...]).

3. Contributi Chiave

L'articolo apporta tre contributi principali:

1. Identificazione della Distruzione della Grammatica delle Azioni: Gli autori diagnosticano e nominano formalmente la modalità di fallimento strutturale in cui i compressori a livello di token falliscono sugli agenti. Forniscono prove sistemiche (17 configurazioni) che dimostrano come questi metodi facciano collassare le prestazioni dell'agente perché rimuovono token a bassa informazione propria essenziali per la sintassi delle azioni.
2. Architettura AGORA: Un compressore innovativo a livello di passo, senza inferenza, che combina un parser strutturale, una soglia deterministica "mantieni sempre" e un valutatore di rilevanza appreso addestrato su etichette controfattuali. Raggiunge una compressione adattiva (1,0–11,5×) con zero sovraccarico LLM per passo.
3. Attribuzione delle Componenti: Attraverso studi di ablazione, l'articolo isola il valore specifico di ogni scelta progettuale:
   • La Soglia di Mantenimento Obbligatorio è la leva dominante per il mantenimento della qualità (rimuoverla fa calare significativamente le prestazioni).
   • Il Valutatore Appreso è il principale motore del range di compressione adattiva, permettendo al sistema di variare i rapporti di compressione in base alla complessità della traiettoria mantenendo un rapporto di mantenimento fisso.

4. Risultati Sperimentali

Gli autori hanno valutato AGORA su 9 configurazioni (3 ambienti: ALFWorld, ScienceWorld, WebShop; 3 backbone: qwen3.5-flash, gpt-4o-mini, gpt-5-mini) confrontandola con 10 baseline (inclusi metodi estrattivi a livello di token e compressori astrattivi basati su LLM).

• Mantenimento della Qualità: AGORA è l'unico metodo senza inferenza a mantenere $\geq 75\%$ delle prestazioni senza compressione in 8 configurazioni su 9 (l'eccezione è ScienceWorld con gpt-5-mini al 73%).
  • Ricompensa media ($m_r$) media con AGORA: 0,387 (92% di mantenimento rispetto a Nessuna Compressione).
  • Al contrario, i metodi a livello di token (Selective Context, LLMLINGUA-2) sono collassati a $m_r \leq 0.05$.
• Efficienza di Compressione: AGORA raggiunge un range di compressione end-to-end adattivo di 1,0–11,5× utilizzando una singola configurazione fissa ($\rho=0.25$), adattandosi al regime specifico della traiettoria senza sintonizzazione per configurazione.
• Costo: AGORA comporta zero costi aggiuntivi di token LLM per passo (senza inferenza). Mentre i compressori basati su LLM (HiAgent, AgentDiet, ACON) spesso raggiungono costi inferiori per compito in scenari di traiettoria lunga grazie a una compressione aggressiva, pagano 8–126k token extra per compito per le proprie chiamate al compressore. AGORA è superiore in scenari in cui il sovraccarico LLM per passo è proibitivo o dove il mantenimento è il vincolo vincolante.
• Ablazione: La rimozione della "Soglia di Mantenimento Obbligatorio" ha causato il calo di prestazioni più grande ($\Delta m_r \approx -0.088$). La rimozione del valutatore ha ridotto le prestazioni solo leggermente ($\Delta m_r \approx -0.031$) ma ha eliminato il range di compressione adattiva, confermando che la soglia gestisce la qualità mentre il valutatore gestisce il volume di compressione.

5. Significato e Affermazioni

L'articolo afferma che AGORA rappresenta un cambiamento necessario nell'approccio alla compressione dei prompt per gli agenti. Gli autori sostengono che il paradigma "classifica ed elimina" della compressione a livello di token è strutturalmente mal definito per gli agenti perché ottimizza per la densità informativa piuttosto che per l'integrità strutturale dei comandi d'azione.

Significato:

• Cambiamento di Paradigma: Sposta lo spazio di progettazione dalla compressione a livello di token alla compressione a livello di passo, preservando l'integrità sintattica dei comandi dell'agente.
• Fattibilità Senza Inferenza: Dimostra che una compressione di alta qualità per gli agenti non richiede costose chiamate LLM per passo, rendendola praticabile per il deployment con backbone congelati e black-box.
• Robustezza: Prioritizzando la preservazione strutturale (la "soglia") rispetto alla sintesi semantica, AGORA evita le modalità di fallimento catastrofico osservate nei compressori generici.

Gli autori rimangono modesti, notando che AGORA non è un vincitore universale di costi (i metodi basati su LLM spesso vincono sul puro $/compito in impostazioni di traiettoria lunga) e che la loro valutazione si basa su stime puntuali a causa di ampi intervalli di confidenza ($n=30$). Tuttavia, affermano che AGORA fornisce l'unica soluzione senza inferenza praticabile che mantiene alte prestazioni in diversi ambienti di agenti senza rompere la grammatica delle azioni.