ExpWeaver: LLM Agents Learn from Experience via Latent RAG

Sintesi Tecnica: ExpWeaver: Gli Agenti LLM Imparano dall'Esperienza tramite RAG Latente

Definizione del Problema
Integrare le interazioni passate come esperienze riutilizzabili è un approccio critico per potenziare la pianificazione e il ragionamento degli agenti basati su Large Language Model (LLM). Tuttavia, i metodi esistenti sono ampiamente confinati allo spazio testuale esplicito. Gli approcci attuali tipicamente memorizzano le esperienze sotto forma di riassunti testuali e le recuperano tramite somiglianza semantica, concatenandole nella finestra di contesto del modello. Questo paradigma introduce inefficienze significative:

1. Overhead dei Token: La concatenazione esplicita consuma uno spazio sostanziale della finestra di contesto, limitando il numero di esperienze recuperabili e aumentando i costi di inferenza.
2. Disaccoppiamento Architetturale: La maggior parte dei metodi impiega un modulo di Retrieval-Augmented Generation (RAG) separato (ad esempio, recuperatori basati su embedding o motori di ricerca) che opera indipendentemente dalle rappresentazioni interne dell'LLM. Questa separazione impedisce l'ottimizzazione congiunta di recupero e generazione verso l'obiettivo del task a valle.
3. Colli di Bottiglia Rappresentazionali: Il recupero a livello testuale si affida alla somiglianza semantica superficiale, che può fallire nel catturare corrispondenze strutturali più profonde nelle strategie di risoluzione dei problemi richieste per compiti complessi di ragionamento o programmazione.

Metodologia: ExpWeaver
Per affrontare queste limitazioni, gli autori propongono ExpWeaver, un framework che consente agli agenti LLM di imparare dall'esperienza tramite la generazione aumentata da recupero latente. A differenza del lavoro precedente, ExpWeaver esegue il recupero direttamente nello spazio latente dell'LLM senza richiedere un modulo RAG separato. Il framework è composto da tre componenti principali:

1. Experience Bank con Allineamento On-Policy:

   • Le traiettorie passate (query, traccia di ragionamento, output, ricompensa) vengono compresse in riassunti testuali e codificate in densi embedding latenti ($z$) utilizzando lo stesso LLM ($p_\theta$) usato per la generazione.
   • Nello specifico, l'embedding è derivato dallo stato nascosto dell'ultimo token all'ultimo livello del transformer ($z = h_\theta(s)$).
   • Questo design garantisce l'allineamento on-policy: man mano che la policy evolve durante l'addestramento, le esperienze recenti risiedono naturalmente in una regione di embedding compatibile, creando un bias di recenza implicito analogo all'apprendimento per rinforzo on-policy.

2. Generazione Aumentata da Recupero Latente:

   • Recupero Latente: Ad ogni step di decoding $t$, l'attuale stato nascosto $h_t$ funge da query per recuperare un set top-$K$ di embedding di esperienza ($Z_t$) dall'experience bank tramite somiglianza del coseno. Non è necessario un recuperatore esterno.
   • Aggregazione Cross-Attention: Gli embedding recuperati vengono aggregati tramite un meccanismo di cross-attention utilizzando un token di query apprendibile ($u$). Ciò consente al modello di pesare dinamicamente le esperienze in base alla loro rilevanza rispetto allo stato di generazione corrente.
   • Integrazione Gated: Il segnale di esperienza aggregato viene integrato nello stato nascosto attraverso un meccanismo residuo gated. Gate di ritenzione ($r_t$) e di input ($i_t$) apprendibili, insieme a un coefficiente di miscelazione ($a_t$), controllano l'equilibrio tra la preservazione dello stato nascosto originale e l'incorporazione di conoscenza esterna. Questo evita che un eccessivo influsso dell'esperienza interrompa il flusso di ragionamento del modello.

3. Addestramento End-to-End con Reinforcement Learning:

   • L'intera pipeline (policy $\theta$ e parametri dell'esperienza $\psi_{exp}$) è ottimizzata congiuntamente utilizzando la Group Relative Policy Optimization (GRPO).
   • Il framework supporta sia task generativi (es. QA, coding) producendo output testuali tramite decoding potenziato dall'esperienza, sia task di ranking (es. raccomandazione) calcolando punteggi di rilevanza tra lo stato nascosto finale e gli embedding candidati.

Contributi Chiave

• Framework a Spazio Latente Unificato: ExpWeaver unifica recupero e generazione in uno spazio rappresentazionale condiviso, eliminando la necessità di un recuperatore separato e evitando l'overhead dei token della concatenazione testuale.
• Recupero Adattivo: Eseguendo il recupero ad ogni step di decoding sulla base dello stato nascosto corrente, il sistema apprende un utilizzo dell'esperienza dipendente dalla query che cattura pattern strutturali profondi piuttosto che una semplice sovrapposenza testuale superficiale.
• Agnosticismo rispetto al Task: L'architettura si estende naturalmente a diversi tipi di task, inclusi question answering, ragionamento matematico, generazione di codice, previsione scientifica e raccomandazione sequenziale.

Risultati Sperimentali
Gli autori hanno valutato ExpWeaver su ExpBench, un benchmark che copre 13 task diversi attraverso tre scenari: Generico (QA, Ragionamento, Coding), Scientifico (Chimica Farmaceutica) e Raccomandazione.

• Performance: ExpWeaver ha raggiunto risultati state-of-the-art in 12 dei 13 task, superando il baseline più forte (Search-R1) di una media del 6,8%.
• Efficienza dei Token: Mentre i metodi di recupero basati sul testo come Search-R1 richiedevano 1,5–2× più token a causa della concatenazione esplicita, ExpWeaver ha mantenuto un'efficienza dei token comparabile ai baseline non-retrieval (es. HRPO), consumando solo circa il 10% di token in più pur fornendo un'accuratezza significativamente superiore.
• Generalizzazione: ExpWeaver ha dimostrato una superiore generalizzazione cross-domain. In scenari di trasferimento zero-shot, ha superato il baseline più forte del 16,32%, e del 15,21% nel trasferimento few-shot, indicando che le rappresentazioni latenti dell'esperienza catturano pattern di risoluzione dei problemi più trasferibili.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità dell'aggregazione tramite cross-attention rispetto al semplice pooling e hanno identificato un intervallo di inizializzazione ottimale per il coefficiente di miscelazione per bilanciare l'integrazione dell'esperienza con la preservazione dello stato nascosto.

Significatività e Rivendicazioni
Il paper sostiene che ExpWeaver rappresenti un cambiamento significativo nell'apprendimento dell'esperienza per gli agenti LLM. Passando da operazioni esplicite a livello testuale all'integrazione nello spazio latente, il framework supera i colli di bottiglia di scalabilità e adattabilità dei metodi precedenti. Gli autori affermano che questo approccio consente agli agenti di imparare in modo più efficiente dalle interazioni passate, ottenendo performance superiori con costi computazionali inferiori. Inoltre, la generalizzazione cross-domain dimostrata suggerisce che le rappresentazioni latenti dell'esperienza siano abbastanza robuste da trasferire i pattern appresi a domini non visti, accelerando potenzialmente lo sviluppo in campi specializzati come la ricerca scientifica dove i dati etichettati sono scarsi. Il lavoro posiziona ExpWeaver come un passo verso un utilizzo della conoscenza più efficiente, unificato ed efficace nei grandi modelli linguistici.