Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

Riassunto Tecnico: SEAM (Structured Experience Adapter Module)

1. Il Problema: I Limiti del RAG e della Staticità degli LLM

Nonostante le capacità avanzate, i Large Language Models (LLM) sono intrinsecamente "statici": quando affrontano nuovi problemi, tendono a ragionare da zero, ripetendo errori passati o esplorando percorsi di soluzione già fallimentari.

Le soluzioni attuali per il riutilizzo dell'esperienza si basano principalmente sulla Retrieval-Augmented Generation (RAG). Tuttavia, gli autori identificano tre criticità fondamentali nel RAG:

• Similiarità $\neq$ Utilità: Il recupero basato su RAG ottimizza la somiglianza semantica superficiale, non l'efficacia pratica. Un frammento di esperienza può essere semanticamente simile ma non fornire gli indizi decisivi per risolvere il problema specifico.
• Rumore e Instabilità: L'inserimento di informazioni recuperate non pertinenti può distrarre il modello (executor) e destabilizzare il ragionamento.
• Overhead di Latenza: I sistemi RAG richiedono database esterni, processi di indicizzazione e chiamate aggiuntive per la sintesi, aumentando i tempi di inferenza.

2. Metodologia: L'Approccio SEAM

Gli autori propongono SEAM (Structured Experience Adapter Module), un modulo plug-in leggero e addestrabile che non si affida a un database esterno, ma "internalizza" l'esperienza nei propri parametri.

Architettura e Funzionamento:
Invece di cercare in un archivio, SEAM agisce come un generatore di guida. Dato un problema $s$ e un modello esecutore congelato (frozen executor) $E_\phi$, SEAM genera in un singolo passaggio in avanti (single forward pass) un'esperienza strutturata $z$ seguendo uno schema fisso:

1. Problem Analysis: Valutazione della difficoltà e dei possibili punti di fallimento.
2. Experience Highlights: Strategie riutilizzabili e avvertenze basate su esperienze passate.
3. Reference Plan: Una scomposizione procedurale del workflow (senza rivelare la risposta finale).

Processo di Addestramento (Forward Learning):
L'addestramento non avviene tramite supervisione diretta, ma attraverso un ciclo di feedback basato sulle prestazioni dell'esecutore:

1. Forward Exploration: SEAM genera un gruppo di candidati di esperienza $\{z_j\}$.
2. Rollout-based Evaluation: L'esecutore (congelato) tenta di risolvere il problema condizionato da ogni candidato $z_j$. Il successo viene misurato tramite una ricompensa binaria (correttezza della risposta + completezza dello schema).
3. Parametric Library Evolution (GRPO): Si utilizza l'algoritmo GRPO (Group Relative Policy Optimization) per aggiornare i parametri di SEAM. L'obiettivo è massimizzare la probabilità di generare esperienze che portino a un maggior successo nell'esecutore.

Evoluzione Post-Deployment:
SEAM può migliorare nel tempo tramite SFT (Supervised Fine-Tuning) sui log delle esperienze che hanno effettivamente portato a soluzioni corrette durante l'uso reale.

3. Contributi Chiave

• Esperienza Parametrizzata: Sposta la gestione dell'esperienza da un database esterno a un modello generativo compatto, eliminando la necessità di ricerca e indicizzazione.
• Ottimizzazione per l'Utilità: A differenza del RAG, SEAM è addestrato esplicitamente per generare ciò che l'esecutore può effettivamente usare per migliorare il risultato.
• Modularità e Specificità: SEAM è progettato per essere specifico per l'esecutore (executor-specific), adattandosi ai bias e ai modi di fallimento di un particolare modello senza doverlo modificare.
• Efficienza: Riduce drasticamente la latenza rispetto ai sistemi RAG e richiede meno risorse computazionali rispetto al fine-tuning completo di un modello grande.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di ragionamento matematico (GSM8K, MATH, AIME) utilizzando diversi esecutori (Qwen3, DeepSeek-R1).

• Superiorità sulle prestazioni: SEAM supera costantemente sia l'esecutore originale (senza memoria) sia i metodi basati su RAG (come MEM-0 o Memento). I guadagni maggiori si osservano sui problemi più difficili (AIME).
• Efficienza Temporale: SEAM riduce il "Time-to-correct" (tempo medio per arrivare alla soluzione corretta) rispetto ai metodi RAG, grazie alla generazione rapida della guida.
• Generalizzazione: Sebbene SEAM sia ottimizzato per un esecutore specifico, mostra una capacità di trasferimento (cross-executor transfer) positiva anche su modelli diversi, suggerendo che acquisisce capacità di ragionamento procedurale generali.
• Scalabilità: Le prestazioni migliorano in modo monotono all'aumentare della dimensione del dataset di esperienza utilizzato per l'addestramento.

5. Significato e Conclusioni

Il lavoro segna un cambio di paradigma: passare dal "recupero di informazioni" alla "generazione di guida ottimizzata". SEAM dimostra che è possibile dotare modelli statici di una "memoria procedurale" altamente efficace e leggera, aprendo la strada ad agenti AI capaci di apprendere dai propri errori e di evolvere continuamente senza la necessità di costosi processi di ri-addestramento del modello principale.