Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents

1. Il Problema: Limiti degli Agenti a Apprendimento Continuo

Gli agenti linguistici stanno evolvendo dalla risoluzione di compiti isolati verso l'apprendimento continuo online (lifelong learning), dove accumulano esperienza attraverso una serie continua di interazioni. Tuttavia, i metodi esistenti presentano due limitazioni fondamentali:

1. Recupero Passivo (Passive Retrieval): Le strategie attuali per recuperare informazioni dalla memoria sono prevalentemente passive. Il recupero viene attivato solo in momenti predefiniti (es. all'inizio del compito) o tramite regole esterne/gate separati. Di conseguenza, gli agenti non riescono a identificare attivamente i "vuoti di conoscenza" durante l'interazione e non recuperano le esperienze più utili nel momento decisionale critico.
2. Aggiornamento Disaccoppiato: Le strategie di aggiornamento online trattano separatamente l'accumulo di memoria testuale e l'ottimizzazione dei parametri del modello (policy). In realtà, per un adattamento efficace, la memoria (esperienze esternalizzate) e la policy (capacità decisionale interna) devono evolvere congiuntamente.

2. Metodologia: PROACTAGENT

Per affrontare queste sfide, gli autori propongono PROACTAGENT, un framework di apprendimento continuo guidato dall'esperienza che unisce il recupero proattivo con l'evoluzione online congiunta. Il sistema si basa su due componenti principali strettamente accoppiate:

A. Experience-Enhanced Online Evolution (EXPONEVO)

Questo componente gestisce il ciclo di vita dell'esperienza e della policy.

• Base di Esperienza Strutturata: Invece di un unico repository indifferenziato, l'esperienza storica è organizzata in repository tipizzati:
  • Memoria Fattuale ($M_f$): Fatti e conoscenze ambientali.
  • Memoria Episodica ($M_e$): Precedenti specifici di interazione e piani locali.
  • Abilità Comportamentali ($S$): Derivate da successi ($S_+$), fallimenti ($S_-$) e valutazioni comparative ($S_\Delta$).
• Ciclo di Co-evoluzione: L'agente interagisce con l'ambiente, distilla le traiettorie completate in nuove voci per la base di esperienza e aggiorna la policy tramite reinforcement learning. Un'esperienza più ricca migliora la policy, che a sua volta genera traiettorie di qualità superiore per l'esperienza.

B. Proactive Reinforcement Learning-based Retrieval (PROACTRL)

Questo componente trasforma il recupero in un'azione esplicita della policy, imparando quando e cosa recuperare.

• Meccanismo a Ramo Appaiato (Paired-Branch): Per fornire supervisione a livello di singolo passo (step-level), il sistema genera coppie di traiettorie partendo dallo stesso prefisso di interazione:
  1. Ramo con Recupero ($\tau_{ret}$): L'agente esegue l'azione di recupero.
  2. Ramo Senza Recupero ($\tau_{no-ret}$): L'azione di recupero viene soppressa e l'agente procede con azioni ambientali alternative.
• Reward di Processo (Process Rewards): Vengono calcolati i margini di successo tra i due rami.
  • Se il ramo con recupero ottiene un risultato migliore o più efficiente, viene assegnata una ricompensa positiva ($\alpha$).
  • Se il recupero non porta benefici o peggiora l'esito, viene assegnata una penalità ($-\alpha$).
  • Vengono incluse penalità per query ripetute e ricompense per traiettorie più brevi.
• Obiettivo di Ottimizzazione: Utilizzando l'algoritmo GRPO (Group Relative Policy Optimization), la policy apprende a attivare il recupero solo quando è strettamente necessario per migliorare l'esito del compito, evitando il sovraccarico del contesto (context overload).

3. Contributi Chiave

1. Framework PROACTAGENT: Un approccio proattivo che permette agli agenti di evolvere continuamente dalla storia delle interazioni, superando la dipendenza da esperienze invocate passivamente.
2. Architettura Duale:
   • EXPONEVO: Unisce il raffinamento della memoria testuale e l'ottimizzazione dei parametri in un unico ciclo iterativo.
   • PROACTRL: Introduce un meccanismo di apprendimento per il controllo del recupero basato su ricompense di processo derivate da confronti controfattuali (rami appaiati).
3. Base di Esperienza Tipizzata: La separazione tra memoria (fatti/episodi) e abilità (successi/fallimenti/confronti) permette di recuperare sia prove rilevanti che guida comportamentale in un'unica query.

4. Risultati Sperimentali

Il framework è stato valutato su tre benchmark interattivi: SciWorld, AlfWorld e StuLife.

• Prestazioni Superiori:
  • SciWorld: Tasso di successo (SR) del 73.50% (contro il 55.50% del baseline GRPO+Reflexion).
  • AlfWorld: Tasso di successo del 71.28% (contro il 67.18% del baseline).
  • StuLife: Raggiunge prestazioni competitive con modelli proprietari chiusi, ottenendo un SR del 12.35% e un GPA di 19.26.
• Efficienza:
  • Riduzione significativa dei round di interazione: -33.2% su SciWorld e -22.5% su AlfWorld rispetto ai baseline.
  • Minore consumo di token: PROACTAGENT ottiene risultati superiori con meno token rispetto ai metodi passivi.
• Scalabilità: Un modello più piccolo (Qwen2.5-3B) dotato di recupero proattivo ha quasi eguagliato le prestazioni di un modello più grande (7B) con recupero passivo, dimostrando che il controllo intelligente del recupero compensa la capacità del modello.

5. Significato e Implicazioni

Questo lavoro dimostra che per gli agenti a lungo termine (long-horizon), la capacità di controllare attivamente il recupero è più critica della semplice scalabilità della capacità del modello.

• Superamento del Collo di Bottiglia: Il recupero proattivo risolve il problema del "quando cercare", evitando sia la ricerca inutile (che intasa il contesto) sia la mancata ricerca (che porta a errori ripetuti).
• Ciclo di Auto-Rafforzamento: L'integrazione tra memoria strutturata e ottimizzazione della policy crea un ciclo virtuoso dove l'agente diventa progressivamente più competente sia nel recuperare informazioni che nel prendere decisioni.
• Impatto Futuro: PROACTAGENT stabilisce un nuovo standard per gli agenti autonomi in ambienti complessi ed evolutivi, suggerendo che l'apprendimento di strategie di recupero adattive è una competenza fondamentale per l'intelligenza artificiale generale.