Belief Memory: Agent Memory Under Partial Observability

Problema: Errore di Auto-Rafforzamento nella Memoria Deterministica
Gli attuali agenti basati su Modelli Linguistici di grandi dimensioni (LLM) che operano in ambienti a orizzonte temporale lungo e parzialmente osservabili si affidano a una memoria esterna per accumulare conoscenze. Tuttavia, i metodi di memoria esistenti—che vanno da flussi fattuali a sistemi di riflessione auto-miglioranti—aderiscono a un paradigma deterministico. Essi memorizzano ogni osservazione come un'unica conclusione categorica (ad esempio, "L'API X è fallita"), scartando ipotesi alternative e l'incertezza intrinseca dell'osservazione. Questo approccio crea un "errore di auto-rafforzamento": una volta che un agente si impegna in una conclusione errata, agisce basandosi su tale conclusione, generando ulteriori osservazioni che sembrano supportarla senza mai riesaminare le alternative scartate. Nei Processi Decisionali di Markov Parzialmente Osservabili (POMDP), dove gli agenti non possono accedere direttamente allo stato reale del mondo, il collasso di osservazioni rumorose in un'unica verità fondamentale impedisce all'agente di correggere gli errori quando arrivano nuove prove.

Metodologia: BeliefMem
Per affrontare questo problema, gli autori propongono BeliefMem, un paradigma di memoria che passa dallo memorizzare conclusioni deterministiche al mantenere una rappresentazione di credenza a livello di attributo. Invece di una singola stima puntuale, BeliefMem memorizza multiple conclusioni candidate per ogni attributo, ciascuna associata a una probabilità.

La metodologia opera attraverso tre meccanismi fondamentali:

1. Memorizzazione Basata sulla Credenza: Per ogni attributo $c$ (ad esempio, stato dello strumento, preferenza dell'utente), il sistema mantiene un insieme di ipotesi candidate $H(c)$. Invece di una posterior normalizzata su un insieme fisso, memorizza probabilità basate sulle prove per i candidati che sono stati supportati dalle osservazioni.
2. Aggiornamento Probabilistico (Noisy-OR): Quando arrivano nuove osservazioni, BeliefMem aggiorna la memoria utilizzando due operazioni:
   • Aggiungi: Inizializza nuovi attributi o candidati con una probabilità vincolata nell'intervallo $[p_{min}, p_{max}]$.
   • Unisci: Aggiorna i candidati esistenti utilizzando una regola Noisy-OR. Se un'osservazione supporta un'ipotesi, la sua probabilità aumenta; se supporta un'ipotesi contraddittoria, la probabilità dell'ipotesi confliggente viene ridotta (ad esempio, a 0.25). Questo permette al sistema di affinare progressivamente la fiducia senza scartare le alternative.
3. Recupero Consapevole della Credenza: Durante il recupero, il sistema restituisce non solo la conclusione meglio classificata, ma le prime $K$ voci insieme all'insieme completo delle loro probabilità candidate. Questo garantisce che le ipotesi in competizione rimangano visibili all'agente al momento della decisione, permettendogli di ragionare in condizioni di incertezza e selezionare azioni che testano o affinano le sue credenze.

Contributi Chiave

• Cambiamento di Paradigma: Il lavoro identifica e affronta il "collo di bottiglia deterministico" nella memoria degli agenti, proponendo un passaggio dalle stime puntuali agli stati di credenza probabilistici.
• Mitigazione dell'Errore di Auto-Rafforzamento: Preservando l'incertezza e le ipotesi alternative, BeliefMem impedisce agli agenti di rimanere intrappolati in conclusioni errate, consentendo loro di correggere gli errori man mano che si accumulano nuove prove.
• Approssimazione Pratica: Gli autori forniscono un'approssimazione computazionalmente fattibile degli stati di credenza utilizzando la fusione delle prove Noisy-OR, evitando l'intrattabilità del mantenimento di posterior esatti su spazi di ipotesi aperti.

Risultati Sperimentali
Gli autori hanno valutato BeliefMem su due benchmark: LoCoMo (memoria conversazionale a lungo termine) e ALFWorld (interazione di agenti incarnati).

• Prestazioni: BeliefMem ha ottenuto le migliori prestazioni medie su entrambi i benchmark, superando baseline ben note come MemGPT, MemoryBank e Mem0.
• Efficienza dei Dati: In modo notevole, BeliefMem ha ottenuto risultati superiori utilizzando solo il 50% della dimensione standard del corpus di memoria. In alcune configurazioni, ha superato le baseline con appena il 16.67% dei dati.
• Correzione e Convergenza: Esperimenti avversariali hanno mostrato che BeliefMem corregge le voci di memoria difettose quasi il doppio rispetto alle baseline deterministiche e converge alla conclusione vera con alta probabilità (tasso Top-1 dell'87.68%) man mano che le prove si accumulano.
• Generalizzazione: In scenari fuori distribuzione (Non Visti), BeliefMem ha dimostrato una generalizzazione robusta, superando spesso le baseline con margini significativi (ad esempio, il 12.4% nei task non visti di ALFWorld).

Significato
Il lavoro afferma che sostituire le voci di memoria deterministiche con rappresentazioni di credenza probabilistiche produce guadagni sostanziali negli ambienti parzialmente osservabili. Preservando l'incertezza invece di scartarla, BeliefMem permette agli agenti di agire con alta fiducia su conoscenze ben supportate, mantenendo al contempo la capacità di aggiornare le proprie credenze quando nuove prove contraddicono le assunzioni precedenti. Questo lavoro esplora una nuova direzione per la memoria degli agenti, dimostrando che mantenere uno stato di credenza approssima la soluzione POMDP ottimale in modo più efficace rispetto agli approcci deterministici attuali, portando a agenti a lungo termine più affidabili e adattabili.