Sintesi Tecnica: Nous – Un Modello di Mondo Predittivo per la Memoria a Lungo Termine degli Agenti

Definizione del Problema

Gli attuali agenti basati su Large Language Model (LLM) soffrono della mancanza di una memoria a lungo termine in continua evoluzione. Mentre le finestre di contesto forniscono il richiamo a breve termine, la cronologia della conversazione viene persa una volta terminata la sessione, a meno che non venga persistita esternamente. I sistemi di memoria esistenti (ad esempio, RAG, grafi di conoscenza, depositi episodici come MemGPT) trattano la memoria come un database statico di fatti. Gli autori sostengono che questo paradigma di "archiviazione" porti a tre modalità di fallimento strutturale:

1. Cecità al Conflitto (Conflict Blindness): Record contraddittori (ad esempio, un utente che cambia lavoro) si accumulano senza una risoluzione principesca.
2. Oblio Euristico (Heuristic Forgetting): La cancellazione si basa sul tempo piuttosto che sulla rilevanza semantica o l'incertezza.
3. Disallineamento della Granularità di Recupero (Retrieval Granularity Mismatch): I depositi di fatti restituiscono singoli record, mancando di meccanismi per aggregare i valori nel tempo (ad esempio, elencare tutte le attività che una persona ha mai svolto).

Il documento sostiene che questi fallimenti derivino dal trattare la memoria come archiviazione anziché come un modello di mondo predittivo, analogamente a come il cervello mantiene un modello generativo dell'ambiente aggiornato dagli errori di predizione.

Metodologia: L'Architettura Nous

Nous implementa la memoria come una collezione di distribuzioni di probabilità categoriche, denominate dimensioni, piuttosto che come fatti deterministici.

Astrazioni Core

• Dimensioni ($D_{e,a}$): Per ogni coppia entità-attributo (ad esempio, Pranav, datore di lavoro), Nous mantiene una distribuzione categorica $p(v)$ su un vocabolario di possibili valori. La moda di questa distribuzione rappresenta la migliore credenza attuale dell'agente.
• Delta ($\Delta$): L'artefatto principale memorizzato non è il fatto stesso, ma il delta — un record dello spostamento dalla credenza a priori alla credenza a posteriori. Un delta include la distribuzione a priori, la distribuzione a posteriori, la sorpresa informazionale e il timestamp, insieme alle prove a supporto.
• Aggiornamenti guidati dalla Sorpresa (Surprise-Driven Updates): Le osservazioni in entrata sono valutate in base alla sorpresa informazionale: $S = -\log_2 P(obs | D)$. Una sorpresa elevata (evidenza contraddittoria) innesca una significativa revisione delle credenze, mentre una sorpresa bassa (evidenza confermativa) produce cambiamenti trascurabili.
• Posteriore Bayesiana: Gli aggiornamenti sono calcolati tramite una posteriore bayesiana in forma chiusa (Eq. 3). Ciò consente alla massa di probabilità di spostarsi naturalmente verso l'evidenza contraddittoria senza una logica esplicita di rilevamento dei conflitti.
• Decadimento dell'Entropia (Oblio): Le dimensioni non aggiornate per una durata $\Delta t$ subiscono un mixing esponenziale verso una distribuzione uniforme (Eq. 4). Questo simula l'oblio naturale man mano che l'incertezza cresce nel tempo, una proprietà assente nelle regole di cancellazione euristica.
• Risoluzione dell'Identità: Le entità vengono fuse se la divergenza KL simmetrizzata tra i loro set di dimensioni condivise è bassa.

Gestione degli Attributi Multi-Valore

Una limitazione delle distribuzioni categoriche unimodali è l'incapacità di rappresentare attributi intrinsecamente multi-valore (ad esempio, una lista di città visitate) senza scartare le alternative storiche. Nous affronta questo problema tramite l'aggregazione delta-log: al momento della query, qualsiasi valore che sia apparso con una sorpresa superiore a una soglia $\theta_{min}$ viene incluso nel contesto. Ciò preserva il modello di mondo bayesiano per la "migliore credenza attuale" consentendo al contempo l'aggregazione esaustiva per query specifiche.

Pipeline

• Ingestione: Un LLM estrae triple $(e, a, v)$ dalle sessioni. Per ciascuna, il sistema calcola la sorpresa, aggiorna la posteriore e appende un delta al log.
• Query: Il sistema esegue una ricerca in ampiezza (breadth-first search) sul grafo delle entità (fino a due hop) per seminare le entità rilevanti. Formatta gli stati delle dimensioni come linee di fatti e appende i top-k record delta (basati sulla similarità BM25) come evidenza. Questo contesto viene passato a un LLM che risponde.

Contributi Chiave

1. Paradigma del Modello di Mondo Predittivo: Formalizzazione della memoria dell'agente come una collezione di dimensioni aggiornate da inferenza bayesiana guidata dalla sorpresa, anziché come un deposito di fatti.
2. Implementazione Open-Source: Un sistema completo che non richiede database vettoriali esterni o motori grafici.
3. Valutazione e Benchmarking Onesto: Valutazione delle prestazioni sul benchmark LoCoMo, accompagnata da una discussione esplicita sui problemi di riproducibilità riscontrati nella letteratura riguardo ai confronti con le baseline (specificamente A-MEM) e un'analisi comparativa con BeliefMem, un sistema concorrente con premesse simili.

Risultati

Valutato sul benchmark LoCoMo (10 conversazioni, 1.540 domande) utilizzando GPT-4o-mini come backbone:

• Prestazioni: Nous ha ottenuto i seguenti punteggi Token F1:
  • Single-hop: 63.50
  • Multi-hop: 55.32
  • Temporale: 58.57
  • Open-domain: 62.50
• Confronto con A-MEM: Nous ha mostrato guadagni sostanziali rispetto ai numeri auto-riportati di A-MEM con GPT-4o-mini in tre categorie su quattro. Gli autori notano un problema di riproducibilità in cui le citazioni indipendenti dei risultati di A-MEM discordano sull'assegnazione delle categorie, sebbene i valori numerici sottostanti siano coerenti.
• Confronto con BeliefMem: Contro BeliefMem (un altro sistema basato sulle credenze), i numeri auto-riportati di Nous hanno superato quelli di BeliefMem in tutte e quattro le categorie (ad esempio, 63.50 vs 48.41 su single-hop). Tuttavia, gli autori dichiarano esplicitamente che questo non è un confronto pienamente controllato a causa delle differenze nei prompt di estrazione, nei meccanismi di recupero (BM25/BFS vs similarità/decay) e nel numero di domande non verificato.
• Analisi dei Fallimenti:
  • Single-hop: Alto richiamo del contesto (86.07%) ma F1 più basso (63.50), indicando che il collo di bottiglia è la generazione della risposta dell'LLM, non il recupero.
  • Open-domain: Richiamo del contesto più basso (47.50%) e tasso di errore di recupero più alto (37%), suggerendo che il modello di dimensione entità-attributo fatica a mappare chiaramente le domande su personalità/abitudini.
  • Temporale: Soffre di un basso richiamo del contesto (61.82%) perché i dati temporali sono spesso incorporati nel testo delle evidenze piuttosto che estratti come valori di dimensione espliciti.

Significato e Dichiarazioni

Il documento sostiene che Nous dimostri una valida alternativa alle architetture di memoria basate su database. Modellando la memoria dell'agente come un sistema predittivo aggiornato dalla sorpresa, esso gestisce naturalmente il conflitto (tramite spostamenti di probabilità), l'oblio (tramite decadimento dell'entropia) e l'aggregazione (tramite i log delta).

Gli autori posizionano questo lavoro come un primo report pubblico su una nuova architettura. Enfatizzano la modestia riguardo ai risultati:

• Il confronto con BeliefMem è "suggestivo piuttosto che conclusivo" in attesa di un confronto controllato eseguito con pipeline corrispondenti.
• La natura unimodale delle dimensioni è riconosciuta come un limite per gli attributi con valore di set, con un passaggio previsto verso distribuzioni di Bernoulli indipendenti.
• La valutazione è attualmente limitata a LoCoMo e GPT-4o-mini; la generalizzazione ad altri backbone e benchmark più difficili (LongMemEval) è pianificata.

La significatività centrale risiede nello spostamento architettonico: trattare la memoria di un agente non come un repository di "ciò che è accaduto", ma come una distribuzione di probabilità continuamente raffinata sullo stato del mondo, fondata su principi di scienza cognitiva come il coding predittivo e il principio della libera energia.