MemORAI: Memory Organization and Retrieval via Adaptive Graph Intelligence for LLM Conversational Agents

Riassunto Tecnico: MemORAI

Enunciato del Problema
I Modelli Linguistici di Grandi Dimensioni (LLM) attualmente mancano delle capacità di memoria persistente necessarie per conversazioni a lungo termine e personalizzate. Sebbene la Generazione Aumentata dal Recupero (RAG) e i sistemi basati su vettori abbiano avanzato l'ancoraggio fattuale, faticano a gestire le strutture relazionali e temporali intrinseche nei dialoghi multi-sessione. I sistemi di memoria basati su grafi esistenti presentano limitazioni critiche: spesso soffrono di diluizione delle informazioni fallendo nel filtrare il dialogo generico dai contenuti rilevanti per il persona dell'utente; mancano di un tracciamento granulare della provenienza, rendendo difficile l'audit delle origini fattuali delle informazioni recuperate; e impiegano meccanismi di recupero uniformi (come il PageRank standard) che ignorano il contesto della query, portando a un ranking subottimale di nodi semanticamente rilevanti ma strutturalmente sparsi.

Metodologia
MemORAI (Memory Organization and Retrieval via Adaptive Graph Intelligence) affronta queste lacune attraverso una pipeline a tre fasi progettata per integrare archiviazione selettiva, rappresentazione arricchita e recupero adattivo.

1. Segmentazione della Sessione e Compressione Selettiva:
   Il sistema scompone inizialmente le conversazioni grezze multi-sessione in segmenti semanticamente coerenti. Una "memoria di gate" applica quindi un filtraggio selettivo, trattenendo solo i messaggi contenenti contenuti episodici specifici dell'utente (ad esempio, fatti personali, preferenze, impegni) mentre scarta il discorso generico. Per prevenire la perdita del contesto globale, il sistema genera riepiloghi a livello di segmento per il contenuto scartato. Questo approccio a doppio livello archivia contenuti personali granulari insieme ad ancoraggi contestuali globali, riducendo significativamente l'overhead di archiviazione e il rumore.

2. Costruzione di Grafi Arricchiti di Provenienza:
   Dal contenuto filtrato, MemORAI costruisce un grafo della conoscenza eterogeneo multi-relazionale ($G = (V, E)$). Il grafo include tre tipi di nodi:

   • Nodi Entità: Memorizzano nomi e descrizioni in linguaggio naturale granulari (ad esempio, "Alex—ingegnere del software...") collegati a ID di turno specifici.
   • Nodi Turno: Memorizzano il testo grezzo del turno di conversazione.
   • Nodi Segmento: Memorizzano i riepiloghi a livello di segmento.
     Gli archi collegano le entità alle loro menzioni, i turni ai segmenti e le entità ad altre entità tramite relazioni tipizzate. Crucialmente, ogni tripletto e nodo include una provenienza esplicita a livello di turno, consentendo un audit trasparente delle origini fattuali.

3. Recupero e Ranking di Sottografi Adattivi alla Query:
   Al ricevimento di una query utente, il sistema non attraversa l'intero grafo della memoria. Invece, esegue un recupero parallelo multi-aspetto per identificare i nodi semi-top-k (segmenti, entità e relazioni) basati sulla similarità semantica. Successivamente, costruisce un sottografo sparso e focalizzato sulla query espandendo di un passo da questi semi.
   Il ranking viene eseguito utilizzando il PageRank Ponderato Dinamico (DW-PR). A differenza del PageRank tradizionale o dei metodi di propagazione uniformi, il DW-PR modula la propagazione del punteggio basandosi su pesi degli archi condizionati dalla query. I pesi degli archi sono calcolati come la similarità del coseno tra la query e la descrizione del nodo o della relazione connessa. Questo assicura che le evidenze semanticamente allineate siano prioritarie anche se il nodo è scarsamente connesso, prevenendo che il bias strutturale oscuri la memoria contestualmente critica.

Contributi Chiave
Il documento identifica tre innovazioni primarie:

• Filtraggio della Memoria Selettiva: Un meccanismo che trattiene solo i contenuti rilevanti per il persona dell'utente preservando al contempo il contesto globale tramite riepiloghi di segmento, migliorando sia l'efficienza di archiviazione che la precisione del recupero.
• Grafo della Conoscenza Arricchito di Provenienza: Un'architettura eterogenea che presenta un tracciamento esplicito della provenienza a livello di turno, abilitando un recupero granulare e un audit trasparente delle origini fattuali.
• PageRank Ponderato Dinamico: Un metodo di recupero adattivo alla query che applica una ponderazione degli archi condizionata alla query durante l'attraversamento, permettendo al sistema di priorizzare evidenze semanticamente allineate senza un attraversamento esaustivo del grafo.

Risultati Sperimentali
MemORAI è stato valutato sui benchmark LongMemEval-s e LOCOMO-10, che mirano alla memoria conversazionale a lungo orizzonte. Il framework è stato confrontato con un insieme diversificato di baseline, incluse baseline a contesto completo, modelli di recupero denso (ad esempio, Contriever, BGE-M3) e approcci RAG strutturati (ad esempio, HippoRAG 2, RAPTOR).

• Prestazioni di Recupero: MemORAI ha raggiunto prestazioni all'avanguardia sia nel recupero a livello di sessione che a livello di turno. Su LongMemEval-s, ha raggiunto un Recall@3 a livello di sessione del 90,17% e un Recall@3 a livello di turno del 71,13%, superando solide baseline basate su grafi come HippoRAG 2 (75,53% sessione, 27,80% turno).
• Prestazioni di Generazione: In termini di generazione delle risposte, MemORAI ha ottenuto i punteggi più alti del giudice GPT-4o (75,55% su LongMemEval-s e 60,22% su LOCOMO-10) e metriche lessicali superiori (F1, BLEU, ROUGE) rispetto a tutte le baseline.
• Studi di Ablazione: Esperimenti controllati hanno confermato che la segmentazione per argomento fornisce il prior strutturale più forte per l'organizzazione della memoria, mentre la ponderazione dinamica degli archi ha migliorato costantemente l'accuratezza del recupero rispetto alla ponderazione uniforme. L'uso di sottografi focalizzati sulla query ha ridotto la latenza senza sacrificare il richiamo.

Significato e Affermazioni
Il documento afferma che MemORAI dimostra che archiviazione selettiva, rappresentazione arricchita e recupero adattivo sono essenziali per agenti LLM personalizzati e coerenti. Integrando questi componenti, il framework colma il divario tra precisione del recupero e fedeltà di generazione. Gli autori affermano che il loro approccio supera le limitazioni dei sistemi esistenti filtrando la diluizione delle informazioni, tracciando la provenienza a livello di turno e adattando i pesi di recupero alla semantica della query.

Il documento riconosce le limitazioni, notando che la dipendenza dalla provenienza a livello di turno e dal collegamento di entità statiche potrebbe limitare l'adattabilità in contesti altamente dinamici dove l'intento dell'utente cambia bruscamente. Inoltre, il sistema attualmente comporta un overhead computazionale più elevato durante la fase di indicizzazione rispetto a pipeline leggere basate solo su embedding, sebbene ciò sia disaccoppiato dalla latenza di inferenza in tempo reale. Gli autori suggeriscono che il lavoro futuro potrebbe sfruttare la distillazione della conoscenza per ottimizzare il framework per ambienti con risorse limitate.