Riepilogo Tecnico: Eywa – Memoria a Lungo Termine Fondata sulla Provenienza per Agenti AI

1. Definizione del Problema

Gli agenti AI che operano attraverso molteplici sessioni richiedono sistemi di memoria in grado di recuperare, auditare, aggiornare ed eliminare le informazioni. Le attuali architetture di memoria spesso collassano l'evidenza della fonte, i fatti estratti, il contesto recuperato e le policy di risposta in un unico percorso di prompt opaco. Questo approccio "black box" rende difficile la diagnosi dei fallimenti: una risposta errata potrebbe derivare da evidenza mancante, estrazione non supportata, stato obsoleto, perdita di recupero o dal comportamento del modello di risposta, eppure i benchmark end-to-end riportano tipicamente solo un singolo punteggio aggregato.

Inoltre, semplicemente estendere la finestra di contesto dei Large Language Models (LLM) è insufficiente. I modelli a lungo contesto soffrono di elevati costi computazionali su larga scala e spesso non riescono a recuperare in modo affidabile le evidenze situate nel mezzo dei prompt o quando i compiti superano le dimensioni effettive del contesto. I sistemi esistenti faticano inoltre a distinguere tra dati sorgente immutabili e credenze derivate, rendendo difficile verificare le affermazioni, eseguire l'eliminazione da parte dell'utente o riparare errori specifici della memoria senza rielaborare l'intera cronologia.

2. Metodologia: L'Architettura Eywa

Eywa introduce un'architettura di memoria fondata sulla provenienza costruita sul principio "l'evidenza precede la credenza". Separa il ciclo di vita della memoria in fasi distinte e verificabili: cattura dell'evidenza immutabile, estrazione di credenze validate, recupero deterministico e sintesi della risposta con policy separata.

2.1. Oggetti Core e Invarianti

Eywa definisce tre distinti oggetti di memoria, mantenendo l'invariante secondo cui l'evidenza precede la credenza:

1. Evidenza (Evidence): Materiale sorgente immutabile (turni utente grezzi, timestamp, ruoli, metadati). È il substrato autorevole.
2. Segnali (Signals): Rilevazioni tipizzate sulle evidenze (date, entità, decisioni, correzioni) estratte tramite rilevatori deterministici senza chiamate a LLM.
3. Credenze (Beliefs): Fatti canonici o osservazioni derivate da LLM. Queste sono valide solo nella misura in cui sono supportate dall'evidenza sorgente e rimangono collegate ad essa tramite metadati di provenienza.

2.2. Il Percorso di Scrittura: L'Evidenza Prima della Credenza

Il processo di scrittura opera su due livelli per garantire un'estrazione fondata:

• Livello 0 (Cattura Immutabile): Ogni turno dell'utente viene memorizzato come una riga di evidenza immutabile. Un rilevatore di segnali deterministico estrae ancoraggi tipizzati (es. date, URL, valori monetari) per servire come substrato di validazione.
• Livello 1 (Estrazione Validata): Un LLM propone fatti candidati. Una funzione di validazione controlla questi candidati rispetto all'evidenza del Livello 0 e ai segnali. Verifica:
  • Supporto: Sovrapposizione lessicale e fuzzy con il testo sorgente.
  • Ancore Hard: Corrispondenza esatta di valori deterministici (date, ID, importi).
  • Soggetto e Azione: Verifica che il soggetto dichiarato esista e che negazione/incertezza siano preservate.
  • Risultato: Solo i fatti validati vengono scritti come credenze canoniche, mantenendo un legame con la loro evidenza sorgente. I candidati falliti vengono rifiutati o contrassegnati per la riparazione.

2.3. Il Percorso di Lettura: Recupero Multi-Route Deterministico

Il percorso di lettura di Eywa è privo di LLM (nessuna chiamata LLM avviene tra la ricezione della query e il ritorno del contesto). Utilizza un pianificatore di query deterministico per analizzare la forma della domanda (es. inferenza, elenco, temporale) e assegna pesi a molteple rotte di recupero:

• Ricerca Vettoriale: Similarità del coseno degli embedding.
• Ricerca per Parole Chiave: Corrispondenza BM25 tramite SQLite FTS5.
• Ricerca Temporale: Filtraggio per finestre di validità dei fatti.
• Ricerca Entità/Grafo: Traversamento di grafi di conoscenza basati su entità estratte.
• Canali di Supporto: Salvataggio tramite episodi grezzi per domande esatte e supporto all'inferenza per compiti di ragionamento.

I candidati provenienti da queste rotte vengono fusi utilizzando la Reciprocal Rank Fusion (RRF) Pesata. I filtri post-fusione applicano la demozione della persona (penalizzando i fatti relativi alla persona errata) e un pavimento di preservazione (proteggendo i candidati con alto ranking dall'essere sepolti dal rumore). La lista finale classificata viene impacchettata in una stringa di contesto limitata sotto un budget di token.

2.4. Separazione della Policy di Risposta

Il sistema restituisce due campi distinti al modello di risposta:

1. Contesto (Context): L'evidenza di memoria recuperata.
2. Istruzioni di Risposta (Answer Instructions): Testo esplicito della policy (es. strict, balanced, advanced) che dicta come il modello debba utilizzare l'evidenza.
   Questa separazione permette allo stesso substrato di memoria di essere valutato attraverso diversi regimi di modelli (frontier, budget, local) e policy senza alterare l'architettura di recupero.

3. Contributi Chiave

1. Modello Fondato sulla Provenienza: Un'architettura di memoria che separa rigorosamente l'evidenza sorgente immutabile dalle credenze canoniche derivate da LLM, abilitando auditabilità e riparazione.
2. Percorso di Scrittura a Due Livelli: Un meccanismo che combina il rilevamento di segnali tipizzati e la validazione di ancore hard per ridurre le memorie estratte non supportate.
3. Percorso di Lettura Multi-Route Deterministico: Un sistema di recupero che opera senza chiamate LLM, utilizzando molteplici rotte (vettoriale, parole chiave, temporale, grafo) preservando al contempo la tracciabilità verso l'evidenza sorgente.
4. Interfaccia Separabile dal Modello: Un'architettura in cui la consegna della memoria è scollegata dalla sintesi della risposta, permettendo alla stessa evidenza recuperata di servire diversi modelli di risposta e policy.
5. Protocollo di Valutazione a Livello di Traccia: Un approccio di benchmarking che riporta separatamente i ruoli di scrittura, QA e judge, preservando gli artefatti per ogni singola domanda (domande, risposte gold, contesto recuperato, etichette) per un'ispezione indipendente.

4. Risultati Sperimentali

Eywa è stata valutata su tre benchmark: LoCoMo (memoria conversazionale a lungo termine), LongMemEval-S (sufficienza di recupero) e BEAM (stress test tecnico-memoria).

• LoCoMo (Split C1–C4): Utilizzando Claude Sonnet 4.6 sia per il ruolo di scrittura che per quello di QA, con GPT-4o come judge, Eywa ha raggiunto un'accuratezza del judge del 90,19%.
  • Le analisi diagnostiche hanno mostrato che un percorso di scrittura più forte (Sonnet 4.6) ha migliorato significativamente le prestazioni di un modello di risposta più piccolo (Qwen3 32B), portando la sua accuratezza dal 69,09% al 79,68%.
  • Il sistema ha dimostrato robustezza attraverso diverse famiglie di modelli, sebbene il ragionamento open-domain (C3) sia rimasto la categoria più sensibile al modello.
• LongMemEval-S: Eywa ha raggiunto un'accuratezza di sufficienza di recupero dell'88,2% su 500 domande. L'analisi dei fallimenti ha indicato che gli errori rimanenti erano dovuti principalmente a lacune nella copertura del recupero e perdite nella selezione del contesto, piuttosto che semplici fallimenti di estrazione.
• BEAM: Su un test di stress tecnico-memoria di 700 domande, Eywa ha ottenuto un punteggio medio di nugget dell'81,45% e un pass@score≥0.5 dell'85,29%. Le prestazioni sono state più forti nella risoluzione delle contraddizioni, nell'astensione e nel ragionamento temporale, mentre la summarizzazione e gli aggiornamenti della conoscenza hanno rappresentato le sfide più significative.

Metriche Operative: Il percorso di lettura privo di LLM ha dimostrato una bassa latenza, restituendo il contesto assemblato in circa 150–200 ms su uno store di stress contenente migliaia di fatti e link.

5. Significato e Rivendicazioni

Il paper posiziona Eywa non come un sostituto dei modelli a lungo contesto, ma come un livello di infrastruttura della memoria che rende il comportamento degli agenti ispezionabile e controllabile.

• Auditabilità: Separando l'evidenza dalla credenza, Eywa consente agli utenti e agli sviluppatori di tracciare qualsiasi affermazione fino al suo turno sorgente, facilitando il debugging, la riparazione e l'eliminazione richiesta dall'utente.
• Chiarezza Diagnostica: Il protocollo di valutazione a livello di traccia trasforma i fallimenti dei benchmark da punteggi opachi in diagnosi ingegneristiche specifiche (es. distinguere tra una lacuna di recupero e una lacuna di sintesi).
• Flessibilità di Costo e Privacy: L'architettura supporta l'implementazione "local-first" e la separazione dei modelli, consentendo agli operatori di scegliere tra privacy locale, modelli budget a basso costo o capacità di ragionamento frontier senza ricostruire il substrato di memoria.
• Valutazione Consapevole del Rifiuto (Refusal-Aware): Il paper evidenzia come i parametri standard possano essere gonfiati dai rifiuti dei modelli su domande che sarebbero invece rispondibili. Il framework di valutazione di Eywa traccia esplicitamente i tassi di rifiuto per fornire un quadro più chiaro della capacità del sistema.

Gli autori concludono che Eywa dimostra come la separazione tra cattura dell'evidenza, consegna della memoria e policy di risposta crei un sistema che è al contempo accurato e auditabile, portando il campo verso sistemi di memoria che sono default pratici per gli agenti AI piuttosto che opache decorazioni di prompt. Tutti gli artefatti e i benchmark per singola domanda sono pubblicati per un'ispezione indipendente.