MemX: A Local-First Long-Term Memory System for AI Assistants

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere un assistente personale (come un maggiordomo digitale o un amico molto colto) che ti aiuta ogni giorno. Finora, questi assistenti avevano un problema enorme: avevano una memoria di pesce rosso. Ogni volta che spegnevo la luce o chiudevo la chat, dimenticavano tutto: il tuo nome, il tuo caffè preferito, i progetti su cui stavamo lavorando. Dovevi ripetergli tutto ogni volta.

MemX è la soluzione a questo problema. È un sistema di "memoria a lungo termine" progettato per funzionare direttamente sul tuo computer (senza inviare i tuoi dati al cloud), rendendo l'assistente più intelligente, privato e affidabile.

Ecco come funziona, spiegato con metafore quotidiane:

1. Il Librario Perfetto (L'Archivio)

Immagina che la memoria dell'assistente sia una biblioteca enorme piena di milioni di biglietti di carta (i ricordi).

Il problema: Se chiedi "Qual è il mio codice fiscale?", un sistema vecchio potrebbe cercare solo parole esatte. Se tu dici "Il mio numero di sicurezza sociale", potrebbe non trovare nulla perché le parole sono diverse.
La soluzione di MemX: Usa due metodi contemporaneamente, come un bibliotecario super-veloce:
1. La ricerca per "vibe" (Semantica): Cerca il significato. Se chiedi "Il mio numero di sicurezza sociale", capisce che stai parlando del codice fiscale, anche se le parole sono diverse.
2. La ricerca per "parola chiave" (Lessicale): Cerca le parole esatte. Se chiedi "Codice Fiscale", trova esattamente quel termine.
- L'ingrediente segreto: Unisce i risultati di queste due ricerche in un unico elenco ordinato (una tecnica chiamata Fusione dei Ranghi), così non perde mai un indizio importante.

2. Il Filtro "Non Inventare!" (La Regola di Rifiuto)

Questo è il punto più importante e geniale di MemX.
Spesso, quando un assistente non sa la risposta, tende a inventare (allucinazione) per non sembrare stupido.

Come fa MemX: Prima di rispondere, fa una domanda a se stesso: "Sono sicuro al 100% che questa informazione esista nei miei appunti?".
Se la risposta è "Forse sì, ma non sono sicuro", invece di inventare una bugia, tace e dice: "Non ho trovato questa informazione nei miei appunti".
È come un bibliotecario onesto che, se non trova il libro, ti dice "Non ce l'abbiamo" invece di inventarsi un titolo a caso. Questo rende l'assistente molto più affidabile.

3. Cosa è Importante? (Il Sistema di Punteggio)

Non tutti i ricordi sono uguali. MemX decide quali ricordi mostrare basandosi su quattro fattori, come se fosse un algoritmo che valuta l'importanza:

Rilevanza: Quanto è simile alla tua domanda?
Attualità: È un ricordo recente o vecchio di 10 anni? (Preferisce le cose nuove).
Frequenza: Quante volte hai chiesto questa cosa in passato? (Se chiedi spesso il tuo codice fiscale, è importante).
Importanza: Hai etichettato manualmente quel ricordo come "critico"?

Una regola intelligente: MemX distingue tra "guardare" un ricordo e "usarlo". Se apri un file solo per controllarlo (accesso), non lo rende più importante. Se lo cerchi attivamente per risolvere un problema (recupero), allora sì, diventa più importante. Questo evita che l'assistente si confonda con cose che hai solo sfogliato per caso.

4. La Velocità (Il Motore)

Tutto questo avviene sul tuo computer (Local-First).

Privacy: I tuoi dati non lasciano mai la tua macchina.
Velocità: Anche con 200.000 ricordi (come una biblioteca intera), MemX trova la risposta in meno di un secondo (90 millisecondi!). Lo fa grazie a un sistema di indicizzazione intelligente che evita di dover leggere ogni singolo foglio di carta uno per uno.

5. Cosa ha imparato dagli esperimenti?

Gli autori hanno fatto dei test con domande vere e false:

Funziona bene: Se chiedi cose specifiche o procedure, trova la risposta quasi sempre (91-100% di successo).
Dove fatica: Se devi collegare eventi che sono accaduti in momenti molto diversi o in conversazioni separate, a volte fa fatica. È come se ricordasse bene i singoli pezzi di un puzzle, ma avesse difficoltà a vedere l'immagine completa se i pezzi sono sparsi su tavoli diversi.
La lezione principale: Più piccoli e precisi sono i "pezzetti" di memoria (fatti atomici), meglio funziona il sistema. Se invece archivi interi dialoghi confusi, è più difficile trovare l'ago nel pagliaio.

In Sintesi

MemX è come dare al tuo assistente digitale un diario di bordo personale, privato e super-organizzato.
Non si limita a leggere le tue parole, capisce il contesto, sa quando non deve rispondere per non mentire, e ricorda cosa è importante per te basandosi su come lo usi davvero. È un passo avanti verso un'Intelligenza Artificiale che non è solo "brillante", ma anche affidabile e tua.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

I grandi modelli linguistici (LLM) attuali eccellono nella comprensione di singole interazioni, ma rimangono stati privi di memoria (stateless) tra le diverse sessioni. Senza un livello di memoria persistente, un assistente AI non può mantenere preferenze utente, convenzioni di progetto, procedure operative o vincoli specifici del dominio nel tempo.
Sebbene il Retrieval-Augmented Generation (RAG) sia lo standard per ancorare gli LLM a conoscenze esterne, la maggior parte dei sistemi esistenti:

È progettata per corpora di documenti statici piuttosto che per memorie personali incrementali.
Assume un'architettura cloud con risorse computazionali illimitate.
Non affronta adeguatamente il compromesso tra ricordare (recall) e evitare allucinazioni (spurious recalls) quando non esiste una risposta pertinente nella memoria, specialmente in contesti locali dove la privacy e l'indipendenza sono prioritarie.

L'obiettivo di MemX è colmare questo divario fornendo un sistema di memoria local-first, semplice, spiegabile e orientato alla stabilità per assistenti AI personali.

2. Metodologia e Architettura

MemX è implementato in Rust utilizzando libSQL (un fork di SQLite) e un'API di embedding compatibile con OpenAI. Il sistema segue quattro principi di progettazione: deployment local-first, semplicità strutturale, valutazione con embedding reali e priorità alla stabilità rispetto al recall massimo.

Pipeline di Ricerca Ibrida

Il processo di recupero segue un flusso deterministico (Algoritmo 1):

Recall Ibrido: Una query viene elaborata in parallelo su due percorsi:
- Recall Vettoriale: Utilizza un modello di embedding (Qwen3-0.6B, 1024 dimensioni) e un indice DiskANN per la ricerca semantica.
- Recall per Parole Chiave: Utilizza l'indicizzazione FTS5 di SQLite per la corrispondenza esatta dei termini.
Fusione (RRF): I risultati dei due percorsi vengono fusi utilizzando la Reciprocal Rank Fusion (RRF), un metodo robusto che combina liste ordinate senza richiedere parametri complessi.
Riordinamento (Re-ranking): I candidati vengono riordinati tramite una funzione di punteggio composta da quattro fattori:
- Somiglianza Semantica: Derivata dal punteggio RRF.
- Recentezza: Basata sull'ultima volta che la memoria è stata recuperata (non solo visualizzata), con decadimento esponenziale (half-life di 30 giorni).
- Frequenza: Basata sul numero di recuperi (non accessi amministrativi), normalizzata logaritmicamente.
- Importanza: Un'annotazione esplicita.
  I punteggi vengono normalizzati tramite Z-score e trasformati con una funzione sigmoide.
Regola di Rifiuto a Bassa Confidenza: Se il set di parole chiave è vuoto e il punteggio di similarità vettoriale massima è inferiore a una soglia $\tau$ (impostata a 0.50), il sistema restituisce un risultato vuoto. Questo previene allucinazioni su query non rispondibili.
Deduplicazione: Vengono applicati due livelli di deduplicazione (per contenuto e per "firma dei tag") per evitare che varianti di template occupino slot nei risultati top-k.

Separazione Accessi vs. Recupero

Un aspetto cruciale è la distinzione tra:

Accesso: Lettura esplicita di un'entry (es. visualizzazione dettagli).
Recupero: Restituzione come risultato di ricerca.
MemX utilizza i contatori di recupero e i timestamp di ultimo recupero per il ranking, evitando che letture amministrative o casuali distorcano la rilevanza percepita della memoria.

3. Contributi Chiave

Implementazione Completa: Un sistema di memoria a lungo termine local-first con recupero ibrido e tracciamento separato di accessi/recupero.
Framework di Benchmark Riproducibile: Un framework che invoca direttamente le funzioni di ricerca interne (bypassando HTTP), utilizza API di embedding live e supporta l'analisi strutturata JSON.
Valutazione Empirica: Analisi su due scenari personalizzati (43 query in cinese) e sul benchmark esterno LongMemEval (500 query, fino a 220k record).
Studio sulla Granularità di Archiviazione: Dimostrazione empirica che la frammentazione a livello di "fatto" (fact-level) raddoppia la qualità del recupero rispetto alla memorizzazione a livello di sessione.

4. Risultati Sperimentali

Scenari Personalizzati (43 query)

Precisione: Hit@1 del 91.3% nello scenario default e 100% nello scenario ad alta confusione (dove i temi sono semanticamente sovrapposti).
Gestione degli Errori: La regola di rifiuto ha un tasso di "Miss-Strict" del 100% nello scenario default, dimostrando capacità di non allucinare quando non ci sono risposte.
Latenza: Con 1.014 record, la ricerca end-to-end è inferiore a 90 ms (dominata dall'API di embedding remota).

Benchmark LongMemEval (500 query, fino a 220.349 record)

Impatto della Granularità: Il passaggio da archiviazione a livello di Sessione a livello di Fatto (estratto da LLM) raddoppia le prestazioni:
- Hit@5: da 24.6% (Sessione) a 51.6% (Fatto).
- MRR: da 0.183 a 0.380.
- Il miglioramento è più marcato per le query di "aggiornamento delle conoscenze" (+44.8 punti percentuali).
Limiti: Il ragionamento temporale e multi-sessione rimane una sfida (Hit@5 $\le$ 43.6%), indicando la necessità di meccanismi oltre il semplice recupero vettoriale.
Ottimizzazione delle Prestazioni: L'uso dell'indicizzazione FTS5 invece della ricerca LIKE riduce la latenza della ricerca testuale di 1.100 volte su 100k record (da 3.305 ms a 2.9 ms), mantenendo la latenza totale sotto i 90 ms anche con 220k record.

Analisi delle Regole di Rifiuto

Lo studio delle regole di rifiuto conferma che la regola congiunta attuale (rifiutare solo se mancano sia parole chiave che similarità vettoriale) è l'unica che non genera falsi negativi su query valide, bilanciando perfettamente la sicurezza contro le allucinazioni.

5. Significato e Conclusioni

MemX rappresenta un baseline solido e riproducibile per gli assistenti AI locali. I suoi risultati principali sono:

Validazione dell'Approccio Ibrido: Conferma che la combinazione di ricerca vettoriale e testuale, unita a una riordinazione basata su fattori contestuali (recentezza di recupero, frequenza), è efficace per memorie personali.
Importanza della Granularità: Dimostra che la qualità dei dati di input (chunking a livello di fatto) è più critica dell'aggiunta di pipeline di recupero complesse per migliorare le prestazioni su larga scala.
Efficienza Locale: Prova che è possibile costruire sistemi di memoria robusti, privati e veloci su un singolo file locale, senza dipendere da infrastrutture cloud pesanti.
Trasparenza: La separazione tra accessi e recuperi e la logica di rifiuto spiegabile offrono agli sviluppatori controllo e prevedibilità, elementi spesso assenti nei sistemi "black-box".

Il lavoro identifica anche le direzioni future, tra cui il ragionamento temporale, l'uso di grafi per le relazioni causali e regole di rifiuto più sofisticate (es. cross-encoder) per gestire query con sovrapposizioni semantiche estreme.