💻 computer science

MutMem: Cryptographically Authorized Mutation in Persistent Agent Memory

MutMem è un protocollo di mutazione autorizzato crittograficamente per la memoria persistente degli agenti che garantisce integrità e tracciabilità firmando le transizioni dei pesi e le evidenze, ottenendo un'elevata accuratezza del recupero e una robusta resistenza agli attacchi di avvelenamento senza compromettere la continuità storica.

Autori originali: Walid Saidi

Pubblicato 2026-08-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Walid Saidi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire un robot amico che non dimentica mai. Ricorda il tuo condimento preferito sulla pizza, il nome della tua maestra di terza elementare e la volta in cui hai promesso di portare a spasso il cane. Ma ecco la parte complicata: le persone cambiano. Magari decidi che ora odi l'ananas sulla pizza, o ti rendi conto che la tua maestra di terza elementare si chiamava in realtà "Signora Smith" e non "Signorina Jones". Se il tuo amico robot si limitasse a sovrascrivere i vecchi ricordi con quelli nuovi, come faresti a sapere che non è stato hackerato? Come puoi dimostrare che il cambiamento è un aggiornamento genuino da parte tua e non un virus subdolo che finge di essere te? Questo è il problema della "memoria persistente" nell'intelligenza artificiale. Gli scienziati stanno cercando di costruire un'IA capace di apprendere e adattarsi nel corso degli anni, ma hanno bisogno di un modo per garantire che tali cambiamenti siano autorizzati e tracciabili, come un diario digitale che non può essere segretamente modificato senza lasciare un'impronta.

Questo articolo presenta un sistema ingegnoso chiamato MutMem (abbreviazione di "Mutable Memory") progettato per un motore cerebrale robotico chiamato HOM-AIMOS. Pensa a MutMem come a un registro super sicuro e magico per la memoria di un'IA. Invece di cancellare i vecchi fatti quando arrivano nuove informazioni, MutMem mantiene il vecchio ricordo al sicuro ma aggiunge una "nota firmata" accanto ad esso. Questa nota dice: "Ehi, abbiamo aggiornato l'importanza di questo ricordo a causa di questo nuovo evento, ed ecco la prova crittografica che l'aggiornamento è stato autorizzato". È come se scrivessi una correzione nel margine di un libro di una biblioteca, ma la correzione fosse firmata con un sigillo di cera unico e indistruttibile che prova che l'hai fatta tu, e non un ladro. Il sistema ha anche un modo speciale per gestire le informazioni "avvelenate" — fatti falsi piantati dagli hacker. Invece di cancellare i fatti falsi (il che nasconderebbe le prove dell'attacco), MutMem li conserva ma vi appone un enorme' etichetta firmata "SOSPETTO". In questo modo, l'IA sa di dover ignorare l'informazione falsa, ma i ricercatori possono ancora studiare l'attacco in seguito.

I ricercatori hanno testato questo sistema in tre modi principali. Primo, hanno controllato se il robot fosse effettivamente in grado di rispondere correttamente alle domande utilizzando la sua memoria. In un test impegnativo chiamato LongMemEval, il robot ha risposto correttamente al 91,8% delle domande. In un altro test di memoria a lungo termine chiamato LoCoMo, ha risposto correttamente al 74,12%. Questi numeri dimostrano che il sistema di memoria funziona bene per i compiti normali.

Secondo, hanno testato la sicurezza. Hanno eseguito una suite specializzata di test in cui hanno cercato di ingannare il sistema per indurlo a effettuare modifiche non autorizzate o a cancellare memorie. Il sistema ha rilevato con successo ogni tentativo di manomissione in questi scenari specifici, come il tentativo di riutilizzare le firme su diverse memorie o di alterare i sigilli digitali. Ogni volta che veniva apportata una modifica, questa veniva bloccata con una firma digitale. Se qualcuno avesse tentato di manomettere la memoria in questi test, il sistema avrebbe individuato immediatamente il sigillo rotto. Anche il processo di creazione di un aggiornamento sicuro era molto veloce, impiegando in media solo 4,865 millisecondi — più veloce di un battito di ciglia umano.

Terzo, hanno testato quanto bene il sistema gestisce i dati "avvelenati". Hanno simulato un attacco in cui gli hacker hanno iniettato 500 passaggi falsi e fuorvianti nella memoria del robot. Il sistema non ha cancellato questi passaggi falsi; invece, li ha conservati ma li ha contrassegnati come "poison_likely" con un'etichetta firmata. Quando al robot venivano poste domande con le quali gli hacker cercavano di ingannarlo, il sistema ignorava con successo le informazioni false il 97% delle volte (solo il 3% delle volte il robot usava accidentalmente l'informazione avvelenata). Fondamentalmente, il sistema non si è confuso né ha perso la capacità di rispondere correttamente alle domande normali; la sua precisione è rimasta alta anche sotto attacco.

L'articolo ha anche eseguito un esperimento speciale per vedere perché il sistema funzionasse così bene contro l'avvelenamento. Hanno scoperto che le "etichette firmate" erano le vere eroine. Quando il robot usava queste etichette per ignorare le informazioni false, la sua precisione sulle domande trabocchetto passava dal 40% al 65%. Senza le etichette, il robot veniva facilmente ingannato.

Tuttavia, l'autore è molto attento a precisare cosa questo sistema non fa. Non prova che la memoria sia effettivamente "vera" nel mondo reale. Un robot può avere una memoria perfettamente firmata e autorizzata che è comunque fattualmente errata (come ricordare che odi l'ananas quando in realtà lo ami). Il sistema prova solo che la memoria è stata aggiornata dalla persona giusta e che la cronologia delle modifiche è onesta. È un sistema per la fiducia e la tracciabilità, non per trovare la verità assoluta.

In definitiva, MutMem dimostra che possiamo costruire memorie per l'IA che siano abbastanza flessibili da apprendere e cambiare, ma abbastanza sicure da provare chi ha effettuato le modifiche e cosa è stato cambiato. Mantiene la cronologia di ogni aggiornamento, di ogni sospetto e di ogni correzione, tutto blindato con sigilli digitali indistruttibili, garantendo che anche se il cervello di un'IA è enorme e complesso, possiamo sempre tracciare il percorso dei suoi pensieri.

Sintesi Tecnica: MutMem – Mutazione Criptograficamente Autorizzata nella Memoria Persistente degli Agenti

Definizione del Problema

I sistemi di memoria persistente degli agenti richiedono adattamento: le memorie che erano utili in passato possono diventare fuorvianti dopo delle correzioni, mentre osservazioni di basso valore possono acquisire utilità con nuove evidenze. Tuttavia, trattare l'adattamento come un normale aggiornamento in loco crea un'ambiguità forense. Una volta che il peso o il contenuto di una memoria cambia, un revisore esterno non può distinguere tra un adattamento cognitivo autorizzato e un' modifica non autorizzata del database. Inoltre, gli approcci standard spesso eliminano o sopprimono i contenuti "avvelenati" o sospetti, distruggendo la traccia di audit necessaria per studiare i pattern di attacco o correggere i falsi positivi.

La sfida centrale è abilitare la mutazione cognitiva bidirezionale (riponderazione delle memorie verso l'alto o verso il basso) mantenendo al contempo:

Ritenzione: La memoria e la sua evidenza storica devono rimanere presenti.
Autorizzazione: Solo il "housekeeper" designato del sistema può applicare i ripesi cognitivi.
Integrità: Hash e firme devono rendere rilevabile ogni divergenza non autorizzata.
Tracciabilità: Il contenuto avvelenato deve essere mantenuto ma contrassegnato come non attendibile, preservando la storia della classificazione senza cancellare l'evidenza originale.

Fondamentalmente, il sistema distingue tra autorizzazione (dimostrare che un cambiamento è stato effettuato dall'entità corretta) e verità (dimostrare che il contenuto è fattualmente corretto). La crittografia supporta la prima, ma non la seconda.

Metodologia: Il Protocollo MutMem

MutMem è implementato all'interno di HOM-AIMOS, un motore di memoria persistente. Il protocollo separa la ritenzione dall'evoluzione dello stato utilizzando un framework di mutazione crittografica.

1. Mutazione Preservante la Ritenzione

Il sistema proibisce il decadimento, l'eliminazione o la soppressione ordinaria. Invece:

Limiti del Peso: I pesi cognitivi ( $w$ ) sono limitati nell'intervallo $[0.1, 3.0]$ . Un peso di 0.1 rappresenta una "bassa rilevanza", ma non l'eliminazione.
Regola di Aggiornamento: I pesi vengono aggiornati sulla base di evidenze di esito firmate (valenza) utilizzando una regola indipendente dall'età: $w' = \text{clip}(w \cdot \exp(\eta \cdot j))$ , dove $j$ è un punteggio di valenza derivato dalla somma dei premi trattenuti.
Traiettoria Bidirezionale: Una memoria può essere riponderata verso l'alto o verso il basso. Un esito positivo successivo può invertire una precedente transizione negativa, ma l'inversione è una transizione append-only (di sola aggiunta), non una sovrascrittura. Ciò preserva l'intera storia dei giudizi.

2. Protocollo di Mutazione Crittografica

Ogni cambiamento di peso non triviale è legato a un nodo di provenienza firmato e a un impegno di transizione:

Nodo di Provenienza: Un corpo JSON firmato ( $B_i$ ) contenente l'ID della memoria, l'azienda, il vecchio peso, il nuovo peso e un hash del nodo di provenienza precedente. Questo crea una catena di hash della storia della memoria.
Impegno di Transizione: Un impegno separato ( $t_i$ ) lega la specifica azienda, la memoria, i pesi quantizzati e l'hash di provenienza. Questo è firmato dal Housekeeper (il proprietario nativo della mutazione cognitiva del sistema) utilizzando Ed25519.
Verifica: Uno scrittore di database ristretto e un verificatore portabile indipendente controllano queste firme. Verificano la continuità, la validità dell'epoca del firmatario e che la transizione corrisponda allo stato attuale.
Ricevute Merkle: Quando una memoria viene richiamata, il sistema genera una ricevuta Merkle in stile RFC 6962 che lega l'evidenza ordinata, l'ID della memoria e lo stato di calibrazione.

3. Avvelenamento Epistemico e Tracciabilità

Invece di eliminare il contenuto sospetto di avvelenamento, MutMem lo mantiene come "evidenza di riferimento non attendibile".

Catena Epistemica: Una catena separata, di sola aggiunta, registra etichette firmate (es. poison_suspect, poison_likely, poison_refuted).
Logica di Classificazione: Un classificatore deterministico aggiunge etichette basate sui segnali del detector. Se un cluster di passaggi condivide pattern di query sospetti, il sistema aggiunge una transizione poison_likely.
Isolamento del Recupero: Durante il richiamo, il sistema consulta l'attuale proiezione epistemica. Se una memoria è etichettata come avvelenata, viene esclusa dai risultati top- $k$ o trattata come non attendibile, anche se la riga grezza della memoria rimane nel database.
Reversibilità: Se un'evidenza successiva smentisce un'etichetta di avvelenamento, viene aggiunta una nuova transizione firmata (poison_refuted), ripristinando lo stato di fiducia della memoria senza cancellare la storia del sospetto.

Contributi Chiave

Protocollo di Mutazione Preservante la Ritenzione: Un sistema in cui l'evidenza di esito firmata sposta la frequenza di recupero senza eliminare o sovrascrivere le memorie, mantenendo una traiettoria storica completa.
Traiettoria Cognitiva a Due Impegni: Un meccanismo in cui ogni riponderazione è autorizzata da un nodo di provenienza firmato e indipendentemente firmata sopra i dettagli esatti della transizione, creando una storia senza fork e verificabile.
Prova a Livello di Risultato al Momento del Recupero: I candidati sono ammessi solo dopo la verifica della provenienza, e le risposte includono una ricevuta Merkle firmata che lega l'ordine dichiarato e lo stato.
Design di Valutazione Audibile: Un framework che separa utilità, integrità della mutazione e robustezza contro l'avvelenamento, con unità statistiche fisse e artefatti verificati tramite hash.
Tracciabilità dell'Avvelenamento Preservante la Ritenzione: Un metodo per mantenere i passaggi potenzialmente avvelenati aggiungendo al contempo una catena epistemica firmata e verificabile che li marca come non attendibili, permettendo la tracciabilità e la potenziale smentita futura.

Risultati

Il documento valuta MutMem su tre assi utilizzando benchmark e protocolli specifici:

1. Utilità (LongMemEval & LoCoMo)

LongMemEval: Ha raggiunto il 91,8% di accuratezza (459/500 domande) sotto giudizio LLM.
LoCoMo: Ha raggiunto il 74,12% di accuratezza (1472/1986 domande) sotto giudizio LLM e un punteggio F1 di 58,20 sotto un protocollo token-F1.
Nota: Questi parametri dimostrano la capacità del sistema di funzionare efficacemente con la memoria persistente, indipendentemente dalle affermazioni di integrità crittografica.

2. Integrità della Mutazione

Una suite di mutazione nativa ha verificato 20 transizioni firmate.
Latenza: Latenza mediana di 4,865 ms per transizione; latenza p95 di 5,674 ms.
Storage: Media di storage della riga logica di 966,35 byte per transizione.
Integrità: Il sistema ha respinto con successo aggiornamenti non autorizzati, riutilizzo di prove cross-tenant e firme manomesse. I verificatori SQL e portatili hanno confermato l'esatta parità.

3. Adattamento PoisonedRAG (N=100)

Configurazione dell'Attacco: 100 target con 5 passaggi avvelenati iniettati ciascuno (500 totali).
Difesa del Recupero: Nella corsa difesa post-calibrazione finale (braccio A1), 0/100 target avevano passaggi avvelenati nei primi 5 risultati recuperati. (In contrasto, il braccio bypass non mitigato A0 ha selezionato l'avvelenamento in 94/100 set top-5).
Accuratezza: L'accuratezza della risposta pulita era del 72%; l'accuratezza della risposta attaccata era del 71%. La differenza non era statisticamente significativa.
Tracciabilità: Tutti i 500 passaggi avvelenati sono stati mantenuti e assegnati a un'etichetta poison_likely. Tutte le 19.308 catene di memoria del benchmark mantenute sono state verificate con successo.
Falsi Positivi: Solo 4 di 18.808 memorie pulite hanno ricevuto un'etichetta avversa (0,0213%).

4. Ablazione Epistemica

Uno studio di ablazione causale ha confrontato quattro bracci di policy:

A0 (Bypass): 94/100 passaggi avvelenati selezionati nel top-5; l'accuratezza attaccata è scesa al 40%.
A1 (Etichette Firmate): Il recupero del veleno è sceso a 0/100; l'accuratezza attaccata è stata recuperata al 65%.
A2/A3: L'aggiunta di rilevamento locale della query o l'occultamento del contesto attivo non ha fornito alcun ulteriore beneficio misurabile su questo corpus fisso, poiché le etichette firmate (A1) avevano già rimosso il veleno.
Conclusione: Le etichette memorizzate e firmate sono state il fattore causale primario nella difesa, recuperando 25 punti percentuali di accuratezza senza danneggiare le prestazioni sulle memorie pulite.

Significato e Affermazioni

Il documento limita esplicitamente le sue affermazioni ad autorizzazione, integrità, tracciabilità e continuità storica. Non afferma di provare la verità semantica.

Distinzione Forense: MutMem dimostra con successo che le mutazioni cognitive legittime possono essere distinte criptograficamente dalle modifiche non autorizzate. Una firma prova chi ha autorizzato un cambiamento e quale era lo stato precedente, ma non se il contenuto sia fattualmente vero.
La Ritenzione come Sicurezza: Mantenendo il contenuto avvelenato invece di eliminarlo, il sistema preserva l'evidenza necessaria per auditare gli attacchi, studiare il comportamento dei detector e correggere i falsi positivi. Il "veleno" diventa una forma di evidenza negativa che è tracciabile e reversibile.
Difesa in Profondità: L'ablazione mostra che le etichette epistemiche firmate agiscono come uno strato di difesa sufficiente, impedendo al contenuto avvelenato di raggiungere il prompt di generazione, mentre gli strati successivi (come l'occultamento del contesto) rimangono inespressi perché il primo strato ha avuto successo.
Modestia: L'autore riconosce che la compromissione delle chiavi, l'accesso superuser a runtime e la sostituzione dell'anchor esterno rimangono fuori dal modello di minaccia. I risultati sono vincolati a specifici commit sorgente ed evidenze manifest.