Riepilogo Tecnico: MemLineage

Enunciato del Problema

Gli agenti LLM moderni si affidano a memorie persistenti per accumulare log di chat, risposte degli strumenti e osservazioni derivate attraverso le sessioni utente. Sebbene questa memoria abiliti flussi di lavoro multi-step, è diventata una superficie di attacco critica. Ricerche recenti (ad es. AgentPoison, MINJA, MemoryGraft, Zombie Agents) dimostrano che gli avversari possono iniettare contenuti malevoli nella memoria di un agente, i quali possono rimanere dormienti tra le sessioni e riemergere successivamente come istruzioni per attivare azioni sensibili.

Il divario di enforcement fondamentale identificato è che le difese esistenti non riescono a gestire il riciclaggio della memoria (memory laundering). Un avversario sofisticato può piantare "ingredienti" in fonti non attendibili, consentendo al ciclo normale di recupero e riassunto dell'agente di generare una nuova voce derivata. Poiché questa voce derivata è autografata dallo stesso agente, porta una firma crittografica valida, rendendola indistinguibile dai contenuti benigni per le difese basate solo sulla firma. Di conseguenza, l'agente potrebbe recuperare in seguito questa voce "riciclata" ed eseguire azioni sensibili (ad es. trasferimenti finanziari) basandosi su una discendenza non attendibile, rompendo la catena di custodia.

Le soluzioni attuali soffrono di limitazioni specifiche:

• Livelli basati solo sulla firma verificano lo scrittore ma non possono tracciare la storia della derivazione.
• Pianificatori basati su IFC (es. Fides) applicano etichette durante la pianificazione ma le perdono attraverso i passaggi di derivazione LLM.
• Filtri di recupero (es. RAGPart) non riescono a distinguere un riassunto benigno da un payload riciclato se entrambi arrivano tramite un principale autenticato.
• Difese grossolane (es. Memory Sandbox) spesso bloccano tutto il richiamo dopo l'esposizione, sacrificando l'utilità.

Metodologia: Design di MemLineage

MemLineage affronta questo problema trattando la sicurezza della memoria come un problema di catena di custodia piuttosto che un problema di filtraggio. Allega provenienza crittografica e una discendenza di derivazione ponderata a ogni voce di memoria. Il sistema è costruito attorno a sei moduli:

1. Metadati di Provenienza (M1): Ogni voce è un record ProvEntry contenente il principale scrittore, l'hash della fonte, l'hash del contesto e un elenco di voci genitore con pesi di attribuzione.
2. Vincolo Crittografico (M2): Le voci sono firmate utilizzando chiavi Ed25519 per principale. La firma copre una codifica CBOR canonica di tutti i campi tranne la firma stessa.
3. Registro Append-Only (M3): Un registro Merkle in stile RFC 6962 registra gli hash delle voci. L'eliminazione è gestita tramite marcatori "tombstone" firmati per impedire la riscrittura della storia.
4. DAG di Discendenza (M4): Un grafo aciclico diretto in cui gli archi rappresentano la derivazione mediata da LLM. Ogni arco $(p, c)$ ha un peso $w(p, c) \in [0, 1]$ determinato da un algoritmo di attribuzione.
   • Regola di Propagazione: La fiducia è propagata tramite una regola max-of-strong-edges. Una voce $c$ eredita il livello di fiducia del suo genitore $p$ se $w(p, c) > \tau$ (una soglia di declassificazione).
   • Persistenza del Percorso Non Attendibile (Teorema 1): Se esiste un percorso da un antenato "Esterno" a una voce corrente in cui ogni peso dell'arco supera $\tau$, la voce corrente è etichettata come "Derivata-NonAttendibile".
5. Recupero Consapevole del Verificatore (M5): Prima che una voce venga inserita nel prompt LLM, M5 verifica le firme, le prove di inclusione e rende la voce con un'etichetta di fiducia strutturale (ad es. [trust=DERIVED_UNTRUSTED]).
6. Cancello per Azioni Sensibili (M6): Prima di inviare una chiamata a uno strumento (specialmente verso sink sensibili come scritture su file o pagamenti), M6 ispeziona il prompt attivo. Se la giustificazione per un parametro discende da un antenato "Derivato-NonAttendibile" o "Esterno", la chiamata viene negata. M6 supporta anche la Riparazione dell'Autorità, dove può sostituire chirurgicamente i parametri provenienti da fonti nemiche con valori provenienti da provenienza attendibile.

Il sistema supporta tre algoritmi di attribuzione:

• Grossolano: Peso binario (1.0) se un genitore era nel contesto di recupero.
• LmSelfEval: Un giudice LLM secondario valuta l'influenza semantica (irrobustito contro l'iniezione di prompt tramite buste JSON).
• AttnAttr: Analisi white-box dell'attenzione (richiede modelli open-weight).

Contributi Chiave

1. Carico di Lavoro Stressante per la Discendenza: Il paper introduce un modello di attacco "sleeper-via-derivation". A differenza dell'iniezione diretta, questo carico di lavoro pianta ingredienti in fonti non attendibili, costringendo l'LLM a derivare un payload malevolo come una nuova voce firmata. Questo separa le difese basate solo sulla firma da quelle consapevoli della discendenza.
2. Regola di Propagazione Formale: Il design formalizza il teorema della Persistenza del Percorso Non Attendibile, dimostrando che se ogni arco in una catena di derivazione è "forte" (sopra la soglia $\tau$), l'etichetta non attendibile si propaga alla punta della catena.
3. Algoritmi di Attribuzione e Compromessi: Il paper valuta tre strategie di attribuzione e quantifica l'interazione tra la soglia di discendenza ($\tau$) e la lunghezza della catena ($K$). Dimostra che una misurazione $\tau$ singola non è sufficiente; catene più profonde richiedono soglie più basse per mantenere la sicurezza sotto un'affidabilità di attribuzione in decadimento.
4. Strumento di Valutazione End-to-End: Viene fornito uno strumento deterministico e riproducibile che fissa il comportamento dell'attaccante ed evita chiamate reali all'API LLM per le metriche principali. Produce artefatti byte-equal verificati in CI per il Tasso di Successo dell'Attacco (ASR), le linee di base di utilità e le ablazioni di discendenza.

Risultati

La valutazione confronta tre configurazioni: no_defense, sig_only_baseline (firme + registro Merkle, senza discendenza) e MemLineage (stack completo).

• Tasso di Successo dell'Attacco (ASR):

  • AgentPoison (Legato al trigger): sig_only_baseline e MemLineage raggiungono entrambi un ASR di 0.00 (le firme bloccano gli scrittori non attendibili).
  • MemoryGraft (Avvelenamento del recupero): sig_only_baseline fallisce (ASR 1.00) perché le voci sono firmate dall'agente. MemLineage raggiunge un ASR di 0.00 tracciando la discendenza fino a un antenato esterno.
  • Sleeper-via-Derivation: sig_only_baseline fallisce (ASR 1.00) poiché la voce derivata è validamente firmata. MemLineage raggiunge un ASR di 0.00 propagando l'etichetta non attendibile attraverso la catena di derivazione.
  • Conclusione: MemLineage è l'unica configurazione a portare l'ASR a zero su tutte e tre le famiglie di attacchi.

• Prestazioni:

  • L'overhead per operazione è sub-millisecondo. Il percorso caldo di scrittura (inclusa la firma e il registro Merkle) media circa 214 µs, e la verifica è di circa 82 µs. Questo è ben al di sotto del livello di rumore delle tipiche chiamate API LLM.

• Utilità (Falsi Positivi):

  • Su flussi di lavoro benigni, MemLineage raggiunge un tasso di invio legittimo di 1.00 (zero falsi positivi). Consente con successo catene derivatamente attendibili e richiami non sensibili di contenuti esterni.
  • Riparazione dell'Autorità: Negli scenari bancari di AgentDojo, MemLineage con riparazione dell'autorità blocca il 100% degli attacchi recuperando l'utilità su 5/6 coppie, superando semplici strategie di negazione o riprova.

• Sensibilità alla Soglia:

  • L'ablazione $\tau \times K$ mostra che per pesi di attribuzione in decadimento (es. $w_0=0.9, d=0.7$), una distribuzione che consente $K=5$ salti richiede $\tau \le 0.10$, mentre una misurazione $K=1$ potrebbe suggerire $\tau \le 0.30$.

Significato e Affermazioni

Il paper afferma che MemLineage fornisce un primitivo di enforcement granulare che preserva la memoria a lungo termine utile mentre impedisce a una discendenza non attendibile di autorizzare azioni sensibili.

• Differenziazione: A differenza di difese grossolane che rimuovono completamente il richiamo, MemLineage mantiene l'utilità delle memorie derivate mentre controlla rigorosamente le azioni sensibili basandosi sulla provenienza.
• Completezza: È l'unico sistema valutato che copre congiuntamente quattro dimensioni: integrità crittografica dell'etichetta di fiducia, attribuzione della discendenza attraverso la derivazione LLM, persistenza cross-sessione dell'etichetta e copertura delle voci derivate dall'agente.
• Modestia: Gli autori riconoscono che il sistema si affida all'affidabilità dei pesi di inferenza LLM (non può rilevare backdoor nel modello stesso) e che l'algoritmo di attribuzione più forte (AttnAttr) richiede modelli open-weight. Il fallback "no-strong-parent" predefinisce a "Attendibile", il quale potrebbe essere sfruttato se un avversario sopprime tutti gli archi di attribuzione sotto $\tau$, sebbene l'irrobustimento tramite buste JSON mitighi i rischi di iniezione di prompt.

Il paper conclude che MemLineage sposta il paradigma di difesa dal "filtrare i contenuti" all'"applicare la catena di custodia", offrendo una via praticabile per agenti LLM persistenti e sicuri.