🤖 machine learning

Subtract or Replay? Exact Deletion from Language-Model Memory

Questo articolo dimostra che la cancellazione esatta dalla memoria di un modello linguistico è fondamentalmente determinata dalla rappresentazione della memoria, dove i record indirizzabili possono essere rimossi tramite sottrazione algebrica, mentre le scritture intrecciate richiedono una ricostruzione basata sul replay per ottenere un ripristino dello stato bit per bit.

Autori originali: Vishwajith Ramesh

Pubblicato 2026-07-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Vishwajith Ramesh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un assistente digitale super intelligente che non dimentica mai nulla. Gli racconti un segreto e lui conserva quel segreto in una gigantesca biblioteca invisibile dentro il suo cervello. Più tardi, potresti chiedergli di scrivere una storia o dare un consiglio, e lui estrae quel segreto per aiutare. Ma cosa succede se cambi idea? Se dici all'assistente: "In realtà, non l'ho mai detto", oppure "È stato un errore, per favore cancellalo"? Nel mondo reale, se bruci una lettera, le parole sono scomparse. Ma in un computer, dire semplicemente di "dimenticare" è complicato. Il computer potrebbe solo nascondere il segreto nel profondo, o potrebbe aver già usato quel segreto per costruire altre parti del suo cervello, rendendo impossibile "cancellarlo" semplicemente senza rompere tutto il resto. Questo è il problema dell' "unlearning" delle macchine (machine unlearning). Gli scienziati stanno cercando di capire come far dimenticare davvero all'IA cose specifiche su comando, non solo farle fingere di farlo. È una questione enorme per la privacy, come avere un "Diritto all'oblio" per la propria vita digitale, assicurando che se chiedi a un robot di cancellare un ricordo, lo faccia davvero, senza lasciare tracce fantasma.

Questo articolo, intitolato "Subtract or Replay?" (Sottrarre o Riprodurre?), affronta questo problema ponendo una domanda semplice: Come viene conservata la memoria? Gli autori, Vishwajith Ramesh e colleghi, hanno scoperto che la risposta dipende interamente dai "mobili" presenti nella stanza della memoria dell'IA. Hanno scoperto che ci sono due modi molto diversi di cancellare un ricordo, e devi scegliere lo strumento giusto per il lavoro, altrimenti fallirai.

I due modi per cancellare un ricordo

L'articolo testa questa idea su due diversi tipi di modelli di IA, che agiscono come due diversi tipi di biblioteche.

1. La biblioteca "indirizzabile" (Il modello Gemma)
Immagina una biblioteca dove ogni libro ha un numero di scaffale specifico e unico. Se vuoi rimuovere un libro, vai semplicemente a quello scaffale e lo togli. Non hai bisogno di ricostruire l'intera biblioteca.
Gli autori hanno testato questa idea su un modello chiamato Gemma. Hanno sostituito alcune delle sue parti di memoria standard con un sistema speciale che agisce come questa biblioteca indirizzabile. In questo sistema, ogni pezzo di informazione ha un "coefficiente" (pensa a una manopola del volume) che controlla quanto influenza le risposte dell'IA.

Il trucco magico: Per cancellare un ricordo, hanno semplicemente abbassato la manopola del volume fino a zero. Questo si chiama "decremento algebrico".
Il risultato: Ha funzionato perfettamente. Quando hanno abbassato la manopola, l'output dell'IA è diventato matematicamente identico a quello che sarebbe stato se il ricordo non fosse mai esistito. La differenza era così piccola da essere quasi nulla (un numero chiamato divergenza KL di 5,4 × 10⁻¹⁵).
L'intoppo: Questo funziona bene solo su modelli piccoli (1 miliardo di parametri). Man mano che il modello diventa più grande (4 miliardi e 12 miliardi), questo metodo diventa disordinato e costoso, rallentando le prestazioni dell'IA rispettivamente del 11,2% e del 44,3%. Quindi, sebbene il trucco della "manopola" sia perfetto per le piccole biblioteche, non è una soluzione adatta a tutte le dimensioni per i giganti.

2. La biblioteca "intrecciata" (Il modello Kimi)
Ora, immagina una biblioteca diversa dove i libri non sono su scaffali. Invece, le pagine di ogni libro sono intrecciate insieme in un unico, gigantesco arazzo. Se tiri via un filo (un ricordo), l'intero arazzo si sposta e il disegno cambia in modi imprevedibili.
Gli autori hanno testato questo su un modello chiamato Kimi, che utilizza uno "stato ricorrente" (una memoria simile a un arazzo). Qui, ogni nuova informazione cambia l'intero stato della memoria.

Il problema: Hanno provato a "sottrarre" semplicemente la memoria come avevano fatto con Gemma. È fallito. Poiché la memoria è intrecciata, rimuovere un filo non lascia solo un buco, ma lascia un disegno distorto. La matematica mostra che dal 12% al 49% dell'influenza della memoria è cambiato a seconda di ciò che è venuto dopo la parte eliminata. Non puoi semplicemente sottrarla; la "ricevuta" della cancellazione non è più valida.
La soluzione: Poiché non puoi sottrarre un filo da un arazzo intrecciato senza rovinare il disegno, devi ricostruirlo. Gli autori hanno utilizzato un metodo di "checkpoint e riproduzione" (checkpoint and replay). Hanno salvato un'istantanea dell'arazzo prima che il filo indesiderato venisse intrecciato in esso. Poi, hanno riavvolto l'IA a quell'istantanea e hanno riprodotto tutto ciò che è accaduto dopo il brutto ricordo, ma questa volta, saltando il brutto filo.
Il risultato: Questo ha funzionato perfettamente. La memoria dell'IA dopo la riproduzione era identica bit per bit a una memoria che non aveva mai visto il brutto filo. Lo hanno testato su note cliniche reali lunghe fino a 18.842 token, e ha funzionato ogni volta. Ha anche permesso loro di "emendare" un record perfettamente, sostituendo il brutto filo con uno buono prima di riprodurre.

Cosa significa per te

La conclusione principale dell'articolo è che la "cancellazione esatta" non è un singolo pulsante magico. È una proprietà di come la memoria è costruita.

Se la memoria mantiene un indirizzo chiaro per ogni record (come la configurazione speciale di Gemma), puoi sottrarlo rapidamente e perfettamente.
Se la memoria intreccia tutto insieme (come l'arazzo di Kimi), non puoi sottrarlo. Devi ricostruire la storia da un checkpoint salvato, saltando la parte cattiva.

Gli autori sono molto chiari su ciò che non hanno trovato: hanno dimostrato che cercare semplicemente di "mascherare" o "sopprimere" un ricordo (dire all'IA di ignorarlo) non è sufficiente. L'IA può ancora "ricordarlo" in modi nascosti, e gli attaccanti possono spesso estrarlo di nuovo. La vera cancellazione richiede o una sottrazione perfetta o una ricostruzione perfetta.

In breve, se vuoi che un'IA dimentichi davvero, devi prima controllare la sua stanza della memoria. È una biblioteca con scaffali? Gira la manopola. È un arazzo intrecciato? Riavvolgi e riproduci. Non ci sono scorciatoie, ma ora sappiamo esattamente quale strumento usare per quale lavoro.

Sintesi Tecnica: Cancellazione Esatta dalla Memoria dei Modelli Linguistici

1. Definizione del Problema

Il documento affronta la sfida della cancellazione esatta dalla memoria persistente di modelli linguistici autoregressivi (LLM) in fase di deployment. A differenza dell'unlearning nello spazio dei pesi, che tenta di modificare i parametri del modello per "dimenticare" i dati, questo lavoro si concentra sulla memoria in-context: record che sono già stati ingeriti nello stato persistente del modello (cache di attenzione o stati ricorrenti) e che stanno plasmando gli output successivi.

Il problema centrale è che l'aggiunta di una correzione a un prompt non rimuove l'influenza del record errato originale dallo stato interno del modello. Gli autori definiscono la cancellazione esatta tramite uno standard controfattuale: l'output del modello dopo la cancellazione deve corrispondere all'output di uno stato di memoria costruito come se il record non fosse mai stato ingerito.
$f(q; D_j(B(R))) = f(q; B(R \setminus j))$
Il paper sostiene che la possibilità di raggiungere tale uguaglianza senza un intero riaddestramento dipenda interamente dalla rappresentazione della memoria. Se l'influenza di un record mantiene un "indirizzo" specifico (un coefficiente reversibile o un'entrata nella cache), può essere sottratta. Se l'influenza del record è intrecciata in uno stato ricorrente condiviso da scritture successive, la sottrazione fallisce e diventa necessario ricostruire.

2. Metodologia

Gli autori operazionalizzano questa distinzione testando due distinte architetture di memoria e strategie di cancellazione:

A. Memoria Indirizzabile: Support-Vector Graft (Gemma 3)

Per i modelli in cui l'influenza è indirizzabile, gli autori propongono un decremento algebrico.

Architettura: Sostituiscono gli strati di attenzione globale di Gemma 3 (1B, 4B e 12B parametri) con uno strato di Support-Vector Memory (SVM). Questo strato tratta le chiavi del contesto come input per una SVM a una classe, dove i pesi dell'attenzione sono i coefficienti ( $\alpha$ ) del fit.
Meccanismo: Utilizzando l'algoritmo incrementale di Cauwenberghs & Poggio (2000) al contrario, il sistema può matematicamente "decrementare" il coefficiente di un determinato token. Se un token è un token "riserva" (coefficiente = 0), non contribuisce a nulla. Cancellare un token comporta il ribaltamento del calcolo (solve) per tornare allo stato che il sistema avrebbe senza quel token.
Recupero: Per mantenere la qualità del linguaggio dopo l'innesto (grafting), gli autori congelano il modello base e addestrano adapter LoRA Rank-8 (0,149% dei parametri) per recuperare la perplexity.
Audit: La cancellazione viene verificata confrontando lo stato decrementato con un retained-key refit (risolvendo nuovamente l'SVM con il token rimosso ma mantenendo fisse le altre chiavi).

B. Memoria Non Indirizzabile: Replay (Kimi Linear Hybrid)

Per i modelli in cui le scritture successive trasformano il contributo di un record (rendendolo non indirizzabile), gli autori propongono il checkpointed rewind-and-replay (riavvolgimento e riproduzione con checkpoint).

Architettura: Analizzano un modello Kimi Linear hybrid da 48B che intercala strati di Multi-Head Attention (MLA) globale con 20 strati ricorrenti KDA (Gated DeltaNet).
Fallimento della Sottrazione: Gli autori dimostrano che la regola delta del KDA (che legge lo stato prima di aggiornarlo) distrugge la separabilità per singolo record. Il contributo di un record allo stato dipende dal suffisso che lo segue (variazione del 12–49%), il che significa che una "ricevuta" fissa per la cancellazione non può funzionare nemmeno con correzioni di decadimento.
Meccanismo: Il sistema salva i checkpoint dello stato ricorrente ai confini dei record. Per cancellare un record, il sistema ripristina lo stato prima che il record fosse ingerito e riproduce solo il suffisso.
Audit: Il risultato è verificato rispetto a uno standard di uguaglianza bit a bit: i logit e tutti gli stati ricorrenti devono essere identici a una corsa in cui il record non era mai stato ingerito.

3. Contributi Chiave

Criterio a Livello di Rappresentazione: Il paper stabilisce che la cancellazione esatta è una proprietà della rappresentazione della memoria. Distingue tra influenza indirizzabile (sottrabile tramite decremento algebrico) e influenza trasformata (che richiede la ricostruzione dello stato).
Cancellazione Indirizzabile nei LLM: Gli autori riescono con successo a innestare uno strato di memoria SVM in Gemma 3. Alla scala di 1B, il decremento algebrico concorda con il refit delle chiavi mantenute con una divergenza KL mediana di $5.4 \times 10^{-15}$ . I test comportamentali mostrano che il proxy del masked-refit è statisticamente indistinguibile da un baseline "mai ingerito" sotto attacchi di elicitazione, relearning e LiRA.
Cancellazione Esatta tramite Replay: Per il Kimi hybrid, dove la sottrazione fallisce, gli autori dimostrano che il checkpointed replay raggiunge l'uguaglianza bit a bit (su logit e tutti i 20 stati ricorrenti) per contesti fino a 18.842 token. Questo metodo supporta anche modifiche esatte (riproducendo con un record corretto).
Analisi di Scalabilità: Il paper fornisce una visione sfumata dei costi di utilità. Mentre l'innesto di Gemma 1B comporta solo un overhead di perplexity del +2,0%, questo costo sale all'11,2% a 4B e al 44,3% a 12B, indicando che l'innesto non è un sostituto generale per l'attenzione su scale più grandi.

4. Risultati

Gemma 3 (1B):
- Esattezza: Decremento e refit concordano con una KL mediana di $5.4 \times 10^{-15}$ su 31 cancellazioni di token di supporto.
- Utilità: Overhead di perplexity del +2,0% rispetto a un controllo corrispondente.
- Comportamento: Il masked refit è indistinguibile dal pavimento "mai ingerito"; l'editing nello spazio dei pesi (gradient ascent) è reversibile e lascia residui.
Gemma 3 (Scalabilità):
- A 4B e 12B, il costo di utilità aumenta drasticamente (11,2% e 44,3% rispettivamente). La corsa con innesto rank-16 a 12B diverge, suggerendo che il metodo è attualmente praticabile principalmente alla scala di 1B.
Kimi Linear (48B):
- Fallimento della Regola Delta: Il 12–49% del contributo di un record allo stato cambia con il suffisso, invalidando le ricevute fisse.
- Successo del Replay: Il replay raggiunge l'uguaglianza bit a bit con lo stato mai ingerito per record clinici reali (MIMIC-IV) fino a 18.842 token.
- Costo: La latenza è proporzionale solo alla lunghezza del suffisso (media 3,49s rispetto a 6,77s per la ricostruzione completa), con costi di archiviazione di circa 41,4 MiB per ogni confine di checkpoint.

5. Significato e Rivendicazioni

Il paper sostiene che la cancellazione esatta è un contratto con la rappresentazione della memoria, non una soluzione algoritmica universale.

Principio di Design: Se una rappresentazione preserva un indirizzo per l'influenza di un record, la cancellazione può essere un'operazione algebrica economica. Se la rappresentazione intreccia i record in uno stato condiviso tramite aggiornamenti non additivi (come la regola delta), la cancellazione esatta richiede la ricostruzione del suffisso.
Auditabilità: Il lavoro fornisce un framework per auditare la cancellazione. Distingue tra "soppressione" (dove la risposta è nascosta ma lo stato è corrotto) e "cancellazione esatta" (dove lo stato corrisponde al riferimento controfattuale).
Limitazioni: Gli autori sono modesti riguardo all'ambito. Non pretendono di cancellare dai pesi pre-addestrati o dagli output generati prima dell'evento di cancellazione. Riconoscono che il costo di utilità dell'innesto di Gemma scala male, e che il metodo di replay di Kimi dipende da implementazioni deterministiche e overhead di checkpointing.
Contesto Etico: Il lavoro supporta i requisiti normativi (es. GDPR Articolo 17) e il ritiro del consenso clinico fornendo un meccanismo per verificare che un record specifico sia stato rimosso dallo stato di memoria attiva del modello, piuttosto che limitarsi a sopprimerne l'output.

Il paper conclude che il campo dovrebbe passare dall' "unlearning approssimativo" (che lascia residui recuperabili) alla cancellazione consapevole della rappresentazione, testando se l'influenza rimanga indirizzabile prima di scegliere tra sottrazione e ricostruzione.