Sintesi Tecnica: Forgetful Attention: Una Support-Vector Memory Addestrabile con Selezione Certificata ed Unlearning Esatto

Problematica

Gli attuali meccanismi di attenzione per il test-time learning (TTL), come DeltaNet, l'attenzione lineare e i modelli a spazio di stato selettivi, operano mantenendo stati di memoria densi e non vincolati (tipicamente di tipo least-squares o ricorrente). In questi sistemi, ogni token mantiene un peso non nullo e l'unico meccanismo per rimuovere i token è il decadimento esponenziale. Questo approccio presenta due limitazioni fondamentali:

1. Mancanza di Selezione Certificata: Non esiste un modo rigoroso per determinare quali token del contesto possono essere scartati senza alterare l'output del modello. Le euristiche di pruning esistenti (es. H2O, SnapKV) si affidano a metriche basate su punteggi senza garanzie che l'evizione preservi la lettura (readout).
2. Unlearning Imperfetto: I requisiti normativi (es. il diritto all'oblio del GDPR) e le necessità cliniche richiedono la capacità di eliminare completamente l'influenza di un determinato token. I metodi di unlearning basati sul gradiente (es. gradient ascent, coefficient scaling) lasciano influenze residue che sono difficili da limitare e da difendere davanti a un auditor.

Metodologia

Il documento introduce SV-Attention (Support Vector Attention), uno strato di memoria a margine massimo vincolato che riformula l'attenzione come un problema di Support Vector Data Description (SVDD) a classe singola, adattato online ai chiavi del contesto.

Meccanismo Core

Dati i chiavi del contesto $x_i$ e i valori $v_i$, la SV-Attention calcola una media ponderata dove i pesi sono i coefficienti di supporto $\alpha$ di una SVM a classe singola:
$$o(q) = \frac{\sum_i \alpha_i \kappa(q, x_i) v_i}{\sum_i \alpha_i \kappa(q, x_i)}$$
I coefficienti $\alpha$ risolvono un problema quadratico convesso con un parametro box fisso $C$:
$$\min_{\alpha} \alpha^\top K \alpha - \text{diag}(K)^\top \alpha \quad \text{s.t.} \quad \sum \alpha_i = 1, \quad 0 \le \alpha_i \le C$$
dove $K$ è la matrice di Gram dei chiavi.

La Partizione dell'Active-Set

La soluzione partiziona i token in tre set basati sulle condizioni di Karush–Kuhn–Tucker (KKT):

1. Margin Set ($S$): $0 < \alpha_i < C$. Questi token portano la lettura (readout).
2. Error Set ($E$): $\alpha_i = C$. Chiavi di confine o outlier.
3. Reserve Set ($R$): $\alpha_i = 0$. Token interni alla descrizione.

Selezione Certificata: Per complementarità di slack, i token nel Reserve Set ($R$) hanno peso esattamente zero. Rimuoverli è provabilmente preservativo rispetto all'output.
Unlearning Esatto: Il sistema utilizza un solver incrementale (Cauwenberghs & Poggio, 2000) che mantiene l'inversa della matrice KKT bordata. Ciò consente:

• Addizione Incrementale: Aggiungere un token preservando le condizioni KKT.
• Rimozione Decrementale: Invertire il processo per rimuovere un token, tornando allo stato esatto in cui si sarebbe trovato il solver se il token non fosse mai stato visto (sotto lo stesso $C$ fisso).

Addestramento e Implementazione

Il documento impiega due percorsi numerici distinti:

1. Percorso a Mantenimento Esatto (fp64): Utilizzato per l'inferenza e la verifica del certificato. Mantiene l'inversa KKT, consentendo un passaggio backward personalizzato che riutilizza questa inversa (senza richiedere un secondo solve) e supporta la cancellazione decrementale esatta.
2. Percorso Batch Stabilizzato (Addestramento): Per abilitare l'addestramento su GPU, gli autori utilizzano un'approssimazione separata. Impiega un solver FISTA batched per stimare le maschere dell'active-set, seguito da un torch.linalg.solve regolarizzato con ridge ($10^{-3}$) per i coefficienti. Questo percorso è differenziabile tramite autograd ma non fornisce certificati di cancellazione esatta né riutilizza l'inversa KKT.

Un layer ibrido combina questi elementi: una memoria globale a lungo raggio (risolta dal percorso esatto o dalla sua approssimazione) gestisce il prefisso, mentre un percorso locale denso (softmax standard) gestisce il chunk corrente.

Contributi Chiave

1. Unlearning Esatto: Il solver fp64 mantenuto esatto raggiunge un "unlearning perfetto", definito come equivalenza al ri-addestramento da zero senza i dati. Gli esperimenti mostrano che la rimozione decrementale recupera l'identica partizione dell'active-set e la funzione decisionale (deviazione mediana $\sim 10^{-9}$ a $10^{-13}$) rispetto a un modello ri-addestrato, a condizione che l'ottimo sia unico.
2. Selezione Certificata: La partizione dell'active-set funge da certificato matematico piuttosto che da punteggio euristico. Evincere i token di riserva garantisce che l'output non cambi.
3. Memoria Max-Margin Addestrabile: Gli autori dimostrano un layer addestrabile utilizzando un passaggio backward personalizzato che riutilizza l'inversa KKT mantenuta nel forward, evitando il costo computazionale di un secondo solve del sistema per il percorso esatto.
4. Capacità nel Mondo Reale: Il sistema dimostra l'unlearning chirurgico di fatti, l'editing esatto della conoscenza e la cancellazione di record clinici (diritto all'oblio) su flussi MIMIC-IV ICU con zero leakage.

Risultati Sperimentali

Verifica dell'Unlearning Esatto

• Corrispondenza della Partizione: Su chiavi Gaussiane, reali di MIMIC-IV e di modelli addestrati, il percorso decrementale ha recuperato l'identica partizione dell'active-set del modello ri-addestrato nel 98–100% dei casi (ottimi unici).
• Deviazione della Funzione Decisionale: La deviazione mediana tra la soluzione decrementale e quella ri-addestrata è stata di $\sim 10^{-9}$ (Gaussiana/ICU) e $10^{-13}$ (chiavi apprese). La deviazione peggiore ($1.1 \times 10^{-2}$) si è verificata solo in stream quasi-duplicati mal condizionati.
• Confronto con il Decadimento: Il decadimento dei coefficienti (il baseline standard) ha mostrato deviazioni di ordini di grandezza superiori ($10^{-2}$ a $10^{-1}$) perché non risolve mai nuovamente i token rimanenti.

Performance della Selezione Certificata

• Recall di Elementi Rari: Sotto ridondanza asimmetrica, la selezione certificata ha mantenuto un recall di 0.86, rispetto allo 0.32 dell'evizione heavy-hitter stile H2O (anche quando H2O aveva accesso all'oracle per le query).
• Stato Adattivo: Nei compiti di copia selettiva con filler crescente, SV-Attention ha mantenuto un recall di $\sim 0.99$ mentre la dimensione del set di supporto rimaneva limitata (11–14 token), mentre i baseline a stato fisso (DeltaNet, lineare) sono crollati al caso (chance).
• Stream ICU: Sui dati MIMIC-IV, la selezione certificata ha mantenuto 0.80 delle ore di deterioramento critico a un budget equivalente, contro lo 0.05 dell'evizione heavy-hitter.

Performance del Language Modeling

• Piccola Scala (3.22M parametri): Su enwik8, l'ibrido SV-Attention ha raggiunto 2.178 BPC rispetto a 2.383 BPC di un Transformer a finestra scorrevole con stato corrispondente (miglioramento dell'8.6%, $p=0.001$).
• Scalabilità: A 10M di parametri, il vantaggio è svanito (wash), attribuito al fatto che il gate chunk-frozen converge più lentamente e meno stabilmente rispetto alla softmax a scale maggiori. Il paper nota che l'ottimizzazione scalabile e stabile del gate rimane un problema aperto.
• Throughput: Il percorso di addestramento ibrido raggiunge 9.125 token/s su un modello da 3.22M, che è 35.8× più lento di un riferimento MPS softmax standard.

Significato e Rivendicazioni

Il paper posiziona SV-Attention non come un sostituto general-purpose dell'attenzione che domina in termini di throughput puro o perplexity a tutte le scale, ma come un meccanismo specializzato per scenari che richiedono garanzie verificabili.

• Valore Regolatorio e Clinico: Il significato primario risiede nel fornire un meccanismo in cui la rimozione del token è provabile piuttosto che approssimativa. Per applicazioni soggette al "diritto all'oblio" o al ritiro del consenso clinico, la capacità di dimostrare che l'output del modello è matematicamente equivalente a quello di un modello che non ha mai visto i dati è un differenziatore critico rispetto all'unlearning basato sul gradiente.
• Vantaggio Strutturale: Il paper sostiene che il vincolo max-margin introduce un "active set" strutturale che le memorie dense a least-squares mancano. Questa struttura permette la selezione certificata di outlier e l'unlearning esatto, aspetti particolarmente preziosi in stream ridondanti o guidati da anomalie (es. parametri vitali medici, documenti boilerplate).
• Limitazioni: Gli autori dichiarano esplicitamente che il certificato di cancellazione esatta si applica solo alla memoria globale a lungo raggio risolta dal percorso esatto fp64. Il percorso del chunk locale e l'approssimazione di addestramento batched non portano tale certificato. Inoltre, il vantaggio di performance è attualmente confinato al language modeling di piccola scala, e il sistema è significativamente più lento delle implementazioni standard dell'attenzione.

In sintesi, SV-Attention scambia il throughput puro e il dominio della perplexity su larga scala con proprietà certificabili: la capacità di provare che specifici token sono ignorati (selezione) e che specifici token sono stati completamente cancellati (unlearning).