Sintesi Tecnica: Amnesia – Un Attacco di Replay Silenzioso sul Continual Learning

Definizione del Problema

I sistemi di Continual Learning (CL) si affidano al experience replay per mitigare il catastrofico oblio, intercalando tipicamente una piccola memoria di esempi passati con i dati correnti. Mentre la ricerca esistente sulla sicurezza nel CL si è concentrata sul poisoning (modifica degli input per degradare le prestazioni) e sulle backdoor (inserimento di trigger per fallimenti mirati), questi approcci spesso mancano dei vincoli espliciti e verificabili presenti negli ambienti di produzione monitorati.

Nelle pipeline di CL distribuite, i campionatori di replay sono spesso strumentati per la conformità, registrando telemetrie come l'insieme di indici di replay, il conteggio delle etichette per batch e i tassi di replay. Questi log consentono "budget verificabili" dove i monitor verificano che l'istogramma delle classi di replay realizzato rimanga vicino a un baseline nominale e che il tasso di replay non subisca variazioni. Il documento identifica una lacuna critica di robustezza: la vulnerabilità dei sistemi CL a un insider con privilegi limitati che controlla solo la selezione degli indici di replay (la fase di "sogno") senza accesso ai parametri del modello, ai pixel o alle etichette. Questo attaccante mira a massimizzare l'oblio dei task passati pur aderendo rigorosamente a tali vincoli di visibilità e di massa, un ambito di minaccia precedentemente inesplorato sotto vincoli così stretti.

Metodologia: L'Attacco Amnesia

Gli autori introducono Amnesia, un attacco di composizione del replay a livello di campionatore che distorce il modo in cui gli indici vengono estratti dal buffer di replay. L'attacco opera sotto due vincoli espliciti:

1. Budget di Visibilità ($\delta$): La divergenza (Divergenza di Kullback-Leibler o Variazione Totale) tra l'istogramma di replay attaccato e un baseline nominale ($p_0$) non deve superare una soglia.
2. Budget di Massa ($f$): Il tasso di replay totale (frazione di mantenimento) rimane fisso.

L'attacco segue una procedura a due fasi "inclina-e-proietta" (tilt-then-project):

1. Preferenza (Inclinazione - Tilt)

L'attaccante utilizza segnali di utilità leggeri e leggibili dal campionatore (ad esempio, la Media Mobile Esponenziale (EMA) della perdita di cross-entropy o punteggi di confidenza registrati come metadati) per identificare le classi "dannose"—quelle la cui sovrarappresentazione massimizza l'oblio. Queste utilità ($u$) vengono utilizzate per inclinare l'istogramma delle classi nominale $p_0$ verso una distribuzione target $\tilde{p}$ che favorisce le classi ad alta utilità (dannose).

2. Proiezione (Stealth)

La distribuzione inclinata $\tilde{p}$ viene proiettata nuovamente nella "sfera stealth" verificabile definita dal vincolo di divergenza $\delta$. Il documento fornisce ottimizzatori esatti ed efficienti per due tipi di divergenza:

• Divergenza KL: Utilizza un'inclinazione esponenziale a parametro singolo ($p^*(c) \propto p_0(c) \exp(\alpha u_c)$) con una ricerca di radice 1-D monotona per trovare il moltiplicatore $\alpha$ che satura il budget. Ciò preserva la massa positiva in tutte le classi, risultando in una discretizzazione più fluida.
• Variazione Totale (TV): Utilizza un algoritmo water-filling a due lati e greedy che trasferisce la massa di probabilità dalle classi a bassa utilità a quelle ad alta utilità finché il budget $\ell_1$ non è esaurito. Questo può spingere le classi a bassa utilità verso lo zero, creando distribuzioni più sparse.

3. Realizzazione e Programmazione (Scheduling)

La distribuzione continua ottimale $p^*$ viene convertita in quote intere ($q$) per la dimensione del batch $m$. Il sistema impiega uno scheduler a finestra utilizzando un buffer circolare per imporre un budget per step più stretto ($\delta_t$), garantendo che la divergenza media su qualsiasi finestra mobile $W$ rimanga entro il limite globale $\delta$. Questo gestisce il rumore di discretizzazione introdotto dall'arrotondamento delle quote in interi.

Contributi Chiave

• Attacco Amnesia: Il primo attacco di composizione del replay a livello di campionatore che manipola la selezione degli indici per massimizzare l'oblio pur rimanendo conforme agli audit basati sui log (tasso e controllo dell'istogramma). Esso non tocca pixel, calcoli di perdita o parametri del modello.
• Formulazione Principled: Un framework di ottimizzazione formale che massimizza il danno ($\langle u, p \rangle$) soggetto a vincoli verificabili ($Div(p \| p_0) \le \delta$ e massa fissa $m$). Gli autori dimostrano che il loro passaggio di proiezione è la migliore risposta esatta per la composizione delle classi, dominando debolmente qualsiasi altro attacco di campionamento equivalente sotto tali vincoli.
• Realizzazione dell'Audit: Una pipeline pratica che converte le distribuzioni teoriche in quote intere con meccanismi di "audit-and-fix" e uno scheduler a finestra per garantire la conformità sia ai controlli per batch che ai controlli su finestra mobile.
• Valutazione Esaustiva: Analisi sistematica del trade-off tra impatto (oblio), visibilità (divergenza) e budget attraverso molteplici dataset (Split CIFAR-10/100, CORe50, Tiny-ImageNet) e forti baseline di replay (ER, ER-ACE, SCR, DER++).

Risultati Sperimentali

Gli autori hanno valutato Amnesia su quattro benchmark di CL contro forti baseline di replay:

• Impatto: Amnesia riduce costantemente l'accuratezza finale (ACC) e peggiora significativamente il trasferimento retrogrado (aumenta $-BWT$). Ad esempio, su Split CIFAR-10 con ER, l'attacco ha ridotto l'ACC dal 50,4% al 29,3% aumentando contemporaneamente l'oblio ($-BWT$) da 55,1 a 82,7.
• Trade-off Stealth vs. Impatto:
  • La variante KL ottiene un alto impatto pur rimanendo ampiamente non rilevata dagli audit, con una bassa divergenza della coda ($r_{batch@95}$) e zero violazioni della finestra. La sua inclinazione esponenziale distribuisce la massa in modo più fluido, evitando la "frammentazione" che attiva i flag di audit.
  • La variante TV è spesso più dannosa (maggiore oblio) ma più facilmente rilevabile, specialmente sotto vincoli rigorosi per classe, a causa della sua tendenza a creare allocazioni sparse ed estreme che sono più difficili da realizzare sotto quote intere.
• Confronto con il Poisoning: Nonostante operi sotto vincoli rigorosi di consapevolezza dell'audit e senza accesso ai dati interni del modello o ai pixel, Amnesia raggiunge livelli di oblio comparabili o superiori rispetto alle baseline di data-poisoning come BrainWash e PACOL, evidenziando il controllo del solo indice come una potente superficie di minaccia.
• Robustezza: L'attacco rimane efficace attraverso diverse architetture di backbone (ResNet-18, ViT-Tiny, ConvNeXt-Base) e metodi di replay, sebbene metodi come ER-ACE mostrino una robustezza leggermente superiore.
• Overhead: L'attacco introduce un overhead computazionale minimo (circa il 3,5% per KL e il 7,1% per TV) rispetto al tempo di addestramento baseline.

Significato e Rivendicazioni

Il documento sostiene che espone il controllo del replay basato solo sugli indici come una minaccia pratica e pericolosa nei sistemi di Continuele Learning. Formalizzando il trade-off tra impatto e visibilità sotto budget di divergenza, gli autori dimostrano che un insider con privilegi limitati (accesso solo al campionatore) può degradare significativamente le prestazioni del modello senza attivare gli standard controlli di conformità.

Il lavoro stabilisce un trade-off principi-impatto-visibilità, mostrando che massimizzare il danno sotto rigorosi vincoli di divergenza è un problema di ottimizzazione esatto piuttosto che un'euristica. Gli autori sostengono che le attuali difese del CL siano insufficienti contro tali attacchi di composizione "silenziosi", poiché spesso assumono che le minacce coinvolgano la corruzione dei dati o la manipolazione dei parametri, trascurando la sottile manipolazione delle distribuzioni di campionamento. I risultati suggeriscono che il monitoraggio delle sole statistiche di replay potrebbe non essere sufficiente a rilevare attacchi sofisticati vincolati dalla divergenza, rendendo necessari nuovi meccanismi di difesa che tengano conto della manipolazione strategica degli indici di replay.