Sample-wise Targeted Adversarial Attacks on Test-time Adaptation

Riepilogo Tecnico: Attacchi Avversariali Mirati a Livello di Campione sull'Adattamento al Momento dell'Esecuzione

Enunciato del Problema
L'adattamento al momento dell'esecuzione (TTA) mitiga efficacemente gli spostamenti di distribuzione aggiornando i parametri del modello online utilizzando flussi di test non etichettati. Tuttavia, questa dipendenza dal flusso non etichettato crea una superficie di attacco critica. Le minacce avversariali esistenti contro il TTA si concentrano principalmente sul degrado non mirato o sugli attacchi mirati a livello di classe. Gli attacchi a livello di classe, che costringono tutti i campioni di una specifica classe semantica (ad esempio, tutti i segnali "stop") a un'etichetta target, sono intrinsecamente poco furtivi. Poiché il TTA opera su batch, forzare un sottoinsieme di campioni verso un'etichetta target trascina involontariamente campioni benigni simili, risultando in una concentrazione evidente e innaturale dell'etichetta target nella distribuzione di output. In scenari di deployment in cui le etichette ground-truth non sono disponibili, questa anomalia distribuzionale funge da segnale di rilevamento facile. Il documento ipotizza che sia necessario un modello di minaccia più realistico e pericoloso: uno in cui un avversario possa classificare erroneamente in modo selettivo solo input specifici, preservando la distribuzione globale delle etichette delle query benignhe.

Metodologia
Gli autori propongono un framework di attacco mirato a livello di campione che opera in un contesto grey-box. L'attaccante ha accesso all'architettura e ai parametri del modello pre-addestrato iniziale, ma non ha accesso all'algoritmo TTA lato server, ai dati della vittima o alle etichette ground-truth. L'attacco si basa su un trigger specifico (ad esempio, una patch o un pattern sinusoidale) iniettato negli input della vittima. L'obiettivo è classificare erroneamente solo gli input che trasportano questo trigger, assicurando che gli input non attivati mantengano una distribuzione di predizione coerente con una baseline benigna.

La generazione dell'attacco impiega un approccio basato sul meta-learning per simulare il processo TTA utilizzando esclusivamente dati controllati dall'attaccante. L'ottimizzazione coinvolge due obiettivi competitivi:

1. Obiettivo Primario di Attacco ($L_{cls}$): Massimizza il tasso di successo nella classificazione errata degli input che trasportano il trigger verso un'etichetta target.
2. Obiettivo Secondario di Furtività ($L_{stl}$): Minimizza la divergenza nella distribuzione di output del modello sugli input benigni causata dalla presenza di campioni avversariali nello stesso batch.

Una sfida critica identificata è la forte disallineamento dei gradienti tra questi due obiettivi; l'analisi empirica mostra che i loro gradienti sono antagonisti in quasi tutti i passaggi di ottimizzazione (99,9% di similarità coseno negativa). I metodi standard di apprendimento multi-task (MTL), che cercano compromessi Pareto simmetrici, falliscono qui perché sacrificano il successo dell'attacco per guadagni marginali di furtività.

Per risolvere questo problema, gli autori introducono una strategia di allineamento dei gradienti consapevole della priorità, formulata come un problema di regione di fiducia ellissoidale.

• Asimmetria di Priorità: La direzione di aggiornamento è costruita per rimanere vicina al gradiente di attacco ($a$), penalizzando il movimento verso il gradiente di furtività ($c$) se devia da $a$.
• Regione di Fiducia Ellissoidale: La direzione di aggiornamento $d$ è vincolata all'interno di un ellissoide centrato su $a$ con una metrica $M = I + \lambda uu^\top$, dove $u$ rappresenta la direzione di deviazione verso il gradiente di furtività. Questa geometria riduce la dimensione del passo ammissibile lungo la direzione di furtività disallineata, preservando al contempo la direzione di attacco.
• Garanzia Teorica: Il documento fornisce un teorema che dimostra come questa direzione allineata garantisca una discesa monotona sull'obiettivo di attacco anche in caso di grave disallineamento dei gradienti, una garanzia assente nelle baseline simmetriche.

Contributi Chiave

1. Formalizzazione del Modello di Minaccia: Il documento definisce un modello di minaccia mirato a livello di campione per il TTA, distinguendolo dai precedenti attacchi a livello di classe imponendo una selettività rigorosa basata sui trigger piuttosto che sulle classi semantiche.
2. Strategia di Ottimizzazione Innovativa: La proposta di un framework di meta-learning potenziato da un allineamento dei gradienti consapevole della priorità, che gestisce esplicitamente la natura antagonista degli obiettivi di attacco e furtività senza sacrificare l'obiettivo primario di attacco.
3. Analisi Teorica: Fornitura di garanzie teoriche che dimostrano come la direzione di aggiornamento ellissoidale proposta garantisca un'ottimizzazione efficace dell'obiettivo di attacco anche quando i gradienti sono disallineati.
4. Validazione Empirica: Estesi esperimenti che dimostrano alti tassi di successo dell'attacco mantenendo al contempo la furtività distribuzionale.

Risultati Sperimentali
Il metodo è stato valutato su CIFAR-10-C, CIFAR-100-C e ImageNet-C attraverso cinque protocolli TTA (TENT, RPL, EATA, SAR, DeYO) utilizzando sia trigger a patch che SIG.

• Tasso di Successo dell'Attacco (ASR): Il metodo proposto raggiunge un ASR significativamente più alto rispetto alle baseline adattate (RTTDP, FCA). Su CIFAR-10-C, l'ASR varia da 89,59% a 95,90% tra i metodi TTA, rispetto al 25–63% delle baseline. Su ImageNet-C, l'ASR supera il 95% per la maggior parte delle impostazioni.
• Furtività (Coerenza Distribuzionale): A differenza degli attacchi a livello di classe che inducono grandi divergenze KL (ad esempio, >0,03) e picchi di probabilità, il metodo proposto mantiene una distribuzione delle etichette quasi identica alla baseline senza attacco (KL $\approx$ 0,006).
• Robustezza alle Difese: L'attacco rimane efficace contro le difese esistenti, tra cui:
  • Filtraggio dei Campioni: Il filtraggio basato sull'entropia fallisce perché l'attacco minimizza l'incertezza per garantire il successo, risultando in campioni avversariali a bassa entropia.
  • MedBN: L'attacco mantiene un ASR elevato (~80%) contro la Normalizzazione a Batch Mediana, poiché la traiettoria avversariale ottimizzata su BN standard si trasferisce efficacemente.
  • Media Mobile Esponenziale (EMA): Sebbene l'EMA riduca inizialmente l'ASR, una semplice augmentazione dei dati sui campioni avversariali ripristina l'ASR a ~41%, suggerendo che la difesa è facilmente aggirabile.

Significato e Affermazioni
Il documento afferma di rivelare una vulnerabilità critica nei paradigmi attuali di deployment del TTA: la capacità per gli avversari di iniettare classificazioni errate mirate (fallimenti "silenziosi") senza attivare allarmi standard di spostamento della distribuzione. Gli autori sottolineano che i framework TTA esistenti mancano di robustezza intrinseca contro tali minacce incentrate sull'evasione. Dimostrando che attacchi ad alta precisione possono essere eseguiti preservando la naturalità statistica della distribuzione di output, il lavoro evidenzia la necessità di progettazioni consapevoli della sicurezza nei modelli adattivi, in particolare per applicazioni critiche per la sicurezza come la guida autonoma e l'imaging medico. Gli autori notano modestamente limitazioni, come la dipendenza dal batching congiunto di campioni attivati e della vittima e la possibilità che cali di accuratezza benigna servano come segnale di rilevamento secondario, ma affermano che l'attacco proposto rappresenta un passo significativo verso la comprensione dei rischi di sicurezza dell'adattamento online.