Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

Riepilogo Tecnico: Livellamento Semantico tramite Sintesi di Nuove Prospettive per la Classificazione Robusta di Immagini SAR

Enunciato del Problema
Le reti neurali profonde (DNN) utilizzate per il Riconoscimento Automatico di Obiettivi (ATR) tramite Radar ad Apertura Sintetica (SAR) sono vulnerabili a perturbazioni avversarie, comportando rischi in applicazioni critiche per la sicurezza. Sebbene il livellamento randomizzato sia una difesa fondata che migliora la robustezza mediando le previsioni su input rumorosi, tipicamente si basa su rumore gaussiano isotropo. Questo approccio non riesce a preservare la struttura semantica delle immagini SAR, dove l'aspetto degli oggetti dipende fortemente dalla geometria di acquisizione (angoli di azimut e elevazione). Di conseguenza, il rumore isotropo genera spesso campioni che non corrispondono a osservazioni fisiche significative, rendendo la difesa meno efficace contro attacchi specifici del dominio che sfruttano la fisica del radar (ad esempio, il comportamento di scattering) piuttosto che il semplice rumore nello spazio dei pixel.

Metodologia
Gli autori propongono il Livellamento Semantico, un framework di difesa che sostituisce l'iniezione di rumore isotropo con trasformazioni strutturate e conservanti la semantica, generate da un modello di Sintesi di Nuove Prospettive (NVS).

1. Concetto Chiave: Invece di perturbare un'immagine di input con rumore casuale, il metodo utilizza un modello generativo per sintetizzare molteplici vedute plausibili dello stesso oggetto sotto trasformazioni geometriche randomizzate ma controllate. Le previsioni del classificatore su queste vedute sintetizzate vengono aggregate (tramite voto di maggioranza) per formare una previsione finale robusta.
2. Modello Generativo (GeNVS): Il framework utilizza un modello probabilistico di diffusione per la rimozione del rumore (DDPM) modificato, combinato con un'architettura NVS consapevole della geometria, adattata da GeNVS.
   • Elaborazione dell'Input: Un'immagine SAR di input $x_{adv}$ (potenzialmente avversaria) e i suoi parametri originali di acquisizione (azimut $\phi_{az}$, elevazione $\theta_{el}$) vengono codificati in un volume di caratteristiche latente 3D.
   • Sintesi della Prospettiva: Il modello campiona i parametri di vista target ($t_i = \phi_{target, az}, \theta_{target, el}$) da una distribuzione di trasformazione $T_D$ (definita come la distribuzione uniforme sui parametri di acquisizione di addestramento).
   • Rendering: Vengono lanciati raggi attraverso il volume latente per estrarre caratteristiche, che vengono renderizzate tramite una MLP in stile NeRF per produrre un'immagine di caratteristiche.
   • Generazione tramite Diffusione: Una rete di diffusione rimuove il rumore gaussiano condizionato all'immagine di caratteristiche renderizzata e ai parametri target per generare un'immagine SAR ad alta fedeltà $x^{NV}_i$ dal nuovo punto di vista.
3. Aggregazione: Per un dato input, vengono generate $N$ nuove prospettive. Ogni prospettiva viene passata attraverso un classificatore pre-addestrato $f_{cls}$. L'etichetta finale è determinata dal voto di maggioranza delle $N$ previsioni.

Contributi Chiave

• Framework di Livellamento Semantico: Introduzione di una nuova difesa avversaria che sfrutta trasformazioni generative randomizzate per produrre molteplici vedute conservanti la semantica, aggregando le previsioni per mitigare gli artefatti avversari.
• Istanza Specifica per SAR: Sviluppo di un modello NVS condizionato dalla geometria per immagini SAR. Condizionando sui parametri di azimut ed elevazione, il modello consente la generazione controllata di prospettive radar randomizzate che rispettano i vincoli fisici dell'imaging SAR.
• Validazione Empirica: Estesi esperimenti sul dataset MSTAR che dimostrano come il livellamento semantico fornisca significativi guadagni di robustezza sia contro attacchi convenzionali basati sul gradiente (FGSM, PGD) sia contro attacchi fisicamente fondati specifici per SAR (OTSA, SMGAA).

Risultati
Gli esperimenti sul dataset MSTAR (500 immagini su 10 classi di veicoli) hanno confrontato il metodo proposto con una baseline non difesa e con il livellamento randomizzato standard (utilizzando rumore gaussiano isotropo con $\sigma$ variabile).

• Guadagni di Robustezza: Il livellamento semantico ha mantenuto costantemente un'alta accuratezza su tutti i tipi e le intensità di attacco. Ad esempio, sotto forti attacchi PGD ($\epsilon=0.005$), il modello non difeso è sceso a 0% di accuratezza, mentre il livellamento semantico (con $N=10$) ha raggiunto il 94,18%.
• Superiorità rispetto al Livellamento Randomizzato: Il livellamento semantico ha superato significativamente il livellamento randomizzato. Mentre il livellamento randomizzato ha mostrato prestazioni inconsistenti e spesso ha degradato l'accuratezza a seconda della scala del rumore $\sigma$, il livellamento semantico ha fornito una robustezza stabile e elevata senza richiedere una meticolosa regolazione di un parametro di rumore.
• Miglioramento dell'Accuratezza su Dati Puliti: A differenza di molti meccanismi di difesa che sacrificano l'accuratezza su dati puliti per la robustezza, il livellamento semantico ha migliorato l'accuratezza di classificazione su dati puliti (94,72% contro il 90,00% della baseline) aggregando le previsioni su vedute sintetizzate semanticamente coerenti.
• Efficienza vs Prestazioni: Sebbene il livellamento semantico comporti costi computazionali più elevati a causa del passaggio di generazione ($N \times (C_g + C_f)$) rispetto al livellamento randomizzato ($N \times C_f$), il documento sostiene che questo compromesso sia favorevole perché i campioni generati sono semanticamente significativi e sostanzialmente più informativi delle perturbazioni da rumore isotropo.

Significato e Affermazioni
Il documento afferma che il livellamento semantico rappresenta un'alternativa promettente al rumore isotropo per la difesa avversaria in domini di sensing strutturati come il SAR. Spostando il processo di livellamento da un vicinato locale a livello di pixel a una varietà di trasformazioni geometriche plausibili, il metodo sopprime efficacemente gli artefatti avversari non semantici preservando l'identità dell'oggetto necessaria per la classificazione. Gli autori affermano che questo approccio dimostra il valore di sfruttare una variabilità semanticamente significativa piuttosto che rumore arbitrario per ottenere robustezza contro sia attacchi avversari standard sia basati sulla fisica.

Lavori Futuri
Gli autori notano che i lavori futuri dovrebbero investigare la propagazione delle perturbazioni attraverso il modello GeNVS, valutare la robustezza del generatore stesso e considerare attacchi adattivi white-box in cui l'avversario ha piena conoscenza del meccanismo di difesa.