Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

Technische Samenvatting: Semantische Glättung via Synthese van Nieuwe Weergaven voor Robuuste SAR-Beeldclassificatie

Probleemstelling
Diepe neurale netwerken (DNN's) die worden gebruikt voor Automatische Doelherkenning (ATR) met Synthetic Aperture Radar (SAR) zijn kwetsbaar voor adversariale perturbaties, wat risico's met zich meebrengt voor toepassingen die veiligheidskritiek zijn. Hoewel gerandomiseerde glättung een principiële verdediging is die de robuustheid verbetert door voorspellingen te middelen over ruisige invoer, vertrouwt deze methode doorgaans op isotroop Gaussisch ruis. Deze aanpak faalt in het behoud van de semantische structuur van SAR-beelden, waarbij het uiterlijk van objecten sterk afhankelijk is van de acquisitiegeometrie (azimut- en elevatiehoeken). Bijgevolg genereert isotrope ruis vaak samples die niet overeenkomen met betekenisvolle fysieke waarnemingen, waardoor de verdediging minder effectief is tegen domeinspecifieke aanvallen die radarfysica (bijvoorbeeld strooiingsgedrag) uitbuiten in plaats van eenvoudige ruis in de pixelruimte.

Methodologie
De auteurs stellen Semantische Glättung voor, een verdedigingskader dat isotrope ruisinjectie vervangt door gestructureerde, semantische behoudende transformaties die worden gegenereerd door een Model voor Synthese van Nieuwe Weergaven (NVS).

1. Kernconcept: In plaats van een invoerbeeld te verstoren met willekeurige ruis, gebruikt de methode een generatief model om meerdere plausibele weergaven van hetzelfde object te synthetiseren onder gerandomiseerde maar gecontroleerde geometrische transformaties. De voorspellingen van de classifier over deze gesynthetiseerde weergaven worden geaggregeerd (via meerderheidsstemming) om een robuuste definitieve voorspelling te vormen.
2. Generatief Model (GeNVS): Het kader maakt gebruik van een gewijzigde Denoising Diffusion Probabilistic Model (DDPM) gecombineerd met een geometrie-bewuste NVS-architectuur, aangepast van GeNVS.
   • Invoerverwerking: Een invoer-SAR-beeld $x_{adv}$ (potentieel adversariaal) en de oorspronkelijke acquisitieparameters (azimut $\phi_{az}$, elevatie $\theta_{el}$) worden gecodeerd in een latente 3D-kenmerkvolume.
   • Synthese van Weergaven: Het model steekt doel-viewparameters ($t_i = \phi_{target, az}, \theta_{target, el}$) uit een transformatieverdeling $T_D$ (gedefinieerd als de uniforme verdeling over trainingsacquisitieparameters).
   • Rendering: Stralen worden door het latente volume geworpen om kenmerken te extraheren, die via een NeRF-stijl MLP worden gerenderd om een kenmerkbeeld te produceren.
   • Diffusiegeneratie: Een diffusienetwerk dempt Gaussische ruis, geconditioneerd op het gerenderde kenmerkbeeld en de doelparimeters, om een hoogwaardig SAR-beeld $x^{NV}_i$ te genereren vanuit het nieuwe gezichtspunt.
3. Aggregatie: Voor een gegeven invoer worden $N$ nieuwe weergaven gegenereerd. Elke weergave wordt door een vooraf getrainde classifier $f_{cls}$ geleid. De definitieve label wordt bepaald door de meerderheidsstemming van de $N$ voorspellingen.

Belangrijkste Bijdragen

• Semantisch Glättung Kader: Introductie van een nieuwe adversariale verdediging die gebruikmaakt van gerandomiseerde generatieve transformaties om meerdere semantische behoudende weergaven te produceren, waarbij voorspellingen worden geaggregeerd om adversariale artefacten te mitigeren.
• SAR-specifieke Instantiëring: Ontwikkeling van een geometrie-geconditioneerd NVS-model voor SAR-beelden. Door te conditioneren op azimut- en elevatieparameters, stelt het model de gecontroleerde generatie van gerandomiseerde radarweergaven mogelijk die de fysieke beperkingen van SAR-afbeelding respecteren.
• Empirische Validatie: Uitgebreide experimenten op de MSTAR-dataset die aantonen dat semantische glättung aanzienlijke robuustheidswinsten biedt tegen zowel conventionele op gradiënten gebaseerde aanvallen (FGSM, PGD) als SAR-specifieke fysisch onderbouwde aanvallen (OTSA, SMGAA).

Resultaten
Experimenten op de MSTAR-dataset (500 afbeeldingen over 10 voertuigklassen) vergeleken de voorgestelde methode met een niet-verdedigde baseline en standaard gerandomiseerde glättung (met behulp van isotroop Gaussisch ruis met variërende $\sigma$).

• Robuustheidswinsten: Semantische glättung behield consistent hoge nauwkeurigheid over alle aanvaltypes en -sterktes. Bijvoorbeeld, onder sterke PGD-aanvallen ($\epsilon=0.005$) daalde de onbeschermd model naar 0% nauwkeurigheid, terwijl semantische glättung (met $N=10$) 94,18% bereikte.
• Superioriteit ten opzichte van Gerandomiseerde Glättung: Semantische glättung presteerde aanzienlijk beter dan gerandomiseerde glättung. Waar gerandomiseerde glättung inconsistente prestaties vertoonde en vaak de nauwkeurigheid deed afnemen afhankelijk van de ruisgrootte $\sigma$, bood semantische glättung stabiele, hoge robuustheid zonder zorgvuldige afstelling van een ruisparameter.
• Verbetering van Schone Nauwkeurigheid: In tegenstelling tot veel verdedigingsmechanismen die schone nauwkeurigheid opofferen voor robuustheid, verbeterde semantische glättung de schone classificatienauwkeurigheid (94,72% versus 90,00% baseline) door voorspellingen te aggregeren over semantisch consistente gesynthetiseerde weergaven.
• Efficiëntie versus Prestatie: Hoewel semantische glättung hogere rekenkosten met zich meebrengt door de generatiestap ($N \times (C_g + C_f)$) in vergelijking met gerandomiseerde glättung ($N \times C_f$), betoogt het artikel dat deze afweging gunstig is omdat de gegenereerde samples semantisch betekenisvol zijn en aanzienlijk informatiever dan isotrope ruisperturbaties.

Betekenis en Beweringen
Het artikel beweert dat semantische glättung een veelbelovend alternatief vertegenwoordigt voor isotrope ruis voor adversariale verdediging in gestructureerde waarnemingsdomeinen zoals SAR. Door het glättungproces te verschuiven van een lokaal pixelniveau-omgeving naar een manifold van plausibele geometrische transformaties, onderdrukt de methode effectief niet-semantische adversariale artefacten terwijl de objectidentiteit die nodig is voor classificatie behouden blijft. De auteurs stellen dat deze aanpak de waarde aantoont van het benutten van semantisch betekenisvolle variabiliteit in plaats van willekeurige ruis om robuustheid te bereiken tegen zowel standaard als fysisch gebaseerde adversariale aanvallen.

Toekomstig Werk
De auteurs merken op dat toekomstig werk de propagatie van perturbaties door het GeNVS-model moet onderzoeken, de robuustheid van de generator zelf moet evalueren, en adaptieve white-box-aanvallen moet overwegen waarbij de aanvrager volledige kennis heeft van het verdedigingsmechanisme.