A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

Technische Samenvatting: Een Nieuw Soort Adversariële Voorbeelden (NKE)

Probleemstelling
Klassieke adversariële voorbeelden worden gedefinieerd door kleine, onwaarneembare perturbaties die een model doen misclassificeren terwijl de afbeelding visueel onveranderd blijft voor een mens. Dit artikel onderzoekt de inverse foutmodus: New Kind of Adversarial Examples (NKE). In deze setting wordt een grote, duidelijk zichtbare perturbatie toegepast op een afbeelding, zodanig dat het model de oorspronkelijke, correcte voorspelling met hoge zekerheid behoudt, ook al zou een menselijke waarnemer de afbeelding niet langer kunnen herkennen.

Hoewel eerder werk (Borji [3]; Nie et al. [5]) vaststelde dat dergelijke voorbeelden op grote schaal gegenereerd kunnen worden, bleven drie cruciale vragen ongetest:

1. De Mens–Model Kloof: Neemt de menselijke herkenning daadwerkelijk sneller af dan de modelnauwkeurigheid onder deze grote perturbaties, of is de kloof slechts een artefact van signaalverlies?
2. OOD Detectie en Kalibratie: Identificeren standaard Out-of-Distribution (OOD) detectoren en kalibratietools (bijv. confidence scores, energy-based methoden) deze voorbeelden als fouten, gezien ze ver van de datamanifold liggen maar toch met hoge zekerheid worden geclassificeerd?
3. Robuustheid: Mitigeren bestaande verdedigingen (adversarial training, input-transformaties, randomized smoothing) deze foutmodus, of is weerstand tegen kleine-$\epsilon$ aanvallen orthogonaal aan weerstand tegen grote-$\epsilon_l$ aanvallen?

Methodologie
De studie maakt gebruik van een verenigde attack-generatie pipeline om NKE-afbeeldingen te produceren over MNIST, CIFAR-10 en ImageNet (gebruikmakend van Imagenette). De aanval minimaliseert de loss van de ware label (het behouden van de correcte voorspelling) terwijl een ondergrens wordt afgedwongen voor de grootte van de perturbatie ($D(x, x') > \epsilon_l$). De primaire generator gebruikt momentum-gebaseerde iteratieve varianten (NMI-FGSM/NMI-FGM).

De evaluatie is georganiseerd in vier tracks:

1. Meting van de Mens–Model Kloof:
   • Computationele Proxies: Een onafhankelijke generieke herkenner (een andere architectuur getraind op schone data) en een vorm-herkenner (getraind op Canny edge maps) dienen als proxies voor menselijke prestaties.
   • Menselijke Pilot: Een kleinschalige forced-choice studie ($N=5$) met behulp van een vrijgegeven harness om echte menselijke reacties te verzamelen.
   • Controles: Gematteerde L2-Gaussische ruis-controles worden gebruikt om onderscheid te maken tussen "adversariële structuur"-effecten en generieke "signaalverlies".
   • CLIP Proxy: Zero-shot CLIP classificatie wordt gebruikt als een sterkere, niet-CNN proxy voor menselijke herkenbaarheid op ImageNet-schaal.
2. OOD en Kalibratie Analyse: Evaluatie van Maximum Softmax Probability (MSP), Energy scores en Mahalanobis afstand detectoren, naast Expected Calibration Error (ECE).
3. Adaptieve Aanval: Testen of feature-space detectoren omzeild kunnen worden door een aanvaller die de afstandsmethode van de detector in het optimalisatie-objectief incorporeert.
4. Defensie Evaluatie: Beoordeling van adversarial training, randomized smoothing en input-transformaties tegen NKE, en het correleren van klassieke robuustheid met NKE-resistentie.
5. Mechanistische Analyse: Kwantificering van de preservatie van edge/vorm structuur versus textuur (via GLCM en Canny edge F1 scores) om de invariantie van het model te verklaren.

Belangrijkste Resultaten

• De Mens–Model Kloof is Reëel en Structureel:

  • Op CIFAR-10, naarmate $\epsilon_l$ toeneemt, behoudt het bronmodel 100% nauwkeurigheid, terwijl een onafhankelijke generieke herkenner daalt naar ~49%.
  • Cruciaal is dat een gematteerde L2-Gaussische controle de herkenner sneller doet degraderen (naar ~15%) dan de gestructureerde NKE-perturbatie. Dit geeft aan dat de kloof niet te wijten is aan signaalverlies, maar aan de specifieke adversariële structuur die model-relevante kenmerken behoudt terwijl menselijk herkenbare inhoud wordt vernietigd.
  • Een kleine menselijke pilot ($N=5$) bevestigt de kloof, waarbij de menselijke nauwkeurigheid daalt naar ~8% bij grote perturbaties terwijl het model op 100% blijft.
  • Op ImageNet-schaal bevestigt een CLIP zero-shot proxy een significante kloof (model 100% vs. CLIP ~33%), hoewel de volgorde van NKE versus Gaussische ruis omdraait vergeleken met CIFAR-10, wat suggereert dat NKE op deze schaal brede semantische inhoud actief vernietigt.

• Blindheid van Standaard OOD en Kalibratie Tools:

  • Confidence-gebaseerde (MSP) en energy-gebaseerde OOD detectoren markeren 0% van de NKE-afbeeldingen, en ECE blijft nabij 0. De modellen lijken perfect gekalibreerd ondanks dat de input onherkenbaar is voor mensen.
  • Feature-space Mahalanobis detectoren markeren 100% van de NKE-afbeeldingen, waardoor ze correct als off-manifold worden geïdentificeerd.
  • Adaptieve Kwetsbaarheid: Echter, een adaptieve aanvaller kan de Mahalanobis detectie van 100% naar 0% reduceren door een penalty term aan de loss-functie toe te voegen, zonder kosten voor de succesvolle aanval of de grootte van de perturbatie. Deze omzeiling houdt stand tegen held-out detectoren en adversarieel getrainde modellen.

• Orthogonaliteit aan Klassieke Defensies:

  • Geen enkele klassieke defensie mitigeert NKE. Adversarieel getrainde modellen (met 45% robuuste nauwkeurigheid tegen PGD) blijven ~100% kwetsbaar voor NKE.
  • Er is nul correlatie ($r \approx 0$) tussen weerstand tegen kleine-$\epsilon$ aanvallen en weerstand tegen grote-$\epsilon_l$ NKE-aanvallen.

• Mechanistisch Inzicht (Textuur vs. Vorm):

  • De aanval vernietigt lage-orde textuur statistieken (GLCM gelijkenis stort in tot ~0) veel sneller dan de degradatie van edge/vorm structuur (edge preservatie blijft ~0.3–0.4).
  • Hoewel CNN's een textuur-bias hebben, herstelt een Vision Transformer (ViT) met een vorm-bias de label niet beter dan een CNN op NKE inputs, wat aangeeft dat de overlevende structuur onvoldoende is voor menselijke herkenning.
  • Transferability analyse laat zien dat NKE voorbeelden zeer model-specifiek zijn; naarmate de taakcomplexiteit toeneemt (MNIST $\to$ ImageNet), stort de transferability in, wat suggereert dat het overlevende signaal idiosyncratisch is voor het bronmodel.

Significantie en Claims
Het artikel claimt de discussie te verplaatsen van de mogelijkheid om dergelijke voorbeelden te construeren naar het begrijpen van hun implicaties voor de kloof tussen model- en menselijke perceptie en de beperkingen van huidige veiligheidstools.

1. Herformulering van de Foutmodus: NKE vertegenwoordigt een distincte kwetsbaarheid waarbij modellen "zelfverzekerd fout" zijn in de menselijke zin (onherkenbaar) maar "correct" in de modelzin (correcte voorspelling). Dit is een foutmodus waar standaard confidence-gebaseerde monitoring structureel blind voor is.
2. Beperkingen van Huidige Defensies: De bevindingen demonstreren dat robuustheid tegen kleine perturbaties niet impliceert dat men robuust is tegen grote, label-preserverende perturbaties. Bestaande defensies adresseren dit regime niet.
3. Nuance in OOD Detectie: Hoewel feature-space detectoren NKE voorbeelden kunnen identificeren, zijn ze niet adaptief robuust. Het artikel suggereert dat "off-manifold" detectie noodzakelijk maar onvoldoende is zodra de detector bekend is bij de aanvaller.
4. Mens–Model Divergentie: De studie levert empirisch bewijs (via proxies en een pilot) dat de divergentie tussen menselijke en model psychometrische curves niet slechts een theoretisch concept is, maar een meetbare realiteit in regimes met grote perturbaties, specifiek gedreven door de vernietiging van textuur terwijl vorm-achtige structuren die modellen gebruiken worden behouden.

De auteurs concluderen dat systemen die vertrouwen op softmax confidence of energy scores voor distributionele foutdetectie geaudit moeten worden tegen dit specifieke regime, en dat toekomstig werk zich moet richten op detectoren die bij constructie adaptief robuust zijn. Het artikel stelt de volledige pipeline, stimuli en een human-study harness beschikbaar om deze audit te faciliteren.