Technische Samenvatting: Het Ontkoppelen van Ruimtelijke Frequentie-Afhankelijkheid van Voordelen in Adversariële Robuustheid bij Neuraal Geleide Diepe Convolutionele Neurale Netwerken

Probleemstelling

Diepe Convolutionele Neurale Netwerken (DCNN's) hebben menselijk niveau van prestaties bereikt in visuele herkenning, maar blijven opvallend kwetsbaar voor adversariële aanvallen—niet waarneembare verstoringen die catastrofale verkeerde classificaties veroorzaken. Recent onderzoek geeft aan dat het afstemmen van DCNN-representaties op activiteit in de menselijke visuele cortex (neuraal geleiding) de adversariële robuustheid aanzienlijk verbetert. Het mechanisme dat deze verbetering drijft, is echter onduidelijk.

Twee concurrerende hypothesen zijn naar voren gekomen over de spectrale kenmerken die verantwoordelijk zijn voor deze robuustheid:

1. Bias naar Lage Ruimtelijke Frequentie (LSF): Neuraal afstemmen kan de robuustheid verbeteren door de afhankelijkheid te verschuiven van breekbare hoogfrequente texturen naar ruwe, globale LSF-structuren, die stabieler zijn onder transformatie.
2. Bias naar Menselijke Kanaal: Recent werk suggereert dat menselijke objectherkenning berust op een smal, mid-frequent "menselijk kanaal" (ongeveer 28–56 cycli per beeld). Aangezien eerdere methoden voor LSF-biasing (bijvoorbeeld Gaussische vervaging) per ongeluk dit kanaal behouden, zouden de winsten in robuustheid eigenlijk kunnen voortkomen uit het behoud van dit specifieke mid-frequente band in plaats van een algemene LSF-verschuiving.

Dit artikel onderzoekt of de adversariële robuustheid die wordt waargenomen in neuraal geleide (NG) modellen causaal wordt gedreven door een verhoogde afhankelijkheid van de LSF, het menselijke kanaal, of beide.

Methodologie

1. Karakterisering van Neuraal Geleide (NG) Modellen

De auteurs analyseerden eerst een set DCNN's die waren getraind met "Neuraal Geleiding" (NG), waarbij de penultimale laag van het netwerk werd afgestemd op fMRI-responsen uit zeven regio's langs de menselijke ventrale visuele stroom (V1, V2, V4, VO, PHC, LO, TO).

• Maatstaf: Adversariële robuustheid werd gekwantificeerd als het Oppervlak Onder de Curve (AUC) van top-1 nauwkeurigheid onder $\ell_\infty$-gebonden Projected Gradient Descent (PGD)-aanvallen over verschillende verstoringsterktes ($\epsilon$).
• Spectrale Analyse: Om de afhankelijkheid van ruimtelijke frequentie (SF) te bepalen, genereerden de auteurs succesvolle adversariële verstoringen voor elk model. Ze berekenden het Fourier-vermogensspectrum van deze verstoringen, middelden deze radiaal en normaliseerden de energieverdeling. Hoger vermogen in een specifiek band geeft een grotere afhankelijkheid van het model voor dat frequentiebereik aan.

2. Expliciet Biasen van DCNN's via Faseverwarring

Om causaliteit te testen, trainden de auteurs nieuwe DCNN's (ResNet-18 op ImageNet-50) met expliciete SF-biases met behulp van faseverwarrende data-augmentatie. Deze methode behoudt het amplitude-spectrum (energie) van een afbeelding terwijl de fase van specifieke frequentiebanden wordt verward, wat effectief structurele informatie uit die banden verwijdert terwijl andere worden behouden.

• Geteste Condities:
  • Menselijk Kanaal: Alleen het 28–56 cpi-band behouden; de rest verward.
  • Extreme-LSF: Frequenties < 3,5 cpi behouden; de rest verward.
  • Vaste-$\sigma$-LSF: Gebruik van een Gaussische vervagingsmasker ($\sigma=1,5$) om lage frequenties te behouden (overlappend met het menselijke kanaal).
  • Gemengde-$\sigma$-LSF: Gebruik van een mengsel van Gaussische kernen om een bredere LSF-preferentie te simuleren (overlappend met het menselijke kanaal).
  • Gecombineerd-Kanaal: Een trainingsverdeling die behoud van het Menselijke Kanaal en Extreme-LSF combineert.
  • Noodzaakcontroles: Inverse maskers werden gebruikt om het Menselijke Kanaal of Extreme-LSF selectief te verstoren (verwarren) om te testen of hun afwezigheid uniek schadelijk was.

3. Representatieve Similariteitsanalyse (RSA)

Om te bepalen of SF-bias alleen de "mensachtige" geometrie van NG-modellen kon repliceren, voerden de auteurs RSA uit. Ze vergeleken de Representatieve Dissimilariteitsmatrices (RDM's) van de SF-bias-modellen met fMRI-gegevens uit menselijke V1, V4 en TO-regio's.

Belangrijkste Resultaten

1. Correlatie in Neuraal Geleide Modellen

In NG-modellen correleerden robuustheidswinsten sterk met een verhoogde afhankelijkheid van zowel het Menselijke Kanaal (Spearman's $\rho = 0,98$) als de LSF ($\rho = 0,87$). Omgekeerd was de afhankelijkheid van hoge ruimtelijke frequenties (HSF) anticorrelatief met robuustheid. Dit bevestigde dat NG-modellen hun spectrale afhankelijkheid verschuiven naar menselijk relevante banden.

2. Causale Ontkoppeling via Expliciete Bias

Toen de auteurs deze biases expliciet oplegden tijdens het trainen, divergeerden de resultaten scherp van het gedrag van NG-modellen:

• Bias naar Menselijk Kanaal: Het expliciet biasen van modellen naar het menselijke kanaal verslechterde de adversariële robuustheid. Een sterkere bias leidde tot slechtere prestaties.
• Bias naar LSF: Het biasen van modellen naar de LSF (Extreme-LSF, Vaste-$\sigma$, Gemengde-$\sigma$) leverde slechts bescheiden verbeteringen in robuustheid op. Cruciaal waren deze winsten disproportioneel klein in vergelijking met de enorme verschuivingen in SF-afhankelijkheid die door de manipulatie werden veroorzaakt.
• Gecombineerde Bias: Het biasen van modellen naar zowel het Menselijke Kanaal als de LSF tegelijkertijd resulteerde nog steeds in slechtere robuustheid dan de baseline, wat aangeeft dat het schadelijke effect van de Menselijke Kanaal-bias niet werd opgeheven door LSF-winsten.
• Noodzaak: Het verstoren van het Menselijke Kanaal verlaagde de robuustheid, maar het verstoren van de Extreme-LSF veroorzaakte een grotere daling, wat suggereert dat het Menselijke Kanaal niet uniek noodzakelijk is voor robuustheid.

3. Representatieve Geometrie

SF-bias-modellen slaagden er niet in de representatieve geometrie van het menselijk brein te repliceren.

• Terwijl NG-modellen significante toenames in similariteit met menselijke neurale representaties (V1, V4, TO) vertoonden, toonden SF-bias-modellen weinig tot geen toename in similariteit in vergelijking met de baseline.
• Zelfs de "Gecombineerd-Kanaal"-conditie, die het SF-afhankelijkheidsprofiel van NG-modellen nabootste, slaagde er niet in de representatieve similariteit te verbeteren.

Belangrijkste Bijdragen

1. Ontkoppeling van Correlatie en Causaliteit: Het artikel toont aan dat terwijl een verhoogde afhankelijkheid van het Menselijke Kanaal en de LSF correleert met robuustheid in neuraal geleide modellen, het expliciet afdwingen van deze biases onvoldoende is om robuustheid te genereren. Sterker nog, het afdwingen van een Menselijke Kanaal-bias is actief schadelijk.
2. Weerspreking van het "Menselijk Kanaal"-mechanisme: De studie weerlegt de hypothese dat de robuustheid van NG-modellen wordt gedreven door het behoud van het mid-frequente menselijke kanaal.
3. Beperkte Rol van LSF: Hoewel LSF-bias kleine winsten in robuustheid biedt, kan het de omvang van de verbeteringen die worden gezien in NG-modellen niet verklaren, noch induceert het mensachtige representatieve geometrie.
4. Hypothese van Emergente Eigenschap: De auteurs stellen dat een gewijzigde SF-afhankelijkheid een emergente eigenschap is van het leren van meer mensachtige representaties, in plaats van het primaire causale mechanisme van robuustheid.

Betekenis en Beweringen

Het artikel concludeert dat de adversariële robuustheid die wordt verleend door neuraal geleiding niet primair wordt gedreven door een simpele verschuiving in ruimtelijke frequentie-afhankelijkheid (noch LSF noch het Menselijke Kanaal). In plaats daarvan betogen de auteurs dat robuustheid waarschijnlijk voortkomt uit bredere geometrische herconfiguraties van de representatieve ruimte (bijvoorbeeld het "ontwarren" van object-manifolden) die op natuurlijke wijze leiden tot de waargenomen spectrale biases als een secundair gevolg.

De auteurs houden een bescheiden standpunt aan, waarbij ze opmerken dat hoewel SF-bias een deeleigenschap is van breinachtige representaties, het niet het primaire computationele mechanisme is. Zij suggereren dat toekomstig onderzoek zich moet richten op het karakteriseren van de specifieke geometrische transformaties in de representatieve ruimte die robuustheid verlenen, in plaats van zich uitsluitend te richten op spectrale kenmerken. Zij erkennen ook beperkingen met betrekking tot het gebruik van data-augmentatie op populatieniveau versus de diverse afstemmingsprofielen van individuele neuronen in biologische systemen.