Technische Samenvatting: Adversariële Kwetsbaarheid door Interferentie tussen Kenmerken in Superpositie

Probleemstelling

Ondanks uitgebreid onderzoek blijven adversariële voorbeelden (adversarial examples) op mechanisch niveau slecht begrepen. Hoewel bestaande verklaringen de kwetsbaarheid toeschrijven aan hoogdimensionele geometrie, niet-robuuste patronen in de inputdata of de structuur van de beslissingsgrenzen, bieden zij geen mechanisme op representatieniveau dat verklaart waarom specifieke perturbaties slagen of waarom aanvallen overdraagbaar zijn tussen modellen. Er is een gebrek aan een voorspellend verslag dat interventies in robuustheid koppelt aan de representatiestructuur. Dit artikel adresseert deze kloof door te onderzoeken of adversariële kwetsbaarheid voortvloeit uit efficiënte informatiecodering in neurale netwerken, specifiek door het fenomeen van superpositie.

Methodologie

De auteurs stellen een mechanisch kader voor waarin neurale netwerken meer concepten (kenmerken) representeren dan ze dimensies hebben ($M \gg d$) door ze te coderen als niet-orthogonale richtingen in de activatieruimte. Deze pakking creëert interferentie, waarbij het activeren van één kenmerk andere kenmerken beïnvloedt. De studie valideert deze hypothese via drie primaire settings:

1. Synthetische Argmax Taak: Een minimaal bottleneck-netwerk met een gesloten vorm van de input-naar-klasse mapping. Hier worden $k$ klassen gecomprimeerd in $m$ latente dimensies ($m < k$). De auteurs controleren de inputcorrelaties (ongecorreleerd, gepaard, globaal) om de geometrie van kenmerken te manipuleren. Deze setting maakt het mogelijk om de grondwaarheid-perturbaties te berekenen en directe vergelijkingen te maken tussen empirische aanvallen (PGD) en theoretische optima afgeleid van interferentiegeometrie.
2. Realistische Vision Transformers (ViTs): Modellen getraind op CIFAR-10/100, STL-10 en TinyImageNet met technisch ontworpen dimensionale bottlenecks ingevoegd vóór de classificatiekop. Dit test of de geometrische signaturen die door de theorie worden voorspeld, verschijnen in diepe, niet-lineaire netwerken.
3. Regularisatie Training zonder Expliciete Bottlenecks: ViT-modellen getraind met variërende weight decay om laag-rang representaties (effectieve bottlenecks) te induceren zonder expliciete architecturale beperkingen, om te testen of rangreductie alleen al dit kwetsbaarheidsmechanisme triggert.

Belangrijke Analytische Instrumenten:

• Linear Representation Hypothesis (LRH): Het behandelen van klasse-logits als lineaire projecties van kenmerkvectoren.
• Interferentie Metrieken: Het kwantificeren van de niet-orthogonaliteit van klasse-kenmerkvectoren ($w_i^\top w_j$) en het meten van hoe perturbaties uitlijnen met de "interferentiegeometrie" gedefinieerd door het verschil tussen doelklasse- en bronklassevectoren.
• Attack Alignment: Het vergelijken van de richting van door PGD ontdekte perturbaties tegen de theoretisch optimale perturbaties afgeleid van de interferentiegeometrie ($\delta \propto W_e^\top (w_k - w_j)$).

Belangrijkste Bijdragen

1. Mechanistisch Verslag van Kwetsbaarheid: Het artikel legt een direct verband tussen de geometrie van superpositie en adversariële kwetsbaarheid. Het toont aan dat data-correlaties de geometrische arrangement van kenmerken in superpositie beperken, wat weer de interferentiepatronen bepaalt. Deze patronen dicteren vervolgens welke perturbaties slagen en waarom aanvallen overdraagbaar zijn tussen modellen.
2. Superpositie als een Voldoende Voorwaarde: De auteurs leveren theoretisch en empirisch bewijs dat superpositie een voldoende (hoewel niet noodzakelijke) voorwaarde is voor adversariële kwetsbaarheid. Niet-orthogonale representaties creëren exploiteerbare interferentie, wat bestaande verklaringen gebaseerd op data-eigenschappen of architecturale factoren aanvult.
3. Validatie in Realistische Settings: De studie valideert dat de geometrische signaturen die door de theorie worden voorspeld, verschijnen in realistische settings (ViTs op standaard datasets), wat aantoont dat de interferentie in de classificatiekop de structuur van de aanval in de inputruimte beheerst, zelfs in complexe, diepe netwerken.

Belangrijkste Resultaten

1. Exploitatie van Interferentie

In synthetische settings exploiteren gradiënt-gebaseerde aanvallen (PGD) systematisch de interferentie tussen superponeerde kenmerken.

• Alignment: Door PGD ontdekte perturbaties lijnen sterk uit met theoretisch optimale perturbaties afgeleid van interferentiegeometrie (Cosine Similarity $> 0.92$ over configuraties heen).
• Mechanisme: Perturbaties zijn niet arbitrair; hun teken en magnitude worden bepaald door de uitlijning van inputkenmerken met de latente aanvalsvector. Kenmerken die constructief interfereren met de doelklasse worden versterkt, terwijl kenmerken die interfereren met de bronklasse worden onderdrukt.

2. Rol van Inputcorrelaties

Inputcorrelaties beperken de geometrische arrangement van kenmerkvectoren:

• Ongecorreleerde Data: Resulteert in zeer variabele geometrieën over verschillende random seeds heen.
• Gepaarde Data: Dwingt kenmerken in specifieke, stabiele arrangementen (bijv. globale correlaties fixeren een cyclische ordening).
• Impact: Sterkere correlaties verminderen de geometrische vrijheidsgraden, waardoor verschillende initialisaties naar vergelijkbare arrangementen worden gedreven.

3. Aanvalsoverdraagbaarheid (Attack Transferability)

Aanvalsoverdraagbaarheid wordt beheerst door gedeelde interferentiepatronen.

• Correlatie: Transfer rates correleren sterk met geometrische gelijkenis.
  • Ongecorreleerde data: ~5% transfer rate.
  • Gepaarde correlaties: ~33% transfer rate.
  • Globale correlaties: ~98% transfer rate.
• Verklaring: Wanneer modellen een vergelijkbare superpositiegeometrie delen, blijven interferentiepatronen die constructief waren in het bronmodel ook constructief in het doelmodel, wat hoge overdraagbaarheid mogelijk maakt.

4. Real-World ViT Validatie

• Structuur Voorspelling: In ViTs met bottlenecks correleert het aanvalsprofiel in de inputruimte (hoe pixels worden geperturberd) sterk met het interferentieprofiel in de latente ruimte (hoe klassevectoren interfereren). De correlatie ($\bar{\rho}$) bereikt 0.89 voor krappe bottlenecks ($m/k=0.2$) en daalt naarmate de bottleneck ruimer wordt.
• Consistentie: Interferentiepatronen zijn consistent over random seeds heen, wat reflecteert dat ze voortkomen uit data-semantiek (bijv. semantisch vergelijkbare klassen zoals 'kat' en 'hond' ontwikkelen niet-orthogonale representaties) in plaats van optimalisatieruis.
• Regularisatie Effecten: Zelfs zonder expliciete bottlenecks vermindert het verhogen van de weight decay de effectieve dimensie van het netwerk, wat de magnitude van de interferentie en de aanvalskwetsbaarheid vergroot. Dit suggereert dat standaard regularisatie onbedoeld adversariële kwetsbaarheden kan creëren.

Betekenis en Claims

Het artikel claimt dat adversariële kwetsbaarheid een bijproduct kan zijn van de representatieve compressie van het netwerk. Door meer kenmerken in minder dimensies te verpakken, introduceren netwerken interferentiepatronen die aanvallers kunnen exploiteren.

• Voorspellende Kracht: Het kader biedt testbare voorspellingen: aanvallen zouden moeten uitlijnen met optimale perturbaties afgeleid van geometrie, en overdraagbaarheid zou moeten optreden wanneer modellen vergelijkbare interferentiepatronen delen.
• Complementaire Verklaring: Dit mechanisme vervangt geen bestaande verklaringen (zoals niet-robuuste kenmerken of de kromming van de beslissingsgrens), maar vult deze aan door een verklaring op representatieniveau te bieden van waarom specifieke richtingen gevoelig zijn.
• Veiligheidsimplicaties: De bevindingen suggeren dat de dimensionaliteit van de representatie en de mate van superpositie kritieke componenten zijn van de veiligheid van modellen. Interventies die de geometrie van kenmerken veranderen (bijv. via regularisatie of architecturale wijzigingen) zouden de robuustheid aanzienlijk kunnen beïnvloeden.

De auteurs blijven bescheiden en merken op dat superpositie voldoende maar niet noodzakelijk is voor kwetsbaarheid, en dat de exacte mechanismen kunnen variëren per aanval en model. Het werk richt zich op kenmerken met bekende labels, waarbij toekomstig werk nodig is om deze bevindingen uit te breiden naar tussenliggende lagen via methoden voor het ontdekken van kenmerken.