The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

Technische Samenvatting: Het Belang van Fase in Neurale Representaties

Probleemstelling
Natuurlijke afbeeldingen vertonen een fundamentele asymmetrie in hun Fourier-representatie: het fasespectrum codeert randen, contouren en ruimtelijke ordening (identiteit), terwijl het magnitudespectrum een inhouds-agnostisch energieprofiel codeert. Klassiek werk door Oppenheim en Lim (1981) toonde aan dat het reconstrueren van een afbeelding uit enkel de fase een herkenbaar resultaat oplevert, terwijl dit met enkel de magnitude niet het geval is. Hoewel moderne beeldclassificaties end-to-end worden getraind op pixels zonder expliciete Fourier-beperkingen, blijft het onduidelijk of deze fase-magnitude-asymmetrie wordt teruggevonden in hun latente representaties. Eerdere studies hebben fase en magnitude behandeld als respectievelijk "inhoud" en "stijl" in data-augmentatie of domeinadaptatie, maar deze benaderingen opereren strikt in de pixelruimte. Dit artikel vraagt zich af of getrainde beeldclassificaties intern een klasse-identiteit coderen in een fase-achtige component en of deze codering causaal is voor de uiteindelijke voorspelling.

Methodologie
De auteurs passen het Oppenheim–Lim-experiment aan naar een causaal interventiekader toegepast op de verborgen lagen van getrainde neurale netwerken. De kernprocedure omvat:

1. Chimera-constructie: Gegeven twee afbeeldingen van verschillende klassen ($A$ en $B$), construeren de auteurs een "chimera" verborgen staat op een specifieke laag $\ell$. Deze staat behoudt de magnitude van afbeelding $A$ ($|h_A|$) maar neemt de fase-achtige component van afbeelding $B$ over ($\phi(h_B)$).
2. Fasedefinities: De definitie van "fase" past zich aan de representatieruimte van de architectuur aan:
   • Complexe Stroom: Voor complex-waardige netwerken (PRISM2D) is fase de per-kanaal complexe hoek ($h/|h|$).
   • Reële Feature Maps: Voor reële-waardige netwerken wordt fase gedefinieerd via een 2D Fourier-transformatie over het ruimtelijke rooster (ruimtelijk-spectrale fase).
   • Reële Scalaire: Voor standaard reële activaties degradeert fase naar het teken ($\text{sign}(h)$), wat dient als een universele probe over alle architecturen heen.
3. Interventie: De chimera-staat wordt in het netwerk geïnjecteerd, waarna de forward pass wordt voltooid. De voorspelling wordt geregistreerd om te bepalen of het model de "magnitude-donor" ($A$) of de "fase/teken-donor" ($B$) volgt.
4. Geëvalueerde Modellen: De studie beslaat vier architecturen om generaliteit te testen:
   • PRISM2D: Een complex-waardig model met fase-behoudende activaties.
   • GFNet-Ti: Een reële spectrale model die filtert in het Fourier-domein.
   • ViT-B/16: Een standaard Vision Transformer.
   • ResNet-50: Een standaard convolutioneel netwerk.
5. Controles: Om triviale verklaringen uit te sluiten (bijv. dat magnitudes oninformatief worden met diepte), gebruiken de auteurs controles, waaronder:
   • Magnitude Substitutie: Het vervangen van alle afbeelding-specifieke magnitudes door een batch-gemiddelde magnitude.
   • Fase Destructie: Het randomiseren van de fase terwijl de magnitude behouden blijft.
   • DC-Alleen Swaps: Het isoleren van de globale gemiddelde (DC-term) van de ruimtelijke structuur.
   • Geometrische Checks: Het meten van de cosinus-gelijkenis tussen chimeras en donoren om te waarborgen dat de chimera niet simpelweg de donor-staat reconstrueert.

Belangrijkste Resultaten

1. Fase/Teken Dominantie: In alle vier de architecturen volgt de voorspelling met hoge waarschijnlijkheid de fase (of teken) donor tegen de tijd van uitlezing.
   • ViT-B/16: Legt een teken-gebaseerde identiteitscode vast in de allereerste block, en bereikt ~91% volg-fase in de laatste laag.
   • PRISM2D & GFNet: Bouwen fase-afhankelijkheid op gedurende de vroege- tot midden-diepte, reikend tot ~75–76%.
   • ResNet-50: Lijkt aanvankelijk het patroon te doorbreken omdat het wisselen van tekens na ReLU geen effect heeft (aangezien ReLU informatie over het teken verwijdert). Echter, interveniëren vóór de laatste ReLU van residuele blokken onthult een sterke latente teken-code in late blokken (~88%), vergelijkbaar met ViT.
2. Magnitude Invariantie: Het verwijderen van alle afbeelding-specifieke magnitude-informatie (vervangen door een batch-gemiddelde magnitude) laat de nauwkeurigheid nabij de baseline voor spectrale modellen en ViT. Daarentegen brengt het vernietigen van de fase de nauwkeurigheid terug naar bijna kansniveau.
3. Mechanistische Verschillen:
   • ViT drukt de identiteitscode vroeg uit en behoudt deze gedurende het proces.
   • Spectrale Modellen consolideren identiteit in de fase in een vroeg stadium.
   • ResNet transporteert identiteit van een gedistribueerde ruimtelijke structuur in vroege lagen naar een door pooling leesbare kanaalcode (specifiek de DC-term) in de laatste blokken. De "textuur-vorm" kloof tussen CNN's en aandacht-modellen wordt geherformuleerd, niet als een categorische fase-versus-magnitude splitsing, maar als een verschil in wanneer en in welke basis de fase/teken-code wordt uitgedrukt.

Betekenis en Claims
Het artikel claimt een verenigde, uitlees-bewuste verklaring te bieden voor hoe diverse beeldclassificaties convergeren op een fase/teken-dominante identiteitscode.

• Causaal Bewijs: In tegenstelling tot eerdere augmentatie-gebaseerde studies, vestigt dit werk causaliteit door aan te tonen dat identiteit kan worden "getransplanteerd" tussen afbeeldingen via fase/teken-manipulatie binnen het netwerk.
• Herformulering van de Textuur-Vorm Kloof: Het gedragsverschil tussen textuur-gebiaste CNN's en vorm-uitgelijnde aandacht-modellen wordt verklaard door de timing en geometrie van de identiteitscode. CNN's (zoals ResNet) verbergen de teken-code achter rectificatie en vertrouwen op magnitude voor het signaal tot de laatste pooling-laag, terwijl aandacht- en spectrale modellen zich eerder vastleggen op fase/teken.
• Geometrische Interpretatie: De bevindingen suggeren dat lineaire classificators de "hoek" (fase/teken) van de feature-vector lezen in plaats van de "lengte" (magnitude). Dit sluit aan bij andere bevindingen in mechanistische interpreteerbaarheid met betrekking tot periodieke en angulaire representaties in neurale netwerken.

Beperkingen
De auteurs merken op dat de scope beperkt is tot visiemodellen. Hoewel de transplantatie-methode modaliteit-onafhankelijk is, is de schoonste test in afbeeldingen. Daarnaast introduceert de vergelijking tussen modellen getraind op ImageNet-100 (PRISM2D, GFNet) en die met ImageNet-1k gewichten (ViT, ResNet) een verschil in trainingsschaal, hoewel de auteurs beargumenteren dat de diepte-trends binnen de modellen zelf geldig blijven. De definitie van "fase" varieert tussen architecturen (complexe hoek, spectrale fase, of scalaire teken), wat een familie van gerelateerde codes vertegenwoordigt in plaats van één enkele verenigde hoeveelheid.