The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

Sintesi Tecnica: L'Importanza della Fase nelle Rappresentazioni Neurali

Problema
Le immagini naturali esibiscono un'asimmetria fondamentale nella loro rappresentazione di Fourier: lo spettro di fase codifica bordi, contorni e disposizione spaziale (identità), mentre lo spettro di ampiezza codifica un profilo di energia agnostico rispetto al contenuto. Il lavoro classico di Oppenheim e Lim (1981) ha dimostrato che ricostruire un'immagine dalla sola fase produce un risultato riconoscibile, mentre la sola ampiezza no. Sebbene i moderni classificatori di immagini siano addestrati end-to-end sui pixel senza vincoli espliciti di Fourier, rimane il dubbio se questa asimmetria tra fase e ampiezza venga recuperata all'interno delle loro rappresentazioni latenti. Studi precedenti hanno trattato fase e ampiezza rispettivamente come "contenuto" e "stile" nell'augmentation dei dati o nell'adattamento del dominio, ma tali approcci operano strettamente nello spazio dei pixel. Questo articolo si chiede se i classificatori di immagini addestrati codifichino internamente un'identità di classe in una componente simile alla fase e se tale codifica sia causale alla predizione finale.

Metodologia
Gli autori adattano l'esperimento di Oppenheim-Lim in un framework di intervento causale applicato agli strati nascosti delle reti neurali addestrate. La procedura centrale prevede:

1. Costruzione del Chimera: Dato due immagini di classi diverse ($A$ e $B$), gli autori costruiscono uno stato nascosto "chimera" in uno strato specifico $\ell$. Questo stato mantiene l'ampiezza dell'immagine $A$ ($|h_A|$) ma adotta la componente simile alla fase dell'immagine $B$ ($\phi(h_B)$).
2. Definizioni di Fase: La definizione di "fase" si adatta allo spazio di rappresentazione dell'architettura:
   • Flusso Complesso: Per le reti a valori complessi (PRISM2D), la fase è l'angolo complesso per canale ($h/|h|$).
   • Mappe di Caratteristiche Reali: Per le reti a valori reali, la fase è definita tramite una trasformata di Fourier 2D sulla griglia spaziale (fase spazio-spettrale).
   • Scalari Reali: Per le attivazioni scalari standard, la fase degenera nel segno ($\text{sign}(h)$), fungendo da sonda universale attraverso tutte le architetture.
3. Intervento: Lo stato chimera viene iniettato nella rete, e il passaggio in avanti (forward pass) viene completato. La predizione viene registrata per determinare se il modello segue il "donatore di ampiezza" ($A$) o il "donatore di fase/segno" ($B$).
4. Modelli Valutati: Lo studio abbraccia quattro architetture per testarne la generalità:
   • PRISM2D: Un modello a valori complessi con attivazioni che preservano la fase.
   • GFNet-Ti: Un modello spettrale reale che filtra nel dominio di Fourier.
   • ViT-B/16: Un Vision Transformer standard.
   • ResNet-50: Una rete convoluzionale standard.
5. Controlli: Per escludere spiegazioni banali (es. l'ampiezza che diventa non informativa con la profondità), gli autori impiegano controlli tra cui:
   • Sostituzione dell'Ampiezza: Sostituire tutte le ampiezze specifiche dell'immagine con un'ampiezza media del batch.
   • Distruzione della Fase: Randomizzare la fase mantenendo l'ampiezza.
   • Scambi Solo DC: Isolare la media globale (termine DC) dalla struttura spaziale.
   • Controlli Geometrici: Misurare la similarità del coseno tra le chimere e i donatori per garantire che la chimera non stia semplicemente ricostruendo lo stato del donatore.

Risultati Chiave

1. Dominanza Fase/Segno: In tutte e quattro le architetture, la predizione segue il donatore di fase (o segno) con alta probabilità al momento della lettura (readout).
   • ViT-B/16: Si impegna su un codice di identità basato sul segno già nel primo blocco, raggiungendo circa il 91% di follow-phase nell'ultimo strato.
   • PRISM2D & GFNet: Costruiscono la dipendenza dalla fase tra gli strati iniziali e medi, raggiungendo circa il 75–76%.
   • ResNet-50: Inizialmente sembra rompere il pattern perché scambiare i segni dopo ReLU non ha effetto (poiché ReLU rimuove l'informazione del segno). Tuttavia, intervenendo prima dell'ultima ReLU dei blocchi residui, emerge un forte codice di segno latente negli ultimi blocchi (~88%), simile al ViT.
2. Invarianza dell'Ampiezza: Eliminare tutte le informazioni di ampiezza specifiche dell'immagine (sostituendole con l'ampiezza media del batch) lascia l'accuratezza vicina al baseline per i modelli spettrali e per il ViT. Al contrario, distruggere la fase fa crollare l'accuratezza vicino al caso.
3. Differenze Meccanicistiche:
   • Il ViT esprime il codice di identità precocemente e lo mantiene durante tutto il processo.
   • I Modelli Spettrali consolidano l'identità nella fase precocemente.
   • ResNet trasporta l'identità da una struttura spaziale distribuita negli strati iniziali verso un codice a canali leggibile tramite pooling (specificamente il termine DC) negli ultimi blocchi. Il divario "texture-forma" tra CNN e modelli di attenzione viene riformulato non come una divisione categorica fase-contro-ampiezza, ma come una differenza in quando e in quale base il codice fase/segno viene espresso.

Significatività e Rivendicazioni
L'articolo sostiene di fornire un resoconto unificato e consapevole della lettura (readout-aware) di come diversi classificatori di immagini convergano su un codice di identità dominante di fase/segno.

• Evidenza Causale: A differenza degli studi precedenti basati sull'augmentation, questo lavoro stabilisce la causalità mostrando che l'identità può essere "trapiantata" tra le immagini tramite la manipolazione di fase/segno all'interno della rete.
• Riformulazione del Divario Texture-Forma: La differenza comportamentale tra le CNN orientate alla texture e i modelli di attenzione orientati alla forma è spiegata dal timing e dalla geometria del codice di identità. Le CNN (come ResNet) nascondono il codice del segno dietro la rettificazione e si affidano all'ampiezza per il segnale fino all'ultimo strato di pooling, mentre l'attenzione e i modelli spettrali si impegnano sulla fase/segno più precocemente.
• Interpretazione Geometrica: I risultati suggeriscono che i classificatori lineari leggano l' "angolo" (fase/segno) del vettore di caratteristiche piuttosto che la sua "lunghezza" (ampiezza). Ciò si allinea ad altre scoperte nell'interpretabilità meccanicistica riguardanti le rappresentazioni periodiche e angolari nelle reti neurali.

Limitazioni
Gli autori notano che l'ambito è limitato ai modelli di visione. Sebbene il metodo di trapianto sia generale rispetto alla modalità, il test più pulito è nelle immagini. Inoltre, il confronto tra modelli addestrati su ImageNet-100 (PRISM2D, GFNet) e quelli che utilizzano pesi di ImageNet-1k (ViT, ResNet) introduce una differenza di scala di addestramento, sebbene gli autori sostengano che i trend di profondità intra-modello rimangano validi. La definizione di "fase" varia tra le architetture (angolo complesso, fase spettrale o segno scalare), rappresentando una famiglia di codici correlati piuttosto che una singola quantità unificata.