Riepilogo Tecnico: Dissociazione della Dipendenza dalla Frequenza Spaziale dai Vantaggi di Robustezza Adversarial nelle Reti Neurali Convoluzionali Profonde Guidate Neuralmente

Enunciato del Problema

Le Reti Neurali Convoluzionali Profonde (DCNN) hanno raggiunto prestazioni a livello umano nel riconoscimento visivo, ma rimangono sorprendentemente vulnerabili agli attacchi adversarial: perturbazioni quasi impercettibili che causano classificazioni catastrofiche. Ricerche recenti indicano che l'allineamento delle rappresentazioni delle DCNN con l'attività della corteccia visiva umana (guida neurale) migliora significativamente la robustezza adversarial. Tuttavia, il meccanismo che guida questo miglioramento non è chiaro.

Sono emerse due ipotesi competitive riguardo alle caratteristiche spettrali responsabili di questa robustezza:

1. Pregiudizio verso le Basse Frequenze Spaziali (LSF): L'allineamento neurale potrebbe migliorare la robustezza spostando la dipendenza dalle texture ad alta frequenza fragili verso strutture LSF globali e grossolane, che sono più stabili sotto trasformazione.
2. Pregiudizio del Canale Umano: Lavori recenti suggeriscono che il riconoscimento degli oggetti da parte dell'uomo si basa su un "canale umano" ristretto a frequenze medie (circa 28–56 cicli per immagine). Poiché i precedenti metodi di pregiudizio verso le LSF (ad esempio, sfocatura gaussiana) preservano involontariamente questo canale, i guadagni di robustezza potrebbero derivare effettivamente dalla preservazione di questa specifica banda di frequenza media piuttosto che da uno spostamento generale verso le LSF.

Questo studio indaga se la robustezza adversarial osservata nei modelli guidati neuralmente (NG) sia causalmente guidata da una maggiore dipendenza dalle LSF, dal canale umano, o da entrambi.

Metodologia

1. Caratterizzazione dei Modelli Guidati Neuralmente (NG)

Gli autori hanno inizialmente analizzato un insieme di DCNN addestrate con "Guida Neurale" (NG), in cui lo strato penultimo della rete è allineato alle risposte fMRI provenienti da sette regioni lungo il flusso visivo ventrale umano (V1, V2, V4, VO, PHC, LO, TO).

• Metrica: La robustezza adversarial è stata quantificata come l'Area sotto la Curva (AUC) della precisione top-1 sotto attacchi di Discesa del Gradiente Proiettata (PGD) limitati da $\ell_\infty$ attraverso varie magnitudini di perturbazione ($\epsilon$).
• Analisi Spettrale: Per determinare la dipendenza dalla frequenza spaziale (SF), gli autori hanno generato perturbazioni adversarial di successo per ciascun modello. Hanno calcolato lo spettro di potenza di Fourier di queste perturbazioni, le hanno mediate radialmente e normalizzato la distribuzione dell'energia. Una potenza più elevata in una specifica banda indica una maggiore dipendenza del modello da quella gamma di frequenze.

2. Predisposizione Esplicita delle DCNN tramite Scrambling di Fase

Per testare la causalità, gli autori hanno addestrato nuove DCNN (ResNet-18 su ImageNet-50) con pregiudizi SF espliciti utilizzando l'aumento dei dati tramite scrambling di fase. Questo metodo preserva lo spettro di ampiezza (energia) di un'immagine mentre scramble la fase di specifiche bande di frequenza, rimuovendo efficacemente le informazioni strutturali da quelle bande mentre ne mantiene altre.

• Condizioni Testate:
  • Canale Umano: Preservata solo la banda 28–56 cpi; il resto è stato scramble.
  • LSF Estrema: Preservate le frequenze < 3.5 cpi; il resto è stato scramble.
  • LSF a $\sigma$ Fisso: Utilizzata una maschera di sfocatura gaussiana ($\sigma=1.5$) per preservare le basse frequenze (sovrapposta al canale umano).
  • LSF a $\sigma$ Misto: Utilizzata una miscela di kernel gaussiani per simulare una preferenza LSF più ampia (sovrapposta al canale umano).
  • Canale Combinato: Una distribuzione di addestramento che mescola la preservazione del Canale Umano e della LSF Estrema.
  • Controlli di Necessità: Sono state utilizzate maschere inverse per disruptare selettivamente (scramble) il Canale Umano o la LSF Estrema per verificare se la loro assenza fosse unicamente dannosa.

3. Analisi della Similarità Rappresentazionale (RSA)

Per determinare se il pregiudizio SF da solo potesse replicare la geometria "simile all'uomo" dei modelli NG, gli autori hanno eseguito una RSA. Hanno confrontato le Matrici di Dissimilarità Rappresentazionale (RDM) dei modelli con pregiudizio SF con i dati fMRI delle regioni V1, V4 e TO umane.

Risultati Chiave

1. Correlazione nei Modelli Guidati Neuralmente

Nei modelli NG, i guadagni di robustezza sono correlati fortemente con una maggiore dipendenza sia dal Canale Umano ($\rho$ di Spearman = 0.98) che dalle LSF ($\rho = 0.87$). Al contrario, la dipendenza dalle alte frequenze spaziali (HSF) è anticorrelata con la robustezza. Ciò ha confermato che i modelli NG spostano la loro dipendenza spettrale verso bande rilevanti per l'uomo.

2. Dissociazione Causale tramite Predisposizione Esplicita

Quando gli autori hanno imposto esplicitamente questi pregiudizi durante l'addestramento, i risultati si sono discostati nettamente dal comportamento dei modelli NG:

• Pregiudizio verso il Canale Umano: Predisporre esplicitamente i modelli verso il canale umano ha peggiorato la robustezza adversarial. Un pregiudizio più forte ha portato a prestazioni peggiori.
• Pregiudizio verso le LSF: Predisporre i modelli verso le LSF (LSF Estrema, $\sigma$ Fisso, $\sigma$ Misto) ha prodotto solo miglioramenti modesti nella robustezza. Crucialmente, questi guadagni sono stati sproporzionatamente piccoli rispetto ai massicci spostamenti nella dipendenza SF indotti dalla manipolazione.
• Pregiudizio Combinato: Predisporre i modelli verso entrambi il Canale Umano e le LSF simultaneamente ha comunque portato a una robustezza peggiore rispetto alla baseline, indicando che l'effetto dannoso del pregiudizio verso il Canale Umano non è stato compensato dai guadagni delle LSF.
• Necessità: La perturbazione del Canale Umano ha ridotto la robustezza, ma la perturbazione della LSF Estrema ha causato un calo maggiore, suggerendo che il Canale Umano non è unicamente necessario per la robustezza.

3. Geometria Rappresentazionale

I modelli con pregiudizio SF non sono riusciti a replicare la geometria rappresentazionale del cervello umano.

• Mentre i modelli NG hanno mostrato aumenti significativi nella similarità con le rappresentazioni neurali umane (V1, V4, TO), i modelli con pregiudizio SF hanno mostrato poco o nessun aumento nella similarità rispetto alla baseline.
• Anche la condizione "Canale Combinato", che imitava il profilo di dipendenza SF dei modelli NG, non è riuscita a migliorare la similarità rappresentazionale.

Contributi Chiave

1. Dissociazione tra Correlazione e Causalità: Lo studio dimostra che, sebbene una maggiore dipendenza dal Canale Umano e dalle LSF correli con la robustezza nei modelli guidati neuralmente, forzare esplicitamente questi pregiudizi è insufficiente per generare robustezza. In effetti, forzare un pregiudizio verso il Canale Umano è attivamente dannoso.
2. Smentita del Meccanismo del "Canale Umano": Lo studio smentisce l'ipotesi secondo cui la robustezza dei modelli NG sia guidata dalla preservazione del canale umano a frequenza media.
3. Ruolo Limitato delle LSF: Sebbene il pregiudizio verso le LSF offra piccoli guadagni di robustezza, non può spiegare l'entità dei miglioramenti osservati nei modelli NG, né induce una geometria rappresentazionale simile a quella umana.
4. Ipotesi di Proprietà Emergente: Gli autori propongono che l'alterata dipendenza SF sia una proprietà emergente dell'apprendimento di rappresentazioni più simili all'uomo, piuttosto che il meccanismo causale primario della robustezza.

Significato e Affermazioni

Lo studio conclude che la robustezza adversarial conferita dalla guida neurale non è guidata principalmente da un semplice spostamento nella dipendenza dalla frequenza spaziale (né dalle LSF né dal Canale Umano). Invece, gli autori sostengono che la robustezza probabilmente deriva da più ampie riconfigurazioni geometriche dello spazio rappresentazionale (ad esempio, lo "srotolamento" dei manifold degli oggetti) che portano naturalmente ai pregiudizi spettrali osservati come conseguenza secondaria.

Gli autori mantengono una posizione modesta, notando che, sebbene il pregiudizio SF sia una proprietà parziale delle rappresentazioni simili al cervello, non è il meccanismo computazionale primario. Suggeriscono che la ricerca futura dovrebbe concentrarsi sulla caratterizzazione delle specifiche trasformazioni geometriche nello spazio rappresentazionale che conferiscono robustezza, piuttosto che focalizzarsi esclusivamente sulle caratteristiche spettrali. Riconoscono inoltre le limitazioni riguardanti l'uso di aumento dei dati a livello di popolazione rispetto ai profili di sintonizzazione diversificati dei singoli neuroni nei sistemi biologici.