Stretching Beyond the Obvious: A Gradient-Free Framework to Unveil the Hidden Landscape of Visual Invariance

Il paper introduce Stretch-and-Squeeze (SnS), un framework privo di gradienti che, formulando le trasformazioni come problemi di ottimizzazione bi-obiettivo, rivela sistematicamente lo spettro nascosto di invarianze e vulnerabilità avversarie nei sistemi visivi biologici e artificiali, dimostrando come le trasformazioni invarianti ottimali varino a seconda del livello della rappresentazione e influenzino diversamente l'interpretabilità umana a seconda dell'architettura del modello.

L'essenziale

Immagina di avere un cervello digitale (una rete neurale artificiale) che guarda le immagini. Il suo compito è riconoscere gli oggetti: "Quello è un gatto", "Quello è una tazza". Ma come fa? Cosa vede esattamente?

Fino a poco tempo fa, gli scienziati cercavano di capire questo "cervello" chiedendogli: "Qual è l'immagine perfetta che ti fa dire 'tazza'?". Rispondevano con un'immagine strana, quasi un'astrazione, che attivava al massimo quel neurone. Era come chiedere a un musicista: "Qual è la nota perfetta che ti fa emozionare?".

Il problema è che questa domanda è troppo limitata. Un vero sistema visivo (sia umano che artificiale) non si blocca su una sola nota perfetta. Se vedi una tazza di lato, rovesciata, o con un'ombra diversa, la riconosci lo stesso. Questa capacità di riconoscere l'oggetto anche quando cambia è chiamata invarianza.

Il Nuovo Metodo: "Stretch-and-Squeeze" (Allunga e Stringi)

Gli autori di questo studio hanno creato un nuovo strumento chiamato SnS (Stretch-and-Squeeze). Immaginalo come un giocattolo di gomma magico o un pallone elastico.

Ecco come funziona, usando una metafora culinaria:

Immagina di avere una ricetta perfetta per una torta (l'immagine di riferimento che il cervello digitale ama).

1. L'obiettivo: Vuoi scoprire fino a che punto puoi modificare gli ingredienti (cambiare la ricetta) senza che il sapore della torta cambi (il cervello continui a dire "è una torta").
2. L'azione "Stretch" (Allunga): Prendi la ricetta e inizia a cambiare gli ingredienti in modo esagerato. Aggiungi chili di zucchero, togli le uova, cambia la farina.
3. L'azione "Squeeze" (Stringi): Mentre fai queste modifiche folli, devi assicurarti che il risultato finale sia ancora una torta perfetta per il tuo cervello digitale. Se il sapore cambia troppo, hai fallito.

Il metodo SnS fa esattamente questo: prende un'immagine, la "stira" e la "deforma" in modi incredibili (cambiando luci, texture, pose), ma stringe la trasformazione fino a quando l'immagine deformata fa ancora scattare lo stesso identico segnale nel cervello digitale.

Cosa hanno scoperto?

Usando questo metodo su computer molto potenti (come ResNet50), hanno fatto scoperte affascinanti:

1. Non è solo una rotazione: Pensavamo che il cervello digitale fosse invariante solo a cose semplici come ruotare un oggetto o spostarlo. Invece, SnS ha scoperto che questi computer possono tollerare cambiamenti molto più strani e profondi di quanto pensassimo. Possono riconoscere un oggetto anche se ne cambiano completamente la texture o la posizione in modo molto radicale.
2. Il livello conta:
   • Se modifichi l'immagine all'inizio (livello basso), il computer tollera cambiamenti di luminosità e contrasto.
   • Se modifichi l'immagine a metà strada, tollera cambiamenti di texture (es. da liscio a ruvido).
   • Se modifichi l'immagine alla fine (livello alto), tollera cambiamenti di forma e posizione (es. una tazza vista di profilo).
3. I "Robusti" vs. I "Normali": Hanno confrontato due tipi di computer: quelli "normali" e quelli addestrati per essere robusti (cioè, che non si confondono facilmente con immagini modificate per ingannarli).
   • Sorprendentemente: I computer "robusti" sembrano più simili agli umani quando guardano le immagini base. Ma quando si tratta di riconoscere oggetti in situazioni molto deformate (livelli alti), i computer "robusti" diventano meno comprensibili per gli umani rispetto ai computer normali.
   • È come se i computer "robusti" avessero sviluppato un modo di vedere il mondo che è molto sicuro, ma che diventa un po' "alieno" quando le cose diventano troppo strane, mentre i computer normali diventano più simili a noi man mano che le cose si complicano.

Perché è importante?

Questo metodo è rivoluzionario per due motivi:

• Non serve la "ricetta" interna: Funziona anche se non hai accesso ai "cervelli" interni del computer (è "gradient-free"). È come poter capire come funziona un motore nero senza smontarlo, solo osservando come reagisce quando lo spingi e lo tiri.
• Per la scienza del cervello umano: Gli scienziati che studiano i neuroni degli animali (o umani) spesso possono registrare l'attività solo di pochi neuroni alla volta. SnS funziona anche con pochissimi neuroni a disposizione. Questo significa che potremo usare questo metodo per capire come funziona la vista nei nostri occhi e nei nostri cervelli, scoprendo quali trasformazioni del mondo reale il nostro cervello tollera per riconoscere gli oggetti.

In sintesi

Il paper ci dice che per capire come "vedono" le macchine (e noi), non basta guardare l'immagine perfetta che le eccita. Dobbiamo spingerle fino al limite, deformando le immagini in modi assurdi, per vedere fino a che punto il loro riconoscimento resiste. È come testare la solidità di un ponte non solo guardandolo, ma facendoci passare sopra camion pesanti, vento forte e terremoti per vedere quanto si piega prima di crollare.

Il risultato? Abbiamo scoperto che i computer "robusti" sono molto bravi, ma a volte il loro modo di vedere le cose è più strano di quanto pensassimo, e questo ci aiuta a costruire macchine che vedono il mondo più come noi.

Sommario tecnico

1. Il Problema

La comprensione di come i sistemi visivi (sia biologici che artificiali) trasformino le immagini in rappresentazioni che supportano il riconoscimento richiede di identificare quali combinazioni di caratteristiche siano codificate dalle unità visive.

• Limitazione degli approcci attuali: Le tecniche di visualizzazione delle caratteristiche esistenti si concentrano tipicamente sulla generazione delle "immagini più eccitanti" (MEI - Most Exciting Images) per un'unità specifica. Tuttavia, le MEI rivelano solo pochi istanti all'interno dell'insieme vasto di immagini che attivano fortemente un'unità.
• La lacuna: Questi metodi non riescono a rivelare il "manifold" (la varietà) delle trasformazioni sotto le quali la risposta di un'unità rimane invariata. Comprendere questa invarianza è cruciale per la generalizzazione nella visione. Inoltre, molti metodi esistenti richiedono gradienti e l'accesso completo ai pesi della rete, rendendoli inapplicabili a sistemi "black-box" o a esperimenti di neurofisiologia dove si registra solo una frazione dei neuroni.

2. Metodologia: Stretch-and-Squeeze (SnS)

Gli autori introducono SnS, un framework innovativo, model-agnostic (indipendente dal modello) e gradient-free (senza gradienti), progettato per caratterizzare sistematicamente gli stimoli massimamente invarianti e la vulnerabilità agli attacchi avversari.

Principi Fondamentali:
SnS formula la ricerca di queste trasformazioni come un problema di ottimizzazione bi-obbiettivo basato su due funzioni di perdita:

1. Stretch (Allungamento): Massimizzare la distanza (dissimilarità) della rappresentazione di uno stimolo di riferimento in uno specifico strato di elaborazione $\kappa$.
2. Squeeze (Compressione): Minimizzare la variazione nell'attivazione di un'unità target a valle (strato $\ell$), mantenendo la risposta stabile.

L'Algoritmo:

• Generatore: Utilizza un modello generativo pre-addestrato (una rete neurale profonda che mappa codici latenti a immagini RGB) per sintetizzare nuovi stimoli.
• Ottimizzatore: Impiega la strategia evolutiva CMA-ES (Covariance Matrix Adaptation Evolutionary Strategy) per ottimizzare i codici latenti senza calcolare gradienti.
• Obiettivi Duali:
  • Per l'Invarianza: Si cerca un'immagine che sia il più diversa possibile dal riferimento nello spazio di rappresentazione scelto (es. pixel, strato medio, strato profondo), ma che mantenga l'attivazione dell'unità target invariata.
  • Per gli Attacchi Avversari: Si inverte la logica: si massimizza la variazione nell'attivazione dell'unità target minimizzando i cambiamenti nello spazio di rappresentazione (creando perturbazioni impercettibili che ingannano la rete).
• Soluzione Pareto: L'algoritmo cerca soluzioni Pareto-ottimali, bilanciando i due obiettivi conflittuali.

Configurazioni Sperimentali:
Lo studio è stato condotto su ResNet50 (standard e addestrato per la robustezza $L_2$), ResNet18, VGG16 e Vision Transformers (ViT). Le rappresentazioni sono state "allungate" a tre livelli gerarchici:

1. Spazio dei pixel (basso livello).
2. Strato convoluzionale intermedio (medio livello).
3. Strato convoluzionale profondo (alto livello).

3. Contributi Chiave

1. Primo approccio senza gradienti per le varietà di invarianza: SnS è il primo metodo gradient-free in grado di inferire sistematicamente le varietà di invarianza delle unità visive, superando il limite della necessità di modelli "digital twin" perfetti.
2. Indipendenza dal modello: Essendo privo di gradienti, SnS può essere applicato a sistemi di elaborazione immagini "black-box", rendendolo direttamente applicabile alla neurofisiologia in vivo.
3. Robustezza al campionamento: Il metodo è stato dimostrato efficace anche quando si utilizza solo una piccola frazione delle unità di uno strato nascosto (simulando registrazioni neurali sparse), un requisito fondamentale per le applicazioni biologiche.
4. Nuova lente sull'addestramento avversario: Fornisce una caratterizzazione più granulare di come l'addestramento per la robustezza ($L_2$) influenzi l'interpretabilità delle invarianze rispetto ai modelli standard.

4. Risultati Principali

A. Generazione di Invarianze e Attacchi Efficaci

• SnS ha generato immagini invarianti che si discostavano significativamente dalle MEI di riferimento nello spazio dei pixel (distanza $L_2$ molto superiore alle trasformazioni affini standard), pur mantenendo l'attivazione dell'unità target quasi invariata.
• Le immagini generate sono state semanticamente rilevanti e non rumore casuale.

B. Invarianze Specifiche per Strato (Gerarchia)
L'analisi qualitativa e quantitativa (PCA e stima della dimensione intrinseca) ha rivelato che il tipo di invarianza scoperta dipende dallo strato in cui avviene l'"allungamento":

• Pixel (Basso livello): Le variazioni riguardano principalmente luminosità e contrasto.
• Strato Medio: Le variazioni riguardano principalmente texture e colore.
• Strato Profondo: Le variazioni riguardano pose, punti di vista e istanze multiple di oggetti.
  Questo dimostra che l'invarianza è costruita gerarchicamente: man mano che si sale nella rete, l'unità diventa insensibile a combinazioni di caratteristiche visive sempre più complesse.

C. Allineamento con la Percezione Umana e Reti Osservatrici
Un risultato cruciale riguarda il confronto tra reti Standard e Robuste ($L_2$):

• Trend Opposti: Esiste una divergenza fondamentale nell'interpretabilità delle immagini invarianti generate da SnS.
  • Reti Robuste: Le invarianze generate allungando rappresentazioni a basso livello (pixel) sono altamente interpretabili dagli umani. Tuttavia, l'interpretabilità diminuisce drasticamente quando si allungano rappresentazioni a strati profondi.
  • Reti Standard: L'interpretabilità è bassa per le invarianze a basso livello, ma aumenta significativamente quando si allungano rappresentazioni a strati profondi.
• Implicazione: L'addestramento avversario ($L_2$) migliora l'allineamento con la visione umana a livello di pixel e per invarianze semplici, ma fallisce nel creare invarianze di alto livello interpretabili dall'uomo, rendendo le loro rappresentazioni profonde ancora più "idiosincratiche" rispetto alle reti standard.

D. Applicabilità ai Vision Transformers (ViT)
Applicando SnS ai ViT, si è osservato che le invarianze generate da strati medi e profondi sono molto simili tra loro e più interpretabili rispetto a quelle dello spazio dei pixel. Questo conferma che i ViT apprendono rappresentazioni meno strettamente gerarchiche e più globalmente integrate rispetto alle CNN.

5. Significato e Impatto

Il lavoro di Tausani et al. rappresenta un passo avanti significativo sia per l'intelligenza artificiale che per le neuroscienze:

• Per le Neuroscienze: SnS offre uno strumento potente per mappare le proprietà di sintonizzazione e le invarianze dei neuroni biologici senza bisogno di un modello computazionale perfetto della rete neurale biologica. La sua capacità di funzionare con registrazioni sparse lo rende ideale per esperimenti in vivo su primati o altri animali.
• Per l'IA e la Sicurezza: Dimostra che l'addestramento avversario, sebbene utile per la robustezza e l'allineamento a livello di pixel, non risolve necessariamente il problema dell'interpretabilità delle rappresentazioni di alto livello. Le reti robuste potrebbero ancora possedere "scorciatoie" o invarianze non umane a livelli profondi della rete.
• Metodologico: SnS supera i limiti delle tecniche basate sui gradienti e delle trasformazioni predefinite (come le affini), permettendo di esplorare gli assi di variazione reale che un sistema visivo ha imparato a tollerare, offrendo una mappa più fedele e completa del paesaggio delle invarianze visive.

In sintesi, SnS svela che la "robustezza" non è un concetto monolitico: le reti robuste e quelle standard costruiscono le loro invarianze in modi radicalmente diversi lungo la gerarchia visiva, con implicazioni profonde per la progettazione di modelli di visione artificiale più simili alla biologia.