Do vision models perceive illusory motion in static images like humans?

Titolo: I modelli di visione percepiscono il movimento illusorio nelle immagini statiche come gli esseri umani?

1. Il Problema

La comprensione dell'elaborazione del movimento umano è fondamentale per lo sviluppo di sistemi di visione artificiale affidabili e centrati sull'uomo. Sebbene le reti neurali profonde (DNN) per la stima del flusso ottico abbiano raggiunto prestazioni superiori a quelle umane su molti benchmark standard, mostrano limiti significativi in termini di robustezza e strategie computazionali. In particolare, i modelli attuali faticano a gestire condizioni sperimentali che gli esseri umani affrontano con facilità, come le occlusioni, i grandi spostamenti e i movimenti non rigidi.
Un punto critico di divergenza è la capacità di percepire movimenti illusori in immagini statiche (es. l'illusione dei "Rotating Snakes"). Questi fenomeni dipendono da asimmetrie sottili di luminanza e dai movimenti oculari fissi (microsaccadi). Mentre alcuni modelli recenti basati su principi neuroscientifici riescono a replicare illusioni dinamiche (come il reverse-phi), non è chiaro se le moderne architetture DNN possano percepire il movimento illusorio in immagini statiche quando sottoposte a condizioni di visione simulate.

2. Metodologia

Gli autori hanno adottato un approccio di psicofisica in silico per valutare sistematicamente la corrispondenza tra modelli profondi e percezione umana del movimento.

• Dataset e Stimoli:
  • Rotating Snakes: L'illusione principale studiata, caratterizzata da anelli concentrici con gradienti di luminanza asimmetrici che inducono una percezione di rotazione (solitamente antioraria). Sono state generate varianti in scala di grigi, blu-giallo e rosso-verde, oltre a immagini di controllo (con sequenze di luminanza permutate per eliminare l'illusione).
  • Altre Illusioni: Sono state incluse illusioni di deriva periferica, deriva centrale e l'illusione di Ouchi.
• Condizioni di Visione Simulate:
  Poiché l'illusione dipende dai movimenti oculari, i modelli sono stati testati su sequenze di frame simulanti quattro condizioni:
  1. Statico: Frame identici nel tempo.
  2. Inizio stimolo (Onset): Transizione da campo bianco all'immagine.
  3. Microsaccadi: Spostamenti retinici piccoli (<1°).
  4. Saccadi: Spostamenti più grandi (1-8°).
• Suite di Modelli:
  Sono stati valutati 10 modelli rappresentativi divisi in tre categorie:
  • Architetture multi-scala (es. PWC-Net, RAFT).
  • Architetture ricorrenti (es. RAFT, FlowDiffuser).
  • Architetture bio-ispirate (es. FFV1MT, DorsalNet, ME-Attention, Dual).
• Metriche di Valutazione:
  Per quantificare l'allineamento con la percezione umana, è stato creato un campo di flusso ottico "target" che simula la rotazione rigida percepita dall'uomo. La metrica principale è la correlazione normalizzata tra il flusso previsto dal modello e il flusso target, focalizzandosi sulla coerenza direzionale piuttosto che sulla magnitudine esatta.

3. Contributi Chiave

1. Valutazione Completa: È stata condotta una valutazione estesa di modelli DNN e bio-ispirati sulla capacità di replicare il movimento illusorio in immagini statiche, con un focus specifico sull'illusione dei Rotating Snakes.
2. Pipeline Sperimentale Unificata: È stato proposto un benchmark che integra condizioni di visione controllate (simulazione di microsaccadi) e metriche quantitative per confrontare modelli e percezione umana.
3. Analisi di Ablazione e Probing: Gli autori hanno identificato i componenti computazionali specifici necessari per la replicazione dell'illusione, dimostrando che non è sufficiente un singolo tipo di elaborazione.

4. Risultati Principali

• Fallimento dei Modelli Convenzionali: La maggior parte dei modelli basati su DNN (PWC-Net, RAFT, FlowDiffuser, ecc.) non riesce a generare campi di flusso coerenti con la percezione umana. Sotto condizioni statiche o di inizio stimolo, producono poco flusso o flussi dominati dalla direzione dello spostamento imposto, senza cogliere la rotazione illusoria.
• Il Ruolo Critico delle Microsaccadi: Solo simulando movimenti oculari (microsaccadi) emerge un comportamento simile a quello umano, ma solo in modelli specifici.
• Successo Parziale del Modello "Dual":
  • Il modello Dual (un'architettura bio-ispirata che combina canali di movimento del primo e del secondo ordine con integrazione ricorrente) è l'unico a mostrare una correlazione positiva significativa con la percezione umana, specialmente nelle varianti in scala di grigi e blu-giallo sotto condizioni di microsaccadi.
  • Tuttavia, anche il modello Dual non replica perfettamente la rotazione continua e coerente degli umani; il flusso è parzialmente coerente ma frammentario.
  • Per la variante rosso-verde, il modello Dual mostra spesso correlazioni negative (rotazione opposta), suggerendo una sensibilità complessa alle asimmetrie cromatiche.
• Analisi di Ablazione:
  • Dualità dei Canali: La rimozione del canale di ordine superiore (second-order) o del canale di primo ordine riduce drasticamente la corrispondenza con l'illusione. Entrambi sono necessari.
  • Integrazione Ricorrente: L'attenzione ricorrente è cruciale per integrare i segnali locali in una percezione globale coerente.
  • Dati di Addestramento: L'addestramento su dati specifici (movimento di oggetti non testurizzati e non diffusi) è essenziale per sviluppare la percezione del movimento di ordine superiore necessaria per queste illusioni.
• Altre Illusioni: Per l'illusione di Ouchi, sia Dual che ME-Attention riescono a segmentare figura e sfondo, suggerendo che alcune illusioni possono essere spiegate da meccanismi di primo ordine, mentre Rotating Snakes richiede elaborazione di ordine superiore.

5. Significato e Implicazioni

• Divario tra AI e Biologia: I risultati evidenziano un divario sostanziale tra i modelli di flusso ottico attuali e l'elaborazione visiva umana. Le architetture standard, basate sul tracciamento di spostamenti pixel-per-pixel, non catturano i meccanismi neurobiologici alla base delle illusioni.
• Importanza della Fisiologia Oculare: Lo studio dimostra che ignorare i movimenti oculari (microsaccadi) e le statistiche della visione periferica rende i modelli incapaci di replicare fenomeni percettivi fondamentali.
• Prospettive Future: Per sviluppare sistemi di visione artificiale più robusti e "umanocentrici", è necessario integrare:
  1. Meccanismi di movimento di primo e secondo ordine (dual-channel).
  2. Integrazione ricorrente temporale.
  3. Simulazione realistica dei movimenti oculari e della visione periferica durante l'addestramento e l'inferenza.
  4. Dataset di addestramento che includano scenari complessi e non testurizzati.

In sintesi, il paper conclude che, sebbene i modelli moderni siano potenti, mancano delle componenti computazionali specifiche (dualità dei canali, ricorrenza, simulazione oculomotoria) necessarie per percepire il mondo visivo come fanno gli esseri umani, specialmente in contesti ambigui o illusori.