Riepilogo Tecnico: FOVI – Un'interfaccia Foveata Ispirata alla Biologia per Modelli di Visione Profonda

1. Definizione del Problema

L'elaborazione di dati visivi ad alta risoluzione nativa presenta sfide computazionali severe per i modelli di deep learning. Sebbene la computer vision standard spesso si basi su input a bassa risoluzione (ad es., 224x224), molte applicazioni del mondo reale — come la robotica umanoidi, la guida autonoma e l'elaborazione di scene ampie — richiedono sensibilità a vasti campi visivi (FOV) ad alte risoluzioni.

Per le architetture basate su transformer (ViT) che utilizzano l'auto-attenzione, l'aumento della risoluzione dell'immagine impone costi doppiamente quadratici:

1. Conteggio dei Pixel: Il numero di pixel aumenta quadraticamente con la lunghezza del lato.
2. Complessità dell'Attenzione: Il meccanismo di auto-attenzione scala quadraticamente con il numero di patch ($O(N^2)$), poiché ogni patch presta attenzione a tutte le altre.

Le soluzioni esistenti spesso semplificano il problema tramite il downsampling, che però scarta dettagli critici ad alta frequenza. Al contrario, i tenti precedenti di sensing foveato (modelli log-polari o approcci cartesiani deformati) producono spesso un campionamento localmente anisotropo, generando forme di campo recettivo non biologicamente plausibili e deformazioni indesiderate. Manca un'interfaccia foveata general-purpose e biologicamente plausibile che possa essere adottata in diverse architetture (CNN e ViT) mantenendo al contempo un campionamento isotropo efficiente.

2. Metodologia

Gli autori propongono FOVI (Foveated Vision Interface), un sistema ispirato alla retina umana e alla corteccia visiva primaria (V1). L'innovazione principale è la riformattazione di un array di sensori a risoluzione variabile, simile alla retina, in un manifold di sensori simile alla V1, uniformemente denso.

2.1. Il Manifold del Sensore e il Campionamento

FOVI utilizza il modello matematico della mappatura retino-corticale (Rovamo & Virsu, 1984).

• Funzione di Magnificazione Corticale (CMF): La densità di campionamento è determinata da $M(r) = \frac{1}{r+a}$, dove $r$ è l'eccentricità e $a$ è un parametro che controlla la forza della foveazione. Man mano che $a \to \infty$, il campionamento diventa uniforme; valori di $a$ più piccoli indicano una foveazione più forte.
• Campionamento Isotropo: Il sistema integra la CMF per derivare una dimensione "corticale". Successivamente campiona questa dimensione in modo uniforme e calcola i raggi retinali corrispondenti. I campioni angolari sono determinati per imporre la isotropia locale (garantendo che la distanza tra angoli vicini sia uguale alla distanza tra raggi vicini in ogni punto).
• Rappresentazione del Manifold: I punti risultanti formano un manifold di sensori 3D. Tagliando questo manifold lungo il meridiano verticale e appiattendolo, il sistema crea una rappresentazione 2D che rispecchia l'organizzazione retinotopica degli emisferi della V1 umana.

2.2. Convoluzione kNN e Mappatura del Kernel

Per eseguire operazioni convoluzionali standard su questo manifold non uniforme, gli autori introducono la kNN-convoluzione:

• Campi Recettivi: Definiti come vicinati dei $k$-più prossimi (kNN) attorno alle unità di output sul manifold del sensore.
• Mappatura del Kernel: Una tecnica innovativa che mappa un kernel di riferimento appreso (addestrato su una griglia cartesiana standard) in ogni vicinato kNN.
  • Passaggio 1: Definire le coordinate del vicinato polare rispetto all'unità di output.
  • Passaggio 2: Trasformarle in coordinate cartesiane per allinearle al frame del kernel di riferimento.
  • Passaggio 3: Campionare spazialmente il kernel di riferimento utilizzando queste coordinate.
• Risoluzione: Il kernel di riferimento può essere impostato a una risoluzione superiore ($s = 2\sqrt{k}$) rispetto alla dimensione del vicinato per accomodare meglio le posizioni spaziali idiosincratiche, agendo come meccanismo di anti-aliasing.

2.3. Implementazioni Architetturali

Il paper dimostra due implementazioni distinte:

1. FOVI-CNNs: Un'architettura gerarchica (simile ad AlexNet) in cui la mappa di attivazione di ogni livello è un manifold di sensori. Il downsampling è eseguito tramite max-pooling, e i kNN sono definiti per lo strato successivo.
2. FOVI-ViTs: Un adattamento foveato del modello di fondazione DINOv3.
   • Patchificazione: Le patch sono definite come kNN su un array di sensori.
   • Adattamento: Il modello pre-addestrato DINOv3 viene adattato utilizzando la Low-Rank Adaptation (LoRA) applicata allo strato di embedding delle patch e alla prima metà degli strati del transformer. Ciò consente al modello di integrare il nuovo intervento sensoriale mantenendo le caratteristiche visive pre-addestrate e minimizzando l'overfitting.

3. Contributi Chiave

1. Interfaccia FOVI: Una nuova interfaccia di visione foveata che campiona lo spazio visivo secondo un modello di mappatura retino-corticale, producendo un manifold di sensori uniformemente denso.
2. kNN-Convoluzione: Un nuovo meccanismo convoluzionale con mappatura del kernel che consente operazioni di deep learning standard (condivisione dei pesi, allineamento dell'orientamento) su input foveati e non euclidei.
3. Plausibilità Biologica: L'architettura produce naturalmente campi recettivi (RF) che scalano linearmente con l'eccentricità, corrispondendo alle caratteristiche spaziali dei neuroni primati (a differenza dei metodi log-polari o cartesiani deformati che producono RF anisotropi).
4. Adattamento di Modelli di Fondazione: Un protocollo di successo per adattare grandi ViT pre-addestrati (DINOv3) a input foveati usando LoRA, ottenendo alte prestazioni con budget computazionali ridotti.

4. Risultati

4.1. Performance di FOVI-CNN

• Proprietà dei Campi Recettivi: Il modello mostra dimensioni di RF che aumentano linearmente con l'eccentricità, corrispondendo ai dati umani V1-V3. Questa dipendenza viene annullata nelle varianti non foveate.
• Accuratezza della Classificazione: Su ImageNet-1K, i modelli con foveazione intermedia ($a=0.5$) hanno superato sia la forte foveazione che i controlli non foveati (uniformi) quando vincolati a un "budget di pixel" limitato (campionando 64x64 pixel da un'immagine 256x256).
• Strategia di Fissazione: Le prestazioni migliorano significativamente con il numero di fissazioni, saturando intorno alle 20 fissazioni.

4.2. Performance di FOVI-ViT

• Efficienza vs Accuratezza: La variante FOVI-ViT-H+ (utilizzando 64 patch, circa 1/16 dei pixel di un baseline uniforme 224x224) ha raggiunto l'84% di accuratezza top-1 su ImageNet-1K con una singola fissazione. Ciò rappresenta >96% dell'accuratezza del baseline completo ViT-H+ pur utilizzando circa 1/3 dei GFLOPS.
• Confronto con i Baseline: I modelli FOVI hanno superato significativamente:
  • Il downsampling uniforme a 64x64.
  • Il "debole" FOVI (campionamento quasi uniforme).
  • I modelli foveati log-polari (che hanno faticato a causa dei shift di distribuzione dal pre-addestramento).
• Scalabilità: L'analisi mostra che mentre le operazioni non-attention scalano approssimativamente in modo quadratico ($O(m^{1.76})$), le operazioni di attenzione scalano come $O(m^4)$. FOVI mitiga efficacementamente il collo di bottiglia $O(m^4)$ riducendo la lunghezza effettiva della sequenza per input ad alta risoluzione.

5. Significato e Rivendicazioni

Il paper sostiene che FOVI fornisca una soluzione general-purpose e biologicamente plausibile al collo di bottiglia computazionale della visione ad alta risoluzione.

• Efficienza: Apre percorsi per un sensing attivo efficiente in compiti di visione egocentrica ad alta risoluzione (es. robotica, guida autonoma) riducendo drasticamente il numero di pixel e il costo computazionale senza sacrificare le prestazioni.
• Flessibilità: A differenza dei metodi precedenti limitati a specifiche architetture o soggetti ad artefatti anisotropi, FOVI può essere integrato sia in CNN che in Transformer (inclusi i modelli di fondazione).
• Fedeltà Biologica: È il primo approccio che modella accuratamente la natura localmente isotropa e dipendente dall'eccentricità della foveazione umana in modo compatibile con il deep learning end-to-end.
• Potenziale Futuro: Gli autori suggeriscono che FOVI sia particolarmente prezioso in scenari che richiedono l'elaborazione di alta risoluzione dove i vincoli computazionali sono critici, nonché per la modellazione computazionale di fenomeni della visione periferica umana (es. crowding, guida delle saccadi).

Gli autori rimangono modesti, notando limiti come l'overhead computazionale della convoluzione kNN rispetto alla standard convoluzione 2D e il fatto che la valutazione attuale sia limitata alla classificazione di immagini piuttosto che alla rilevazione o segmentazione. Essi sottolineano che il contributo primario è la progettazione dell'interfaccia e del suo meccanismo di integrazione.