Technische Samenvatting: FOVI – Een biologisch geïnspireerde foveale interface voor diepe visiemodellen

1. Probleemstelling

Het verwerken van visuele gegevens op de oorspronkelijke hoge resoluties brengt ernstige computationele uitdagingen met zich mee voor deep learning-modellen. Hoewel standaard computer vision vaak vertrouwt op inputs met een lage resolutie (bijv. 224x224), vereisen veel real-world toepassingen—zoals humanoïde robotica, autonoom rijden en brede scèneverwerking—gevoeligheid voor grote gezichtsvelden (FOV) bij hoge resoluties.

Voor transformer-gebaseerde architecturen (ViTs) die gebruikmaken van self-attention, brengt het verhogen van de beeldresolutie dubbel kwadratische kosten met zich mee:

1. Pixelaantal: Het aantal pixels neemt kwadratisch toe met de zijlengte.
2. Attention-complexiteit: Het self-attention mechanisme schaalt kwadratisch met het aantal patches ($O(N^2)$), aangezien elke patch naar alle andere patches kijkt.

Bestaande oplossingen vereenvoudigen het probleem vaak door downsampling, wat kritieke hoogfrequente details weggooit. Daartegenover staan eerdere pogingen tot foveale sensing (log-polaire modellen of gewarpte Cartesiaanse benaderingen) die vaak resulteren in lokaal anisotrope bemonsteringspatronen, wat leidt tot biologisch niet-plausibele receptieve veldsvormen en ongewenste vervorming. Er is een gebrek aan een algemeen bruikbare, biologisch plausibele foveale interface die kan worden toegepast op diverse architecturen (CNNs en ViTs) terwijl een efficiënte, isotrope bemonstering behouden blijft.

2. Methodologie

De auteurs stellen FOVI (Foveated Vision Interface) voor, een systeem geïnspireerd door het menselijke netvlies en de primaire visuele cortex (V1). De kerninnovatie is het herformatteren van een variabele-resolutie, netvlies-achtige sensorarray naar een uniform dicht, V1-achtig sensor-manifold.

2.1. Het Sensor-manifold en de Bemonstering

FOVI maakt gebruik van het wiskundige model van retino-corticale mapping (Rovamo & Virsu, 1984).

• Corticale Magnificatie Functie (CMF): De bemonsteringsdichtheid wordt bepaald door $M(r) = \frac{1}{r+a}$, waarbij $r$ de eccentriciteit is en $a$ een parameter die de sterkte van de foveatie controleert. Naarmate $a \to \infty$, wordt de bemonstering uniform; kleinere $a$-waarden duiden op sterkere foveatie.
• Isotrope Bemonstering: Het systeem integreert de CMF om een "corticale" dimensie af te leiden. Vervolgens bemonstert het deze dimensie uniform en berekent het de corresponderende retinale radii. Angulaire samples worden bepaald om lokale isotropie af te dwingen (waarbij de afstand tussen naburige hoeken gelijk is aan de afstand tussen naburige radii op elk punt).
• Manifold Representatie: De resulterende punten vormen een 3D sensor-manifold. Door dit manifold langs de verticale meridiaan door te snijden en af te vlakken, creëert het systeem een 2D-representatie die de retinotopische organisatie van menselijke V1-hemisferen weerspiegelt.

2.2. kNN-convolutie en Kernel Mapping

Om standaard convolutionele operaties op dit niet-uniforme manifold uit te voeren, introduceren de auteurs kNN-convolutie:

• Receptieve Velden: Gedefinieerd als $k$-nearest-neighborhoods (kNNs) rond output-units op het sensor-manifold.
• Kernel Mapping: Een nieuwe techniek die een geleerd referentie-kernel (getraind op een standaard Cartesiaans rooster) naar elk kNN-neighborhood mapt.
  • Stap 1: Definieer polaire neighborhood-coördinaten relatief aan de output-unit.
  • Stap 2: Transformeer deze naar Cartesiaanse coördinaten om uit te lijnen met het frame van de referentie-kernel.
  • Stap 3: Sample de referentie-kernel ruimtelijk met behulp van deze coördinaten.
• Resolutie: De referentie-kernel kan worden ingesteld op een hogere resolutie ($s = 2\sqrt{k}$) dan de grootte van de neighborhood om de idiosyncratische ruimtelijke posities beter te accommoderen, wat fungeert als een anti-aliasing mechanisme.

2.3. Architecturale Implementaties

Het artikel demonstreert twee verschillende implementaties:

1. FOVI-CNNs: Een hiërarchische architectuur (AlexNet-achtig) waarbij het activatie-map van elke laag een sensor-manifold is. Downsampling wordt uitgevoerd via max-pooling, en kNNs worden gedefinieerd voor de volgende laag.
2. FOVI-ViTs: Een foveale adaptatie van het DINOv3 foundation model.
   • Patchification: Patches worden gedefinieerd als kNNs over de sensor-array.
   • Adaptatie: Het vooraf getrainde DINOv3-model wordt aangepast met behulp van Low-Rank Adaptation (LoRA) toegepast op de patch embedding-laag en de eerste helft van de transformer-lagen. Dit stelt het model in staat om de nieuwe sensor-interface te integreren terwijl de vooraf getrainde visuele kenmerken behouden blijven en overfitting wordt geminimaliseerd.

3. Belangrijkste Bijdragen

1. FOVI Interface: Een nieuwe foveale visie-interface die de visuele ruimte bemonstert volgens een retino-corticale mapping-model, wat een uniform dicht sensor-manifold oplevert.
2. kNN-convolutie: Een nieuw convolutioneel mechanisme met kernel mapping dat standaard deep learning-operaties (weight sharing, oriëntatie-uitlijning) mogelijk maakt op foveale, niet-Euclidische inputs.
3. Biologische Plausibiliteit: De architectuur produceert van nature receptieve velden (RFs) die lineair schalen met de eccentriciteit, wat overeenkomt met de ruimtelijke kenmerken van primaten neurale RFs (in tegenstelling tot log-polaire of gewarpte Cartesiaanse methoden die anisotrope RFs produceren).
4. Foundation Model Adaptatie: Een succesvol protocol voor het aanpassen van grootschalige vooraf getrainde ViTs (DINOv3) aan foveale inputs met behulp van LoRA, waarbij een hoge prestatie wordt behaald met een verminderd computationeel budget.

4. Resultaten

4.1. FOVI-CNN Prestaties

• Receptieve Veld Eigenschappen: Het model vertoont RF-groottes die lineair toenemen met de eccentriciteit, wat overeenkomt met menselijke V1-V3 data. Deze afhankelijkheid verdwijnt in niet-foveale varianten.
• Classificatie Nauwkeurigheid: Op ImageNet-1K presteerden modellen met intermediaire foveatie ($a=0.5$) beter dan zowel sterke foveatie als niet-foveale (uniforme) controles wanneer ze beperkt waren tot een "pixelbudget" (het samplen van 64x64 pixels uit een 256x256 afbeelding).
• Fixatie Strategie: De prestaties verbeteren significant met het aantal fixaties, waarbij verzadiging optreedt rond de 20 fixaties.

4.2. FOVI-ViT Prestaties

• Efficiëntie vs. Nauwkeurigheid: De FOVI-ViT-H+ variant (gebruikmakend van 64 patches, ~1/16e van de pixels van een 224x224 uniforme baseline) behaalde 84% top-1 nauwkeurigheid op ImageNet-1K met een enkele fixatie. Dit vertegenwoordigt >96% van de nauwkeurigheid van de volledige resolutie ViT-H+ baseline, terwijl ongeveer 1/3 van de GFLOPS wordt gebruikt.
• Vergelijking met Baselines: FOVI-modellen presteerden significant beter dan:
  • Uniform downsampling naar 64x64.
  • "Zwakke" FOVI (nabij-uniforme bemonstering).
  • Log-polaire foveale modellen (die worstelden met distributieverschuivingen door pre-training).
• Schaalbaarheid: Analyse toont aan dat terwijl niet-attention operaties ongeveer kwadratisch schalen ($O(m^{1.76})$), attention operaties schalen als $O(m^4)$. FOVI mitigeert de $O(m^4)$ bottleneck effectief door de effectieve sequentielengte voor hoge-resolutie inputs te reduceren.

5. Betekenis en Claims

Het artikel claimt dat FOVI een algemeen bruikbare, biologisch plausibele oplossing biedt voor de computationele bottleneck van hoge-resolutie visie.

• Efficiëntie: Het opent paden voor efficiënte actieve sensing in hoge-resolutie, egocentrische visietaken (bijv. robotica, autonoom rijden) door het aantal pixels en de computationele kosten drastisch te verminderen zonder prestatieverlies.
• Flexibiliteit: In tegen tegenstelling tot eerdere methoden die beperkt zijn tot specifieke architecturen of lijden onder anisotrope artefacten, kan FOVI worden geïntegreerd in zowel CNNs als Transformers (inclusclusief foundation models).
• Biologische Getrouwheid: Het is de eerste benadering die de lokaal isotrope en eccentriciteit-afhankelijke aard van menselijke foveale visie accuraat modelleert op een manier die compatibel is met end-to-end deep learning.
• Toekomstig Potentieel: De auteurs suggereren dat FOVI bijzonder waardevol is voor scenario's die hoge-resolutie verwerking vereisen waar computationele beperkingen kritiek zijn, evenals voor computationele modellering van menselijke perifere visie fenomenen (bijv. crowding, saccade guidance).

De auteurs blijven bescheiden en merken beperkingen op, zoals de computationele overhead van kNN-convolutie vergeleken met standaard 2D-convolutie en het feit dat de huidige evaluatie beperkt is tot beeldclassificatie in plaats van detectie of segmentatie. Ze benadrukken dat de primaire bijdrage het ontwerp van de interface en de integratiemechanisme is.