Résumé Technique : FOVI – Une Interface Fovéale Biologiquement Inspirée pour les Modèles de Vision Profonde

1. Énoncé du Problème

Le traitement de données visuelles à des résolutions natives élevées présente des défis computationnels sévères pour les modèles d'apprentissage profond. Bien que la vision par ordinateur standard repose souvent sur des entrées à basse résolution (par exemple, 224x224), de nombreuses applications du monde réel — telles que la robotique humanoïde, la conduite autonome et le traitement de scènes étendues — nécessitent une sensibilité aux champs de vision (FOV) larges à haute résolution.

Pour les architectures basées sur les transformeurs (ViT) utilisant l'auto-attention, l'augmentation de la résolution d'image impose des coûts doublement quadratiques :

1. Nombre de Pixels : Le nombre de pixels augmente de manière quadratique avec la longueur du côté.
2. Complexité de l'Attention : Le mécanisme d'auto-attention passe à une échelle quadratique par rapport au nombre de patches ($O(N^2)$), car chaque patch est attentif à tous les autres.

Les solutions existantes simplifient souvent le problème par un sous-échantillonnage, ce qui élimine les détails critiques à haute fréquence. Inversement, les tentatives antérieures de détection fovéale (modèles log-polaires ou approches cartésiennes déformées) entraînent souvent un échantillonnage localement anisotrope, produisant des formes de champs récepteurs non biologiquement plausibles et des déformations indésirables. Il existe un manque d'interface fovéale généraliste et biologiquement plausible pouvant être adoptée par diverses architectures (CNN et ViT) tout en maintenant un échantillonnage isotrope efficace.

2. Méthodologie

Les auteurs proposent FOVI (Foveated Vision Interface), un système inspiré par la rétine humaine et le cortex visuel primaire (V1). L'innovation centrale consiste à reformater un réseau de capteurs à résolution variable, de type rétinien, en un collecteur de capteurs de type V1, à densité uniforme.

2.1. Le Collecteur de Capteurs et l'Échantillonnage

FOVI utilise le modèle mathématique de la cartographie rétino-corticale (Rovamo & Virsu, 1984).

• Fonction de Magnification Corticale (CMF) : La densité d'échantillonnage est déterminée par $M(r) = \frac{1}{r+a}$, où $r$ est l'excentricité et $a$ est un paramètre contrôlant la force de la fovéation. Lorsque $a \to \infty$, l'échantillonnage devient uniforme ; des valeurs de $a$ plus petites indiquent une fovéation plus forte.
• Échantillonnage Isotrope : Le système intègre la CMF pour dériver une dimension « corticale ». Il échantillonne ensuite cette dimension de manière uniforme et calcule les rayons rétiniens correspondants. Les échantillons angulaires sont déterminés pour assurer une isotropie locale (garantissant que la distance entre les angles voisins est égale à la distance entre les rayons voisins en tout point).
• Représentation du Collecteur : Ces points forment un collecteur de capteurs en 3D. En coupant ce collecteur le long du méridien vertical et en l'aplatissant, le système crée une représentation 2D qui reflète l'organisation topotopique des hémisphères de la V1 humaine.

2.2. Convolution kNN et Cartographie de Noyau

Pour effectuer des opérations de convolution standard sur ce collecteur non uniforme, les auteurs introduisent la convolution kNN :

• Champs Récepteurs : Définis comme des voisinages de $k$-plus proches voisins (kNN) autour des unités de sortie sur le collecteur de capteurs.
• Cartographie de Noyau (Kernel Mapping) : Une technique novatrice qui projette un noyau de référence appris (entraîné sur une grille cartésienne standard) dans chaque voisinage kNN.
  • Étape 1 : Définir les coordonnées du voisinage polaire par rapport à l'unité de sortie.
  • Étape 2 : Transformer ces coordonnées en coordonnées cartésiennes pour s'aligner avec le référentiel du noyau de référence.
  • Étape 3 : Échantillonner spatialement le noyau de référence en utilisant ces coordonnées.
• Résolution : Le noyau de référence peut être défini à une résolution plus élevée ($s = 2\sqrt{k}$) que la taille du voisinage pour mieux accommoder les positions spatiales idiosyncrasiques, agissant ainsi comme un mécanisme d'anti-crénelage (anti-aliasing).

2.3. Implémentations Architecturales

Le papier démontre deux implémentations distinctes :

1. FOVI-CNNs : Une architecture hiérarchique (de type AlexNet) où la carte d'activation de chaque couche est un collecteur de capteurs. Le sous-échantillonnage est effectué via le max-pooling, et les kNN sont définis pour la couche suivante.
2. FOVI-ViTs : Une adaptation fovéale du modèle de fondation DINOv3.
   • Patchification : Les patches sont définis comme des kNN sur le réseau de capteurs.
   • Adaptation : Le modèle DINOv3 pré-entraîné est adapté en utilisant l'adaptation de bas rang (LoRA) appliquée à la couche d'embedding des patches et à la première moitié des couches du transformeur. Cela permet au modèle d'intégrer cette nouvelle interface de capteurs tout en conservant les caractéristiques visuelles pré-entraînées et en minimisant le surapprentissage.

3. Contributions Clés

1. Interface FOVI : Une nouvelle interface de vision fovéale qui échantillonne l'espace visuel selon un modèle de cartographie rétino-corticale, produisant un collecteur de capteurs à densité uniforme.
2. Convolution kNN : Un nouveau mécanisme de convolution avec cartographie de noyau qui permet des opérations d'apprentissage profond standard (partage de poids, alignement d'orientation) sur des entrées fovéales non euclidiennes.
3. Plausibilité Biologique : L'architecture produit naturellement des champs récepteurs (RF) dont la taille augmente linéairement avec l'excentricité, correspondant aux caractéristiques spatiales des neurones V1 des primates (contrairement aux méthodes log-polaires ou cartésiennes déformées qui produisent des RF anisotropes).
4. Adaptation de Modèle de Fondation : Un protocole réussi pour adapter les ViT pré-entraînés à grande échelle (DINOv3) à des entrées fovéales en utilisant LoRA, atteignant des performances élevées avec des budgets de calcul réduits.

4. Résultats

4.1. Performance FOVI-CNN

• Propriétés des Champs Récepteurs : Le modèle présente des tailles de RF qui augmentent linéairement avec l'excentricité, correspondant aux données humaines V1-V3. Cette dépendance est abolie dans les variantes non fovéales.
• Précision de Classification : Sur ImageNet-1K, les modèles avec une fovéation intermédiaire ($a=0.5$) ont surpassé les contrôles à fovéation forte et non-fovéaux (échantillonnage uniforme) lorsqu'ils étaient contraints à un « budget de pixels » limité (échantillonnant 64x64 pixels à partir d'une image de 256x256).
• Stratégie de Fixation : La performance s'améliore significativement avec le nombre de fixations, plafonnant autour de 20 fixations.

4.2. Performance FOVI-ViT

• Efficacité vs Précision : La variante FOVI-ViT-H+ (utilisant 64 patches, soit environ 1/16ème des pixels d'une base uniforme de 224x224) a atteint une précision top-1 de 84 % sur ImageNet-1K avec une seule fixation. Cela représente plus de 96 % de la précision de la ligne de base ViT-H+ à pleine résolution, tout en utilisant environ 1/3 des GFLOPS.
• Comparaison aux Baselines : Les modèles FOVI ont nettement surpassé :
  • Le sous-échantillonnage uniforme à 64x64.
  • La « faible » FOVI (échantillonnage quasi-uniforme).
  • Les modèles fovéaux log-polaires (qui ont peiné en raison des décalages de distribution par rapport au pré-entraînement).
• Scalabilité : L'analyse montre que si les opérations de non-attention passent à l'échelle de façon approximativement quadratique ($O(m^{1.76})$), les opérations d'attention passent à l'échelle en $O(m^4)$. FOVI atténue efficacement le goulot d'étranglement $O(m^4)$ en réduisant la longueur effective de la séquence pour les entrées à haute résolution.

5. Signification et Revendications

L'article affirme que FOVI fournit une solution généraliste et biologiquement plausible au goulot d'étranglement computationnel de la vision à haute résolution.

• Efficacité : Elle ouvre des voies pour une détection active efficace dans les tâches de vision égocentrée à haute résolution (ex: robotique, conduite autonome) en réduisant drastiquement le nombre de pixels et le coût de calcul sans sacrifier la performance.
• Flexibilité : Contrairement aux méthodes précédentes limitées à des architectures spécifiques ou souffrant d'artefacts anisotropes, FOVI peut être intégrée aussi bien dans les CNN que dans les Transformeurs (y compris les modèles de fondation).
• Fidélité Biologique : C'est la première approche qui modélise avec précision la nature localement isotrope et dépendante de l'excentricité de la fovéation humaine d'une manière compatible avec l'apprentissage profond de bout en bout.
• Potentiel Futur : Les auteurs suggèrent que FOVI est particulièrement précieuse pour les scénarios exigeant un traitement à haute résolution où les contraintes de calcul sont critiques, ainsi que pour la modélisation computationnelle des phénomènes de la vision périphérique humaine (ex: encombrement/crowding, guidage des saccades).

Les auteurs restent modestes, notant des limites telles que le surcoût computationnel de la convolution kNN par rapport à la convolution 2D standard et le fait que l'évaluation actuelle est limitée à la classification d'images plutôt qu'à la détection ou la segmentation. Ils soulignent que la contribution principale est la conception de l'interface et son mécanisme d'intégration.