🤖 AI

FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception

Le papier présente FishRoPE, un cadre léger qui adapte les modèles de vision fondationnels gelés à la géométrie des caméras fisheye grâce à une adaptation de faible rang et à un nouvel encodage de position rotatif projectif, permettant d'atteindre des performances de pointe en détection et segmentation sans réentraînement complet.

Auteurs originaux : Rahul Ahuja, Mudit Jain, Bala Murali Manoghar Sai Sudhakar, Venkatraman Narayanan, Pratik Likhar, Varun Ravi Kumar, Senthil Yogamani

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Rahul Ahuja, Mudit Jain, Bala Murali Manoghar Sai Sudhakar, Venkatraman Narayanan, Pratik Likhar, Varun Ravi Kumar, Senthil Yogamani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous conduisez une voiture autonome. Pour voir tout autour d'elle, les ingénieurs installent des caméras spéciales appelées caméras "œil de poisson". Elles sont incroyables car elles offrent une vue à 360 degrés, comme si vous aviez des yeux partout sur votre tête.

Mais il y a un gros problème : ces caméras déforment l'image. Les objets au centre semblent normaux, mais ceux sur les bords sont étirés et courbés, comme si on regardait à travers une loupe bizarre.

Les "cerveaux" actuels des voitures autonomes (les modèles d'IA) sont entraînés avec des caméras normales (rectilignes). Ils pensent que l'espace est une grille carrée parfaite. Quand on leur donne une image d'œil de poisson, ils sont perdus : ils ne comprennent pas que deux pixels très éloignés sur l'image peuvent en réalité être très proches dans la réalité, ou vice-versa. C'est comme essayer de lire une carte du monde en ignorant que la Terre est ronde.

Voici comment le papier FishRoPE résout ce casse-tête, expliqué simplement :

1. Le Problème : Un Mappage Tordu

Imaginez que vous dessinez une grille sur une balle de tennis (la caméra œil de poisson). Si vous essayez de lire cette grille comme si c'était une feuille de papier plate, tout est faux. Les carrés au centre sont normaux, mais ceux sur les bords sont écrasés et étirés.
Les anciennes méthodes essayaient de "redresser" l'image (comme lisser une peau de fruit) avant de la donner à l'IA. Mais cela gâche les détails et perd des informations importantes sur les bords.

2. La Solution : FishRoPE (Le "GPS Sphérique")

Les auteurs proposent une nouvelle méthode appelée FishRoPE. Au lieu de forcer l'image à devenir plate, ils changent la façon dont l'IA "pense" l'espace.

L'Analogie du Globe Terrestre :
Au lieu de dire "l'objet est à 10 pixels à droite et 5 pixels en bas" (comme sur une carte plate), FishRoPE dit : "L'objet est à 30 degrés de haut et 45 degrés de côté" (comme des coordonnées sur un globe).
C'est comme passer d'une carte routière plate à un GPS qui comprend que la Terre est ronde. L'IA ne mesure plus la distance en pixels, mais en angles. Ainsi, peu importe à quel point l'image est déformée, l'IA comprend toujours la vraie position des objets.

3. Le Moteur : DINOv2 (Le Cerveau Pré-Entraîné)

Pour ne pas avoir à réapprendre tout depuis zéro (ce qui prendrait des années et des milliers de données), ils utilisent un "cerveau" d'IA très puissant et déjà entraîné appelé DINOv2.

L'Analogie du Stagiaire Génie : Imaginez un stagiaire qui a lu tous les livres du monde sur la vision (DINOv2). Il est très intelligent, mais il ne connaît que les caméras normales.
L'Ajustement (LoRA) : Au lieu de le renvoyer à l'école, on lui donne juste un petit "manuel de mise à jour" (une adaptation légère) pour lui apprendre à lire les cartes déformées des caméras œil de poisson. On ne change pas tout son cerveau, juste quelques connexions clés.

4. Le Résultat : Une Vision Claire

Grâce à cette combinaison :

Le cerveau puissant (DINOv2) qui a déjà vu des millions d'images.
Le nouveau système de coordonnées angulaires (FishRoPE) qui comprend la déformation.

La voiture autonome peut maintenant :

Détecter des piétons sur les bords de l'image là où les anciennes méthodes les manquaient.
Comprendre la distance et la forme des objets, même si l'image est très courbée.

En Résumé

FishRoPE, c'est comme donner à une voiture autonome des lunettes spéciales qui ne corrigent pas l'image pour la rendre plate, mais qui lui apprennent à penser en 3D et en angles directement. Cela permet d'utiliser les caméras les plus économiques et les plus complètes (les œils de poisson) sans perdre en précision, rendant les voitures autonomes plus sûres et plus capables de voir tout ce qui les entoure.

1. Problématique

Les modèles de fondation pour la vision (VFMs) et les représentations en vue aérienne (BEV - Bird's Eye View) ont considérablement fait progresser la perception visuelle pour la conduite autonome. Cependant, ces systèmes reposent sur une hypothèse fondamentale : la géométrie rectiligne des caméras à trou d'épingle (pinhole).

Les caméras fisheye, omniprésentes sur les véhicules autonomes pour leur couverture à 360°, introduisent une distortion radiale sévère. Cela crée deux obstacles majeurs :

Incohérence géométrique : Les encodages de position standards (Cartésiens, sinusoïdaux ou RoPE 2D) supposent que des déplacements de pixels égaux correspondent à des décalages spatiaux égaux. Sur une image fisheye, un même décalage de pixels au centre de l'image couvre un angle beaucoup plus large (3 à 5 fois plus) qu'en périphérie. Cette hypothèse fausse les relations spatiales réelles.
Pénurie de données : Il existe très peu de grandes bases de données annotées pour les caméras fisheye par rapport aux caméras standards (comme nuScenes ou KITTI). Retrainer des modèles de fondation depuis zéro est donc impraticable.

Les méthodes existantes utilisent souvent des backbones classiques (ResNet) pré-entraînés sur ImageNet, perdant ainsi la robustesse géométrique et la richesse des features offertes par les VFMs modernes (comme DINOv2).

2. Méthodologie : FishRoPE

Les auteurs proposent FishRoPE, un cadre léger conçu pour adapter les VFMs gelés à la géométrie fisheye sans réentraînement complet. L'architecture repose sur trois piliers :

A. Backbone Gelé avec Adaptation LoRA

Utilisation d'un encodeur DINOv2 (ViT-B/14) pré-entraîné de manière auto-supervisée sur 142 millions d'images. Ce modèle offre des features riches et robustes aux changements de domaine.
Le backbone reste gelé pour préserver les connaissances générales.
Une adaptation LoRA (Low-Rank Adaptation) de faible rang ( $r=16$ ) est injectée dans les projections query et value des couches d'attention. Cela ajoute seulement ~3 millions de paramètres entraînables, permettant un fine-tuning efficace avec peu de données fisheye.

B. Encodage de Position Rotatif Fisheye (FishRoPE)

C'est la contribution technique centrale. Au lieu d'utiliser des coordonnées cartésiennes $(u, v)$ , FishRoPE reparamétrise le mécanisme d'attention dans le système de coordonnées sphériques $(\theta, \phi)$ de la lentille fisheye.

Projection Inverse : Pour chaque patch d'image, les coordonnées pixel sont converties en angle d'incidence $\theta$ et angle azimutal $\phi$ via l'inversion du modèle de projection Kannala-Brandt.
Application de RoPE : Les vecteurs query et key sont transformés par des matrices de rotation dépendantes de $\theta$ et $\phi$ .
Propriété de position relative : Comme le RoPE standard, FishRoPE encode la séparation angulaire relative entre les tokens plutôt que leur position absolue. Cela permet au modèle de comprendre que deux objets séparés par le même angle visuel ont une relation spatiale similaire, indépendamment de leur position sur l'image (centre vs périphérie).
Compatibilité : Le mécanisme est agnostique à l'architecture et se réduit naturellement au RoPE 2D standard pour les caméras à trou d'épingle (régime paraxial).

C. Têtes de Tâches Spécifiques

Détection 2D : Une tête de détection anchor-free (style CenterNet) utilise les features enrichies par FishRoPE. Aucune modification géométrique n'est nécessaire dans la tête de détection elle-même.
Segmentation BEV : Un module de transformation de vue projette directement les features image vers une grille BEV en utilisant le modèle de caméra Kannala-Brandt. L'attention croisée entre les requêtes BEV et les clés d'image utilise FishRoPE pour aligner les correspondances dans l'espace angulaire, évitant ainsi les artefacts de rectification.

3. Contributions Clés

Première intégration VFM + Géométrie Fisheye : Combinaison d'un backbone DINOv2 gelé avec des encodages de position spécifiques à la géométrie fisheye, comblant le fossé entre la qualité des features et le raisonnement spatial.
FishRoPE : Une variante de RoPE qui opère dans l'espace angulaire sphérique, résolvant l'ambiguïté spatiale des bords de l'image fisheye sans coût computationnel significatif.
Approche sans rectification : Le modèle traite les images brutes fisheye, évitant les pertes d'information et les artefacts d'interpolation liés à la rectification en vue pinhole.
Généralité : Le cadre est agnostique à la tâche (détection, segmentation) et s'adapte à n'importe quel modèle de projection connu.

4. Résultats Expérimentaux

Les évaluations ont été réalisées sur deux benchmarks standards : WoodScape (détection 2D) et SynWoodScapes (segmentation BEV).

Détection 2D (WoodScape) :
- FishRoPE atteint 54,3 mAP (moyenne de précision).
- Cela surpasse les méthodes précédentes basées sur ResNet (ex: FisheyeYOLO à 44,6 mAP) et même une variante utilisant DINOv2 avec un RoPE 2D standard (52,5 mAP).
- L'ablation montre que l'utilisation des deux coordonnées ( $\theta, \phi$ ) est supérieure à l'utilisation de $\theta$ seul.
Segmentation BEV (SynWoodScapes) :
- FishRoPE atteint 65,1 mIoU (Intersection sur Union moyenne).
- Il bat l'état de l'art précédent FishBEV (64,2 mIoU), bien que FishRoPE utilise un backbone plus petit (ViT-B vs ViT-L) et soit plus efficace.
Analyse d'ablation :
- Le backbone DINOv2 gelé avec LoRA est nettement supérieur aux backbones CNN traditionnels (ResNet, Swin).
- FishRoPE surpasse systématiquement les encodages de position appris, sinusoïdaux et le RoPE axial 2D standard.

5. Signification et Impact

Ce travail démontre qu'il n'est pas nécessaire de concevoir des architectures entièrement nouvelles pour les caméras fisheye. En adaptant simplement la représentation spatiale (via FishRoPE) et en exploitant la puissance des modèles de fondation (DINOv2), il est possible d'obtenir des performances de pointe avec un coût de calcul négligeable.

Efficacité : Permet d'utiliser des modèles massifs pré-entraînés sur des données limitées de caméras fisheye.
Robustesse Géométrique : Résout le problème fondamental de la distorsion radiale en travaillant dans l'espace angulaire natif de la caméra.
Futur : Cette approche ouvre la voie à l'application de VFMs sur d'autres types de lentilles (catadioptriques, 360°) et pourrait être étendue à l'estimation des intrinsèques de caméra en bout de chaîne (end-to-end).

En résumé, FishRoPE est une solution élégante et efficace qui rend l'écosystème des modèles de vision modernes nativement compatible avec la géométrie non-linéaire des caméras fisheye, un composant critique pour la perception autonome à 360°.