Résumé Technique : RayTun3R

Énoncé du Problème

Les modèles de fondation 3D récents (par exemple, DUSt3R, MASt3R, VGGT, $\pi^3$, Depth Anything 3) excellent dans l'estimation de la profondeur et de la pose par propagation directe (feed-forward) sur des images sténopé (pinhole) standards. Cependant, leurs performances se dégradent considérablement lorsqu'ils sont appliqués à des entrées de type fisheye ou grand angle. Les auteurs identifient que cet échec provient d'un biais sténopé inhérent aux encodages positionnels de ces modèles pré-entraînés.

Alors que les méthodes classiques de réglage fin efficace en paramètres (PEFT) comme LoRA ou les couches d'adaptateurs modifient les transformations de caractéristiques génériques, elles ne parviennent pas à traiter le déséquilibre géométrique spécifique : les caméras sténopé et fisheye assignent des géométries de rayons différentes aux mêmes emplacements de la grille d'image. Les solutions de contournement existantes, telles que la division des images fisheye en plusieurs crops sténopé virtuels (ex. Center-PH, Multi-PH), introduisent une surcharge de calcul et nécessitent une fusion complexe des prédictions sans modéliser directement la géométrie fisheye.

Méthodologie : RayTun3R

RayTun3R est une approche d'adaptation de caméra légère et en ligne, conçue pour corriger le biais sténopé des modèles de fondation 3D gelés sans réentraîner le backbone. L'hypothèse centrale est que l'adaptation des composants reliant l'emplacement des tokens aux rayons de la caméra est plus efficace que l'adaptation de caractéristiques génériques.

Composants Clés

1. Backbone Gelé : Le modèle 3D pré-entraîné (poids $\theta$) reste complètement fixe.
2. Adaptateur Léger : Seuls les composants spécifiques liés à la position des tokens et à la géométrie de la caméra sont mis à jour. Le nombre total de paramètres entraînables est minimal (10 752 pour DA3-Small).
   • Correction de l'Encodage Positionnel : Les auteurs paramètrent des corrections pour les encodages positionnels absolus ($P_A$) en coordonnées polaires (rayon $\rho$ et angle $\theta$) par rapport au point principal. Celles-ci sont implémentées sous forme de tables de recherche (lookup tables) radiales et angulaires apprenables.
   • Correction de l'Encodage Positionnel Rotatif (RoPE) : Pour les modèles utilisant RoPE, une correction radiale apprenable est appliquée aux angles de rotation.
   • Corrections Sans Paramètres :
     • Coordonnées de la Grille de Prédiction : Remplace les coordonnées de grille régulières par des coordonnées conscientes de la caméra, obtenues en undistordant les emplacements de la grille fisheye.
     • Tokenisation par Patchs : Les patchs situés en dehors de la lentille fisheye valide sont remplacés par le token moyen valide, et les patchs sont localement undistordés avant la tokenisation pour approximer les crops sténopé.

Stratégie d'Entraînement

L'adaptateur est entraîné en ligne sur un court segment temporel de frames fisheye à l'aide de pertes géométriques auto-supervisées, sans nécessiter de vérité terrain pour la profondeur ou la pose :

• Perte de Reprojection ($L_{reproj}$) : Impose la cohérence entre les points 3D prédits et les correspondances issues d'un appariement (matcher) prêt à l'emploi (UFM).
• Régularisation de Pose ($L_{pose}$) : Utilise une estimation de pose relative fixe (issue de MAGSAC++) comme pseudo-étiquette pour stabiliser l'optimisation initiale.
• Priors de Lissage : Inclut un lissage de profondeur sensible aux bords et une régularisation L2/Variation Totale pour garantir que les corrections positionnelles restent petites et lisses par rapport à la table pré-entraînée.

Principales Contributions

1. Analyse du Biais Sténopé : Les auteurs démontrent que le Jacobien local des encodages positionnels pré-entraînés suit la géométrie constante d'une caméra sténopé. Ils montrent qu'après adaptation, ce Jacobien devient dépendant du rayon, s'alignant ainsi sur la géométrie fisheye.
2. Conception d'un Adaptateur Léger : Introduction de RayTun3R, qui adapte uniquement les composantes positionnelles (absolues et rotatives) tout en gardant le backbone gelé. Cette approche utilise environ 14 fois moins de paramètres entraînables que LoRA et ajoute un surcoût d'inférence négligeable.
3. Validation Empirique : La méthode est validée sur divers jeux de données fisheye (FOV 110°–200°) et trois backbones différents (Depth Anything 3, VGGT, $\pi^3$).

Résultats

Les expériences sur cinq jeux de données (ETH3D, KITTI-360, TUM-VI, ScanNet++, FIORD) montrent que RayTun3R surpasse systématiquement les bases :

• Précision de la Pose : RayTun3R réduit l'erreur de rotation de 2 à 12$\times$ par rapport au modèle non adapté et surpasse significativement LoRA et les jetons de calibration (CalTok). Par exemple, sur KITKI-360, il atteint une erreur de rotation de 0,84° contre 1,69° (Vanilla) et 1,37° (LoRA).
• Précision de la Profondeur : Bien que les méthodes basées sur la projection (Center-PH) produisent parfois des résultats compétitifs sur des FOV modérés en imitant la distribution d'entraînement, RayTun3R atteint une précision de profondeur compétitive tout en utilisant l'intégralité du champ de vision fisheye.
• Efficacité : Contrairement à Multi-PH, qui entraîne un coût d'inférence de 300% en traitant plusieurs vues, RayTon3R maintient la vitesse d'inférence originale (100ms/frame) avec un surcoût nul. Il utilise seulement 10,8K paramètres entraînables contre 147,5K pour LoRA.

Signification et Revendications

L'article affirme que l'échec des modèles de fondation 3D sur l'imagerie fisheye est fondamentalement un décalage de la représentation positionnelle plutôt qu'un manque de capacité des caractéristiques. En isolant et en corrigeant la correspondance dépendante de la caméra entre les tokens d'image et les rayons de vue, RayTun3R permet à ces modèles de se généraliser aux entrées grand angle efficacement.

Les auteurs positionnent ce travail comme une solution évitant les coûts de calcul de la fusion multi-vues et les changements architecturaux requis pour un entraînement conscient de la caméra. Ils soulignent que leur méthode est "efficace en paramètres" et "efficace en temps d'exécution", ce qui la rend adaptée aux scénarios d'adaptation en ligne.

Limites Reconnues par les Auteurs

• Spécificité de la Caméra : La correction est spécifique à la caméra ; un autre modèle fisheye ou un profil de distorsion différent nécessite une ré-adaptation.
• Hypothèses de Distorsion : La méthode suppose un point principal et une distorsion principalement radiale, ne couvrant pas explicitement les optiques tangentielles ou non radiales fortes.
• Dépendance à la Calibration : Elle nécessite des paramètres de caméra connus (bien que la calibration prédite soit montrée comme viable).
• Exigences de Mouvement : L'entraînement auto-supervisé nécessite un déplacement suffisant entre les frames ; un mouvement dégénéré peut affaiblir les contraintes.
• Portée : Le travail actuel se concentre sur les images fisheye, laissant les entrées panoramiques/équirectangulaires pour des travaux futurs.