Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens

Les auteurs proposent une méthode auto-supervisée utilisant des « Calibration Tokens » pour aligner les représentations latentes d'estimateurs de profondeur monoculaires fondamentaux entraînés sur des images en perspective avec celles des images grand-angle, permettant ainsi leur réutilisation directe sans réentraînement ni recalibration par projection.

L'essentiel

Le Problème : Le "Choc des Univers"

Imaginez que vous avez un expert en profondeur (un modèle d'intelligence artificielle très intelligent) qui a passé sa vie à regarder des photos prises avec des caméras classiques (comme celle de votre smartphone). Cet expert est un génie : il sait exactement à quelle distance se trouve un objet, un arbre ou une voiture, juste en regardant une photo.

Mais soudain, on lui montre une photo prise avec une caméra "œil de poisson" (fisheye), celle qu'on trouve souvent sur les voitures autonomes ou les caméras de surveillance. Ces caméras offrent un champ de vision immense, mais elles déforment tout : les lignes droites deviennent courbes, comme si on regardait le monde à travers une lentille de verre déformante.

Le résultat ? L'expert est perdu. Il panique. Il voit des murs courbes et pense que le monde est tordu. Il donne des estimations de distance totalement fausses. C'est ce qu'on appelle un "choc de distribution" : l'IA a appris dans un univers (photos normales) et on la jette dans un autre (photos déformées).

La Solution : Les "Jetons d'Étalonnage" (Calibration Tokens)

Les chercheurs de Yale et de Michigan State ont eu une idée brillante. Au lieu de rééduquer tout l'expert (ce qui prendrait des mois et des milliers de nouvelles photos de caméras "œil de poisson" qu'on n'a pas), ils ont décidé de lui donner un traducteur instantané.

Ils ont créé de petits objets virtuels qu'ils appellent des "Jetons d'Étalonnage".

Voici comment cela fonctionne, avec une analogie :

1. L'Analogie du Casque de Traduction

Imaginez que votre expert (l'IA) porte un casque spécial.

• Sans le casque : Quand il voit une photo "œil de poisson", il la regarde telle quelle, il est confus et se trompe.
• Avec le casque (les Jetons) : Avant même que l'image n'entre dans le cerveau de l'IA, les "Jetons d'Étalonnage" agissent comme un filtre magique. Ils ne changent pas la photo elle-même (pas de recadrage, pas de perte de qualité). Ils modifient simplement la façon dont l'IA pense à l'image.

C'est comme si les jetons disaient à l'IA : "Attends, cette courbe n'est pas un mur tordu, c'est juste une ligne droite vue à travers une lentille bizarre. Ne panique pas, interprète-la comme une ligne droite."

2. Pourquoi c'est génial ?

• Pas de réapprentissage : On ne touche pas au cerveau de l'expert. On ajoute juste ces petits "boutons" (les jetons) qui s'activent quand on voit une photo déformée.
• Zéro perte d'image : Souvent, pour corriger une photo "œil de poisson", on la "redresse" numériquement, ce qui crée des trous noirs ou des flous (comme étirer une photo trop fort). Ici, on garde l'image originale, intacte, et on corrige juste la compréhension de l'IA.
• Un seul jeu de jetons pour tout : Ces chercheurs ont réussi à créer un seul jeu de jetons qui fonctionne aussi bien pour une voiture en ville (extérieur) que pour une maison (intérieur). C'est comme un passe-partout universel.

Comment ont-ils appris à ces jetons ? (L'Entraînement)

C'est là que la magie opère. Ils n'avaient pas assez de photos "œil de poisson" réelles pour entraîner le système. Alors, ils ont fait une astuce de magicien :

1. Ils ont pris des milliers de photos normales (celles que l'IA connaît déjà).
2. Ils ont simulé numériquement une distorsion "œil de poisson" sur ces photos normales.
3. Ils ont demandé à l'IA de deviner la profondeur de la photo déformée.
4. Ensuite, ils ont re-déformé la réponse de l'IA pour la ramener à la réalité de la photo normale.
5. Si la réponse de l'IA ne correspondait pas à la réalité, les "Jetons d'Étalonnage" se sont ajustés pour faire mieux la prochaine fois.

C'est comme si on entraînait un pilote à voler dans un simulateur de tempête, en lui disant : "Si tu fais ça, tu vas heurter le mur. Si tu fais ça, tu restes en sécurité."

Le Résultat Final

Grâce à cette méthode, les chercheurs ont réussi à transformer des experts en profondeur (qui ne connaissaient que les photos normales) en experts capables de voir à travers n'importe quelle caméra "œil de poisson", sans avoir besoin de les rééduquer de zéro.

En résumé :
Au lieu de construire une nouvelle voiture pour chaque type de route, ils ont inventé un système de suspension intelligent (les jetons) qui s'adapte instantanément à la route, que ce soit du bitume lisse ou un chemin de terre cahoteux. L'IA reste la même, mais elle devient capable de rouler partout sans tomber.

C'est une solution légère, rapide et très efficace pour rendre l'intelligence artificielle plus polyvalente dans le monde réel, où les caméras ne sont pas toutes parfaites.

Résumé technique

1. Problématique

Les estimateurs de profondeur monoculaires fondamentaux (FMDE), tels que MiDaS, DepthAnything ou UniDepth, sont entraînés sur des dizaines de millions d'images provenant de caméras à perspective standard. Ces modèles excellent dans la généralisation à divers scénarios 3D. Cependant, ils échouent lorsqu'ils sont appliqués directement à des images capturées par des caméras grand-angle (fisheye).

Le problème principal est un décalage de covariable (covariate shift) causé par :

• La géométrie de projection différente (les lignes droites deviennent courbes).
• Les paramètres de distorsion intrinsèques des objectifs fisheye.
• L'absence de données d'entraînement massives spécifiques aux caméras fisheye (les jeux de données publics sont des ordres de grandeur plus petits que ceux pour les caméras perspective).

Les solutions existantes présentent des limites :

• Recalibration/Redressement d'image : La transformation d'une image fisheye vers une vue perspective (ou inversement) introduit des artefacts spatiaux (étirement, recadrage, perte d'information, aliasing) et une latence. De plus, elle dépend de paramètres de calibration précis, souvent difficiles à obtenir ou sujets à des erreurs.
• Réentraînement ou Fine-tuning : Entraîner un modèle spécifique aux fisheye nécessite trop de données. Le fine-tuning d'un modèle existant risque de provoquer un "dérive des paramètres" (parameter drift), réduisant la capacité du modèle à généraliser sur les images perspective et limitant sa réutilisabilité.

2. Méthodologie : Les "Calibration Tokens"

Les auteurs proposent une approche légère et auto-supervisée appelée Calibration Tokens (Jetons de Calibration). L'idée centrale est de ne pas modifier l'architecture du modèle de base (le "backbone" FMDE), mais d'adapter ses représentations latentes pour qu'elles correspondent à la distribution des images perspective.

A. Architecture et Mécanisme

• Intégration dans les Transformers : La plupart des FMDEs modernes utilisent une architecture basée sur les Transformers (Vision Transformer). Les auteurs exploitent le mécanisme d'attention (self-attention et cross-attention).
• Injection de Jetons : Un ensemble de petits jetons apprenables (Calibration Tokens) est injecté dans la séquence d'entrée du modèle.
  • Contrairement à une approche "Single Token" (un seul jeu de jetons à l'entrée), l'article propose un schéma "Layer-wise" : un ensemble unique de jetons est ajouté à chaque couche de l'encodeur du Transformer.
  • Ces jetons modulent les embeddings latents des patches d'image via le mécanisme d'attention, alignant la représentation de l'image fisheye distordue vers la distribution de l'espace latent des images perspective.
• Préservation du contenu : Aucune transformation spatiale n'est appliquée à l'image d'entrée ou de sortie. Le processus est donc sans perte (lossless) pour les pixels bruts.

B. Objectif d'Apprentissage Auto-supervisé

Pour entraîner ces jetons sans avoir besoin de vérités terrain (ground truth) pour les images fisheye, les auteurs utilisent une stratégie ingénieuse :

1. Synthèse de données : À partir d'un vaste ensemble de données d'images perspective (ex: NYUv2, Waymo, Hypersim), ils synthétisent artificiellement des images fisheye en appliquant des modèles de distorsion (modèle de Kannala & Brandt).
2. Boucle de rétroprojection (Inversion) :
   • L'image perspective originale est passée dans le FMDE pour obtenir une estimation de profondeur de haute fidélité (cible).
   • L'image synthétique fisheye est passée dans le modèle (avec les Calibration Tokens) pour obtenir une estimation de profondeur.
   • Clé de la méthode : Au lieu de comparer les profondeurs dans l'espace fisheye (ce qui introduirait des artefacts de réprojection), l'estimation de profondeur fisheye est dé-distordue (undistorted) et réprojetée dans le cadre de référence perspective original.
3. Fonction de perte : Une perte auto-supervisée (LogL1) est calculée entre la profondeur réprojetée (fisheye) et la profondeur originale (perspective). Cela force les jetons à apprendre à "recalibrer" les embeddings internes pour que le modèle produise le même résultat géométrique, indépendamment de la distorsion d'entrée.

3. Contributions Clés

1. Extension sans réentraînement : Une méthode permettant de réutiliser des FMDEs pré-entraînés sur des images perspective pour des caméras fisheye sans réentraîner le modèle complet ni le fine-tuner.
2. Calibration Tokens : Introduction d'un mécanisme d'adaptation léger qui module les embeddings latents via l'attention, alignant les distributions d'images distordues sur celles des images perspective.
3. Objectif d'apprentissage innovant : Une stratégie auto-supervisée qui synthétise des distorsions à l'entrée mais annule la transformation à la sortie (dans l'espace de profondeur) pour éviter les artefacts de réprojection et utiliser des estimations de haute fidélité comme supervision.
4. Universalité : Une seule et même série de jetons fonctionne efficacement pour des environnements intérieurs et extérieurs, ainsi que pour différents modèles de FMDEs (MiDaS, DepthAnything, UniDepth).

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur des benchmarks intérieurs (ScanNet++) et extérieurs (KITTI-360) en utilisant plusieurs FMDEs.

• Performance : L'ajout des Calibration Tokens améliore significativement la précision par rapport aux modèles de base (sans jetons) et dépasse les méthodes de l'état de l'art (DepthAnyCamera, FoVA-Depth).
  • Exemple (ScanNet++) : UniDepth + Calibration Tokens atteint un RMSE de 0.244, surpassant DepthAnyCamera (0.275) et FoVA-Depth (0.285).
  • Exemple (KITTI-360) : La méthode montre une robustesse sur des distorsions extrêmes (>180°), avec une amélioration du RMSE de 2% à 12% selon le modèle de base.
• Généralisation : Une seule série de jetons entraîne à la fois pour l'intérieur et l'extérieur, contrairement aux méthodes concurrentes qui nécessitent souvent des modèles séparés.
• Efficacité computationnelle :
  • L'ajout de jetons n'augmente la mémoire que de 0.02% à 0.05%.
  • La latence d'inférence augmente de moins de 1 ms (environ 0.7% à 0.8%).
  • Le nombre de paramètres entraînables est négligeable par rapport au modèle complet.
• Comparaison avec le Fine-tuning : Le fine-tuning direct dégrade fortement les performances (RMSE beaucoup plus élevé), confirmant que l'approche par jetons préserve mieux la généralisation du modèle original.

5. Signification et Impact

Cette recherche offre une solution élégante au problème de la compatibilité des modèles de vision fondamentaux avec des capteurs non standards (fisheye).

• Réduction de la complexité opérationnelle : Pour des systèmes multi-capteurs (comme les véhicules autonomes ou la robotique), il n'est plus nécessaire de déployer et maintenir plusieurs modèles de profondeur spécifiques. Un seul modèle FMDE peut gérer des caméras perspective et fisheye en ajoutant simplement les jetons appropriés.
• Évite les artefacts de traitement : En travaillant directement dans l'espace latent sans redresser l'image, la méthode évite les pertes d'information et les artefacts visuels inhérents aux transformations géométriques classiques.
• Scalabilité : La méthode permet d'exploiter l'abondance des données d'images perspective pour entraîner des systèmes fisheye, contournant le manque de données étiquetées fisheye.

En résumé, les "Calibration Tokens" constituent un pont efficace entre les modèles de vision pré-entraînés massivement et les besoins spécifiques des caméras grand-angle, offrant une adaptation rapide, légère et précise.