💻 computer science

Wat3R: Underwater 3D Geometry Learning without Annotations

Cet article présente Wat3R, un cadre d'apprentissage semi-supervisé cross-domaine qui permet la reconstruction de géométrie 3D dans des environnements sous-marins sans aucune donnée annotée en adaptant des modèles entraînés dans l'air à des vidéos non étiquetées via une architecture enseignant-étudiant et une perte de cohérence inter-vues, parallèlement à la publication d'un nouveau jeu de données appelé Water3D.

Auteurs originaux : Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Publié 2026-07-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de construire la carte 3D d'une épave de navire, mais vous avez les yeux bandés, et l'eau autour de vous est épaisse de brouillard, de sable tourbillonnant et de couleurs étranges qui rendent tout flou. C'est le combat quotidien des ordinateurs qui tentent de comprendre les scènes sous-marines. Pendant des années, la meilleure façon d'apprendre à un ordinateur à voir sous l'eau était de lui montrer des millions de photos avec des étiquettes 3D parfaites, dessinées à la main. Mais voici le problème : personne ne possède ces étiquettes pour l'océan. Les créer est impossible parce que l'eau est trop trouble et que la lumière se comporte de manière étrange.

Entrez dans l'ère de Wat3R, une nouvelle méthode qui agit comme un étudiant brillant qui apprend à plonger sans jamais avoir besoin qu'un professeur lui remette une carte.

Le Problème : Le Cerveau « Terrestre »

La plupart des modèles de vision 3D modernes sont comme des étudiants qui n'ont étudié que dans une salle de classe ensoleillée et claire (sur terre). Ils sont incroyables pour voir les choses sèches, mais quand vous les jetez dans l'océan, ils sont confus. L'eau absorbe la lumière, la disperse et transforme tout en bleu ou en vert. Si vous essayez d'utiliser un modèle « entraîné sur terre » sous l'eau, il trébuche. Et comme nous ne pouvons pas simplement embaucher une équipe de plongeurs pour dessiner des cartes 3D du fond de l'océan pour chaque vidéo, nous ne pouvons pas simplement réentraîner ces modèles de l'ancienne manière.

La Solution : Un Enseignant et un Étudiant dans les Profondeurs

Les auteurs de cet article ont créé un système appelé Wat3R qui utilise un tour de passe-passe « enseignant-étudiant » pour résoudre cela sans aucune étiquette sous-marine.

Voyez cela comme suit :

L'Enseignant : Imaginez un robot super intelligent qui connaît parfaitement la géométrie 3D parce qu'il a étudié des millions de photos claires et sèches. Mais il ne sait pas comment l'eau fonctionne.
La Simulation : Les chercheurs prennent les photos claires de l'Enseignant et les « noient » numériquement. Ils utilisent une formule physique pour ajouter un faux brouillard, des changements de couleur et une diffusion de la lumière, transformant les photos terrestres claires en fausses scènes sous-marines. Maintenant, l'Enseignant possède un ensemble de données « étiquetées » de fausses scènes sous-marines.
L'Étudiant : C'est le modèle que nous voulons entraîner. Il commence par apprendre de l'Enseignant et de ses fausses photos sous-marines.
La Plongée Réelle : Ensuite, l'Étudiant sort et regarde 5 504 clips vidéo sous-marins réels (environ 3 de 359 000 images) qui n'ont aucune étiquette du tout. Il regarde simplement les poissons, les rochers et les bulles.

Voici la magie : L'Enseignant (qui est une version légèrement plus ancienne et plus stable de l'Étudiant) regarde les mêmes vidéos réelles et devine à quoi ressemblent les formes 3D. L'Étudiant essaie de correspondre à ces devinettes. S'il réussit, il apprend. S'il se trompe, il s'ajuste. Cela se produit encore et encore, permettant à l'Étudiant d'apprendre les « règles » de la géométrie sous-marine simplement en regardant des vidéos réelles, sans que personne ne lui donne la réponse.

L'Arme Secrète : La « Cohérence Inter-Vues » (Cross-View Consistency)

Sous l'eau, une seule photo peut être si floue que vous ne voyez rien. Mais si vous avez une vidéo, vous avez de nombreux angles. L'article introduit une règle spéciale appelée Cohérence Inter-Vues.

Imaginez que vous regardez un rocher à travers une fenêtre sale. Vous ne le voyez pas bien. Mais si vous regardez le même rocher sous un angle légèrement différent à travers une partie plus propre de la fenêtre, vous le voyez mieux. Wat3R fait cela mathématiquement. Si le modèle est confus par le brouillard dans une vue, il regarde les autres vues de la vidéo pour comprendre à quoi le rocher devrait ressembler. Il utilise les parties claires de la vidéo pour corriger les parties floues. Cela aide le modèle à ignorer le « bruit » de l'eau et à se concentrer sur les formes réelles.

Ce Qu'Ils Ont Prouvé (et Ce Qu'Ils N'Ont Pas Prouvé)

Les auteurs n'ont pas seulement deviné ; ils ont testé cela rigoureusement.

Le Jeu de Données : Ils ont construit un nouveau jeu de données appelé Water3D, contenant 42 scènes sous-marines réelles avec des cartes 3D précises (poses et profondeurs) pour tester leur travail. C'est un point important car, comme ils le notent, les jeux de données sous-marins existants sont souvent trop petits ou manquent d'étiquettes 3D appropriées.
Les Résultats : Lorsqu'ils ont testé Wat3R sur des jeux de données sous-marins standards comme Sea-thru et FLSea Stereo, ils ont battu les meilleurs modèles actuels (comme VGGT, DA3 et MapAnything).
- Sur le jeu de données Sea-thru, Wat3R a réduit le taux d'erreur d'environ 12,1 % par rapport au meilleur modèle précédent (VGGT) dans un test à 10 vues.
- En termes de précision de la profondeur, il s'est amélioré de 23,7 % dans certaines métriques.
- Même en regardant une seule photo (profondeur monoculaire), Wat3R était meilleur que les modèles spécifiquement entraînés sur des images uniques, prouvant que l'apprentissage « inter-vues » l'a aidé à mieux comprendre l'eau.

Ce Qu'Ils Ont Explicitement Éliminé

L'article est très clair sur ce qui ne fonctionne pas :

Améliorer l'image d'abord : Ils ont essayé de prendre des photos sous-marines, de les nettoyer avec des outils existants (comme « Sea-thru » ou « PSPL ») et de les injecter ensuite dans un modèle 3D. Cela a échoué à améliorer significativement les résultats. Les auteurs soutiennent que le nettoyage de l'image introduit souvent de nouvelles erreurs ou incohérences qui confondent le modèle 3D. Il vaut mieux apprendre au modèle à voir à travers le désordre plutôt que d'essayer de réparer le désordre d'abord.
Les données synthétiques seules : Bien qu'ils aient utilisé des données sous-marines fictives pour commencer, ils ont montré que l'utilisation de données uniquement fictives ne suffit pas. Il faut les vidéos réelles non étiquetées pour rendre le modèle véritablement robuste.

À Quel Point Sont-ils Sûrs ?

Les auteurs sont confiants dans leurs chiffres car ils ont testé sur quatre jeux de données publics plus leur propre jeu de données Water3D. Ils n'ont pas seulement simulé les résultats ; ils les ont mesurés par rapport à une vérité terrain réelle là où elle était disponible.

Ils ont montré que Wat3R fonctionne mieux dans des dégradations « légères » à « sévères », bien qu'ils admettent que dans des eaux extrêmement turbides (boueuses) ou avec des objets se déplaçant rapidement, le modèle éprouve encore des difficultés car il n'y a tout simplement pas assez d'informations visuelles sur lesquelles s'appuyer.
Ils déclarent explicitement que leur méthode est le premier cadre semi-supervisé capable de se généraliser aux scènes sous-marines sans nécessiter d'annotations 3D sous-marines.

L'Essentiel

Wat3R est comme un plongeur qui apprend à naviguer dans les profondeurs de l'océan non pas en lisant une carte, mais en observant comment la lumière se courbe et comment les objets apparaissent sous différents angles, tout en ignorant le brouillard. Cela prouve que vous n'avez pas besoin d'étiquettes parfaites pour apprendre à un ordinateur à voir sous l'eau ; vous avez juste besoin d'une manière intelligente de le laisser apprendre du chaos d'une vidéo réelle. Le code et leur nouveau jeu de données Water3D sont disponibles pour que quiconque puisse les essayer, ouvrant la voie à de meilleurs robots sous-marins, à l'archéologie et à la cartographie sans la tâche impossible d'étiqueter chaque goutte d'eau.

Résumé Technique : Wat3R – Apprentissage de la géométrie 3D sous-marine sans annotations

Énoncé du problème
L'estimation de la géométrie 3D (poses de caméra, profondeurs et nuages de points) dans les environnements sous-marins est entravée par des défis physiques uniques, notamment l'atténuation de la lumière, la diffusion et la dégradation dépendante de la vue. Ces facteurs provoquent des décalages de domaine significatifs par rapport aux scènes terrestres. De plus, la rareté des données 3D annotées à grande échelle et de haute qualité pour les données sous-marines réelles empêche l'entraînement direct des modèles de reconstruction de type feed-forward de pointe (SOTA), qui reposent généralement sur de massives vérités de terrain denses. Les méthodes existantes échouent soit à se généraliser en raison des décalages de domaine, soit nécessitent des quantités irréalistes de données sous-marines annotées.

Méthodologie : Cadre Wat3R
Les auteurs proposent Wat3R, un cadre d'apprentissage semi-supervisé cross-domain conçu pour adapter le modèle de reconstruction 3D feed-forward VGGT aux scènes sous-marines sans nécessiter aucune donnée sous-marines annotées. Le cadre repose sur une architecture enseignant-étudiant (paradigme Mean Teacher) et utilise deux sources de données principales :

Données synthétiques étiquetées : Les ensembles de données terrestres annotés existants (l'ensemble d'entraînement original de VGGT) sont augmentés par un rendu sous-marin basé sur la physique pour simuler diverses dégradations sous-marines. Cela initialise de solides priors géométriques pour le domaine sous-marin.
Données réelles non étiquetées : Une large collection de séquences vidéo sous-marines réelles est utilisée comme ensemble d'entraînement non étiqueté pour affiner et généraliser le modèle.

Composants techniques clés :

Rendu basé sur la physique : Pour générer des données synthétiques étiquetées, les auteurs emploient un modèle d'imagerie sous-marine simplifié ( $I = J e^{-\beta^D z} + B^\infty(1-e^{-\beta^B z})$ ) qui simule l'atténuation de la transmission directe et la rétrodiffusion. Des cartes de profondeur denses issues d'un modèle monoculaire (DA3) sont utilisées pour rendre les apparences sous-marines tout en préservant les annotations géométriques originales pour la supervision.
Augmentation au niveau de la séquence : Pour éviter l'effondrement du modèle (model collapse) et accroître la diversité géométrique sur les données vidéo non étiquetées, le cadre emploie une augmentation au niveau de la séquence. Cela inclut le mélange de l'ordre des images, le sous-échantillonnage aléatoire, la rotation et la variation de la colorimétrie (color jittering), garantissant que le modèle apprenne des indices géométriques robustes plutôt qu'une continuité temporelle.
Objectif d'apprentissage par cohérence : La fonction de perte totale combine trois composantes :
- Perte supervisée : Appliquée sur les données synthétiques à l'aide d'annotations de vérité de terrain.
- Perte de cohérence par vue : Appliquée sur les données non étiquetées, traitant les prédictions de l'enseignant comme des pseudo-étiquettes.
- Perte de cohérence inter-vues (Cross-View) : Une perte novatrice conçue pour traiter la dégradation de l'information. Elle exploite les indices géométriques d'autres vues pour compenser la perte de visibilité dans la vue actuelle. Elle utilise un masque statique (dérivé de l'algorithme K-means sur les cartes de profondeur et de vérifications de cohérence multi-vues) pour filtrer les objets dynamiques et les régions instables (ex: eau libre ou turbidité sévère), garantissant que la supervision inter-vues ne s'applique qu'aux pixels de premier plan statiques et fiables.

Contributions clés

Cadre Wat3R : Le premier cadre semi-supervisé basé sur VGGT qui se généralise à diverses scènes sous-marines sans nécessiter d'annotations 3D sous-marines. Il démontre que des représentations géométriques robustes peuvent être apprises uniquement à partir de vidéos sous-marines réelles non étiquetées.
Perte de cohérence inter-vues : Un mécanisme qui agrège l'information géométrique de plusieurs vues pour compenser la dégradation visuelle causée par l'atténuation et la diffusion de l'eau, permettant l'apprentissage dans des régions fortement dégradées.
Dataset Water3D : La construction d'un nouveau jeu de données sous-marin multi-vues diversifié contenant 42 scènes avec des annotations 3D complètes (poses de caméra et profondeurs). Ce jeu de données comble le manque de benchmarks d'évaluation complets dans ce domaine.

Résultats expérimentaux
Des expériences approfondies ont été menées sur des jeux de données publics (Sea-thru, FLSea, SQUID) et sur le nouveau dataset Water3D à travers quatre tâches :

Estimation de la profondeur multi-vues : Wat3R surpasse les méthodes SOTA (incluant VGGT, DA3, $\pi^3$ et MapAnything) ainsi que les pipelines en deux étapes combinant l'amélioration d'image et les modèles 3D. Sur le dataset Sea-thru, Wat3R a obtenu une amélioration de 23,7 % de l'RMSE par rapport à VGGT.
Reconstruction de nuages de points : Sur Water3D, Wat3R a démontré une précision et une complétude supérieures par rapport aux lignes de base, avec des améliorations significatives des métriques globales (ex: +31,6 % d'amélioration de la précision globale par rapport à VGGT).
Estimation de la pose de caméra : Évalué sur SeaThru-NeRF, Wat3R montre une meilleure robustesse dans l'estimation de la pose, atteignant une amélioration de 37,8 % de l'AUC@5° par rapport à VGGT.
Estimation de la profondeur monoculaire : Malgré l'absence de supervision par image unique lors de l'entraînement, Wat3R a obtenu les meilleures performances sur quatre datasets, indiquant que les priors géométriques appris se transfèrent avec succès aux entrées à vue unique.

Signification et affirmations
L'article affirme que Wat3R fournit un paradigme pratique pour l'apprentissage géométrique dans des environnements complexes où les annotations sont rares. En éliminant le besoin de données sous-marines annotées et en exploitant des vidéos réelles non étiquetées, la méthode atteint une performance robuste même dans des conditions de faible visibilité. Les auteurs soulignent que leur approche parvient à combler le fossé de domaine entre la vision terrestre et sous-marine, offrant une solution à la fois efficace et évolutive pour la robotique sous-marine, la cartographie et l'archéologie. Ce travail met en évidence que l'adaptation directe de puissants modèles feed-forward, guidée par des contraintes de cohérence et un transfert de domaine synthétique-vers-réel, constitue une voie viable pour la perception 3D sous-marine.