💻 computer science

BathyFacto: Refraction-Aware Two-Media Neural Radiance Fields for Bathymetry

BathyFacto est une extension de champ de radiance neurale sensible à la réfraction qui modélise la propagation de la lumière air-eau en utilisant la loi de Snell pour générer des nuages de points sous-marins métriquement précis à partir d'imagerie de drones, surpassant de manière significative les NeRF standards et les méthodes de correction naïves tant en précision de profondeur qu'en complétude géométrique à travers différents angles de caméra.

Auteurs originaux : Markus Brezovsky, Anatol Günthner, Frederik Schulte, Lukas Winiwarter, Boris Jutzi, Gottfried Mandlburger

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Markus Brezovsky, Anatol Günthner, Frederik Schulte, Lukas Winiwarter, Boris Jutzi, Gottfried Mandlburger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prendre en photo un coffre au trésor posé au fond d'une piscine. Si vous regardez droit vers le bas, le coffre semble être pratiquement là où il se trouve. Mais si vous le regardez de côté, l'eau agit comme une drôle de lentille invisible. Elle dévie les rayons lumineux qui voyagent du coffre vers votre œil, faisant paraître le coffre plus haut et situé à un endroit différent de sa position réelle. Ce détournement de la lumière est appelé réfraction, et cela se produit parce que la lumière voyage à des vitesses différentes dans l'air et dans l'eau.

Pendant des décennies, des scientifiques ont utilisé des caméras sur des drones pour cartographier le fond des océans et des rivières, un processus appelé photogrammétrie. Ils assemblent des milliers de photos pour construire un modèle 3D du monde. Mais il y a un hic : les programmes informatiques standards utilisés pour construire ces modèles 3D supposent que la lumière voyage en ligne droite parfaite, comme un faisceau laser dans le vide. Lorsque ces programmes tentent de cartographier des scènes sous-marines, ils sont confus par la lumière qui dévie. Ils construisent une carte 3D systématiquement fausse, faisant paraître le fond de la rivière plus peu profond et décalé sur le côté. C'est comme essayer de dessiner la carte d'une pièce tout en portant des lunettes qui déforment tout ce que vous voyez.

Pour corriger cela, des chercheurs expérimentent les Champs de Radiance Neurale (NeRFs). Considérez un NeRF non pas comme une caméra, mais comme un « fantôme » numérique super intelligent qui apprend à quoi ressemble une scène sous tous les angles possibles. Vous lui fournissez un ensemble de photos, et il apprend un volume 3D continu du monde, ce qui permet de générer de nouvelles photos à partir d'angles que la caméra n'a même pas visités. Cependant, la plupart de ces fantômes numériques ont été entraînés dans un monde où la lumière ne voyage que de manière rectiligne. Ils ne savent pas comment gérer la physique « tordue » de l'eau. C'est ici que la nouvelle recherche intervient, tentant d'apprendre à ces fantômes numériques à voir correctement à travers l'eau.

L'article : BathyFacto – Enseigner à l'IA à voir à travers l'eau

L'article présente un nouvel outil appelé BathyFacto (un mélange ludique de « Bathymétrie », la mesure de la profondeur de l'eau, et de « Nerfacto », un type populaire de NeRF). L'équipe, dirigée par Markus Brezovsky et ses collègues, a construit une version spéciale de cette IA qui comprend la physique de la déviation de la lumière à la surface air-eau.

Voici le problème central qu'ils ont résolu : lorsqu'un drone survole une rivière, la lumière du lit de la rivière doit traverser l'eau, frapper la surface, puis dévier en entrant dans l'air pour atteindre la caméra. Les modèles d'IA standards supposent que la lumière a voyagé en ligne droite tout au long du trajet, ce qui conduit à une carte « fantôme » qui est trop peu profonde d'environ 1,37 mètre et décalée. BathyFacto corrige cela en disant explicitement à l'IA : « Hé, le rayon lumineux voyage en ligne droite dans l'air, frappe la surface de l'eau, et ensuite dévie selon la loi de Snell-Descartes (la règle de la réfraction) avant d'atteindre le fond. »

Comment ça marche (le rayon « cassé »)
Imaginez que vous dessiniez le chemin d'un pointeur laser. Dans l'air, vous tracez une ligne droite. Quand la ligne atteint la surface de l'eau, vous ne vous arrêtez pas ; vous déviez la ligne selon un angle spécifique et continuez à dessiner sous l'eau. BathyFacto fait exactement cela, mais d'une manière très astucieuse. Au lieu d'essayer de gérer deux mondes séparés (un pour l'air, un pour l'eau), il utilise une architecture à « échantillonneur unique ». Il trace une ligne droite « virtuelle » à travers toute la scène pour que l'IA puisse apprendre de celle-ci, mais il utilise ensuite un « enveloppe de densité cassée » (kinked density wrapper). C'est comme une règle magique qui corrige instantanément la position de tout point qu'elle mesure une fois qu'il traverse la ligne de l'eau, garantissant que l'IA calcule la densité et la couleur au véritable emplacement sous l'eau, et non au faux emplacement en ligne droite.

Les résultats : De la simulation à la réalité
L'équipe a testé BathyFacto sur un monde simulé créé avec des graphismes informatiques (Blender), où ils connaissaient la profondeur exacte et parfaite de chaque élément (la « vérité terrain »). Les résultats sont frappants :

L'ancienne méthode (NeRF standard) : L'IA estimait que la profondeur était erronée de +1,370 mètre (trop peu profonde) et n'arrivait à reconstruire que 11,6 % de la scène sous-marine avec précision. Même s'ils essayaient de corriger manuellement la profondeur plus tard, elle restait décalée d'environ 0,4 mètre.
La nouvelle méthode (BathyFacto avec réfraction) : L'IA a obtenu la profondeur presque parfaitement, avec une déviation de seulement -0,001 mètre (soit un millimètre !). Elle a réussi à reconstruire 85,7 % de la scène sous-marine avec une tolérance de 0,2 mètre.

L'article a également comparé leur méthode à une approche traditionnelle de « Stéréo Multi-Vues » (MVS), qui est la méthode standard utilisée aujourd'hui par les géomètres. Ils ont constaté que la méthode traditionnelle fonctionne bien si le drone regarde droit vers le bas (nadir), mais qu'elle s'effondre lorsque le drone regarde l'eau selon un angle. Dans leurs tests simulés, BathyFacto a permis de récupérer une géométrie cohérente sur toute la gamme d'angles de caméra, du regard vertical vers le bas jusqu'aux vues latérales abruptes, alors que la méthode traditionnelle n'était fiable que pour des vues proches du nadir. Les auteurs soulignent que ce succès a été démontré sur des données simulées, et ils notent que la validation de la méthode sur des images réelles de drones (UAV) est prévue pour des travaux futurs.

Ce que cela signifie (et ce que cela ne signifie pas)
Les auteurs sont très clairs sur les limites de leur travail. Ils ont prouvé que BathyFacto fonctionne incroyablement bien sur des données simulées où la surface de l'eau est un plan plat et calme et où l'eau est claire. Ils soutiennent explicitement l'idée qu'on ne peut pas simplement « corriger » la profondeur plus tard avec une simple astuce mathématique ; l'article montre que sans modéliser la déviation de la lumière pendant le processus d'entraînement, la géométrie 3D reste fondamentalement brisée.

Cependant, ils admettent également que l'eau réelle est désordonnée. Leur simulation n'incluait pas d'eau trouble, de feuilles flottantes ou de vagues qui font onduler la surface. Ils notent que pour les vraies rivières et les océans, la surface de l'eau pourrait ne pas être un plan plat parfait, et l'eau pourrait être trouble, ce qui pourrait confondre l'IA. Ils suggèrent que les travaux futurs devront s'attaquer à ces défis de « vagues » et de « turbidité ».

En résumé, BathyFacto est une étape majeure pour apprendre à l'IA à voir le monde sous-marin tel qu'il est réellement, et non comme une réflexion déformée. Cela transforme une estimation floue et décalée en une carte précise et métriquement exacte, mais pour l'instant, c'est un champion de l'environnement contrôlé d'une simulation informatique, attendant son tour pour plonger dans le monde réel et agité.

Résumé Technique : BathyFacto

Problématique
La photogrammétrie à travers l'eau par véhicules aériens sans pilote (UAV) offre une méthode rentable pour la bathymétrie en eaux peu profondes. Cependant, les pipelines standards de Structure-from-Motion (SfM) et de Multi-View Stereo (MVS) reposent sur l'hypothèse d'une propagation des rayons en ligne droite. Lorsque les rayons lumineux traversent l'interface air-eau, ils sont réfractés selon la loi de Snell, se courbant vers la normale de la surface. Ignorer ce phénomène physique entraîne des biais systématiques dans les reconstructions géométriques sous-marines. Bien que des corrections de post-traitement existent, elles nécessitent souvent la gestion des rayons d'images individuels et restent sensibles aux incertitudes liées à l'estimation de la surface. De plus, les variantes existantes de Neural Radiance Fields (NeRF) supposent généralement un milieu homogène unique, échouant à modéliser explicitement l'interface, ce qui limite leur précision géométrique pour les applications bathymétriques métriques.

Méthodologie
Les auteurs présentent BathyFacto, une extension de l'architecture Nerfacto prenant en compte la réfraction et conçue pour deux milieux, intégrée dans le framework Nerfstudio. La méthode est conçue pour produire des nuages de points sous-marins métriquement cohérents. La méthodologie centrale comprend trois étapes principales :

Adaptation des données : Les sorties photogrammétriques (images orientées, poses de caméra et marqueurs de limites) sont converties dans un format compatible avec Nerfstudio. Une surface d'eau plane est ajustée à partir de marqueurs de rivage, et la scène est normalisée. Des masques de milieu par pixel sont générés pour distinguer les pixels terrestres (air uniquement) des pixels aquatiques (deux milieux).
Architecture à deux milieux :
- Géométrie partagée : BathyFacto utilise un champ de densité unique basé sur un hash-grid partagé pour l'air et l'eau, garantissant la cohérence géométrique à travers l'interface.
- Tête de couleur conditionnée par le milieu : Un seul MLP de couleur reçoit un indicateur de milieu d'un bit (0 pour l'air, 1 pour l'eau) comme entrée supplémentaire. Cela permet au réseau d'apprendre des apparences spécifiques au milieu (ex: absorption de l'eau) tout en partageant les poids de densité.
- Tracé de rayons : Chaque rayon de caméra est tracé comme deux segments linéaires par morceaux : un segment droit dans l'air jusqu'à la surface plane de l'eau, et un segment réfracté dans l'eau. La direction de réfraction est calculée via la loi de Snell avec des indices de réfraction connus ( $n_{air}=1.0$ , $n_{eau}=1.333$ ).
- Échantillonneur unique avec densité "kinked" (brisée) : Au lieu de maintenir des hiérarchies d'échantillonnage séparées pour l'air et l'eau, la méthode emploie un échantillonneur de réseau de proposition unique opérant sur un « rayon droit virtuel » couvrant les deux milieux. Un « enveloppe de densité brisée » (kinked density wrapper) corrige de manière transparente les positions des échantillons le long du rayon réfracté avant l'évaluation de la densité. Cela permet au réseau de proposition d'allouer de manière adaptative les échantillons à travers la frontière air-eau sans gestion complexe de double hiérarchie.
Exportation corrigée par réfraction : L'exportateur de nuage de points NeRF standard est étendu pour rétro-projeter les prédictions de profondeur le long de la géométrie de rayon à deux segments. Des transformations de coordonnées réversibles mappent les points du cadre de formation normalisé vers le système de coordonnées photogrammétrique global d'origine, permettant une comparaison métrique directe avec la géométrie de référence.

Contributions Clés

Nerfacto à deux milieux : Une extension de Nerfacto qui incorpore la réfraction explicite de la loi de Snell à une interface air-eau plane, utilisant un champ de densité partagé et une tête de couleur conditionnée par le milieu.
Architecture d'échantillonnage efficace : Une conception à échantillonneur unique avec une enveloppe de densité brisée qui permet une allocation adaptative des échantillons à travers les frontières de milieux en utilisant un rayon droit virtuel, évitant ainsi le besoin de hiérarchies d'échantillonnage distinctes.
Intégration à Nerfstudio : Implémentation au sein du framework modulaire Nerfstudio, exploitant l'encodage par hash-grid, l'échantillonnage par réseau de proposition et l'optimisation de la pose de caméra, favorisant ainsi la reproductibilité.
Exportation de nuage de points métrique : Un pipeline pour exporter des nuages de points 3D corrigés par réfraction dans un référentiel global sans nécessiter d'alignement de corps rigide (ICP) pour l'évaluation.
Évaluation complète : Une étude d'ablation sur une scène simulée à deux milieux avec une vérité terrain connue, comparant les configurations avec et sans correction de réfraction par rapport aux bases à milieu unique et au MVS traditionnel.

Résultats
La méthode a été évaluée sur un jeu de données simulé comprenant 130 images UAV obliques. Les résultats, mesurés dans le cadre de coordonnées globales absolues sans aucun alignement de corps rigide, sont les suivants :

Précision géométrique : BathyFacto avec réfraction activée a atteint une déviation médiane signée Cloud-to-Mesh (C2M) de −0,001 m et une complétude de 85,7 % à une tolérance de 0,2 m.
Comparaison avec les bases de référence :
- La base de référence Nerfacto à milieu unique présentait un biais de profondeur systématique de +1,370 m avec seulement 11,6 % de complétude.
- BathyFacto sans réfraction (ablation) présentait un biais de +1,409 m et 9,9 % de complétude.
- Même après l'application d'une correction de profondeur naïve (multiplication de la profondeur par l'indice de réfraction) aux bases de référence, un décalage significatif d'environ 0,4 m subsistait.
Comparaison avec MVS : Une référence MVS corrigée par réfraction a obtenu une précision comparable (+0,006 m médian), mais était limitée à des géométries de vue quasi-nadir. BathyFacto a réussi à récupérer une géométrie cohérente sur toute la plage d'angles d'incidence de la caméra.
Sensibilité : La méthode a démontré une robustesse aux petites perturbations du plan d'eau (erreurs d'inclinaison $\le$ 2° et décalages verticaux $\le$ 15 cm), bien que la précision se soit dégradée de manière significative avec des erreurs d'inclinaison plus importantes.

Signification et Revendications
L'article affirme que BathyFacto comble l'écart entre la recherche actuelle sur les NeRF réfractifs — qui se concentre souvent sur le rendu qualitatif ou des installations de laboratoire à petite échelle — et le besoin de reconstruction 3D métriquement interprétable à partir d'imagerie UAV. En intégrant un modèle de rayon explicite à deux milieux dans un framework NeRF moderne, la méthode permet de générer des nuages de points sous-marins qui sont géométriquement cohérents avec la réalité physique de la réfraction de la lumière. Les auteurs soulignent que si les métriques d'espace d'image 2D (PSNR, SSIM) se sont améliorées avec la modélisation de la réfraction, la contribution décisive est la restauration de la fidélité géométrique, permettant une comparaison directe avec des références externes sans alignement a posteriori. Ce travail positionne BathyFacto comme une étape vers une surveillance bathymétrique passive et routinière basée sur l'image, à condition que la surface de l'eau puisse être modélisée de manière adéquate et que les limites concernant la turbidité et les vagues de surface soient traitées dans des travaux futurs.

L'article : BathyFacto – Enseigner à l'IA à voir à travers l'eau

Articles similaires