💻 computer science

Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting

L'article propose Underwater360, un cadre de splatting gaussien 3D omnidirectionnel informé par la physique qui reconstruit des scènes panoramiques sous-marines en effectuant un lancer de rayons dans l'espace sphérique et en découplant la radiance intrinsèque des effets du milieu afin d'atteindre une qualité de rendu et une restauration d'apparence supérieures.

Auteurs originaux : Jiangbei Hu, Weichao Song, Shibo Yu, Mohan Wang, Zihan Yi, Rui Wu, Mingkang Xiang, Na Lei, Shengfa Wang, Zhongxuan Luo, Ying He

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiangbei Hu, Weichao Song, Shibo Yu, Mohan Wang, Zihan Yi, Rui Wu, Mingkang Xiang, Na Lei, Shengfa Wang, Zhongxuan Luo, Ying He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de prendre une photo parfaite à 360 degrés d'un épave de navire en eau profonde. C'est un cauchemar pour deux raisons principales :

La distorsion « Bol de poisson » : Si vous utilisez un appareil photo standard, vous devez prendre des centaines de photos superposées pour couvrir toute la scène, et les assembler sous l'eau revient à essayer de monter un puzzle dont les pièces changent constamment de forme.
L'effet « Soupe trouble » : L'eau n'est pas un air clair. C'est comme regarder à travers un brouillard vert épais. L'eau absorbe la lumière (rendant les choses bleues ou vertes) et la diffuse (créant une lueur brumeuse), ce qui cache les vraies couleurs et les formes des objets.

L'article « Underwater360 » propose une nouvelle façon de résoudre ce problème. Imaginez-le comme la construction d'un modèle 3D virtuel et cristallin d'un monde sous-marin, même si les photos que vous lui avez fournies étaient floues et déformées.

Voici comment ils ont procédé, en utilisant quelques analogies simples :

1. Le « Ballon sphérique » au lieu d'une carte plate

Les graphismes 3D informatiques standard tentent généralement d'aplatir une scène 3D sur un écran 2D, comme projeter un globe sur une carte plate. Cela provoque un étirement et une déformation des bords (comme le Groenland qui paraît énorme sur une carte plate).

La solution de l'article : Au lieu d'aplatir le monde, les auteurs ont conçu leur système pour fonctionner à l'intérieur d'un gigantesque ballon transparent. Ils projettent des « rayons » (comme des faisceaux laser) directement depuis le centre du ballon vers sa surface. Cela évite l'étirement et la déformation qui se produisent lorsque l'on tente de forcer une vue à 360 degrés dans une image plate. C'est la différence entre essayer d'emballer un cadeau avec une feuille de papier plate (des plis partout) et utiliser un ballon pré-moulé qui épouse parfaitement la forme.

2. Le « Filtre magique » (séparer la soupe de l'objet)

Quand vous regardez un poisson rouge sous l'eau, il ne paraît pas rouge ; il paraît marron boueux parce que l'eau a absorbé la lumière rouge et ajouté une brume grise.

La solution de l'article : Ils ont créé un « filtre numérique » intelligent qui agit comme un chef séparant les ingrédients.
- L'objectif du chef : Déterminer à quoi le poisson ressemble vraiment (la couleur intrinsèque) par opposition à la façon dont l'eau l'a modifié (l'atténuation et la rétrodiffusion).
- Comment ça marche : Le système apprend à deviner deux choses simultanément :
  1. L'image « Propre » : À quoi la scène ressemblerait si l'eau était claire.
  2. L'image « Eau » : Dans quelle mesure l'eau a bloqué la lumière et quelle quantité de « brouillard » (rétrodiffusion) a été ajoutée.
- En séparant ces deux éléments, l'ordinateur peut mathématiquement « annuler » l'effet de l'eau, révélant les vraies couleurs et les détails nets de la scène sous-marine.

3. Les « Pulvérisateurs intelligents » (Gaussian Splatting)

Pour construire le modèle 3D, le système utilise des milliers de minuscules « éclaboussures » de peinture 3D floues (appelées Gaussiennes) au lieu de blocs 3D rigides.

L'analogie : Imaginez essayer de recréer un nuage. Vous pourriez utiliser des cubes en plastique dur, mais cela paraîtrait anguleux. À la place, vous utilisez des milliers de bouffées de brume douce et lumineuse qui se chevauchent. L'ordinateur détermine exactement où placer ces bouffées et leur degré de transparence pour correspondre aux photos.
L'innovation : Habituellement, ces « bouffées » sont conçues pour un air clair. Sous l'eau, le système des auteurs apprend à ces bouffées à porter également une « carte de l'eau » qui leur est attachée. Cela permet au système de savoir : « Cette bouffée est à 5 mètres de distance, donc l'eau l'a rendue 20 % plus sombre et 10 % plus brumeuse. »

Le résultat : Une nouvelle « Carte sous-marine »

Les auteurs n'ont pas seulement construit l'outil ; ils ont aussi construit le terrain d'entraînement.

Ils ont créé un nouveau jeu de données appelé OmniUW (scènes synthétiques créées dans un moteur de jeu vidéo) et Insta360 (photos réelles prises dans une piscine).
Ils ont testé leur méthode par rapport à d'autres modèles d'IA de pointe. Les résultats ont montré que leur approche « Ballon + Filtre magique » a créé des modèles 3D beaucoup plus nets et plus précis de scènes sous-marines que les méthodes précédentes, qui laissaient souvent les choses floues ou de la mauvaise couleur.

En résumé : Underwater360 est une nouvelle recette pour la reconstruction 3D qui utilise une vue de caméra sphérique pour éviter la distorsion et un filtre mathématique intelligent pour « peler » l'eau trouble, révélant le monde clair et coloré caché en dessous.

Résumé Technique : Underwater360

Énoncé du Problème
La reconstruction haute fidélité de scènes 3D sous-marines est cruciale pour l'exploration immersive, mais elle fait face à des obstacles majeurs. Les méthodes traditionnelles reposant sur des caméras à perspective standard peinent sous l'eau en raison de l'environnement aquatique instable (courants, particules en suspension) et de la dégradation optique sévère causée par l'absorption et la diffusion de la lumière. Ces facteurs affaiblissent les correspondances inter-vues, conduisant à une estimation de pose de caméra peu fiable et à des artefacts de reconstruction. De plus, les caméras à champ étroit conventionnelles nécessitent des vues denses et superposées pour la couverture, ce qui est difficile à réaliser de manière fiable sous l'eau. Bien que le 3D Gaussian Splatting (3DGS) ait révolutionné la reconstruction de scènes terrestres, les adaptations existantes pour le milieu sous-marin sont principalement conçues pour des images à perspective et échouent à résoudre les défis couplés de la distorsion de projection sphérique (inhérente aux panoramas 360°) et de la dégradation par milieu participant. À l'inverse, les méthodes de rendu omnidirectionnel existantes supposent généralement des conditions d'air clair et ne modélisent pas le transport de la lumière sous-marin.

Méthodologie
Les auteurs proposent Underwater360, un cadre 3DGS omnidirectionnel informé par la physique, conçu pour reconstruire des scènes panoramiques sous-marines. Le cadre intègre trois composants principaux :

Gaussian Splatting Omnidirectionnel :
Au lieu de projeter des Gaussiennes 3D sur une image de projection équirectangulaire (ERP) 2D (ce qui introduit une distorsion géométrique), la méthode effectue un lancer de rayons directement dans l'espace de la caméra sphérique. Pour chaque pixel de l'image ERP, un rayon de vue est défini en coordonnées sphériques. La contribution de chaque Gaussienne est évaluée le long de ces rayons dans un plan tangent local. Cette approche, construite sur le cadre SPaGS, atténue les distorsions de projection sphérique et fournit des profondeurs d'intersection rayon-splat précises nécessaires à la modélisation physique ultérieure.
Modélisation Physique de l'Apparence et du Milieu :
Pour gérer la dégradation sous-marine, les auteurs découplent la radiance intrinsèque de la scène de la rétrodiffusion et de l'atténuation dépendantes de la profondeur en utilisant le Modèle de Formation d'Image Sous-Marine (UIFM).
- Apparence Intrinsèque : Un module d'incrustation d'apparence conditionné par la pose ajuste la couleur de base de chaque Gaussienne à l'aide d'un MLP léger. Cela dissocie la radiance intrinsèque de la scène des effets dépendants de la vue et des décalages induits par le milieu, garantissant que la représentation de base des Gaussiennes reste stable.
- Estimation du Milieu : Deux réseaux de neurones légers estiment les paramètres physiques de l'eau.
  - Backscatter-Net : Prend la carte de profondeur en entrée pour prédire les coefficients d'atténuation pour la rétrodiffusion, modélisant la saturation asymptotique de la couleur de la lumière de l'eau à une distance infinie et les déviations en champ proche.
  - DeattenuateNet : Prend la carte de profondeur et l'incrustation de vue en entrée pour prédire des coefficients d'atténuation variant spatialement, tenant compte des conditions d'eau non homogènes.
    L'image dégradée finale est synthétisée en combinant la radiance propre, l'atténuation estimée et la rétrodiffusion selon le modèle physique : $I(p) = J(p) \odot A(p) + B(p)$ .
Optimisation Conjoints :
Le système optimise conjointement les attributs des Gaussiennes (position, covariance, opacité, couleur) et les paramètres des réseaux d'apparence et de milieu. La fonction de perte combine la perte L1 pixel par pixel et la similarité structurelle (L-SSIM) pour superviser la reconstruction par rapport aux observations panoramiques sous-marines brutes.

Contributions Clés

Cadre Unifié : L'article présente la première formulation unifiée couplant le rendu gaussien omnidirectionnel avec la formation d'image sous-marine explicite, permettant la reconstruction conjointe de la géométrie, de l'apparence dépendante de la vue et de la dégradation du milieu à partir d'entrées panoramiques.
Gaussian Splatting Omnidirectionnel : Introduction d'un module effectuant un lancer de rayons sphérique directement dans l'espace de la caméra, réduisant efficacement les distorsions géométriques associées aux approximations de projection 2D dans les champs de vision 360°.
Modélisation Consciente de la Physique : Une architecture novatrice qui dissocie explicitement la radiance intrinsèque de la scène de l'atténuation et de la rétrodiffusion sous-marines en utilisant des priors de profondeur et des incrustations conditionnées par la pose, permettant une restauration de scène ancrée physiquement.
Nouveaux Benchmarks : La création d'un nouveau jeu de données de référence panoramique sous-marin, OmniUW (synthétique, 5 scènes dans Unreal Engine 5) et Insta360 (réel, 5 scènes capturées avec une caméra Insta360 X4), comprenant à la fois des scènes 360° sous-marines synthétiques et réelles.

Résultats
Des expériences extensives ont été menées sur les jeux de données synthétiques OmniUW et réels Insta360, comparant Underwater360 aux méthodes de pointe basées sur NeRF et 3DGS (incluant des variantes spécifiques au milieu sous-marin et omnidirectionnelles).

Performance Quantitative : Underwater360 a obtenu des performances supérieures ou quasi-supérieures sur la plupart des scènes et métriques (PSNR, SSIM, LPIPS) sur les deux jeux de données. Notamment, il a démontré une robustesse significative dans les scènes à dégradation sévère où d'autres méthodes peinaient ou produisaient des résultats instables.
Améliorations Qualitatives : Les comparaisons visuelles ont montré que la méthode récupère des détails locaux plus clairs et des apparences de scène plus fidèles. La décomposition de la scène en radiance propre, atténuation et rétrodiffusion s'est révélée plus cohérente spatialement et physiquement plausible par rapport aux travaux antérieurs.
Insights des Ablations : Les résultats ont indiqué que, bien que le Gaussian Splatting omnidirectionnel seul soit efficace pour les scènes claires, la modélisation explicite de la formation d'image sous-marine est cruciale pour gérer l'atténuation sévère et la rétrodiffusion.

Signification et Revendications
Les auteurs affirment qu'Underwater360 offre une nouvelle perspective sur la reconstruction de scènes sous-marines en unifiant la représentation de scène panoramique avec une modélisation physique explicite. En tirant parti de la couverture riche de l'imagerie omnidirectionnelle et de l'efficacité du 3DGS, la méthode fournit des contraintes globales plus fortes pour la reconstruction dans des environnements sous-marins difficiles. Ce travail est positionné comme une étape fondamentale vers une vision 3D sous-marine robuste, fournissant à la communauté le premier jeu de données de référence et un cadre capable de gérer les défis couplés de la distorsion sphérique et de la dégradation du milieu. Les auteurs reconnaissent les limitations concernant les hypothèses de scènes statiques, l'absence de modélisation de la réfraction pour les boîtiers de caméra, et l'instabilité dans des environnements extrêmement turbides ou pauvres en textures, suggérant ces points comme des axes de travail futurs.

1. Le « Ballon sphérique » au lieu d'une carte plate

2. Le « Filtre magique » (séparer la soupe de l'objet)

3. Les « Pulvérisateurs intelligents » (Gaussian Splatting)

Le résultat : Une nouvelle « Carte sous-marine »

Résumé Technique : Underwater360

Articles similaires