Looking Into the Water by Unsupervised Learning of the Surface Shape

Cet article propose une méthode non supervisée utilisant deux réseaux de champs neuronaux et des fonctions d'activation périodiques (SIREN) pour modéliser la surface de l'eau et corriger les distorsions de réfraction dans les images aériennes, surpassant ainsi les approches existantes tout en estimant la topographie de la surface.

L'essentiel

🌊 Le Problème : Regarder à travers une vitre mouillée

Imaginez que vous êtes un drone volant au-dessus de l'océan. Vous voulez prendre une photo d'un trésor caché au fond de l'eau (un récif corallien, un poisson, ou même un objet perdu).

Le problème ? L'eau n'est pas un miroir plat et calme. Elle bouge, elle ondule, elle forme des vagues. La lumière qui remonte du fond doit traverser cette surface agitée. C'est comme regarder à travers une vitre de douche pleine de gouttes d'eau ou à travers une loupe déformante. Résultat : ce que vous voyez est tordu, flou et déplacé. Les chiffres sur un tableau sous l'eau semblent sauter partout, et les lignes droites deviennent des courbes folles.

C'est ce que les scientifiques appellent la réfraction.

🧠 La Solution : Une "Enquête" sans indices préfabriqués

Habituellement, pour réparer une image abîmée, les ordinateurs ont besoin de milliers d'exemples "parfaits" appris à l'école (ce qu'on appelle l'apprentissage supervisé). Mais ici, c'est impossible : on ne peut pas avoir une photo parfaite du fond de l'océan en même temps que l'eau bouge pour comparer les deux.

Les auteurs de ce papier ont eu une idée géniale : l'apprentissage non supervisé.

Au lieu d'apprendre à l'ordinateur "à quoi ça ressemble", ils lui disent : "Regarde cette vidéo de 10 secondes. L'eau bouge, mais le fond, lui, ne bouge pas. Trouve la forme de l'eau qui explique pourquoi l'image change, et reconstruis l'image fixe qui se cache derrière."

C'est un peu comme si vous regardiez une personne derrière un rideau en plastique qui ondule. Si le rideau bouge de différentes façons, vous pouvez deviner la forme de la personne derrière en observant comment les plis du rideau déforment sa silhouette.

🛠️ Comment ça marche ? (L'analogie du Dessinateur et du Géomètre)

Le système utilise deux "cerveaux" artificiels (des réseaux de neurones) qui travaillent en équipe, un peu comme un duo de détectives :

1. Le Géomètre (Le réseau de la surface) :
   Imaginez un dessinateur très rapide qui essaie de deviner la forme exacte de chaque vague à chaque instant. Il ne dessine pas l'image finale, il dessine juste la topographie de l'eau (les hauts et les bas des vagues).

   • L'astuce : Ils utilisent une technique spéciale appelée SIREN. C'est comme si ce dessinateur utilisait des ondes sinusoïdales (des vagues mathématiques) pour dessiner. Cela lui permet de comprendre non seulement la forme de la vague, mais aussi comment elle s'incline (sa pente), ce qui est crucial pour calculer comment la lumière se plie.

2. Le Restaurateur (Le réseau de l'image) :
   C'est l'artiste qui essaie de reconstituer l'image du fond de l'eau. Il prend les informations du Géomètre (la forme des vagues) et se dit : "Ah, si la vague est là, la lumière a dû se plier ici. Donc, je dois déplacer ce pixel pour le remettre à sa vraie place."

Le jeu du "Je te vois, tu me vois" :
Ces deux réseaux jouent ensemble :

• Le Restaurateur crée une image "propre".
• Le Géomètre prend cette image propre et la "déforme" virtuellement en utilisant les lois de la physique (la loi de Snell, qui explique comment la lumière se courbe dans l'eau).
• Ensuite, ils comparent cette image virtuellement déformée avec la vraie vidéo prise par le drone.
• S'ils ne correspondent pas, ils se corrigent mutuellement. Ils répètent ce processus des milliers de fois jusqu'à ce que l'image déformée par le système ressemble parfaitement à la vidéo réelle.

🏆 Les Résultats : Plus net que la réalité

Grâce à cette méthode, l'ordinateur arrive à faire deux choses magiques en même temps :

1. Il nettoie l'image : Il rend les chiffres lisibles, les lignes droites et les détails nets, comme si l'eau n'avait jamais existé.
2. Il cartographie l'eau : Il produit une carte 3D précise de la surface de l'eau à chaque instant.

Dans les tests, leur méthode bat les meilleures techniques actuelles. Là où les autres méthodes laissaient encore des traces de flou ou des lignes tordues, leur méthode redresse les grilles et rend les dessins d'éléphants ou de dés parfaitement nets.

🚀 Pourquoi c'est utile ?

C'est une révolution pour plusieurs raisons :

• Sauvetage : On pourrait repérer plus facilement des personnes qui se noient dans une piscine ou en mer, même si l'eau est agitée.
• Science : On peut mesurer la santé des coraux ou la taille des algues sans avoir à plonger, juste avec un drone.
• Simplicité : Pas besoin de superordinateurs géants ni de bases de données complexes. Le système apprend tout seul en regardant la vidéo.

En résumé : C'est comme donner à un ordinateur des lunettes de soleil magiques qui lui permettent de voir à travers les vagues agitées, en comprenant la physique de l'eau pour "annuler" la déformation et révéler la vérité cachée sous la surface.

Résumé technique

1. Problématique

L'article aborde le défi de l'observation de scènes sous-marines depuis des plateformes aériennes (drones, avions). La réfraction de la lumière à l'interface air-eau, régie par la loi de Snell, provoque des distorsions importantes de la position apparente et de la forme des objets sous-marins. Ces distorsions sont directement liées à la géométrie dynamique de la surface de l'eau (vagues).

Le problème principal réside dans le fait que :

• Les vagues réelles sont une superposition complexe de différentes ondes (amplitudes et périodes variées), rendant difficile la généralisation des méthodes supervisées qui nécessitent des données d'entraînement massives et synthétiques.
• Obtenir des "vérités terrain" (images non distordues et formes de vagues exactes) pour des scènes réelles est extrêmement difficile, voire impossible.
• Les méthodes existantes nécessitent souvent de longues séquences d'images ou des hypothèses simplificatrices qui ne tiennent pas dans des environnements réels complexes (flou de mouvement, géométrie non planaire).

2. Méthodologie

Les auteurs proposent une approche non supervisée basée sur l'apprentissage de la forme de la surface de l'eau à partir d'une courte séquence vidéo. Le cœur de la méthode repose sur deux réseaux de champs neuronaux (Neural Fields) utilisant des fonctions d'activation périodiques (SIREN).

Hypothèses

• La scène sous-marine est statique et située à une profondeur moyenne $h_0$ inconnue.
• La caméra est orthographique (vue de dessus).
• Les fluctuations de la surface de l'eau sont petites par rapport à la profondeur moyenne.

Architecture du Modèle

Le modèle se compose de deux réseaux SIREN (Sinusoidal Representation Networks) :

1. Modèle de hauteur de surface ($H_\theta$) :

   • C'est un champ neuronal qui prend en entrée une position spatiale 2D ($x$) et un instant ($t$).
   • Il prédit la hauteur de la surface de l'eau $h(x, t)$.
   • Grâce aux propriétés des SIREN, le réseau peut calculer efficacement les dérivées spatiales ($\nabla h$) de la hauteur, ce qui est crucial pour modéliser la réfraction.
   • La hauteur moyenne $h_0$ est estimée en moyennant les sorties du réseau sur l'espace et le temps.

2. Modèle d'image ($I_\phi$) :

   • Un autre champ neuronal SIREN qui prédit la couleur des pixels de l'image sous-marine non distordue $I_\phi(x)$ pour n'importe quelle position $x$.

Mécanisme de Reconstruction

Le processus de reconstruction suit la loi de Snell (approximation du premier ordre) :

• Le décalage de pixel (distorsion) $d(x, t)$ est calculé à partir du gradient de la hauteur de surface :
  $$d(x, t) = \left(1 - \frac{1}{n}\right) h_0 \nabla h(x, t)$$
  où $n$ est l'indice de réfraction relatif.
• L'image observée à l'instant $t$ est reconstruite en échantillonnant l'image propre $I_\phi$ aux positions déformées :
  $$I^t_{\theta,\phi} = I_\phi(x_{reg} + d(H_\theta(x_{reg}, t)))$$

Entraînement Non Supervisé

L'entraînement se déroule en deux étapes sans utiliser d'images de référence propres :

1. Initialisation : Le réseau de hauteur est entraîné pour prédire une surface plate (zéro distorsion) et le réseau d'image pour prédire l'image moyenne des frames distordues.
2. Optimisation : La fonction de perte minimise la différence entre les images observées réelles et les images reconstruites simulées par le modèle.
   $$L(\theta, \phi) = \sum_t |I^t_{\theta,\phi} - I^t|$$
   Cette approche exploite le fait que les SIREN peuvent modéliser simultanément un signal et ses dérivées, ce qui correspond physiquement à la relation entre la hauteur de la vague et la distorsion de l'image.

3. Contributions Clés

• Apprentissage Non Supervisé : Élimination du besoin de données d'entraînement étiquetées (paires image distordue/image propre), permettant une application directe sur des données réelles.
• Estimation de la surface de l'eau : Contrairement aux méthodes précédentes qui ne restaurent que l'image, cette méthode fournit une estimation explicite de la hauteur de la surface de l'eau pour chaque frame.
• Utilisation des SIREN : Démonstration que les réseaux à activation sinusoïdale sont particulièrement adaptés pour modéliser les signaux spatio-temporels continus et leurs dérivées (gradients de surface), essentiels pour la physique de la réfraction.
• Simplicité d'entraînement : Le modèle utilise une fonction de perte unique (reconstruction de l'image) contre les trois termes de perte complexes requis par les méthodes de l'état de l'art (comme NDIR).

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur trois ensembles de données :

1. Real1 (James) : Données réelles en aquarium avec mouvement important et flou.
2. TianSet : Données réelles capturées à 125 fps.
3. Données synthétiques : Générées avec trois types de vagues (Gaussiennes, Ripple, Océan).

Performances :

• Qualité d'image : La méthode surpasse systématiquement l'approche non supervisée de référence (NDIR) et rivalise ou dépasse les méthodes supervisées (Li et al.) sur les métriques perceptuelles (LPIPS) et structurelles (SSIM). Les images reconstruites montrent des lignes plus droites et des détails plus nets (ex: chiffres, motifs de damier).
• Estimation de la surface : Les reconstructions de la hauteur des vagues correspondent fidèlement aux vérités terrain dans les données synthétiques (RMSE moyen de 0.115).
• Robustesse : La méthode fonctionne même lorsque les hypothèses ne sont pas parfaitement respectées (caméra non orthographique, objets 3D complexes, flou de mouvement), comme démontré sur une scène de récif corallien réel.

5. Signification et Impact

Cette recherche ouvre de nouvelles perspectives pour l'observation marine et la sécurité :

• Applications pratiques : Surveillance des fermes aquacoles, détection de noyade (piscines et océans), évaluation des dommages aux récifs coralliens et cartographie des fonds marins.
• Avantage scientifique : La capacité à reconstruire à la fois la scène sous-marine et la dynamique de la surface offre une double valeur pour l'océanographie physique (étude des micro-layers de surface) et la vision par ordinateur.
• Limites et éthique : Les auteurs soulignent la nécessité d'une utilisation responsable, notamment pour éviter la surveillance non autorisée ou la mauvaise interprétation des données dans des scénarios critiques.

En résumé, cette méthode représente une avancée significative en transformant un problème de restauration d'image complexe en un problème d'apprentissage de signal physique non supervisé, capable de fonctionner avec des données réelles et limitées.