$\pi$-SUB: A Physics-Informed Synthetic Underwater Benchmark Dataset for Underwater Image Enhancement

Imaginez que vous essayiez de prendre une photographie parfaite d'une épave, mais à chaque fois que vous plongez, l'eau agit comme un filtre géant et grincheux. Elle vole les couleurs rouges, brouille les détails avec de la poussière flottante et ajoute un voile brumeux qui donne l'impression que tout ressemble à un rêve sous l'eau. C'est le combat quotidien des robots et des caméras qui explorent l'océan. Pour apprendre aux ordinateurs à corriger ces photos floues et bleutées, les scientifiques ont besoin d'un « corrigé du professeur » — une version parfaite et propre de la scène pour la comparer à la photo désordonnée sous l'eau. Mais voici le hic : on ne peut jamais prendre une photo d'une épave sans avoir l'eau devant elle. On ne peut pas vider l'océan par magie juste pour prendre une photo. Alors, pendant des années, les scientifiques ont essayé de construire des mondes sous-marins factices sur des ordinateurs pour entraîner leur IA. Le problème est que la plupart de ces mondes factices sont comme de mauvais décors de cinéma : ils ont l'air corrects de loin, mais ils ne suivent pas les véritables règles de comportement de la lumière dans les profondeurs, et l'IA se retrouve confuse lorsqu'elle essaie d'utiliser ce qu'elle a appris sur le faux décor pour corriger de vraies photos sous-marines.

Ce document présente une nouvelle façon super intelligente de construire ces mondes sous-marins factices, appelée π-SUB. Considérez cela comme une mise à niveau, passant d'une découpe en carton d'une forêt à un écosystème entièrement simulé où chaque feuille, chaque rayon de soleil et chaque particule flottante suit les lois réelles de la physique. Les auteurs ont créé un système qui ne se contente pas de deviner l'aspect de l'eau ; il le calcule en utilisant la science réelle de la manière dont différents types d'eau (des océans bleus clairs aux baies côtières troubles) absorbent la lumière, comment la profondeur de la caméra est affectée, et même comment de minuscules plantes marines (comme la chlorophylle) modifient la couleur de l'eau. Ils ont testé ce nouvel ensemble de données « informé par la physique » contre d'anciens ensembles de données factices plus simples et ont constaté qu'il est beaucoup plus réaliste. Lorsqu'ils ont utilisé π-SUB pour entraîner quatre types différents d'outils de correction d'images par IA, ces outils sont devenus nettement plus performants pour nettoyer de vraies photos sous-marines, prouvant que si l'on enseigne à un robot avec une simulation parfaite et scientifiquement exacte, il apprend bien mieux à voir le monde réel.

Le Problème : Le Piège de l'Océan « Factice »

Pendant longtemps, les chercheurs tentant de corriger les photos sous-marines ont été confrontés à un casse-tête majeur. Pour apprendre à un ordinateur à nettoyer une image floue, vous avez généralement besoin de lui montrer l'image floue et la version parfaite et propre de cette même image. Mais dans l'océan, la version « parfaite » n'existe pas car l'eau est toujours présente. Ainsi, les scientifiques ont commencé à créer des ensembles de données synthétiques — des images sous-marines factices générées par des ordinateurs.

Cependant, beaucoup de ces tentatives précédentes étaient comme des châteaux de cartes. Elles ignoraient souvent le fait que la lumière change à mesure que l'on descend en profondeur (l'irradiance descendante), elles oubliaient les minuscules particules biologiques qui absorbent la lumière (comme la chlorophylle dans les algues), et elles traitaient toute l'eau comme si elle était identique. Elles utilisaient également une formule unique et simple pour la manière dont la lumière est bloquée, plutôt que la mathématique complexe du monde réel qui décrit comment la lumière se diffuse sur différentes particules. En conséquence, les modèles d'IA entraînés sur ces ensembles de données de « carton-pâte » apprenaient les mauvaises leçons. Ils devenaient bons pour corriger les images factices spécifiques qu'ils voyaient, mais lorsqu'ils essayaient de corriger une vraie photo de l'océan, ils échouaient souvent parce que l'océan réel est désordonné, profond et rempli de surprises biologiques que les modèles factices n'avaient pas prises en compte.

La Solution : π-SUB, le Simulateur Propulsé par la Physique

Les auteurs de ce document ont décidé de construire un meilleur simulateur, qu'ils ont nommé π-SUB. Au lieu de deviner, ils ont construit un cadre basé sur une version étendue d'un modèle physique classique appelé modèle de Jaffe–McGlamery. Mais ils ne se sont pas arrêtés là ; ils l'ont amélioré avec trois « super-pouvoirs » majeurs qui manquaient aux modèles précédents :

1. La Profondeur Compte : Ils ont réalisé que la lumière frappant une scène dépend de la profondeur de la caméra, et pas seulement de la distance de l'objet. Ils ont ajouté une couche qui simule la façon dont la lumière du soleil s'atténue à mesure qu'elle voyage à travers la colonne d'eau, rendant l'éclairage changeant de manière réaliste avec la profondeur.
2. La Biologie de l'Eau : Ils ont décomposé les « ingrédients » de l'eau. Au lieu de simplement dire « eau », ils ont modélisé les composants biologiques spécifiques à l'intérieur, comme la chlorophylle (qui rend l'eau verte) et la CDOM (matière organique dissoute). Cela permet au simulateur de créer des images qui ressemblent à celles prises dans un océan bleu clair ou dans une baie verte remplie d'algues, avec les décalages de couleur corrects pour chacun.
3. Les Extras « Désordonnés » : Les vraies photos sous-marines ne concernent pas seulement l'atténuation de la lumière ; elles comportent de la poussière flottante, un brouillard brumeux et des effets de lueur étranges. Le cadre π-SUB ajoute ces phénomènes « résiduels » comme des couches séparées et contrôlables. Vous pouvez activer ou désactiver la « poussière flottante », ou ajouter un « brouillard volumétrique », tout comme on ajoute des épices à une recette.

Le système fonctionne en trois étapes. Premièrement, il prend une image propre (soit une vraie photo provenant d'une base de données, soit un rendu 3D d'un moteur de jeu comme Unreal Engine) et détermine la distance de chaque pixel. Deuxièmement, il applique le nouveau modèle physique ultra-détaillé pour transformer cette image propre en une image sous-marine réaliste, en calculant exactement comment la lumière devrait apparaître en fonction du type d'eau et de la profondeur. Troisièmement, il ajoute ces effets « désordonnés » supplémentaires pour que cela ressemble encore plus au monde réel.

Les Résultats : Est-ce que cela fonctionne vraiment ?

Les auteurs n'ont pas seulement construit cet outil ; ils l'ont mis à l'épreuve. Ils voulaient savoir deux choses : Est-ce réaliste ? Et cela aide-t-il l'IA à mieux apprendre ?

Pour vérifier le réalisme, ils ont comparé π-SUB à d'autres ensembles de données synthétiques populaires. Ils ont utilisé une métrique appelée distance de Fréchet Inception (FID), qui est essentiellement un score mesurant à quel point deux groupes d'images se ressemblent pour un ordinateur. Plus le score est bas, plus les images sont réalistes. Les résultats sont impressionnants : π-SUB a obtenu un score FID 46 % inférieur au deuxième meilleur ensemble de données synthétiques (appelé Syrea). Cela signifie que les images générées par π-SUB ressemblent beaucoup plus à de vraies photos sous-marines que les anciennes.

Pour vérifier la généralisabilité (si l'IA entraînée sur ces données peut réellement corriger des photos réelles), ils ont pris quatre modèles d'IA de pointe (FUnIE-GAN, Pix2Pix, PUIE-Net et Phaseformer) et les ont entraînés sur π-SUB. Ils ont ensuite testé ces modèles entraînés sur six ensembles de données sous-marines réelles. Les résultats ont montré que les modèles entraînés sur π-SUB étaient les plus performants. Plus précisément, ils ont amélioré un score de qualité appelé UIQM de 4,18 % par rapport au meilleur ensemble de données suivant (PHISWID) et de 9,46 % par rapport à Syrea. Ils ont également réduit un score de « bruit » (NIQE) de 48,78 % et 23,98 % respectivement.

En termes plus simples, les modèles d'IA entraînés sur ce nouvel ensemble de données riche en physique étaient bien meilleurs pour nettoyer les vraies photos sous-marines que les modèles entraînés sur des données factices plus anciennes et plus simples. Ils préservaient davantage de détails importants (comme les contours d'un récif corallien) et éliminaient davantage la brume bleue et la distorsion de couleur gênantes.

Pourquoi cela importe

L'article conclut que π-SUB est un « benchmark hyper-réaliste et généralisable ». Il comble le fossé entre le monde factice des simulations informatiques et la réalité désordonnée de l'océan. En enseignant à l'IA grâce à un simulateur qui respecte la physique réelle de la lumière, de la profondeur de l'eau et de la biologie marine, les auteurs ont créé un outil qui aide les robots et les caméras à mieux voir sous l'eau. Il ne s'agit pas seulement de faire de jolies images ; il s'agit d'aider les véhicules sous-marins autonomes (AUV) et les véhicules télécommandés (ROV) à accomplir leurs tâches — comme l'inspection de pipelines, l'exploration d'épaves ou la surveillance des récifs coralliens — plus efficacement. L'article suggère que si nous voulons que l'IA comprenne véritablement le monde sous-marin, nous devons cesser de deviner et commencer à simuler avec les lois de la physique.