eStonefish-Scenes: A Sim-to-Real Validated and Robot-Centric Event-based Optical Flow Dataset for Underwater Vehicles

Cet article présente eStonefish-Scenes, un jeu de données optique basé sur des événements synthétique et validé en conditions réelles pour les véhicules sous-marins, accompagné de la bibliothèque eWiz, démontrant qu'un réseau entraîné uniquement sur ces données simulées atteint une performance élevée sur des séquences réelles sans ajustement supplémentaire.

L'essentiel

🌊 Le Problème : La "Cécité" des Robots sous l'eau

Imaginez que vous essayez de conduire une voiture dans un brouillard épais, la nuit, avec des phares qui clignotent de manière imprévisible. C'est un peu la vie d'un robot sous-marin (un ROV) qui essaie de naviguer.

Les caméras classiques (comme celle de votre téléphone) prennent des photos à la suite. Sous l'eau, c'est un cauchemar : l'eau trouble, la lumière qui change, et le mouvement créent des images floues et illisibles. C'est comme essayer de lire un livre dont les pages sont mouillées et collées.

Les chercheurs ont une meilleure idée : utiliser des caméras "événements" (Event-Based Cameras).

• L'analogie : Au lieu de prendre des photos complètes (comme un photographe), ces caméras agissent comme des souris d'ordinateur ultra-rapides. Elles ne s'intéressent qu'aux changements de lumière. Si un poisson passe devant, la caméra dit : "Hé, quelque chose bouge ici !" Si l'image est fixe, elle se tait. C'est ultra-rapide, sans flou de mouvement, et ça consomme très peu d'énergie.

🚧 Le Défi : Pas assez de "Manuel d'Entraînement"

Pour apprendre à un robot à naviguer, on doit lui montrer des milliers d'exemples de mouvements (c'est ce qu'on appelle l'entraînement par l'intelligence artificielle).

• Le problème : Créer ces exemples sous l'eau est un enfer. Il faut plonger, filmer, et surtout, savoir exactement où le robot est allé (la "vérité terrain"). C'est cher, long, et souvent impossible à faire parfaitement sous l'eau.
• La conséquence : Il n'y a presque pas de données pour entraîner ces robots sous-marins. C'est comme vouloir apprendre à un enfant à conduire sans jamais lui montrer de voiture.

🎮 La Solution : Le Monde Virtuel "eStonefish"

C'est là que les auteurs de ce papier interviennent avec une idée géniale : simuler la réalité.

Ils ont créé un jeu vidéo ultra-réaliste appelé eStonefish-Scenes.

• Le Simulateur : Imaginez un simulateur de vol, mais pour des robots sous-marins. Ils ont utilisé un logiciel appelé Stonefish.
• Le décor : Ils n'ont pas juste mis du sable gris. Ils ont programmé un générateur automatique (Stonefish-SceneGen) qui crée des récifs coralliens infinis et colorés, comme un jardinier virtuel qui plante des corales partout.
• La vie : Ils ont ajouté des bancs de poissons (Stonefish-Boids) qui se déplacent de manière naturelle, comme dans un documentaire animalier, pour rendre le tout vivant.
• La caméra : Dans ce jeu, la caméra "événement" est intégrée directement. Elle ne voit pas des images, mais des flux de changements, exactement comme la vraie caméra.

Pourquoi c'est génial ? Parce que dans le jeu, on sait exactement comment le robot bouge et ce qu'il voit. Pas besoin de plonger ! On peut générer des millions d'heures de données en quelques heures.

🛠️ La Boîte à Outils : "eWiz"

Pour que d'autres chercheurs puissent utiliser ces données sans se casser la tête, ils ont créé une boîte à outils logicielle appelée eWiz.

• L'analogie : C'est comme une cuisine tout-en-un. Vous avez vos ingrédients (les données brutes), vos couteaux (pour découper les données), vos recettes (pour les préparer), et même des ustensiles pour vérifier si le gâteau est cuit (les métriques d'évaluation). Tout est prêt à l'emploi pour cuisiner de l'intelligence artificielle.

🧪 Le Grand Test : Du Virtuel au Réel

La question est : Est-ce que ce qu'on apprend dans le jeu vidéo fonctionne dans la vraie vie ?

Les chercheurs ont fait le test :

1. Ils ont pris un vrai robot (un BlueROV2) et l'ont équipé d'une vraie caméra événementielle.
2. Ils l'ont plongé dans une piscine intérieure avec un grand poster de fond (pour avoir des repères visuels).
3. Ils ont entraîné un cerveau artificiel (un réseau de neurones) uniquement avec les données du jeu vidéo (eStonefish).
4. Ensuite, ils ont mis ce cerveau sur le vrai robot, sans aucun ajustement supplémentaire.

Le résultat ? 🎉
C'est un succès ! Le robot a réussi à comprendre où il allait et comment bouger dans la vraie piscine, même s'il n'avait jamais "vu" l'eau réelle.

• L'analogie finale : C'est comme si vous appreniez à faire du vélo sur un simulateur de réalité virtuelle, puis que vous montiez sur un vrai vélo dans un parc et que vous rouliez parfaitement dès le premier coup de pédale, sans tomber.

📝 En Résumé

Ce papier nous dit :

1. Arrêtons de souffrir pour collecter des données sous l'eau.
2. Créons un monde virtuel (eStonefish) si réaliste que le robot ne fait pas la différence.
3. Utilisons des outils simples (eWiz) pour tout le monde.
4. Cela fonctionne ! On peut entraîner des robots sous-marins intelligents dans un ordinateur, et ils seront prêts à explorer les océans réels.

C'est une avancée majeure pour rendre l'exploration sous-marine plus sûre, moins chère et plus accessible à tous. 🐠🤖🌊

Résumé technique

1. Problématique

Les caméras à événements (Event-Based Cameras - EBC) offrent des avantages majeurs pour la robotique sous-marine, notamment une haute résolution temporelle, une absence de flou de mouvement et une grande plage dynamique. Cependant, leur adoption est freinée par le manque de jeux de données étiquetés spécifiques aux environnements sous-marins.

• Limites des données réelles : La collecte de données réelles avec des EBC est coûteuse, difficile (en raison de la turbidité, de la faible luminosité et de la diffusion de la lumière) et l'obtention d'un « ground truth » (vérité terrain) précis pour le flux optique est complexe.
• Limites des données synthétiques existantes : Les benchmarks actuels (comme UEOF) utilisent souvent des conversions post-traitement de vidéos RGB vers des événements, ce qui ne capture pas la dynamique réelle des capteurs ni l'interaction entre la dynamique du véhicule (hydrodynamique) et la réponse temporelle du capteur. De plus, ils ne sont pas adaptés aux résolutions basses typiques des systèmes embarqués sous-marins.

2. Méthodologie et Approche

Les auteurs proposent une approche complète combinant la génération de données synthétiques réalistes, un pipeline de traitement logiciel et une validation rigoureuse « Sim-to-Real ».

A. Génération de Données Synthétiques (eStonefish-Scenes)

Le jeu de données est généré nativement dans le simulateur Stonefish, garantissant une cohérence physique entre le mouvement du robot et les événements générés.

• Environnements : Deux types de scènes sont proposés : « Rocky » (fond rocheux nu) et « Reef » (récif corallien riche).
• Générateur de Scènes (Stonefish-SceneGen) : Un outil automatisé pour peupler aléatoirement le fond marin de coraux de différentes tailles et formes, évitant la modélisation manuelle fastidieuse.
• Dynamique (Stonefish-Boids) : Simulation de bancs de poissons réalistes utilisant l'algorithme des Boids (alignement, cohésion, séparation, attraction vers un leader) pour créer des scènes dynamiques complexes.
• Configuration du Robot : Un ROV (BlueROV2) virtuel équipé d'une caméra à événements (DAVIS346, 346x260 px) et d'une caméra RGB. Les capteurs sont configurés avec des paramètres réalistes (seuils de contraste, période réfractaire).
• Scénarios : 10 séquences de 45 secondes couvrant des mouvements statiques et dynamiques, avec des configurations de caméra « vers l'avant » (obstacle avoidance) et « vers le bas » (odométrie).

B. Pipeline de Traitement (eWiz)

Pour faciliter l'utilisation de ces données, les auteurs ont développé eWiz, une bibliothèque Python complète pour le traitement des données à événements.

• Fonctionnalités : Chargement de données, augmentation (bruit, warping temporel), visualisation, encodage (Gaussien, comptage d'événements) et génération de volumes d'entraînement.
• Format optimisé : Utilisation de fichiers HDF5 compressés (Blosc) avec des index précalculés pour un accès rapide aux événements entre deux images, réduisant la charge mémoire et le temps de chargement.
• Outils d'entraînement : Intégration de fonctions de perte (photométrique, lissage, contraste) et de métriques d'évaluation compatibles avec PyTorch et Tonic.

C. Acquisition de Données Réelles et Vérité Terrain

Pour valider le transfert, une expérience réelle a été menée dans un bassin d'essai à CIRS (Girona) avec un BlueROV2 et une caméra DAVIS346.

• Vérité Terrain (Ground Truth) : Un grand poster texturé a été posé au fond du bassin. Le flux optique réel est calculé par enregistrement homographique (appariement de caractéristiques SIFT entre les images de la caméra et le poster de référence).
• Estimation de l'incertitude : Une méthode de Monte Carlo est utilisée pour perturber les correspondances de points clés et estimer une carte d'incertitude par pixel (matrice de covariance). Cette incertitude est ensuite intégrée aux métriques d'évaluation pour pondérer la fiabilité des erreurs.

3. Contributions Clés

1. eStonefish-Scenes : Le premier jeu de données de flux optique basé sur les événements spécifiquement conçu pour les environnements sous-marins, incluant des scènes statiques et dynamiques (poissons).
2. Outils de Simulation : Développement de Stonefish-SceneGen (génération de récifs) et Stonefish-Boids (comportement de bancs de poissons) pour enrichir la diversité des données.
3. Bibliothèque eWiz : Un framework unifié pour le traitement, l'encodage et l'évaluation des données à événements, incluant des convertisseurs pour d'autres capteurs (DAVIS346, Prophesee).
4. Méthodologie de Validation Robuste : Une approche de vérité terrain basée sur l'homographie avec estimation explicite de l'incertitude par pixel, permettant une évaluation pondérée par la confiance.
5. Validation Sim-to-Real : Preuve de concept montrant qu'un modèle entraîné uniquement sur des données synthétiques peut fonctionner sur des données réelles sans ajustement fin (fine-tuning).

4. Résultats

Un réseau neuronal basé sur ConvGRU (inspiré de Hagenaars et al.) a été entraîné exclusivement sur les données synthétiques eStonefish-Scenes et évalué sur les données réelles sans fine-tuning.

• Performance sur données synthétiques :
  • Erreur de point d'extrémité moyenne (AEE) : 0,636 pixels.
  • Erreur angulaire moyenne (AAE) : 0,173 radians.
• Performance sur données réelles (Sim-to-Real) :
  • AEE pondéré par l'incertitude : 0,79 pixels.
  • AAE pondéré par l'incertitude : 0,2 radians.
• Analyse Qualitative : Les résultats montrent une forte concordance qualitative entre le flux prédit et la vérité terrain, même dans des conditions de mouvement complexe (rotation, translation). Les écarts se situent principalement dans les zones peu texturées ou à forte incertitude de vérité terrain.

5. Signification et Impact

Cet article marque une avancée significative pour la vision sous-marine basée sur les événements :

• Réduction des coûts : Il démontre que des données synthétiques réalistes, générées avec une physique de capteur fidèle, peuvent remplacer la collecte massive de données réelles coûteuse et difficile.
• Fiabilité accrue : L'introduction de métriques d'évaluation tenant compte de l'incertitude (uncertainty-aware) offre une mesure de performance plus juste pour les environnements réels où la vérité terrain est imparfaite.
• Accessibilité : La mise à disposition du jeu de données, du pipeline de génération et de la bibliothèque eWiz sur des plateformes open-source (Zenodo, GitHub) accélère la recherche sur les véhicules sous-marins autonomes (AUV/ROV) et l'application des réseaux de neurones spiking (SNN) ou CNN dans ce domaine.

En conclusion, eStonefish-Scenes comble un vide critique dans l'écosystème des données pour la robotique sous-marine, validant la viabilité de l'apprentissage par simulation pour des tâches de flux optique complexes dans des environnements hostiles.