Beyond Pixel Similarity: Task-Aware Evaluation of GAN-Based Synthetic Sonar Data for Robotic Perception

Les robots sous-marins sont confrontés à un défi unique : l'océan est souvent trop sombre, trop trouble ou trop rempli de débris flottants pour que les caméras standards puissent voir clairement. Pour naviguer dans ces environnements, les ingénieurs s'appuient sur le sonar d'imagerie, qui utilise des ondes sonores pour créer des images du fond marin et des objets qui s'y trouvent. Cependant, ces images basées sur le son sont très différentes des photographies auxquelles les humains sont habitués. Elles sont remplies de bruit granuleux, d'ombres étranges et de points brillants qui dépendent fortement de l'angle de vue et de la texture du fond océanique. Pour apprendre à un robot à reconnaître une épave ou un déchet dans ces images difficiles, les développeurs ont besoin de milliers d'exemples étiquetés. La collecte et le marquage manuel de ces images réelles sont lents, coûteux et souvent dangereux. Une solution courante consiste à créer des données synthétiques — des images générées par ordinateur qui imitent la réalité — afin que les robots puissent apprendre à partir d'une vaste bibliothèque d'exemples sans avoir besoin de visiter l'océan. Mais une question cruciale demeure : comment savoir si une image sonar fictive est réellement assez bonne pour enseigner à un robot ?

Pendant des années, la méthode standard pour juger la qualité d'une image synthétique a consisté à mesurer à quel point elle correspond à une image réelle, pixel par pixel. Les chercheurs utilisent des outils mathématiques pour calculer la différence de luminosité et de couleur entre les deux images, leur attribuant un score qui indique leur similitude. Si le score est élevé, l'hypothèse est que l'image synthétique est réaliste et donc utile. Une nouvelle étude remet en question cette hypothèse, suggérant que pour la tâche spécifique d'aider les robots à « voir » sous l'eau, regarder l'image dans son ensemble est moins important que d'examiner les détails spécifiques dont un algorithme d'apprentissage automatique a besoin pour trouver un objet. Les chercheurs ont cherché à savoir si ces scores de similitude traditionnels reflétaient réellement la capacité d'une image synthétique à aider un robot à détecter des objets, ou s'ils ne mesuraient que la ressemblance visuelle sans capturer la réalité fonctionnelle des données.

Pour explorer cela, l'équipe a utilisé un type d'intelligence artificielle connu sous le nom de réseau antagoniste génératif (GAN), qui agit comme une paire d'artistes en compétition. Une partie du système tente de créer une image sonar réaliste basée sur un contour simple d'un objet, tandis que l'autre partie tente de repérer la différence entre l'image truquée et une image réelle. Les chercheurs ont testé quatre versions différentes de ce « détecteur », chacune avec une manière différente d'examiner l'image : une version examinait l'image un minuscule point à la fois, une autre regardait de petites zones (patches), une troisième regardait des zones de taille moyenne, et la quatrième regardait l'image entière à la fois. Ils ont entraîné ces systèmes à l'aide de données sonar réelles provenant de deux sources différentes : l'une issue d'un environnement de piscine contrôlé et l'autre d'un milieu fluvial variable. Une fois que les systèmes ont généré leurs images synthétiques, l'équipe les a évaluées de deux manières. Premièrement, ils ont effectué les tests de similitude traditionnels pour voir quelle version produisait les images les plus visuellement précises. Deuxièmement, ils ont injecté les images synthétiques dans un logiciel de détection d'objets qui avait été entraîné exclusivement sur des données sonar réelles, demandant essentiellement au logiciel de trouver les objets dans les images fictives comme s'ils étaient réels.

Les résultats ont révélé un décalage surprenant entre l'apparence d'une image et son utilité. Dans le jeu de données de la piscine contrôlée, le système qui examinait l'image un minuscule point à la fois a produit les scores de similitude les plus élevés, faisant en sorte qu'il ressemble le plus à l'image de référence réelle selon les mesures standards. Cependant, lorsque le logiciel de détection d'objets a tenté de trouver des éléments dans ces images, il a obtenu de bien meilleurs résultats avec les images générées par les systèmes qui examinaient de petits patchs de l'image. De même, dans le jeu de données du fleuve, le système qui analysait l'image entière à la fois a obtenu les meilleurs scores de similitude, pourtant les systèmes basés sur des patchs ont de nouveau permis au logiciel de détection de trouver les objets plus précisément. L'étude a révélé que les configurations qui atteignaient les plus hauts niveaux de similitude au niveau du pixel ne produisaient pas systématiquement les meilleures performances de détection. En fait, les systèmes qui produisaient des images légèrement plus floues ou moins parfaites au niveau des pixels préservaient souvent les bords nets et les structures locales dont le logiciel de détection avait besoin pour identifier les cibles.

Cette découverte suggère que les outils que nous utilisons actuellement pour juger les données synthétiques pourraient passer à côté de la partie la plus importante de l'image. Les scores traditionnels récompensent une image pour sa correspondance avec la luminosité globale et la structure générale d'une photo réelle, ce qui peut parfois conduire à des images qui sont lisses et uniformes mais qui manquent des détails spécifiques à haut contraste dont un robot a besoin pour prendre une décision. Les systèmes basés sur les patchs, en se concentrant sur des régions locales, semblaient préserver les caractéristiques critiques qui aident une machine à distinguer un objet de l'arrière-plan, même si l'image globale paraissait légèrement moins parfaite pour un observateur humain. Les chercheurs concluent que pour les données sonar synthétiques destinées à la perception robotique, se fier uniquement aux métriques de similitude visuelle est insuffisant. Au contraire, le véritable test de la qualité d'une image synthétique devrait être sa capacité à aider un robot à accomplir sa tâche réelle. Ce changement de perspective implique que l'avenir de l'entraînement des robots sous-marins dépendra moins de la création d'images qui ressemblent exactement à la réalité et davantage de la création d'images qui fonctionnent efficacement pour les machines qui doivent les voir.