LoRA-Based Diffusion Data Augmentation for Underwater Garbage Detection: An Empirical Study with YOLOv8s

Le fond de l'océan est un lieu où la lumière peine à atteindre les profondeurs, et où l'eau elle-même agit comme un rideau épais et brumeux. Dans ces profondeurs sombres et troubles, les bouteilles en plastique, les filets de pêche et les pneus abandonnés que les humains ont perdus ne reposent pas nettement sur le sable. Ils sont souvent déformés par la façon dont l'eau courbe la lumière, obscurcis par des particules flottantes ou cachés dans les ombres. Pour les scientifiques qui tentent de nettoyer les océans, cette confusion visuelle constitue un obstacle majeur. Pour trouver et compter ces détritus sous-marins, ils s'appuient sur des caméras et des ordinateurs, mais les ordinateurs doivent être entraînés sur des milliers d'exemples clairs pour apprendre ce qu'ils recherchent. Le problème est que les photos sous-marines nettes sont incroyablement difficiles à prendre. L'environnement est difficile d'accès, l'équipement est coûteux, et les images qui existent sont souvent trop floues ou trop sombres pour être utiles à l'enseignement d'un ordinateur.

Pour pallier cette pénurie de bonnes données d'entraînement, les chercheurs se sont tournés vers un nouvel outil : une intelligence artificielle capable d'imaginer et de créer des images. Ces outils, connus sous le nom de modèles génératifs, peuvent produire des images qui ressemblent à des photographies sans qu'une caméra n'ait jamais été utilisée. Cependant, demander simplement à un ordinateur de « dessiner un sac plastique sous l'eau » donne souvent une image qui ne ressemble en rien à la réalité. L'objet généré peut avoir la mauvaise forme, la mauvaise couleur, ou apparaître dans un endroit où il n'a pas sa place. Si un ordinateur apprend à partir de ces fausses images, il pourrait être confus et échouer à repérer les vrais déchets plus tard. Le défi consiste donc non seulement à créer plus d'images, mais à créer des images si convaincantes et précises qu'un ordinateur puisse apprendre d'elles comme s'il s'agissait de la réalité.

Une équipe de chercheurs s'est donné pour mission de tester si cette approche pouvait réellement fonctionner pour nettoyer l'océan. Ils se sont concentrés sur un type spécifique de système d'intelligence artificielle capable de générer des images, combiné à une méthode pour enseigner précisément à ce système à quoi ressemblent les différents types de déchets sous-marins. Ils n'ont pas cherché à remplacer entièrement le besoin de photos réelles ; au contraire, ils voulaient voir si l'ajout d'un petit nombre d'images fausses soigneusement élaborées à un ensemble limité d'images réelles pouvait aider un détecteur informatique à devenir plus intelligent. Ils ont choisi d'étudier cinq types spécifiques de débris courants : les sacs plastiques, les gants, les masques chirurgicaux, les filets de pêche et les canettes. Ces objets sont notoirement difficiles à repérer car ils sont souvent transparents, froissés ou se fondent dans le fond marin.

Les chercheurs ont commencé par une collection de photos sous-marines réelles qui avaient déjà été étiquetées par des humains. Pour s'assurer que leur test soit équitable et que leurs résultats soient dignes de confiance, ils ont soigneusement séparé ces photos réelles en trois groupes avant de commencer toute génération par ordinateur. Un groupe a été utilisé pour enseigner au système de création d'images à quoi les déchets devraient ressembler. Un autre groupe a été utilisé pour entraîner le détecteur informatique. Le troisième groupe, qui n'a jamais été montré ni au créateur d'images ni au détecteur pendant la phase d'apprentissage, a été conservé strictement pour le test final. Cette séparation stricte a empêché l'ordinateur d'utiliser les réponses du test pendant la phase d'apprentissage.

Pour rendre les images fausses utiles, l'équipe a utilisé deux techniques spéciales. Premièrement, ils ont appris au générateur d'images à prêter attention aux détails spécifiques de chaque type de déchet. Ils ont montré au système quelques dizaines d'exemples réels d'un sac plastique, d'un gant ou d'un filet, et ont laissé le système apprendre la façon unique dont ces objets apparaissent sous l'eau — leurs plis, leur transparence, et la façon dont la lumière bleu-vert des profondeurs affecte leur couleur. Deuxièmement, ils ont donné au système une carte simple à suivre. Avant de générer une image, les chercheurs ont dessiné un cadre sur une toile vierge où ils voulaient que le déchet apparaisse. Le système était ensuite contraint de placer l'objet généré exactement à l'intérieur de ce cadre. Cela garantissait que les images fausses correspondraient aux étiquettes que le détecteur informatique attendait de voir, évitant ainsi toute confusion sur l'emplacement réel de l'objet.

L'équipe a créé des centaines d'images synthétiques, mais elle a été très sélective quant à celles qu'elle utilisait. Ils ont vérifié manuellement les images générées, écartant celles qui paraissaient trop étranges, qui présentaient des formes brisées ou qui ne correspondaient pas à l'étiquette. Seules les meilleures images ont été ajoutées à l'ensemble d'entraînement pour le détecteur informatique ; plus précisément, seulement 50 images synthétiques supplémentaires ont été incluses pour chaque configuration expérimentale. Ils ont ensuite mené trois expériences différentes pour voir ce qu'il en résultait. Dans la première, le détecteur a été entraîné uniquement sur des photos réelles. Dans la seconde, ils ont ajouté des images fausses générées sans entraînement spécifique sur les types de déchets. Dans la troisième, ils ont ajouté les images fausses qui avaient été soigneusement ajustées pour ressembler aux articles de déchets spécifiques.

Les résultats ont montré que le simple fait d'ajouter plus d'images fausses ne suffisait pas. Lorsque le détecteur était entraîné avec les images fausses non ajustées, ses performances s'amélioraient en réalité légèrement en moins, devenant moins précises pour trouver les déchets et en manquant davantage qu'auparavant. Cela suggérait que si les images fausses différaient trop de la réalité, elles ne servaient qu'à confondre l'ordinateur. Cependant, lorsque le détecteur a été entraîné avec les images fausses soigneusement ajustées, les résultats se sont améliorés. L'ordinateur est devenu meilleur pour identifier les déchets, en trouvant davantage et en les localisant plus précisément. La précision du détecteur est passée d'environ 83 pour cent à 85 pour cent, et sa capacité à trouver les articles corrects s'est également améliorée.

L'étude a également révélé que cette amélioration ne se produisait pas de la même manière pour chaque type de déchet. L'ordinateur est devenu nettement meilleur pour repérer les gants, les canettes et les filets de pêche lorsqu'il apprenait à partir des images fausses ajustées. Cependant, pour les masques chirurgicaux et les sacs plastiques, l'amélioration était beaucoup plus faible, et dans certains cas, la performance n'a pas changé du tout. Cela suggère que la méthode fonctionne mieux pour les objets ayant une forme et une texture claires, mais qu'elle peine avec les articles très fins, transparents ou facilement déformables. Les chercheurs ont conclu que, bien que ces images générées par IA puissent aider, elles ne sont pas un substitut parfait aux données réelles. Elles constituent un complément utile qui peut booster les performances lorsque les photos réelles sont rares, mais elles doivent être créées avec un grand soin et contrôlées pour leur qualité.

En fin de compte, ce travail démontre que nous pouvons utiliser l'intelligence artificielle pour aider à résoudre le problème de la pollution océanique, mais que la technologie doit être guidée par la compréhension humaine. On ne peut pas se contenter de dire à l'ordinateur de « faire plus d'images » ; il faut lui enseigner le langage visuel spécifique du monde sous-marin. En combinant des données réelles avec des images synthétiques de haute qualité et soigneusement contrôlées, les chercheurs peuvent construire de meilleurs outils pour surveiller et protéger le fond de l'océan. L'étude confirme que cette approche est une étape prometteuse, offrant un moyen de tirer le meilleur parti des ressources limitées tout en reconnaissant que la complexité de l'environnement sous-marin nécessite encore une manipulation prudente.