💻 computer science

Annotation-Consistent Diffusion Augmentation for Data-Scarce Pest Instance Segmentation

Cet article propose un cadre d'augmentation de données basé sur la diffusion et spécifique à un domaine qui génère des images synthétiques cohérentes avec les annotations pour des espèces de ravageurs rares sur des pièges collants, comblant efficacement le fossé de la rareté des données et améliorant considérablement les performances de segmentation d'instance à travers de multiples architectures sans nécessiter d'étiquetage manuel supplémentaire.

Auteurs originaux : Jung-sang Yoo, Seung-Hwan Yang

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jung-sang Yoo, Seung-Hwan Yang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le dilemme de la « l'insecte rare »

Imaginez que vous êtes un agriculteur essayant de capturer des nuisibles (des insectes) sur des pièges jaunes collants dans une serre. Vous voulez qu'un programme informatique (une IA) regarde les photos de ces pièges et compte exactement combien d'insectes s'y trouvent, et de quel type ils sont.

Pour enseigner cela à cette IA, vous devez lui montrer des milliers d'images où vous avez soigneusement dessiné une ligne autour de chaque insecte. C'est ce qu'on appelle l'« annotation par polygone ».

Le piège :

Les insectes communs (comme les mouches domestiques) sont partout. Vous avez des milliers de photos d'eux.
Les insectes rares sont le problème. Ils ne peuvent apparaître qu'une fois par an ou seulement dans un coin de la ferme. Vous n'avez peut-être que 50 photos d'eux.
Le résultat : L'IA devient très douée pour repérer les insectes communs, mais elle est très mauvaise pour repérer les insectes rares parce qu'elle n'a pas vu assez d'exemples. C'est comme essayer de reconnaître un oiseau rare spécifique alors que vous n'en avez vu qu'une seule photo.

Les anciennes solutions (Et pourquoi elles ont échoué)

Habituellement, quand les gens manquent de données, ils essaient de « simuler » plus de données en utilisant des astuces :

Rotation et retournement : Faire pivoter l'image ou la retourner. (Cela n'aide pas car l'insecte se ressemble toujours, il est juste à un endroit différent).
Découper et coller : Prendre un insecte d'une photo et le coller sur une autre. (C'est comme un collage. L'insecte a l'air réel, mais les bords paraissent souvent bizarres, et vous ne pouvez pas créer un insecte avec une nouvelle posture ou une nouvelle blessure).
Mélange : Fusionner deux photos ensemble. (Cela crée des images floues et désordonnées qui confondent l'IA).

Ces méthodes reviennent à essayer d'apprendre à quelqu'un ce qu'est un « chien » en ne lui montrant que des photos des trois mêmes chiens, portant simplement des chapeaux différents. Ils ne peuvent pas apprendre à quoi ressemble un nouveau chien.

La nouvelle solution : Le « Studio d'Art Magique »

Cet article propose une nouvelle façon de créer des données factices en utilisant un type d'IA appelé Diffusion (la même technologie derrière les générateurs d'images comme DALL-E ou Midjourney). Considérez cela comme un « Studio d'Art Magique » capable de peindre de nouveaux insectes à partir de rien, mais avec un ensemble de règles très strictes pour s'assurer que l'enseignant (l'humain) n'ait pas de travail supplémentaire.

Voici comment fonctionne leur « Studio Magique » en quatre étapes :

1. Le Plan (Contrôle guidé par polygone)

Au lieu de simplement demander à l'IA de « dessiner un insecte », les chercheurs donnent un plan à l'IA. Ils prennent le contour exact (le polygone) d'un véritable insecte qu'ils possèdent déjà et disent à l'IA : « Dessine un insecte exactement à l'intérieur de cette forme, mais fais en sorte qu'il ait l'air nouveau. »

Analogie : Imaginez que vous avez un emporte-pièce en forme d'étoile. Vous dites à un pâtissier : « Fais un nouveau biscuit à l'intérieur de cette forme d'étoile, mais utilise un glaçage et des pépites différents. » La forme reste la même (donc l'enseignant sait où se trouve l'insecte), mais l'aspect est frais.

2. Déplacer le plan (Réplication spatiale)

Les chercheurs prennent cet emporte-pièce en forme d'étoile et le déplacent à un nouvel endroit sur la table, ou le font pivoter. Ils disent à l'IA de peindre un insecte là aussi.

Pourquoi ? Cela crée des insectes dans de nouvelles positions et de nouveaux angles sans que les chercheurs n'aient à dessiner de nouveaux contours. L'IA génère la texture de l'insecte, mais l'emplacement est déjà décidé par le plan.

3. La Recette Spéciale (LoRA spécifique à la classe)

L'IA doit savoir exactement quel type d'insecte elle est en train de peindre. Si elle peint une « Ricania sublimata », elle doit savoir que cet insecte spécifique possède un certain motif d'ailes et une certaine couleur.

Analogie : Les chercheurs donnent à l'IA une « fiche de recette spéciale » pour chaque espèce d'insecte. Cela garantit que l'IA ne peint pas accidentellement un papillon alors qu'elle est censée peindre un papillon de nuit. Cela affine l'IA pour qu'elle devienne une experte de cet insecte spécifique.

4. L'Inspecteur Qualité (Filtrage auto-informé)

Parfois, l'IA peut faire une erreur et peindre une tache qui ne ressemble en rien à un insecte. Comme nous ne pouvons pas demander à l'humain de vérifier chaque image factice (cela prendrait trop de temps), les chercheurs utilisent un « Inspecteur Qualité ».

Comment ça marche : Ils entraînent d'abord un modèle d'IA basique sur les vrais insectes. Ensuite, ils montrent les faux insectes à ce modèle basique. Si le modèle basique dit : « Je suis sûr à 90 % que c'est un vrai insecte », il garde l'image factice. Si le modèle basique dit : « Cela semble bizarre », il jette l'image.
La Magie : L'« Inspecteur » est la même IA qui sera finalement utilisée pour le travail. Il sait exactement ce que la tâche exige, il peut donc filtrer automatiquement les mauvaises données factices.

Les Résultats : Qu'est-ce qui s'est passé ?

Les chercheurs ont testé ce « Studio Magique » sur deux espèces d'insectes rares en utilisant cinq types différents de modèles d'IA (comme YOLO et Mask R-CNN).

Une meilleure précision : Les modèles d'IA entraînés avec ces images factices du « Studio Magique » sont devenus bien meilleurs pour repérer les insectes rares. Leur précision a considérablement augmenté par rapport aux modèles entraînés uniquement sur les quelques photos réelles disponibles.
Aucun travail supplémentaire : Les chercheurs n'ont pas eu à dessiner un seul nouveau contour. Le système a réutilisé les anciens contours pour les nouvelles images factices, et elles étaient assez précises pour être dignes de confiance.
Battre les anciennes astuces : Cette méthode a bien mieux fonctionné que les anciennes astuces de « Découper et Coller » ou de « Rotation ». Elle crée réellement de nouveaux insectes, et non de simples réarrangements d'anciens.

L'essentiel à retenir

Cet article montre que vous pouvez apprendre à une IA à repérer des nuisibles rares sans avoir besoin de milliers de photos réelles. En utilisant un « Studio d'Art Magique » intelligent qui peint de nouveaux insectes à l'intérieur de contours existants et qui utilise un « Inspecteur Qualité » intégré pour éliminer les mauvais, les agriculteurs peuvent obtenir des systèmes de surveillance des nuisibles fiables, même lorsque les données sont rares. Cela comble le fossé entre avoir très peu d'exemples et avoir besoin d'un ordinateur intelligent pour les compter.

Résumé Technique : Augmentation par Diffusion avec Cohérence d'Annotation pour la Segmentation d'Instances de Ravageurs en Situation de Pénurie de Données

1. Énoncé du Problème

Dans la gestion intégrée des ravageurs (IPM), les pièges collants constituent un outil standard pour la surveillance des populations d'insectes. L'automatisation de ce processus via l'apprentissage profond est passée de la classification d'images à la segmentation d'instances, laquelle fournit des données cruciales au niveau du pixel sur la composition des espèces, le décompte des individus et la morphologie. Cependant, l'entraînement de modèles de segmentation d'instances robustes se heurte à un goulot d'étranglement majeur : la rareté des données annotées sous forme de polygones pour les espèces de ravageurs rares.

Bien que les transformations géométriques et les méthodes de "copy-paste" offrent une certaine augmentation, elles ne parviennent pas à synthétiser des variations morphologiques véritablement nouvelles (par exemple, la déformation induite par la dessiccation ou la distorsion posturale) inhérentes aux images de pièges collants. De plus, les approches génératives existantes, telles que les GAN ou les modèles de diffusion généralistes, sont confrontées à deux défis spécifiques dans ce domaine :

Cohérence de l'Annotation : La segmentation d'instances nécessite un alignement spatial strict entre les objets générés et leurs masques polygonaux. Même de légers décalages de bordure invalident les étiquettes existantes, nécessant un ré-étiquetage coûteux.
Adaptation au Domaine : Les modèles généraux manquent de priors visuels nécessaires pour générer des spécimens de pièges collants réalistes (par exemple, des insectes aplatis contre des surfaces adhésives) sans un ajustement spécifique au domaine.

2. Méthodologie

Les auteurs proposent un cadre d'augmentation de données basé sur la diffusion, spécifique au domaine, conçu pour générer des images d'entraînement synthétiques qui sont cohérentes avec l'annotation sans nécessiter d'annotation manuelle supplémentaire. Le pipeline se compose de quatre composantes intégrées :

2.1. Extraction de Prior Visuel Guidée par Polygones

Contra-réservément aux travaux antérieurs utilisant des détecteurs de contours génériques (ex. HED, Canny), cette méthode utilise directement les polygones de segmentation de vérité terrain comme priors structurels.

Construction : Les contours des polygones de vérité terrain sont rendus sous forme de contours blancs sur l'image pour servir de guidage structurel.
Réplication Spatiale : Pour augmenter la diversité, ces contours de polygones sont répliqués à des positions et orientations aléatoires au sein de l'image. Une vérification de validité garantit qu'il n'y a pas de chevauchement avec les instances existantes et qu'ils restent dans les limites de l'image.
Différenciation : Crucialement, seuls les priors structurels (polygones) sont répliqués ; l'apparence visuelle du ravageur n'est pas copiée. Cela distingue la méthode de l'augmentation conventionnelle par "copy-paste".

2.2. Génération de Masque d'Inpainting

Un masque d'inpainting est dérivé des annotations de polygones originales et répliquées.

Le masque définit les régions pour la régénération (instances de ravageurs et une marge environnante) et les régions pour la préservation (le fond du piège collant).
Une dilatation morphologique (noyau 7×7, 4 itérations) est appliquée aux masques de polygones pour créer une marge de protection, garantissant que le modèle de diffusion régénère le ravageur et son contexte immédiat tout en préservant la texture du fond adhésif.

2.3. Modèle de Diffusion Contrôlable

Le processus de génération utilise un modèle de diffusion guidé par ControlNet (basé sur Qwen-Image-2512) pour synthétiser de nouvelles apparences de ravageurs.

Conditionnement : Le modèle reçoit le prior visuel répliqué (guidage structurel) et le masque d'inpainting (contraintes spatiales).
Adaptation Spécifique à la Classe : Pour combler le fossé de domaine entre les modèles de diffusion généraux et l'imagerie de pièges collants, des adaptateurs LoRA (Low-Rank Adaptation) spécifiques à chaque classe sont affinés pour chaque espèce de ravageur cible. Ces adaptateurs sont injectés dans l'encodeur et les couches intermédiaires du réseau lors de la génération.
Ingénierie de Prompt : Les prompts textuels incluent des descriptions morphologiques spécifiques à l'espèce, le contexte du piège collant (surface adhésive jaune) et des attributs de qualité d'image, ainsi que des prompts négatifs pour supprimer les sorties irréalistes.

2.4. Filtrage Auto-Informé

Pour garantir la qualité des échantillons générés sans modèles externes, les auteurs introduisent une stratégie de filtrage auto-informée basée sur un modèle de segmentation de base ( $M_{base}$ ) entraîné sur le jeu de données original.

Extraction de Caractéristiques : Le backbone de $M_{base}$ extrait des vecteurs de caractéristiques des instances réelles de ravageurs pour créer des prototypes de référence par classe.
Similitude Cosinus : Pour chaque instance générée, un vecteur de caractéristiques est extrait et comparé au prototype de la classe réelle correspondante en utilisant la similitude cosinus.
Logique de Filtrage :
- Au Niveau de l'Annotation : Les instances ayant des scores de similitude inférieurs à un seuil ( $\tau = 0,3$ ) sont rejetées, permettant l'élimination des générations ratées au sein d'une seule image sans rejeter l'image entière.
- Au Niveau de l'Image : Les images sont classées par la similitude moyenne de leurs annotations valides restantes, et une fraction supérieure ( $\gamma$ ) est conservée pour l'entraînement.

3. Contributions Clés

L'article expose trois contributions principales :

Un Cadre Spécifique au Domaine : Un pipeline unifié pour la segmentation d'instances de pièges collants qui génère des données synthétiques cohérentes avec l'annotation en utilisant l'inpainting ControlNet guidé par polygones, la réplication spatiale et l'adaptation LoRA spécifique à la classe.
Filtrage Auto-Informé : Un nouveau mécanisme de post-filtrage qui utilise l'espace de caractéristiques d'un modèle de base entraîné pour la tâche afin de sélectionner automatiquement les échantillons synthétiques de haute qualité, éliminant ainsi le besoin de modèles de filtrage externes ou d'inspection manuelle.
Validation Multi-Architecture : Une validation complète sur cinq architectures de segmentation distinctes (YOLOv8, YOLOv11, YOLOv26, Mask R-CNN et Mask2Former), démontrant des gains de performance constants pour les espèces sous-représentées.

4. Résultats Expérimentaux

Le cadre a été évalué sur un ensemble de données provenant d'AI Hub (Corée du Sud) se concentrant sur deux espèces rares : Ricania sublimata et Metcalfa pruinosa. Les données ont été divisées par emplacement de serre pour tester la généralisation à des environnements non vus.

Cohérence de l'Annotation : Une évaluation par modèle a confirmé que 87,2 % des annotations de polygones réutilisées étaient spatialement cohérentes avec les instances de ravageurs générées (mIoU > 0,72), validant la fiabilité des étiquettes générées.
Gains de Performance :
- À travers les cinq architectures, la méthode proposée a augmenté la mAP50 moyenne de 77,1 % à 87,5 % et la mAP50-95 de 63,2 % à 65,5 %.
- Le ratio de filtrage optimal au niveau de l'image a été identifié à $\gamma = 0,7$ , équilibrant la diversité et la qualité des données.
- La méthode a surpassé les stratégies d'augmentation conventionnelles (CutMix, MixUp, Copy-Paste), qui ont montré des effets inconsistants ou négatifs sur les espèces rares, particulièrement lorsque la pénurie de données était sévère.
Sensibilité à l'Architecture : Bien que les améliorations soient constantes entre les modèles, les architectures dotées de modules de prédiction de masque plus expressifs (ex. Mask R-CNN, Mask2Former) ont montré les gains les plus importants sur les métriques de localisation stricte (mAP50-95).

5. Signification et Revendications

Les auteurs affirment que ce travail répond à un paradoxe critique dans la surveillance agricole : les espèces de ravageurs rares sont souvent les plus importantes pour l'alerte précoce, mais souffrent des performances de modèle les plus faibles en raison de la rareté des données.

Combler l'Écart d'Annotation : L'étude démontre que l'augmentation par diffusion guidée par polygones peut efficacement étendre les ensembles d'entraînement pour les espèces sous-représentées sans le coût prohibitif d'une annotation polygonale manuelle supplémentaire.
Contrôle Qualité Aligné sur la Tâche : En utilisant un filtre "auto-informé" basé sur l'espace de caractéristiques de la tâche cible, la méthode garantit que les données synthétiques ne sont pas seulement visuellement plausibles, mais aussi fonctionnellement utiles pour la tâche de segmentation spécifique.
Déploiement Pratique : La division entraînement-test basée sur la localisation valide le potentiel de la méthode pour un déploiement sur le terrain, où les variations environnementales (éclairage, contamination du fond) sont courantes.

L'article conclut que bien que la validation actuelle soit limitée à des jeux de données de pièges collants et des espèces spécifiques, le cadre proposé fournit une base méthodologique pour une application plus large à des tâches de segmentation spécifiques au domaine où les données annotées sont intrinsèquement rares.