💻 computer science

Text-conditioned Segmentation for Tomato Phenotyping via Procedural Synthetic Data

Cet article présente un cadre de sim-to-real qui génère un ensemble de données synthétiques procédurales à grande échelle de serres de tomates pour affiner le Segment Anything Model 3 (SAM 3), améliorant considérablement les performances de segmentation conditionnée par texte pour le phénotypage des tomates dans des environnements réels complexes.

Auteurs originaux : Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

Publié 2026-07-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre un jardin. Vous voulez qu'il repère chaque tomate, chaque feuille et chaque tige afin qu'il puisse aider les agriculteurs à récolter les cultures sans se fatiguer. C'est le monde de la vision par ordinateur, où les ordinateurs apprennent à « voir » le monde à travers des caméras. Mais voici la partie délicate : enseigner à un ordinateur, c'est comme apprendre à un enfant à reconnaître des animaux. Si vous ne montrez à l'enfant que des photos de lions dans un zoo, il pourrait être confus lorsqu'il verra un lion dans la nature. De même, les ordinateurs ont du mal à reconnaître les plantes dans des serres réelles et désordonnées parce qu'ils n'ont pas vu assez d'exemples.

Pour résoudre cela, les scientifiques utilisent des données synthétiques. Considérez cela comme la création d'une version jeu vidéo d'une serre. Dans un jeu, vous pouvez créer des millions d'images parfaites de tomates, étiqueter instantanément chaque pixel, et ne jamais vous soucier de savoir si le soleil est trop brillant ou si une feuille bloque la vue. C'est ce qu'on appelle la génération procédurale, où un ordinateur suit un ensemble de règles (comme une recette) pour faire pousser de fausses plantes uniques qui ont l'air réelles.

La grande question est la suivante : si vous entraînez un robot sur un jeu vidéo, fonctionnera-t-il réellement dans une serre réelle ? Ce document explore exactement ce mystère. Il demande si nous pouvons prendre un cerveau informatique super intelligent et pré-entraîné (appelé modèle de fondation) qui connaît beaucoup de choses sur le monde, lui enseigner à l'aide de nos tomates de jeu vidéo, et voir s'il peut soudainement devenir un expert pour repérer de vraies tomates. L'objectif est de faire gagner du temps et de l'argent aux agriculteurs en automatisant le travail difficile de comptage et de vérification de leurs cultures.

La serre du jeu vidéo et le super-cerveau

Les auteurs de ce document ont décidé de construire le jumeau numérique d'une serre de tomates cerises commerciale. Au lieu de prendre des milliers de photos de vraies plantes (ce qui prend un temps infini et coûte cher), ils ont utilisé un puissant moteur de jeu vidéo appelé Unreal Engine 5 pour créer un monde virtuel. À l'intérieur de ce monde, ils ont programmé une « plante numérique » en utilisant un ensemble de règles appelées L-systèmes.

Considérez les L-systèmes comme un code génétique pour une plante de jeu vidéo. Au lieu de dessiner chaque feuille à la main, l'ordinateur suit des instructions : « Fais pousser une tige, ajoute une feuille ici, crée une branche là ». Les auteurs ont ajouté des règles spéciales pour imiter la façon dont les vrais agriculteurs gèrent les tomates, telles que l'inclinaison et l'abaissement (où la plante est doucement penchée et abaissée à mesure qu'elle grandit) et l'élagage (couper les parties anciennes). Ils ont même ajouté des variations aléatoires pour qu'aucune plante numérique ne ressemble exactement à une autre, tout comme dans la nature.

À partir de cette serre virtuelle, ils ont généré un ensemble massif de données comprenant 68 000 images synthétiques. Chaque image était accompagnée de labels parfaits : l'ordinateur savait exactement quels pixels étaient des fruits, quels étaient des feuilles et quels étaient des tiges, jusqu'à l'unité du fruit. C'était comme avoir un professeur qui ne fait jamais d'erreur.

Le cerveau « Segment Anything »

Ensuite, ils ont fait appel à un modèle d'IA superstar appelé SAM 3 (Segment Anything Model 3). Imaginez SAM 3 comme un étudiant très intelligent qui a lu tous les livres de la bibliothèque sur les images. Il peut regarder la photo d'un chien ou d'une voiture et instantanément indiquer où se trouve l'objet, même s'il n'a jamais vu ce chien spécifique auparavant. C'est ce qu'on appelle l'apprentissage zero-shot (apprentissage sans exemple préalable).

Cependant, lorsque les auteurs ont demandé à cet étudiant super intelligent de regarder une plante de tomate dense et désordonnée, il a été confus. Les feuilles se chevauchaient, les fruits étaient cachés et l'éclairage était complexe. La performance de l'étudiant a chuté car il n'était pas habitué au « langage » spécifique des plants de tomates.

L'expérience : Enseigner à l'étudiant avec des données fausses

L'équipe a décidé de donner à l'étudiant un cours intensif en utilisant leurs 68 000 images de tomates fictives. Ils ont essayé trois méthodes différentes pour enseigner au modèle :

Le Fine-Tuning complet (Full Fine-Tuning) : Ils ont fait en sorte que l'étudiant réapprenne tout de zéro en utilisant les données fausses.
LoRA (Low-Rank Adaptation) : Ils ont fait en sorte que l'étudiant n'apprenne qu'une toute petite partie spécifique de son cerveau, gardant la majeure partie de ses connaissances originales intacte.
L'interpolation de poids (WiSE-FT) : C'était l'astuce la plus ingénieuse. Ils ont pris le cerveau « entraîné sur des données fausses » et l'ont mélangé avec le cerveau « super intelligent original ». C'est comme mélanger une nouvelle recette avec la recette originale pour obtenir le meilleur des deux mondes. Ils les ont mélangés de sorte que 75 % du cerveau ait été entraîné sur les fausses tomates, tandis que 25 % restait la connaissance générale originale.

Les résultats : L'entraînement avec des données fausses fonctionne-t-il ?

C'est ici que les choses sont devenues intéressantes. Lorsqu'ils ont testé les modèles sur les images fausses, le modèle de « Full Fine-Tuning » a été le plus performant. Il semblait avoir parfaitement mémorisé le jeu vidéo.

Mais lorsqu'ils ont sorti les modèles du jeu vidéo pour les tester sur des photos réelles provenant de véritables serres, les résultats se sont inversés. Le modèle qui avait le plus mémorisé les données fausses était en réalité celui qui avait le plus mauvais score. Il était trop concentré sur les règles du jeu vidéo et ne pouvait pas gérer la réalité désordonnée.

Le vainqueur était le modèle d'Interpolation de Poids (WiSE-FT). En conservant un peu de la « super intelligence » originale, il a pu mieux s'adapter au monde réel.

Le modèle original, non entraîné (Zero-shot), a obtenu un score de 52,7 % pour trouver les fruits dans des images réelles.
Le meilleur modèle entraîné (Full FT) a amélioré cela à 65,6 %.
Cela signifie que le modèle est devenu 12,9 points de pourcentage meilleur pour repérer les tomates simplement en apprenant à partir des données fausses.

Les auteurs ont également testé le modèle sur une serre réelle pour laquelle ils n'avaient pas d'étiquettes (car ils ne pouvaient pas demander aux agriculteurs d'étiqueter chaque pixel individuellement). Ils ont utilisé un test de « confiance » : à quel point le modèle était-il sûr de sa réponse ? Le modèle entraîné était beaucoup plus confiant et stable, ne se laissant que rarement dérouter par les ombres ou les feuilles qui se chevauchent, alors que le modèle non entraîné manquait souvent des fruits entiers ou imaginait des fleurs qui n'existaient pas.

Ce qu'il faut retenir

Le document suggère qu'il n'est pas nécessaire de construire un robot à partir de zéro pour comprendre une serre. Au lieu de cela, vous pouvez prendre un « super-robot » général qui sait déjà voir, et lui donner une formation spécialisée à l'aide d'un jeu vidéo. La clé n'est pas de faire oublier au robot tout ce qu'il savait, mais de le guider doucement vers la tâche spécifique de repérer les tomates.

Les auteurs ont également veillé à partager leur travail avec le monde. Ils ont publié le code de leur serre en jeu vidéo, les 68 000 images fausses et le cerveau du robot entraîné. Cela signifie que d'autres scientifiques peuvent utiliser ces outils pour construire de meilleurs robots agricoles sans avoir à repartir de zéro.

En résumé, le document montre qu'un peu de pratique sur un jeu vidéo, mélangée à beaucoup d'intelligence du monde réel, peut aider les ordinateurs à enfin apprendre à voir la beauté complexe et désordonnée d'un plant de tomate. C'est une étape vers un avenir où les robots pourraient un jour aider à récolter notre nourriture, épargnant ainsi aux agriculteurs un travail épuisant.

Énoncé du problème

L'automatisation basée sur la vision porte une promesse significative pour réduire le travail manuel dans la production de cultures en serre. Cependant, le déploiement de ces systèmes est limité par la rareté des données d'entraînement annotées à grande échelle, particulièrement pour les environnements agricoles complexes. Bien que les récents modèles de vision fondamentaux (VFM) comme le Segment Anything Model 3 (SAM 3) démontrent une forte généralisation zero-shot, leurs performances se dégradent dans les scènes agricoles denses caractérisées par un feuillage superposé, des grappes de fruits obstruées et des taxonomies de cultures spécifiques. De plus, les jeux de données synthétiques existants reposent souvent sur des actifs 3D statiques ou des environnements simplifiés qui ne parviennent pas à capturer la dynamique de croissance continue et les pratiques de gestion intensives (par exemple, l'émondage, l'abaissement des lianes) des serres commerciales. Par conséquent, il existe un manque d'environnements virtuels de haute fidélité adaptés à l'entraînement de systèmes de perception robustes, et l'ajustement fin (fine-tuning) de puissants modèles de fondation sur des données agricoles de niche sans sacrifier leur capacité de généralisation reste un défi ouvert.

Méthodologie

Les auteurs proposent un cadre sim-to-real combinant des données synthétiques générées de manière procédurale avec l'ajustement fin d'un modèle de fondation. La méthodologie se compose de trois composantes primaires :

1. Génération de données synthétiques procédurales :
Les auteurs ont développé un environnement de serre virtuel de haute fidélité utilisant Unreal Engine 5. Au cœur de celui-ci se trouve un nouveau modèle procédural de plants de tomates cerises (Solanum lycopersicum var. cerasiform) construit à l'aide de L-systèmes. Contrairement aux modèles statiques, ce système simule :

Croissance biologique : Motifs de ramification sympodiale, développement végétatif et reproductif, et structures de feuilles composées basés sur des règles botaniques établies.
Gestion de la serre : Le modèle incorpore des tropismes biomécaniques et des simulations algorithmiques de pratiques commerciales, spécifiquement la technique de « l'inclinaison et de l'abaissement » où les tiges sont déplacées horizontalement à mesure qu'elles croissent, ainsi que l'émondage des parties basales épuisées.
Variation stochastique : Les paramètres géométriques (échelle des feuilles, orientation, angles de ramification) sont modulés par des multiplicateurs stochastiques pour garantir qu'aucun plant simulé n'est morphologiquement identique.
Acquisition de données : Un pipeline configurable génère des images RGB synchronisées, des cartes de profondeur et des annotations de vérité terrain au pixel près (masques sémantiques pour la feuille, la tige, la fleur, le fruit, l'arrière-plan ; masques d'instance ; et boîtes englobantes) à travers diverses vues et conditions d'éclairage.

2. Ajustement fin du modèle de fondation (Fine-Tuning) :
Les auteurs ont ajusté le modèle SAM 3 sur le jeu de données synthétiques de 68 000 images en utilisant trois stratégies distinctes pour spécialiser le modèle pour les organes de la tomate tout en préservant ses capacités zero-shot :

Ajustement fin efficace des paramètres (LoRA) : Application de l'adaptation de bas rang (Low-Rank Adaptation) aux couches d'attention de l'encodeur de vision de SAM 3, ne mettant à jour qu'une petite fraction des paramètres.
Ajustement fin complet (Full Fine-Tuning) : Entraînement de tous les composants sémantiques de SAM 3, y compris la tête de segmentation sémantique, sur le corpus synthétique.
Interpolation de poids (WiSE-FT) : Pour équilibrer la spécialisation du domaine et les priors visuels généraux, les auteurs ont interpolé les poids entre le checkpoint zero-shot pré-entraîné et les checkpoints ajustés en utilisant la formule $\theta_{wise}(\alpha) = (1 - \alpha) \cdot \theta_{base} + \alpha \cdot \theta_{ft}$ avec $\alpha = 0,75$ . Cela a été appliqué aux variantes de l'ajustement complet et de LoRA.

3. Cadre d'évaluation :
Les modèles ont été évalués sur trois jeux de données de masques réels externes (TomatoMAP-Seg, LaboroTomato, Rob2Pheno) et un jeu de données réel personnalisé capturé dans une serre commerciale en Arabie Saoudite (qui manquait de vérité terrain et a été utilisé pour l'analyse qualitative et de confiance sans étiquette). L'évaluation s'est concentrée sur la performance de la segmentation sémantique, mesurant spécifiquement l'IoU macro des fruits et les métriques de confiance sans étiquette.

Contributions clés

Jeu de données synthétiques à grande échelle : Génération d'un jeu de données synthétiques photoréalistes et procéduraux pour le phénotypage de la tomate avec des annotations de vérité terrain au pixel près (RGB, profondeur, masques sémantiques et d'instance) qui capturent les pratiques de gestion des serres commerciales.
Pipeline d'ajustement fin : Proposition d'un pipeline d'ajustement fin de modèle de fondation conditionné par le texte qui exploite les données synthétiques pour spécialiser SAM 3 pour les organes de culture de serre via LoRA, l'ajustement complet et l'interpolation de poids.
Gains de performance : Démonstration que la combinaison de données synthétiques avec l'ajustement fin de SAM 3 améliore considérablement la performance de segmentation sur des données réelles, atteignant une augmentation de 12,9 points de pourcentage de l'IoU macro des fruits (passant de 52,7 % à 65,6 %) par rapport à la ligne de base zero-shot.
Publication ouverte : Publication publique du modèle procédural, du jeu de données synthétiques généré et des poids de SAM 3 ajustés sur Hugging Face pour faciliter le benchmarking de la communauté.

Résultats

Transfert vers le monde réel : La variante Full FT SAM 3 a obtenu la meilleure performance globale sur les jeux de données réels externes, atteignant un IoU macro des fruits de 0,6562 et un IoU pondéré par image de 0,7372. La variante WiSE-FT LoRA SAM 3 a obtenu la performance la plus élevée sur le jeu de données LaboroTomato (0,7728 IoU).
Inversion synthétique-réel : Une découverte critique fut l'« inversion synthétique-réel ». Les modèles de base supervisés (DeepLabV3+, SegFormer) et les modèles Full FT ont été les mieux classés sur l'ensemble de validation synthétique mais n'ont pas nécessairement le mieux transféré aux données réelles. Inversement, les variantes LoRA, qui ont obtenu des scores plus faibles sur la validation synthétique, se sont transférées de manière substantielle aux images réelles. Cela suggère que l'optimisation uniquement pour les métriques synthétiques est insuffisante pour la sélection de modèles.
Confiance sans étiquette : Sur le jeu de données de serre réelle non étiquetée, la variante WiSE-FT a démontré une robustesse supérieure par rapport à la ligne de base zero-shot, montrant une confiance par pixel plus élevée (0,6114 contre 0,3685), un meilleur accord de l'augmentation au moment du test (TTA) (0,9045 contre 0,7345) et une couverture de premier plan plus réaliste. Le modèle zero-shot présentait des échecs systématiques, notamment une sous-couverture du premier plan et des « hallucinations de fleurs ».
Simplicité des prompts : Les modèles ajustés ont répondu avec succès à des prompts textuels concis au niveau de l'organe (« tige », « feuille », « fruit »), produisant des masques sémantiques précis et non chevauchants sans ingénierie de prompt complexe.

Signification et affirmations

L'article affirme que sa principale signification réside dans la démonstration que les données synthétiques générées de manière procédurale peuvent efficacement combler le fossé sim-to-real lorsqu'elles sont couplées à l'ajustement fin d'un modèle de fondation. Les auteurs soulignent que les données synthétiques n'ont pas besoin d'enseigner au modèle la compréhension visuelle générale à partir de zéro ; elles servent plutôt à orienter un modèle déjà général (SAM 3) vers les complexités structurelles spécifiques des canopées de tomates.

Le travail souligne que l'évaluation dans le domaine réel est essentielle pour une sélection de modèle fiable, car les métriques du domaine synthétique sont de mauvais prédicteurs de la généralisation dans le monde réel. En fournissant un outil prêt à l'emploi (poids ajustés et données), les auteurs visent à accélérer le développement de systèmes de vision agricole évolutifs sans nécessendre que les chercheurs entraînent des modèles personnalisés à partir de zéro. L'article conclut que bien que les données synthétiques soient un catalyseur puissant, la stratégie d'ajustement fin spécifique (par exemple, l'interpolation de poids vs l'ajustement complet) doit être soigneusement sélectionnée en fonction des performances réelles plutôt que des scores de validation synthétique.