MatchPlant: An Open-Source Pipeline for UAV-Based Single-Plant Detection and Data Extraction

Imaginez que vous êtes un détective tentant de résoudre un mystère dans un jardin immense et tentaculaire. Mais au lieu de marcher à travers les rangées de plantes, vous pilotez un minuscule drone de haute technologie au-dessus d'elles, prenant des milliers de photos. C'est le monde du phénotypage par UAV : utiliser des drones pour prendre des photos de cultures afin que les scientifiques puissent mesurer la qualité de leur croissance. L'objectif est de trouver les « super-plantes » qui produisent le plus de nourriture ou qui survivent le mieux, aidant ainsi les agriculteurs à nourrir le monde plus efficacement.

Cependant, regarder une photo géante d'un champ, c'est comme essayer de trouver une fourmi spécifique dans un tas de sable. Les plantes sont minuscules, elles se ressemblent toutes et elles sont serrées les unes contre les autres. Pour résoudre cela, les scientifiques utilisent la détection d'objets, un type d'« yeux » informatiques alimentés par l'Intelligence Artificielle (IA). Considérez cette IA comme un robot super observateur capable de regarder une image et de dessiner un cadre autour de chaque plante, en disant : « Ça, c'est un plant de maïs ! » et « Et ça, c'est un autre ! ». Mais voici la partie délicate : le drone prend des photos sous un certain angle, et lorsque vous les assemblez pour créer une carte géante (appelée orthomosaïque), les plantes peuvent être étirées ou écrasées, ce qui déroute le robot. Si le robot est confus, il ne peut pas aider les agriculteurs.

C'est là qu'intervient un nouvel outil appelé MatchPlant. C'est comme un manuel d'instructions et une boîte à outils intelligents et en libre accès (open-source) qui aident les scientifiques à apprendre à leur robot à voir les plantes clairement, même lorsque la carte est complexe. Les chercheurs derrière MatchPlant voulaient construire un système que n'importe qui pourrait utiliser, et pas seulement des experts en informatique, pour trouver des plantes individuelles et mesurer leur hauteur et leur santé automatiquement.

Le pipeline MatchPlant : Un guide pour le robot dans le jardin

L'article présente MatchPlant, un pipeline logiciel modulaire et gratuit conçu pour transformer les photos de drones en données précises sur les plantes individuelles. Les auteurs, travaillant sur le maïs dans un champ de recherche, ont construit ce système pour combler le fossé entre la photographie aérienne de haute technologie et la réalité désordonnée de l'agriculture. Ils n'ont pas seulement construit un programme unique ; ils ont construit une chaîne de production avec différentes stations, chacune accomplissant une tâche spécifique, afin que les utilisateurs puissent choisir les outils dont ils ont besoin.

Le problème des cartes « plates »
Habituellement, lorsque les scientifiques utilisent des photos de drones, ils les transforment d'abord en une carte plate, vue de dessus, appelée orthomosaïque. Imaginez prendre la photo d'une voiture miniature sous un angle, puis essayer d'aplatir cette photo sur une feuille de papier. Les roues pourraient paraître écrasées, ou la voiture pourrait paraître étirée. L'article soutient qu'entraîner un ordinateur à reconnaître des plantes sur ces cartes « aplaties » est une mauvaise idée car la distorsion rend les plantes étranges.

La solution MatchPlant : S'entraîner sur la vue « brute »
MatchPlant adopte une approche différente. Au lieu d'apprendre à l'ordinateur à reconnaître la carte plate et écrasée, il lui apprend à reconnaître les plantes dans leur état non déformé — exactement comme elles apparaissent dans les photos de drones originales et brutes.

1. La configuration : Le système prend les photos brutes du drone et utilise un outil appelé OpenDroneMap pour créer deux choses : une carte plate (pour l'emplacement final) et un ensemble d'images « non déformées » (pour l'enseignement à l'ordinateur).
2. L'enseignant : Le système utilise un modèle d'IA intelligent appelé Faster R-CNN. Considérez ce modèle comme un étudiant. Les chercheurs lui « montrent » des milliers d'exemples de plants de maïs dans les photos non déformées, en dessinant des cadres autour d'eux pour dire : « Ceci est une plante ».
3. Le tour de magie : Une fois que l'IA a appris à quoi ressemble une plante dans la photo brute, MatchPlant réalise un tour de magie. Il prend les découvertes de l'IA et les projette sur la carte plate, vue de dessus. C'est comme prendre un autocollant que le robot a placé sur la photo brute et le déplacer soigneusement vers l'endroit exact sur la carte plate, en corrigeant tout l'étirement et l'écrasement. Cela garantit que l'emplacement de la plante est précis sur le terrain.

À quel point cela a-t-il fonctionné ?
Les chercheurs ont testé cela sur un champ de maïs dans le Missouri. Ils ont survolé le champ avec des drones lorsque le maïs était jeune (trois et quatre semaines après la plantation).

• Le score : L'IA était très douée pour trouver les plantes. Sur un ensemble de test d'images qu'elle n'avait jamais vues auparavant, elle a correctement identifié les plantes avec une précision moyenne (AP) de 85,9 %. Cela signifie qu'elle avait raison la plupart du temps.
• La correspondance de la carte : Lorsqu'ils ont projeté les découvertes de l'IA sur la carte plate, 89,8 % des plantes ont été placées avec succès sur la carte. Mieux encore, 87,5 % de ces placements étaient si précis qu'ils se superposaient presque parfaitement avec les cadres dessinés par des experts humains (un score appelé Intersection over Union, ou IoU, supérieur à 0,5).
• Mesurer la croissance : Le système ne s'est pas contenté de trouver les plantes ; il les a mesurées. En regardant la zone à l'intérieur des cadres de l'IA, il a calculé la hauteur de la plante et l'indice de végétation par différence normalisée (NDVI), qui est une mesure de la verdure et de la santé de la plante. Les chiffres obtenus par l'ordinateur correspondaient très étroitement à ce que les humains mesuraient manuellement, avec un score de corrélation (r) compris entre 0,87 et 0,97. C'est une correspondance très forte, suggérant que l'ordinateur est tout aussi fiable qu'un humain avec un ruban à mesurer.

Pourquoi cela importe-t-il
La plus grande victoire de MatchPlant est qu'il fait gagner du temps. Dans l'étude, les chercheurs ont constaté qu'une fois qu'ils avaient obtenu l'emplacement des plantes lors de la première semaine, ils pouvaient réutiliser ces mêmes emplacements pour la deuxième semaine. Ils n'avaient pas besoin de dessiner de nouveaux cadres autour de chaque plante à mesure qu'elle grandissait ; le système mettait simplement à jour les mesures. Cette capacité de « voyage dans le temps » signifie que les scientifiques peuvent suivre la croissance des plantes au fil du temps sans effectuer des heures de travail de dessin répétitif.

Les limites et l'avenir
Les auteurs notent avec prudence que, bien que le système fonctionne très bien pour le jeune maïs, il pourrait avoir des difficultés avec des plantes très petites (moins de 32x32 pixels dans l'image) ou si le sol est très accidenté. Ils soulignent également que le logiciel nécessite actuellement certaines connaissances techniques pour être installé, comme l'installation de programmes informatiques spécifiques. Ils espèrent le rendre encore plus facile à utiliser à l'avenir, peut-être en le conditionnant sous la forme d'une application simple que n'importe qui peut installer et exécuter d'un simple clic.

En bref, MatchPlant est un nouvel outil open-source qui aide les scientifiques à utiliser des drones pour compter et mesurer des plantes individuelles avec une grande précision. En entraînant l'IA sur des photos « brutes » puis en déplaçant soigneusement les résultats sur une carte plate, il évite les distorsions qui confondent habituellement la vision par ordinateur. Cela suggère un avenir où les agriculteurs et les chercheurs pourront suivre automatiquement la croissance de chaque plante individuelle dans un champ, rendant le travail de nourrir le monde un peu plus efficace et beaucoup moins manuel.