💻 computer science

A drone that learns to efficiently find non-uniformly distributed objects in agricultural fields: from simulation to the real world

Cet article présente un planificateur de trajectoire de drone basé sur l'apprentissage par renforcement qui exploite des connaissances préalières de faible qualité pour détecter efficacement des objets agricoles répartis de manière non uniforme, atteignant des trajectoires de vol nettement plus courtes que les méthodes de couverture complète tant en simulation qu'en essais en conditions réelles, tout en démontrant un écart simulation-réalité gérable.

Auteurs originaux : Rick van Essen, Eldert van Henten, Gert Kootstra

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rick van Essen, Eldert van Henten, Gert Kootstra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où de minuscules robots bourdonnants survolent nos fermes, agissant comme des éclaireurs super-puissants. Ce ne sont pas n'importe quels robots ; ce sont des drones équipés de caméras et de cerveaux, conçus pour aider les agriculteurs à mieux cultiver leurs produits. Mais il y a un piège : ces drones fonctionnent sur batterie et, tout comme votre téléphone, ils ne peuvent voler que pendant un certain temps avant d'avoir besoin de se recharger. Autrefois, les agriculteurs demandaient à ces drones de voler selon un motif de grille parfait et ennuyeux, comme une tondeuse à gazon, pour s'assurer qu'ils voient chaque centimètre carré du champ. Cela fonctionne, mais c'est lent et cela gaspille beaucoup de batterie sur des zones vides où il ne se passe rien d'intéressant.

Entrez dans une nouvelle idée : et si le drone pouvait être plus intelligent ? Et si, au lieu de cela, il pouvait apprendre à repérer où les « mauvaises herbes » (les plantes indésirables) se cachent et foncer directement vers elles, en sautant les espaces vides ? C'est le monde de l'Apprentissage par Renforcement (RL). Voyez l'apprentissage par renforcement comme l'enseignement d'un tour à un chien. Vous ne donnez pas de manuel au chien ; vous le laissez essayer, et chaque fois qu'il fait quelque chose de bien, vous lui donnez une friandise (une récompense). Au fil de millions d'essais, le chien apprend la meilleure façon d'obtenir le plus de friandises. Dans ce cas, le « chien » est un programme informatique, la « friandise » est de trouver une mauvaise herbe, et le « tour » est de voler sur le chemin le plus court possible. La grande question que les scientifiques se posent est la suivante : pouvons-nous apprendre à un drone à faire cela dans un jeu vidéo (simulation) et faire en sorte qu'il fonctionne parfaitement dans le monde réel et désordonné ?

L'article : Apprendre à un drone à chasser les mauvaises herbes comme un pro du gaming

Cet article raconte l'histoire de chercheurs qui ont tenté d'apprendre à un drone à chasser les mauvaises herbes dans un champ sans gaspiller une seule goutte de batterie. Ils n'ont pas simplement écrit un ensemble de règles à suivre pour le drone ; au lieu de cela, ils ont laissé un « cerveau » informatique apprendre à voler en jouant à un jeu encore et encore.

Le terrain d'entraînement : Un monde de jeu vidéo
D'abord, les chercheurs ont construit un jeu vidéo super réaliste. Dans ce jeu, le drone survole un champ numérique rempli de fausses mauvaises herbes. Les mauvaises herbes ne sont pas éparpillées au hasard comme du sable sur une plage ; elles sont regroupées par plaques, tout comme les vraies mauvaises herbes le font souvent. Le drone possède un « cerveau » (un agent d'IA) qui regarde une carte. Cette carte comporte deux couches : une vue dézoomée montrant là où le drone pense que les mauvaises herbes pourraient se trouver (basée sur un scan rapide et flou depuis une grande hauteur), et une vue zoomée montrant ce que le drone voit actuellement.

L'objectif était simple : trouver autant de mauvaises herbes que possible avant que la batterie ne tombe à plat. Le drone gagne des points pour avoir trouvé des mauvaises herbes, mais il perd des points pour chaque seconde de vol et pour chaque crash. Les chercheurs ont utilisé une méthode appelée Apprentissage par Renforcement Profond (Deep Reinforcement Learning) pour entraîner le drone. Ils ont laissé le drone voler des millions de fois dans la simulation, essayant différents chemins. Parfois, il volait en cercles et ne gagnait aucun point ; d'autres fois, il zigzagait parfaitement et trouvait tout un groupe de mauvaises herbes. Lentement, le drone a appris la meilleure stratégie : « Ne vole pas partout. Vole là où les indices indiquent la présence de mauvaises herbes. »

Le grand test : Du jeu à la réalité
Une fois que le drone est devenu un pro dans le jeu vidéo, les chercheurs ont dû voir s'il pouvait gérer le monde réel. C'est là que les choses se compliquent. Les vrais champs ne sont pas des grilles parfaites, le vent souffle, les caméras deviennent floues et les « indices » (connaissances préalables) ne sont pas toujours exacts.

Pour tester cela, ils n'ont pas sauté directement au vol d'un vrai drone. Ils ont créé une « échelle de réalité » avec six étapes :

Niveau 1 : Pur jeu vidéo (tout est faux).
Niveau 2 : Le jeu utilise les emplacements réels des mauvaises herbes provenant de photos, mais le reste est faux.
Niveau 3 : Le jeu utilise de vrais « indices » sur l'endroit où les mauvaises herbes pourraient se trouver.
Niveau 4 : Le jeu utilise une vraie caméra pour « voir » les mauvaises herbes dans les photos.
Niveau 5 : Le drone utilise des indices réels collectés pendant un vol.
Niveau 6 : Le drone vole réellement dans le monde réel, prenant des photos en direct et prenant des décisions sur le moment.

Ce qu'ils ont découvert
Les résultats étaient un mélange de « Waouh ! » et de « Oups. »

Dans le jeu (Simulation) : Le drone entraîné était incroyable. Il a parcouru des chemins 57 % plus courts que le drone traditionnel faisant « la tonte de pelouse ». Il a trouvé presque autant de mauvaises herbes (seulement 13 % de moins), mais il l'a fait tellement plus vite qu'il a économisé une énorme quantité de batterie.
Sur des photos réelles : Lorsqu'ils ont testé le drone sur des photos réelles de champs (mais pas encore en vol), il volait encore des chemins 38 % plus courts que la méthode ancienne. Cependant, il trouvait 21 % de mauvaises herbes en moins. Cela signifie qu'il était plus rapide, mais qu'il manquait certaines cibles.
Dans le monde réel (Vol) : Lorsqu'ils ont réellement fait voler le drone dans le champ, les résultats étaient un peu instables. Dans un test, le drone a trouvé 73 % des mauvaises herbes. Dans un autre, il n'en a trouvé que 23 %.

Pourquoi a-t-il eu des difficultés ?
Les chercheurs ont découvert que le principal coupable n'était pas les capacités de vol du drone ou sa capacité à voir les mauvaises herbes. Le problème était les « indices » (la carte de connaissances préalables).
Imaginez que vous jouez à un jeu de cache-cache et que quelqu'un vous donne une carte disant : « Le cacheur est dans la maison rouge. » Si la carte est fausse et que le cacheur est en fait dans la maison bleue, vous perdrez du temps à chercher dans la maison rouge. Dans les vols du monde réel, la « carte » qu'ils ont créée à partir d'un scan de haute altitude était si médiocre (elle manquait presque toutes les mauvaises herbes) que le drone était confus. Il ne savait pas où regarder, alors il volait de manière erratique ou abandonnait trop tôt.

L'article note également que parfois, le drone restait coincé dans une boucle, volant d'avant en arrière entre deux endroits comme un hamster sur une roue, parce qu'il ne savait pas quand s'arrêter et atterrir.

L'essentiel
Cet article montre qu'enseigner à un drone à être intelligent et efficace est possible, mais que ce n'est pas encore parfait. L'IA a appris à voler sur des chemins beaucoup plus courts que les anciennes méthodes, ce qui est excellent pour économiser la batterie. Cependant, pour que cela fonctionne dans la vie réelle, les « indices » que nous donnons au drone doivent être bien meilleurs. Si la carte est mauvaise, même le drone le plus intelligent du monde sera perdu.

Les chercheurs concluent que, bien que cette approche ne soit pas prête à remplacer tous les drones agricoles demain, c'est un grand pas en avant. Pour des tâches comme la recherche de mauvaises herbes ou la détection de plantes malades — où vous n'avez pas besoin de trouver chacune d'entre elles, mais juste la plupart d'entre elles rapidement — ce drone intelligent capable d'apprendre pourrait faire gagner beaucoup de temps et d'argent aux agriculteurs. Mais d'abord, ils doivent corriger le système d'« indices » pour que le drone ne soit pas confus par de mauvaises cartes.

Résumé Technique : Un Drone par Apprentissage par Renforcement entraîné en Simulation pour une Recherche d'Objets Efficace en Agriculture

Énoncé du Problème

Les véhicules aériens sans pilote (drones) offrent un potentiel significatif pour l'agriculture de précision, permettant des tâches telles que la détection précoce des maladies, la localisation des mauvaises herbes et l'évaluation des sols. Cependant, leur efficacité opérationnelle est sévèrement limitée par la capacité restreinte des batteries, ce qui limite la zone couvrable lors d'un seul vol. Les approches traditionnelles reposent sur des planificateurs de couverture complète qui cartographient l'intégralité des champs avec une distribution spatiale uniforme. Cela est souvent sous-optimal pour les tâches agricoles où les objets cibles (par exemple, des espèces spécifiques de mauvaises herbes ou des plaques de maladies) sont distribués de manière non uniforme en grappes spatiales plutôt que dispersés de façon aléatoire. Dans de tels scénarios, une couverture exhaustive est inutile ; l'objectif est de détecter la majorité des objets avec un chemin de vol minimal. Bien que des planificateurs de trajectoire adaptatifs existent, les méthodes basées sur des règles nécessitent souvent une refonte explicite pour de nouveaux environnements et peinent face à l'incertitude. Cet article traite du défi du développement d'un planificateur de trajectoire adaptatif basé sur l'apprentissage capable de naviguer efficacement parmi des objets distribués de manière non uniforme, en équilibrant le rappel de détection avec la longueur du chemin de vol, et en réussissant le transfert de la simulation vers le déploiment en conditions réelles.

Méthodologie

Cadre d'Apprentissage par Renforcement

Le cœur de l'approche est un agent de Réseau Q Profond (DQN) entraîné pour maximiser les récompenses à long terme en prenant des décisions séquentielles dans un processus de décision de Markov (MDP).

Espace d'États : L'agent observe une carte globale centrée sur le drone (basse résolution, couvrant tout le champ) et une carte locale (haute résolution, correspondant au champ de vision de la caméra). Ces cartes incluent des couches pour les bordures du champ, les objets précédemment trouvés, une carte de couverture (pour décourager les visites répétées) et une carte de connaissances préalques (dérivée de relevés à haute altitude). L'état inclut également le niveau de batterie actuel du drone.
Espace d'Actions : L'agent sélectionne parmi huit actions directionnelles (Nord, Sud, Est, Ouest et quatre diagonales) et une action de "atterrissage" pour terminer la recherche. Chaque action déplace le drone d'un nombre fixe de cellules de grille.
Fonction de Récompense : L'agent reçoit des récompenses positives pour la détection correcte d'objets et des pénalités négatives pour les étapes de vol, l'entrée dans des zones d'exclusion aérienne, le crash (épuisement de la batterie) et la revisite de cellules de grille déjà explorées.

Simulation et Randomisation de Domaine

L'entraînement se déroule dans un environnement de simulation abstrait conçu pour combler le fossé sim-to-real par la randomisation de domaine :

Environnement : Les champs sont générés sous forme de polygones convexes ou concaves aléatoires. Les distributions d'objets sont modélisées comme des grappes suivant des distributions gaussiennes multivariées, avec des nombres variables de grappes et d'objets.
Modélisation du Bruit : La simulation incorpore des erreurs de détection réalistes (faux positifs et faux négatifs) pour l'observation de la carte (caméra simulée) et la carte de connaissances préalables.
Entraînement : L'agent est entraîné en utilisant le replay d'expérience et un facteur de remise de 0,99 sur $2 \times 10^7$ étapes. L'architecture du réseau traite les cartes globale et locale via des couches convolutives parallèles, les concatène avec l'état de la batterie, et produit les valeurs d'action via des couches entièrement connectées.

Pipeline d'Application en Conditions Réelles

Pour déployer la politique entraînée en simulation :

Détection d'Objets : Un réseau YOLOv11-m détecte les objets en temps réel dans les images du drone.
Conversion de Coordonnées : Les coordonnées UTM réelles sont transformées dans le système de grille de la simulation, en tenant compte de la rotation et de l'échelle du champ.
Génération de Connaissances Préalables : Un vol de couverture complète à haute altitude (sans chevauchement) génère une carte de connaissances préalables binaire. Cette carte est intentionnellement bruitée, privilégiant le rappel sur la précision pour s'assurer qu'aucune cible potentielle n'est manquée.
Exécution : Les actions de l'agent RL sont converties en coordonnées GPS et exécutées via une application MAVLink personnalisée sur un drone DJI M350.

Stratégie d'Évaluation : Six Niveaux de Réalisme

L'article introduit un cadre d'évaluation systématique utilisant six niveaux de réalisme pour quantifier la contribution de chaque composant au fossé sim-to-real :

Niveau 1 : Simulation pure (tous les composants sont simulés).
Niveau 2 : Positions réelles des objets (issues d'orthomosaïques) dans un environnement simulé.
Niveau 3 : Positions réelles des objets + Connaissances préalables réelles (générées à partir d'orthomosaïques).
Niveau 4 : Positions réelles des objets + Connaissances préalables réelles + Observations réelles (YOLOv11 appliqué aux cultures de l'orthomosaïque).
Niveau 5 : Positions réelles des objets + Connaissances préalables réelles (collectées pendant le vol) + Observations réelles (issues des orthomosaïques).
Niveau 6 : Déploiement complet en conditions réelles (vol en direct avec contrôleur réel et flux vidéo en direct).

Contributions Clés

Simulateur Amélioré : Extension du simulateur original pour inclure des champs plus grands et de formes aléatoires, ainsi qu'un ensemble élargi d'actions de vol diagonales.
Randomisation de Domaine : Entraînement sur un ensemble diversifié de distributions d'objets, de nombres de grappes et de formes de champs pour améliorer la généralisation.
Connaissances Préalables Réelles : Intégration de connaissances préalables dérivées de vols réels à haute altitude.
Analyse Systématique de l'Écart : Évaluation à travers six niveaux de réalisme utilisant 28 répétitions basées sur des orthomosaïques et deux essais de vol réel pour isoler les sources spécifiques de dégradation des performances.
Déploiement en Conditions Réelles : Démonstration de l'agent RL contrôlant directement un drone DJI M350 pour les décisions de navigation.
Open Source : Publication du code, des données et des pipelines d'évaluation.

Résultats

Performance de la Simulation à la Réalité

Compromis Efficacité vs Rappel : En simulation pure (Niveau 1), l'agent RL a obtenu un chemin de vol 57 % plus court par rapport à un planificateur de couverture complète, avec un rappel 13 % inférieur (0,85 contre 0,98).
Orthomosaïques Réelles (Niveau 4) : Sur des données d'orthomosaïques réelles, l'agent RL a obtenu un chemin de vol 38 % plus court avec un rappel 21 % inférieur (0,77 contre 0,98) par rapport à la couverture complète.
Généralisation : L'agent s'est bien généralisé aux distributions d'objets réels (la chute du Niveau 1 au Niveau 2 n'était que d'environ 2 %). La transition vers des réseaux de détection réels (Niveau 3 au Niveau 4) a causé une baisse de rappel de 6 %, indiquant que la simulation des erreurs de détection était raisonnablement précise.

Essais de Vol en Conditions Réelles

Deux vols réels (Niveau 6) ont été menés :

Essai 1 : L'agent a trouvé 73 % des mauvaises herbes en 91 étapes.
Essai 2 : L'agent n'a trouvé que 23 % des mauvaises herbes en 93 étapes.
Analyse de la Cause Racine : La faible performance de l'essai 2 (et la baisse de l'essai 1 par rapport aux évaluations par orthomosaïque) est principalement attribuée à la faible qualité des connaissances préalables. Dans l'essai 2, le rappel des connaissances préalables est tombé à 0 %, ne fournissant pratiquement aucune guidance à l'agent. Dans l'essai 1, le rappel des connaissances préalables n'était que de 5 %. L'étude note que si les connaissances préalables n'ont pas besoin d'être parfaites, un rappel de 0 % entraîne une dégradation significative des performances.

Inefficacités du Chemin de Vol

L'agent a présenté des comportements de bouclage (volant de manière répétée d'avant en arrière entre deux points) et continuait parfois de voler après avoir trouvé la plupart des cibles. Cela suggère que la pénalité de récompense pour la revisite des zones ( $r_{nocov}$ ) était insuffisante pour décourager pleinement de tels comportements dans des scénarios réels complexes.

Signification et Revendications

L'article affirme que la planification de trajectoire adaptative basée sur l'apprentissage peut considérablement améliorer l'efficacité de la collecte de données dans l'agriculture de précision lorsque la couverture exhaustive n'est pas requise. En échangeant une réduction modérée du rappel contre une réduction substantielle du temps de vol (chemins 38 % plus courts), cette approche offre une alternative viable aux planificateurs de couverture complète pour des tâches comme la détection de mauvaises herbes ou de maladies, où les cibles sont regroupées.

Les auteurs soulignent que le fossé sim-to-real est gérable mais sensible à des composants spécifiques :

Distribution des Objets : L'agent se généralise bien aux modèles spatiaux réels.
Réseaux de Détection : Les erreurs simulées préparent efficacement l'agent au bruit de détection du monde réel.
Connaissances Préalables : C'est le facteur le plus critique. L'étude souligne que des connaissances préalables inexactes ou manquantes sont la source dominante d'échec en déploiement réel, plus encore que la qualité du contrôleur de vol ou du flux de la caméra en direct.

L'article conclut que bien que l'approche soit prometteuse pour un déploiement pratique, des améliorations supplémentaires de la qualité des connaissances préalables (par exemple, la réutilisation de données de vols précédents) et de l'efficacité du chemin de vol (par exemple, le routage hybride ou les stratégies hiérarchiques) sont nécessaires avant une adoption généralisée. Ce travail sert de preuve de concept qu'une politique d'apprentissage par renforcement entraînée en simulation peut être transférée à des drones réels pour des tâches de recherche adaptative.