💻 computer science

Towards Robust Deep Learning-based Rumex Obtusifolius Detection from Drone Images

Ce papier aborde le défi de la détection de *Rumex obtusifolius* à travers différents domaines de données en démontrant que, tandis que les CNN traditionnels peinent face aux décalages de domaine entre les images au sol et celles de drones, les Transformers de vision auto-supervisés (ViTs) offrent une robustesse et des performances supérieures, ce qui est étayé par la publication d'un nouveau jeu de données basé sur des UAV nommé AGSMultiRumex.

Auteurs originaux : Fabian Dionys Schrag, Mehmet Ozgur Turkoglu, Konrad Schindler, Ralph Lukas Stoop

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fabian Dionys Schrag, Mehmet Ozgur Turkoglu, Konrad Schindler, Ralph Lukas Stoop

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un chien à trouver un type spécifique d'herbe (appelé Rumex obtusifolius) dans un pré.

La Configuration : Deux Mondes Différents
Les chercheurs avaient un problème. Ils possédaient une immense bibliothèque de photos de cette herbe, mais elles avaient toutes été prises par un robot se déplaçant au sol, regardant les plantes sous un angle bas, de près. C'est leur « Domaine Source ».

Cependant, ils avaient besoin que le chien trouve l'herbe depuis un drone volant haut dans le ciel, regardant directement vers le bas. C'est leur « Domaine Cible ».

Le problème est qu'une photo prise au niveau des roues d'un robot ressemble complètement à une photo prise depuis un drone à 12 mètres de hauteur. L'éclairage, l'angle et l'arrière-plan (comme les clôtures ou les voitures) sont totalement différents. C'est comme essayer d'enseigner à quelqu'un à reconnaître un chat en ne lui montrant que des photos de chats dans une baignoire, puis en lui demandant d'identifier un chat sur un toit.

La Tentative Échouée : La Méthode de l'Ancienne École
D'abord, les chercheurs ont essayé d'utiliser des modèles standards d'« apprentissage profond » (spécifiquement appelés ResNets). Imaginez-les comme des étudiants très intelligents, mais rigides, qui ont mémorisé parfaitement les photos de « chats dans la baignoire ».

Lorsqu'ils ont essayé d'utiliser ces modèles sur les photos de drone, ils ont échoué lamentablement. Même s'ils laissaient les modèles « étudier » un peu les nouvelles photos de drone (un processus appelé ajustement fin), les modèles ne pouvaient toujours pas généraliser. Ils étaient trop bloqués sur les détails spécifiques des photos du robot au sol.

La Solution : Les Outils de « Traduction »
Pour aider les modèles de l'ancienne école, les chercheurs ont essayé deux techniques spéciales appelées Adaptation de Domaine.

L'Analogie : Imaginez essayer de traduire un livre de l'anglais vers le français. Les anciens modèles essayaient de traduire mot à mot et se perdaient. Les chercheurs ont ajouté des « outils de traduction » (Appariement des Moments et Discrepancy Maximale du Classificateur) qui forçaient les modèles à regarder la forme et la structure générales des phrases plutôt que juste les mots spécifiques.
Le Résultat : Cela a aidé les anciens modèles à mieux faire, mais ils luttaient toujours. Ils avaient besoin de beaucoup de règles de « traduction » supplémentaires pour fonctionner.

Le Joueur Étoile : Le Vision Transformer (ViT)
Ensuite, les chercheurs ont essayé un type de modèle différent : les Vision Transformers (spécifiquement DINOv2 et DINOv3).

L'Analogie : Si les modèles ResNet étaient les étudiants rigides ayant mémorisé les photos de baignoire, les Vision Transformers sont comme un voyageur polyglotte qui a déjà vu des millions de photos de chats dans des baignoires, sur des toits, dans des arbres et dans la neige. Parce qu'ils ont été entraînés sur un ensemble d'images si vaste et diversifié avant même que les chercheurs ne commencent, ils comprennent déjà à quoi ressemble une « plante » ou une « herbe » en général, indépendamment de l'angle ou de l'éclairage.
Le Résultat : Ces modèles n'avaient même pas besoin des outils de « traduction » spéciaux. Ils regardaient simplement les photos de drone et disaient : « Ah, c'est une herbe Rumex », avec une grande précision. Lorsque les chercheurs leur ont donné un tout petit peu de temps d'étude supplémentaire (en utilisant une technique appelée LoRA pour rendre l'apprentissage efficace), ils sont devenus incroyablement bons dans leur tâche.

Le Résultat Final
Les chercheurs ont créé un nouvel ensemble de données de photos de drone provenant de prés suisses (appelé AGSMultiRumex) pour tester cela.

Les anciens modèles (ResNets) avaient besoin d'une aide lourde pour obtenir un score d'environ 0,45 sur 1,0.
Les nouveaux modèles (ViTs), avec juste un peu d'ajustement fin, ont obtenu un score de 0,81 sur 1,0.

Le Bémol (Limites)
Même les modèles super-intelligents avaient du mal dans quelques cas spécifiques :

Confusion avec des Ressemblants : Dans certains vols, de grandes pissenlits ressemblaient tellement à l'herbe que les modèles se sont perdus. Comme les photos d'entraînement ne contenaient pas beaucoup de pissenlits, les modèles ne connaissaient pas la différence.
Objets Étranges : Dans un vol, une voiture a été partiellement confondue avec une herbe. Pourquoi ? Parce que les photos d'entraînement ne montraient jamais de voiture, le modèle ne savait donc pas ce qu'était une voiture. Il voyait simplement une forme étrange et devinait « herbe ».

La Conclusion
L'article conclut que pour les tâches agricoles où vous devez passer des robots au sol aux drones, vous n'avez pas besoin de construire un nouveau modèle à partir de zéro. Au lieu de cela, vous devriez utiliser ces modèles massifs, pré-entraînés et « polyglottes » (ViTs). Ils sont naturellement assez robustes pour gérer le changement de perspective, ce qui en fait le meilleur outil pour le travail. Les chercheurs ont également rendu leur nouvel ensemble de données de drone public afin que d'autres puissent tester leurs propres modèles contre celui-ci.

1. Énoncé du problème

L'article aborde le défi de l'adaptation de domaine (DA) en vision par ordinateur agricole. Plus précisément, il se concentre sur la détection de Rumex obtusifolius (patience à feuilles larges), une mauvaise herbe persistante dans les prairies.

Le problème central : Les modèles d'apprentissage profond entraînés sur un jeu de données (domaine source) échouent souvent à se généraliser à de nouveaux environnements (domaine cible) en raison d'un décalage de covariable. En agriculture, ce décalage provient des différences suivantes :
- Point de vue : Sol (robot) vs Nadir (drone/UAV).
- Capteurs : Différents appareils photo et résolutions.
- Conditions : Éclairage, composition de la végétation et stades phénologiques.
Limites actuelles : Les modèles existants (par exemple, les variantes YOLO) entraînés sur des jeux de données spécifiques (comme RumexWeeds) échouent à se généraliser à d'autres jeux de données, chutant souvent jusqu'à des valeurs de mAP50 aussi basses que 30 %. Le fine-tuning standard des réseaux de neurones convolutifs (CNN) sur des données sources ne comble pas suffisamment le fossé avec les images UAV.

2. Méthodologie

Jeux de données

Domaine source (RumexWeeds) : Un jeu de données d'images haute résolution (1920×1200 px, ~1 mm GSD) capturé par un robot au sol (Clearpath Husky) avec un angle oblique de 75°. Il contient 5 sous-ensembles provenant de différents lieux/dates au Danemark.
Domaine cible (AGSMultiRumex) : Un nouveau jeu de données, publié publiquement, comprenant 15 vols de drones au-dessus de prairies suisses.
- Acquisition : Caméra Zenmuse P1 sur un DJI Matrice 300 RTK, vue nadir, altitude de 12 m, GSD de 0,105 cm/px.
- Complexité : Comprend une végétation diversifiée (pissenlits, herbes), des éléments de paysage (clôtures, voitures) et des conditions météorologiques/éclairages variables.

Reformulation de la tâche

Pour appliquer des techniques de DA établies, les auteurs ont reformulé la tâche de détection d'objets en une tâche de classification d'images :

Découpage (Tiling) : Les images originales sont divisées en tuiles de 518×518 pixels (~0,5 m²).
Étiquetage :
- 1 (Positif) : Chevauchement de la tuile avec la boîte englobante de Rumex > seuil ( $r_{th}=0,1$ ).
- 0 (Négatif) : Aucun chevauchement.
- 2 (Flou) : Chevauchement partiel ; exclu de l'entraînement.
Stratégie : Une approche de fenêtre glissante avec quatre passages (coins) assure une couverture complète et agit comme une augmentation de données implicite.

Architectures de modèles

L'étude compare deux familles de backbones :

Réseaux de neurones convolutifs (ResNets) : ResNet50, 101 et 152. Initialisés avec les poids ImageNet.
Vision Transformers (ViTs) : DINOv2 et DINOv3 (échelles Small, Base, Large). Ces modèles sont préentraînés par apprentissage auto-supervisé (cadre DINO) sur d'énormes jeux de données non étiquetés, sans annotations manuelles.

Stratégies d'entraînement et d'adaptation

Entraînement supervisé classique (Vanilla) : Fine-tuning standard (gel vs dégel des couches du backbone).
Adaptation de domaine non supervisée (UDA) : Appliquée aux ResNets en utilisant l'appariement de moments (M2S2DA pour source unique, M3SDA- $\beta$ pour source multiple). Cela aligne les premier et deuxième moments statistiques (moyenne et covariance) des distributions de caractéristiques source et cible.
Fine-tuning efficace en paramètres (PEFT) : Appliqué aux ViTs en utilisant LoRA (Low-Rank Adaptation). Cela gèle les poids préentraînés et entraîne uniquement des matrices de décomposition de faible rang, réduisant le coût computationnel tout en permettant l'adaptation.

3. Contributions clés

Nouveau jeu de données : Publication de AGSMultiRumex, un jeu de données UAV exigeant avec 15 vols diversifiés, conçu spécifiquement pour tester la robustesse et le décalage de domaine dans la détection de mauvaises herbes.
Comparaison empirique des architectures : Une évaluation systématique montrant que les Vision Transformers (ViTs) préentraînés avec des objectifs auto-supervisés (DINOv2/v3) gèrent intrinsèquement mieux les décalages de domaine que les CNN (ResNets).
Efficacité de LoRA : Démonstration que le fine-tuning efficace en paramètres (LoRA) sur de grands ViTs atteint des performances de l'état de l'art sans le coût computationnel du fine-tuning complet.
Analyse des modes d'échec : Identification détaillée de défis spécifiques, tels que la confusion avec les grands pissenlits et les faux positifs provenant d'objets non végétaux (par exemple, des voitures) dus au biais du jeu de données source.

4. Résultats expérimentaux

Métriques de performance

La performance est mesurée par le score F1 (spécifiquement pour la classe minoritaire, Rumex) sur les 15 vols cibles.

Modèle / Stratégie	Médiane F1 ( $\tilde{F}_1$ )	Observations
ResNet (Vanilla)	~0,15 – 0,20	Mauvaise généralisation ; échoue même avec un fine-tuning complet.
ResNet + M3SDA- $\beta$	~0,45	L'adaptation de domaine explicite améliore significativement les résultats mais reste modérée.
DINOv3 (Gel)	~0,50 – 0,60	Transfert zero-shot fort ; surpasse les ResNets adaptés malgré l'absence de fine-tuning.
DINOv3 + LoRA	~0,81	Meilleure performance. Haute précision et rappel sur la plupart des vols.

Conclusions clés

Supériorité des ViT : Le préentraînement auto-supervisé à grande échelle (DINOv3) fournit des représentations riches et polyvalentes intrinsèquement robustes aux décalages de domaine. Ils surpassent même les ResNets entraînés avec des techniques de DA complexes.
Efficacité de LoRA : Le fine-tuning de DINOv3 avec LoRA (Rang 32) produit les meilleurs résultats ( $\tilde{F}_1 \approx 0,81$ ), prouvant que l'adaptation de grands modèles de base est réalisable et hautement efficace pour l'agriculture.
Compromis Précision vs Rappel :
- ResNet + DA : Rappel élevé mais faible précision (nombreux faux positifs).
- ViT gel : Précision élevée mais faible rappel (manque beaucoup de mauvaises herbes).
- ViT + LoRA : Équilibre les deux, atteignant un rappel et une précision médians >0,8.
Défis persistants : Certains vols (par exemple, Halden ID 3, Waldegg ID 4) restent difficiles en raison d'un éclairage extrême, de stades phénologiques précoces ou d'espèces confondantes (pissenlits) absentes des données sources.

5. Importance et conclusion

Changement de paradigme : L'article suggère que pour les tâches de vision agricole avec des décalages de domaine significatifs, l'exploitation de grands ViTs préentraînés en auto-supervision est une stratégie plus efficace que le développement de techniques d'adaptation de domaine complexes pour les CNN traditionnels.
Impact pratique : Il démontre que les jeux de données existants et publiquement disponibles (comme RumexWeeds) peuvent être réutilisés efficacement pour de nouveaux contextes (UAV) si la bonne architecture (ViT) et la bonne méthode d'adaptation (LoRA) sont choisies, réduisant ainsi le besoin de jeux de données étiquetés massifs et spécifiques à la tâche.
Perspectives futures : Bien que l'architecture soit cruciale, l'étude souligne que le biais des jeux de données (par exemple, l'absence d'espèces confondantes comme les pissenlits ou les voitures dans la source) reste un goulot d'étranglement. Les travaux futurs doivent se concentrer sur la curation de données d'entraînement plus diversifiées pour gérer les cas limites et les confondants rares.

En résumé, les auteurs comblent avec succès le fossé entre la détection de mauvaises herbes au sol et aérienne, atteignant un score F1 robuste de 0,81 en combinant des Vision Transformers auto-supervisés avec un fine-tuning efficace en paramètres, tout en publiant un nouveau jeu de données précieux pour la communauté de recherche.