💻 computer science

AgroVG: A Large-Scale Multi-Source Benchmark for Agricultural Visual Grounding

Ce papier présente AgroVG, un benchmark multi-sources à grande échelle comprenant plus de 10 000 paires image-requête couvrant six familles de cibles agricoles pour évaluer l'ancrage visuel en tant que tâche de prédiction d'ensemble généralisée, révélant des écarts de performance significatifs dans la capacité des modèles actuels à gérer des objets de petite taille, occlus et de nombre variable dans des scénarios agricoles.

Auteurs originaux : Haocheng Li, Juepeng Zheng, Zenghao Yang, Kaiqi Du, Guilong Xiao, Gengmeng Pu, Haohuan Fu, Jianxi Huang

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haocheng Li, Juepeng Zheng, Zenghao Yang, Kaiqi Du, Guilong Xiao, Gengmeng Pu, Haohuan Fu, Jianxi Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot jardinier comment travailler dans un champ immense et en désordre. Vous voulez lui donner des instructions simples comme : « Cueillez uniquement les pommes mûres sur la gauche » ou « Pulvérisez les mauvaises herbes, mais ignorez les cultures saines ».

Pendant longtemps, les chercheurs en intelligence artificielle ont été habiles à enseigner aux robots à reconnaître ce qui se trouve dans une image (par exemple : « C'est une pomme »). Mais ils n'ont pas été très doués pour apprendre aux robots à écouter des instructions spécifiques concernant où se trouvent les choses, surtout lorsqu'il y a des dizaines d'objets similaires entassés ensemble, ou lorsque l'objet que vous demandez n'est pas du tout présent.

Ce papier présente AgroVG, un nouveau « essai routier » (benchmark) conçu pour vérifier si les modèles d'IA peuvent réellement suivre ces instructions de jardinage complexes.

Voici une décomposition de ce qu'ils ont fait, en utilisant des analogies simples :

1. Le Problème : Le Défi de l'Aiguille dans une Botte de Foin

Dans une photo normale, demander à une IA de « trouver le chat » est facile. Mais dans un champ agricole :

La Botte de Foin : Il peut y avoir 50 épis de blé qui se ressemblent presque parfaitement.
L'Aiguille : Vous pouvez demander « les trois épis de blé les plus hauts sur la droite ».
Le Piège : Parfois, vous demandez « les pommes rouges », mais il n'y a pas de pommes rouges dans l'image. Un robot intelligent devrait dire : « Je n'en vois pas », mais un robot stupide pourrait halluciner et pointer une feuille verte quand même.

Les tests existants ne vérifiaient pas si les robots pouvaient gérer ces trois situations délicates simultanément : trouver un objet spécifique, trouver plusieurs objets spécifiques, ou dire correctement « aucun » lorsque l'objet manque.

2. La Solution : Le « Permis de Conduire » AgroVG

Les auteurs ont construit une immense banque de tests appelée AgroVG. Imaginez-le comme un permis de conduire géant et standardisé pour les robots agricoles.

La Taille : Il contient plus de 10 000 questions de test.
La Variété : Il couvre six « scénarios de conduite » (familles) différents : cultures contre mauvaises herbes, fruits, épis de blé, ravageurs (insectes), maladies des plantes et cimes d'arbres.
Les Deux Niveaux de Difficulté :
- Niveau 1 (La Boîte) : Le robot dessine un cadre carré autour de la cible. C'est comme dire : « La cible se trouve quelque part dans ce carré ».
- Niveau 2 (Le Masque) : Le robot dessine un contour précis autour de la cible. C'est comme dire : « La cible a exactement cette forme, ni plus ni moins ». C'est beaucoup plus difficile car les feuilles et les insectes ont des formes bizarres et irrégulières.

3. Comment Ils L'Ont Testé

Ils n'ont pas entraîné les robots sur ce test. Au lieu de cela, ils ont pris 26 modèles d'IA différents (y compris de grands modèles célèbres comme GPT-4 et des modèles open-source spécialisés) et leur ont demandé de passer le test « à froid » (zero-shot).

Ils ont posé des questions comme :

« Trouvez le plus gros insecte. » (Cible unique)
« Trouvez toutes les mauvaises herbes sur la gauche. » (Cibles multiples)
« Trouvez les fleurs bleues. » (Lorsqu'il n'y a pas de fleurs bleues dans l'image).

4. Les Résultats : Les Robots Ont Lutté

Les résultats ont été un peu une révélation. Même les modèles d'IA les plus intelligents n'ont pas réussi le test avec succès.

Le Problème du « Jeu » : Lorsqu'on leur demandait de trouver toutes les mauvaises herbes, les robots trouvaient généralement les plus grandes et les plus évidentes, mais manquaient les plus petites et cachées. Ils étaient comme un étudiant qui ne répond qu'aux questions faciles et saute le reste.
Le Problème de l'« Hallucination » : Lorsqu'on leur demandait de trouver quelque chose qui n'était pas là (comme « trouvez les pommes rouges » dans une image d'herbe verte), de nombreux robots ont dessiné avec assurance des cadres ou des masques autour de feuilles vertes aléatoires. Ils étaient trop désireux de plaire et inventaient des cibles qui n'existaient pas.
Le Problème de la « Précision » : Lorsqu'on leur demandait de dessiner un contour précis (Niveau 2), les robots étaient souvent négligents. Ils pouvaient dessiner un masque qui couvrait toute la plante au lieu de seulement la feuille malade, ou ils manquaient complètement les bords.

Le Conclusion : Le meilleur modèle n'a eu raison que d'environ 35 % des questions « trouver plusieurs objets », et moins de 17 % des questions « contour précis ».

5. Pourquoi Cela Compte (Selon le Papier)

Le papier soutient que avant de pouvoir faire confiance aux robots pour entrer dans un champ et pulvériser des pesticides ou cueillir des fruits sur commande vocale, nous devons pouvoir mesurer s'ils écoutent et voient réellement correctement.

AgroVG est cette règle de mesure. Il nous montre que si l'IA s'améliore pour « voir » des images, elle est encore très mauvaise pour « écouter » des instructions complexes dans des environnements réels et en désordre. Il souligne que nous avons besoin de robots qui ne sont pas seulement bons pour repérer des choses, mais aussi bons pour savoir quand rien n'est là, et bons pour compter et regrouper les choses correctement.

En bref : Nous avons construit un examen très difficile pour les robots agricoles. Ils ont passé l'examen, et ils ont majoritairement échoué. Cela nous dit que nous avons encore un long chemin à parcourir avant de pouvoir les laisser travailler seuls dans les champs.

Résumé technique : AgroVG : une référence multi-sources à grande échelle pour l'ancrage visuel agricole

Définition du problème

Les systèmes d'IA agricole nécessitent la capacité d'ancrer des instructions en langage naturel dans des environnements culturaux complexes pour permettre des tâches telles que le désherbage sélectif, la surveillance des maladies et la récolte ciblée. Bien que l'ancrage visuel (localisation d'objets décrits par du texte) ait progressé dans les domaines généraux, les références existantes ne parviennent pas à répondre aux défis spécifiques des images agricoles. Ces défis incluent :

Instances denses et répétitives : Les images uniques contiennent souvent des dizaines de cibles visuellement similaires (par exemple, des épis de blé, des fruits en grappe), rendant l'hypothèse d'une cible unique par requête invalide.
Cibles petites, occluses et irrégulières : Les ravageurs, les lésions de maladies et les feuilles ont souvent des limites non convexes et sont partiellement cachés, ce qui rend les boîtes englobantes insuffisantes pour une évaluation au niveau du pixel.
Expressions d'absence de cible : Les instructions réelles de champ peuvent faire référence à des objets qui ne sont pas présents dans l'image, obligeant les modèles à s'abstenir plutôt qu'à halluciner des prédictions.

Les références agricoles actuelles manquent soit de protocoles d'ancrage au niveau de l'instance, soit sont limitées à des jeux de données à source unique, soit n'évaluent pas les exigences conjointes de précision de localisation, de complétude de l'ensemble et d'abstention consciente de l'existence.

Méthodologie

Les auteurs introduisent AgroVG, une référence multi-sources formulée comme un problème de prédiction d'ensemble généralisé. Étant donné une image et une expression de référence, le modèle doit retourner toutes les instances de cibles correspondantes (une, plusieurs ou aucune) sous forme de boîtes englobantes ou de masques d'instance.

Construction du jeu de données

Échelle et sources : AgroVG comprend 10 071 paires image-requise ancrées par annotation dérivées de 10 jeux de données sources (par exemple, PhenoBench, CropAndWeed, GWHD, IP102, PlantSeg).
Familles de cibles : La référence couvre six familles de cibles agricoles : culture/mauvaise herbe, fruit, épi de blé, ravageur, maladie des plantes et canopée d'arbre.
Ancrage des annotations : Chaque requête est traçable jusqu'à des annotations d'instance vérifiées. Les requêtes positives sont liées à des ensembles de cibles spécifiques, tandis que les requêtes d'absence de cible sont vérifiées pour avoir des ensembles de cibles vides dans l'espace familial de la référence.
Tâches :
- T1 (Ancrage par boîte englobante) : Pris en charge pour les six familles de cibles. Les modèles prédisent des ensembles de boîtes englobantes alignées sur les axes.
- T2 (Ancrage par masque d'instance) : Pris en charge pour trois familles disposant d'annotations fiables au niveau du pixel pour les instances (culture/mauvaise herbe, fruit, maladie des plantes). Les modèles prédisent des masques binaires.
Régimes de requêtes : Les deux tâches évaluent trois régimes :
- Cible unique : $K=1$ instance.
- Cibles multiples : $K>1$ instances.
- Absence de cible : $K=0$ (aucune instance correspondante n'existe).
Contrôle de qualité : Le pipeline de construction comprend un échantillonnage piloté par l'audit, une revue visuelle par des experts pour éliminer les images corrompues ou les annotations désalignées, et une génération de requêtes consciente des splits pour prévenir les fuites de données.

Protocole d'évaluation

L'évaluation utilise des métriques spécifiques à la tâche pour diagnostiquer les échecs dans la localisation, la complétude de l'ensemble et l'abstention :

Métriques T1 : Utilise le Set-F1 (basé sur l'appariement de cardinalité maximale aux seuils d'IoU 0,50 et 0,75) pour les requêtes à cibles multiples, la Précision stricte pour les requêtes à cible unique, et la Précision vide pour les requêtes d'absence de cible.
Métriques T2 : Utilise la Couverture de masque au niveau de la requête (mIoU, cIoU, Dice) pour les requêtes positives et la Précision vide pour les requêtes d'absence de cible. Cette approche évite l'appariement de masques par instance en faveur de l'évaluation de l'union des régions référées.

Résultats clés

Les auteurs ont mené une évaluation en zero-shot de 26 configurations de modèles, incluant des MLLM propriétaires (par exemple, GPT-4o, GPT-5.4), des VLM open-source (par exemple, InternVL3.5, Qwen3-VL) et des systèmes d'ancrage spécialisés (par exemple, OWLv2, Grounding DINO, LISA, SAM).

Écarts de performance : La référence révèle des limitations significatives dans les modèles actuels.
- Complétude de l'ensemble : Le meilleur score Set-F1 pour les cibles multiples sur T1 n'est que de 0,3540 (InternVL3.5-8B), indiquant que les modèles peinent à récupérer toutes les instances valides dans des scènes denses.
- Ancrage par masque : Le meilleur taux de réussite des requêtes positives pour T2 à IoU@0,75 reste inférieur à 0,17. Le meilleur All-mIoU est inférieur à 0,32.
- Calibration de l'abstention : Les modèles présentent une mauvaise calibration sur les requêtes d'absence de cible. Certains modèles (par exemple, GPT-4o) s'abstiennent bien mais localisent mal les requêtes positives, tandis que d'autres (par exemple, Florence-2) détectent bien les cibles positives mais hallucinent des prédictions lorsque les cibles sont absentes (0 % de Précision vide).
Compromis : Il existe un compromis clair entre la qualité du masque pour les requêtes positives et le rejet des cibles absentes. Des modèles comme SAM 3 atteignent une Précision vide élevée (93,4 %) mais une qualité de masque pour les requêtes positives faible, tandis que les MLLM de segmentation comme LISA-13B produisent de meilleurs masques mais hallucinent fréquemment sur des cibles absentes.
Insights diagnostiques : La performance varie considérablement selon les familles de cibles et les types de requêtes. Les requêtes basées sur le rang (par exemple, « le plus à gauche », « le plus grand ») et les requêtes de sélection de côté restent substantiellement plus difficiles que les requêtes à cible unique, suggérant que la détection open-vocabulary seule est insuffisante pour un ancrage agricole généralisé.

Signification et affirmations

L'article positionne AgroVG comme une référence diagnostique plutôt que comme une mesure de prêt au déploiement. Ses contributions principales sont :

Formulation : Il présente l'ancrage visuel agricole comme un problème de prédiction d'ensemble généralisé, abordant explicitement le besoin de complétude multi-cible et d'abstention consciente de l'existence.
Référence complète : Il fournit la première référence unifiée couvrant six familles de cibles agricoles avec des protocoles d'ancrage par boîte englobante et par masque d'instance dans les régimes à cible unique, multiples et d'absence de cible.
Valeur diagnostique : L'évaluation révèle des échecs systématiques dans les modèles actuels de l'état de l'art concernant la complétude de l'ensemble, la calibration de l'abstention et l'ancrage fin par masque. Ces résultats soulignent qu'un ancrage agricole fiable nécessite des progrès conjoints dans la détection de l'existence des cibles, l'estimation de la cardinalité et la couverture géométrique.

Les auteurs soulignent qu'AgroVG sert de banc d'essai standardisé pour identifier les modes d'échec (tels que l'hallucination sur des cibles absentes ou la récupération incomplète d'ensembles) qui sont critiques pour la sécurité en agriculture de précision mais qui sont souvent négligés dans les références d'ancrage d'objet unique standard. Le jeu de données et le code sont publiés pour soutenir la recherche future visant à développer des systèmes d'IA agricole plus fiables, conscients des instructions et conscients de l'existence.