💻 computer science

AgroVG: A Large-Scale Multi-Source Benchmark for Agricultural Visual Grounding

Dit artikel introduceert AgroVG, een grootschalige multi-bron benchmark bestaande uit meer dan 10.000 beeld-query-paren over zes landbouwdoelgroepen om visuele grounding te evalueren als een generaliserende taak voor setvoorspelling, waarbij aanzienlijke prestatiekloven worden blootgelegd in het vermogen van huidige modellen om om te gaan met kleine, verduisterde en variabel aantal objecten in landbouwsituaties.

Oorspronkelijke auteurs: Haocheng Li, Juepeng Zheng, Zenghao Yang, Kaiqi Du, Guilong Xiao, Gengmeng Pu, Haohuan Fu, Jianxi Huang

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haocheng Li, Juepeng Zheng, Zenghao Yang, Kaiqi Du, Guilong Xiao, Gengmeng Pu, Haohuan Fu, Jianxi Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robottuinman leert werken in een enorm, rommelig veld. Je wilt hem simpele instructies geven zoals: "Pak alleen de rijpe appels aan de linkerkant" of "Spuit onkruid, maar negeer de gezonde gewassen."

Al lang zijn AI-onderzoekers goed in het leren van robots om te herkennen wat er in een afbeelding staat (bijvoorbeeld: "Dat is een appel"). Maar ze zijn niet erg goed in het leren van robots om te luisteren naar specifieke instructies over waar dingen zich bevinden, vooral wanneer er tientallen vergelijkbare dingen dicht op elkaar staan, of wanneer het ding dat je vraagt helemaal niet aanwezig is.

Dit artikel introduceert AgroVG, een nieuwe "proefrit" (benchmark) die is ontworpen om te zien of AI-modellen deze complexe tuinbouw-instructies daadwerkelijk kunnen volgen.

Hier is een uiteenzetting van wat ze deden, met eenvoudige analogieën:

1. Het Probleem: De "Naald in een Hooiberg"-Uitdaging

In een normale foto is het voor een AI makkelijk om te vragen "vind de kat". Maar in een landbouwveld:

De Hooiberg: Er kunnen 50 tarwearen zijn die bijna identiek lijken.
De Naald: Je vraagt misschien om "de drie langste tarwearen aan de rechterkant".
De Valstrik: Soms vraag je om "de rode appels", maar er zijn geen rode appels in de afbeelding. Een slimme robot zou moeten zeggen: "Ik zie er geen", maar een domme robot zou kunnen hallucineren en toch naar een groen blad wijzen.

Bestaande tests controleerden niet of robots deze drie lastige situaties tegelijk aankunnen: het vinden van één specifiek item, het vinden van vele specifieke items, of correct zeggen "geen" wanneer het item ontbreekt.

2. De Oplossing: De AgroVG "Rijexamen"

De auteurs bouwden een enorme testbank genaamd AgroVG. Denk hierbij aan een gigantisch, gestandaardiseerd rijexamen voor landbouwrobots.

De Omvang: Het bevat meer dan 10.000 testvragen.
De Variatie: Het behandelt zes verschillende "rijscenario's" (families): gewassen versus onkruid, fruit, tarwearen, plagen (insecten), plantziektes en boomkruinen.
De Twee Niveaus van Moeilijkheid:
- Niveau 1 (Het Kader): De robot tekent een vierkante kader om het doelwit. Dit is als zeggen: "Het doelwit zit ergens in dit vierkant."
- Niveau 2 (Het Masker): De robot tekent een nauwkeurige omtrek om het doelwit. Dit is als zeggen: "Het doelwit is exact deze vorm, niet meer en niet minder." Dit is veel moeilijker omdat bladeren en insecten vreemde, gekartelde vormen hebben.

3. Hoe Ze Het Testten

Ze trainden de robots niet op deze test. In plaats daarvan namen ze 26 verschillende AI-modellen (inclusief grote bekende namen zoals GPT-4 en gespecialiseerde open-source modellen) en vroegen hen om de test "koud" te doen (zero-shot).

Ze stelden vragen zoals:

"Vind het grootste insect." (Enkel doelwit)
"Vind al het onkruid aan de linkerkant." (Meerdere doelwitten)
"Vind de blauwe bloemen." (Wanneer er geen blauwe bloemen in de afbeelding zijn).

4. De Resultaten: De Robots Hadden Het Moeilijk

De resultaten waren een beetje een wake-up call. Zelfs de slimste AI-modellen slaagden er niet in om de test met vlag en wimpel te halen.

Het "Set"-Probleem: Wanneer gevraagd werd om alle onkruiden te vinden, vonden de robots meestal de grootste, meest voor de hand liggende, maar misten ze de kleinere, verborgen exemplaren. Ze waren als een student die alleen de makkelijke vragen beantwoordt en de rest overslaat.
Het "Hallucinatie"-Probleem: Wanneer gevraagd werd om iets te vinden dat er niet was (zoals "vind de rode appels" in een afbeelding van groen gras), tekenden veel robots zelfverzekerd kaders of maskers om willekeurige groene bladeren. Ze waren te graag van dienst en verzonnen doelwitten die niet bestonden.
Het "Nauwkeurigheid"-Probleem: Wanneer gevraagd werd om een nauwkeurige omtrek te tekenen (Niveau 2), waren de robots vaak slordig. Ze tekenden misschien een masker dat de hele plant bedekte in plaats van alleen het zieke blad, of ze misten de randen volledig.

De Conclusie: Het beste model kreeg ongeveer 35% van de "vind meerdere items"-vragen goed, en minder dan 17% van de "nauwkeurige omtrek"-vragen goed.

5. Waarom Dit Belangrijk Is (Volgens Het Artikel)

Het artikel betoogt dat voordat we robots kunnen vertrouwen om een veld in te gaan en pesticiden te spuiten of fruit te plukken op basis van spraakopdrachten, we een manier nodig hebben om te meten of ze daadwerkelijk luisteren en correct zien.

AgroVG is die meetlat. Het laat zien dat terwijl AI beter wordt in het "zien" van afbeeldingen, het nog steeds erg slecht is in het "luisteren" naar complexe instructies in rommelige, real-world omgevingen. Het benadrukt dat we robots nodig hebben die niet alleen goed zijn in het opsporen van dingen, maar ook goed weten wanneer er niets is, en goed zijn in het correct tellen en groeperen van dingen.

Kortom: We hebben een zeer zware examenopgave voor landbouwrobots gebouwd. Ze hebben het examen gemaakt, en ze zijn grotendeels gezakt. Dit vertelt ons dat we nog een lange weg te gaan hebben voordat we ze alleen in de velden kunnen laten werken.

Technische Samenvatting: AgroVG: Een Groot-Schalige Multi-Source Benchmark voor Agrarisch Visueel Grounding

Probleemdefinitie

Agrarische AI-systemen vereisen het vermogen om natuurlijke-taal instructies te verankeren in complexe gewasomgevingen om taken zoals selectief onkruiden, ziektebewaking en gerichte oogst mogelijk te maken. Hoewel visueel grounding (het lokaliseren van objecten die door tekst worden beschreven) vooruitgang heeft geboekt in algemene domeinen, slagen bestaande benchmarks er niet in om de specifieke uitdagingen van agrarische beelden aan te pakken. Deze uitdagingen omvatten:

Dichte, Repeterende Instanties: Enkele frames bevatten vaak tientallen visueel vergelijkbare doelen (bijvoorbeeld tarwearen, gegroepeerde vruchten), waardoor de aanname van een uniek doel per query ongeldig wordt.
Kleine, Geoccludeerde en Irreguliere Doelen: Plagen, ziekteletsels en bladeren hebben vaak niet-convexe grenzen en zijn gedeeltelijk verborgen, waardoor boksjes onvoldoende zijn voor evaluatie op pixelniveau.
Doel-Absente Expressies: Realistische veldinstructies kunnen verwijzen naar objecten die niet in de afbeelding aanwezig zijn, waardoor modellen zich moeten onthouden in plaats van voorspellingen te hallucineren.

Huidige agrarische benchmarks missen ofwel protocollen voor grounding op instantieniveau, zijn beperkt tot single-source datasets, of evalueren niet de gezamenlijke eisen van lokaliseringsnauwkeurigheid, volledigheid van de set en existentie-bewuste onthouding.

Methodologie

De auteurs introduceren AgroVG, een multi-source benchmark geformuleerd als een gegeneraliseerd set-predictieprobleem. Gegeven een afbeelding en een verwijzende expressie, moet het model alle overeenkomende doelinstanties (één, vele of geen) retourneren als ofwel boksjes ofwel instance-maskers.

Dataset Constructie

Schaal en Bronnen: AgroVG bestaat uit 10.071 door annotatie verankerde beeld-query-paren afgeleid van 10 bron-datasets (bijvoorbeeld PhenoBench, CropAndWeed, GWHD, IP102, PlantSeg).
Doelfamilies: De benchmark bestrijkt zes agrarische doelfamilies: gewas/onkruid, vrucht, tarweaar, plaag, plantenziekte en boomkruin.
Annotatie Verankering: Elke query is traceerbaar naar geverifieerde instance-annotaties. Positieve queries zijn gekoppeld aan specifieke doelsets, terwijl doel-absente queries zijn geverifieerd om lege doelsets te hebben binnen de familiestruktuur van de benchmark.
Taken:
- T1 (Boks-Grounding): Ondersteund voor alle zes doelfamilies. Modellen voorspellen sets van as-uitgelijnde boksjes.
- T2 (Instance-Mask Grounding): Ondersteund voor drie families met betrouwbare instance-niveau pixel-annotaties (gewas/onkruid, vrucht, plantenziekte). Modellen voorspellen binaire maskers.
Query Regimes: Beide taken evalueren drie regimes:
- Single-target: $K=1$ instantie.
- Multi-target: $K>1$ instanties.
- Target-absent: $K=0$ (er bestaat geen overeenkomende instantie).
Kwaliteitscontrole: Het constructieproces omvat audit-gedreven steekproeven, visuele review door experts om beschadigde afbeeldingen of niet-uitgelijnde annotaties te verwijderen, en query-generatie op basis van splitsen om data-lekkage te voorkomen.

Evaluatieprotocol

De evaluatie gebruikt taak-specifieke metrieken om fouten te diagnosticeren op het gebied van lokaliseren, volledigheid van de set en onthouding:

T1 Metrieken: Gebruikt Set-F1 (gebaseerd op matching met maximale kardinaliteit bij IoU-drempels 0,50 en 0,75) voor multi-target queries, Strict Accuracy voor single-target queries en Empty Accuracy voor doel-absente queries.
T2 Metrieken: Gebruikt Query-Level Mask Coverage (mIoU, cIoU, Dice) voor positieve queries en Empty Accuracy voor doel-absente queries. Deze benadering vermijdt per-instance masker-matching ten gunste van het evalueren van de vereniging van de vermelde gebieden.

Belangrijkste Resultaten

De auteurs hebben een zero-shot evaluatie uitgevoerd van 26 modelconfiguraties, waaronder gesloten-bron MLLMs (bijvoorbeeld GPT-4o, GPT-5.4), open-source VLMs (bijvoorbeeld InternVL3.5, Qwen3-VL) en gespecialiseerde grounding-systemen (bijvoorbeeld OWLv2, Grounding DINO, LISA, SAM).

Prestatiegaten: De benchmark onthult aanzienlijke beperkingen in huidige modellen.
- Volledigheid van de Set: De beste multi-target Set-F1-score op T1 is slechts 0,3540 (InternVL3.5-8B), wat aangeeft dat modellen moeite hebben om alle geldige instanties in dichte scènes op te halen.
- Mask Grounding: De beste T2 positieve-query masker-succesratio bij IoU@0,75 blijft onder 0,17. De beste All-mIoU ligt onder 0,32.
- Calibratie van Onthouding: Modellen vertonen een slechte calibratie op doel-absente queries. Sommige modellen (bijvoorbeeld GPT-4o) onthouden goed maar lokaliseren slecht op positieve queries, terwijl andere (bijvoorbeeld Florence-2) positieve doelen goed detecteren maar voorspellingen hallucineren wanneer doelen afwezig zijn (0% Empty Accuracy).
Trade-offs: Er is een duidelijke trade-off tussen masker-kwaliteit voor positieve queries en afwijzing van doel-absente situaties. Modellen zoals SAM 3 bereiken een hoge Empty Accuracy (93,4%) maar zwakke masker-kwaliteit voor positieve queries, terwijl segmentatie-MLLMs zoals LISA-13B betere maskers produceren maar vaak hallucineren op afwezige doelen.
Diagnostische Inzichten: De prestaties variëren aanzienlijk tussen doelfamilies en query-types. Op rang gebaseerde queries (bijvoorbeeld "linksmost", "grootste") en zijde-selectie queries blijven aanzienlijk moeilijker dan uniek-doel queries, wat suggereert dat open-vocabulary detectie alleen onvoldoende is voor gegeneraliseerd agrarisch grounding.

Betekenis en Claims

Het artikel positioneert AgroVG als een diagnostische benchmark in plaats van een maatstaf voor inzetbereidheid. De primaire bijdragen zijn:

Formulering: Het stelt agrarisch visueel grounding voor als een gegeneraliseerd set-predictieprobleem, waarbij expliciet wordt ingegaan op de behoefte aan volledigheid van multi-target en existentie-bewuste onthouding.
Uitgebreide Benchmark: Het biedt de eerste geünificeerde benchmark die zes agrarische doelfamilies bestrijkt met zowel boks- als instance-mask grounding-protocollen onder single-, multi- en doel-absente regimes.
Diagnostische Waarde: De evaluatie onthult systematische fouten in huidige state-of-the-art modellen met betrekking tot volledigheid van de set, calibratie van onthouding en fijnmazige masker-grounding. Deze bevindingen benadrukken dat betrouwbaar agrarisch grounding gezamenlijke vooruitgang vereist op het gebied van detectie van doel-existentie, schatting van kardinaliteit en geometrische dekking.

De auteurs benadrukken dat AgroVG dient als een gestandaardiseerde testomgeving om faalmodi (zoals hallucinatie op afwezige doelen of onvolledige set-oproeping) te identificeren die cruciaal zijn voor veiligheid in precisielandbouw, maar die vaak worden over het hoofd gezien in standaard benchmarks voor grounding van enkelvoudige objecten. De dataset en code zijn vrijgegeven om toekomstig onderzoek te ondersteunen in het ontwikkelen van betrouwbaardere, instructie-bewuste en existentie-bewuste agrarische AI-systemen.