A Composite Field-Evaluation Framework for Digital Agriculture Maps

Boeren vertrouwen al lang op hun ogen en ervaring om problemen in een veld te ontdekken, waarbij ze zoeken naar plekken met vergelende maïs of stagnerende tarwe die wijzen op een noodzaak voor interventie. Tegenwoordig beloven digitale hulpmiddelen dit werk sneller uit te voeren, door gebruik te maken van satellieten en computers om kaarten te tekenen die precies aangeven waar gewassen moeite hebben. Deze kaarten zijn krachtig, maar het zijn ook slechts voorspellingen. Voordat een boer een kaart genoeg vertrouwt om de manier waarop hij een veld beheert te veranderen, moet hij weten of het beeld van de computer overeenkomt met wat er daadwerkelijk in de grond groeit. De uitdaging is dat het controleren van deze kaarten door de velden te bewandelen moeilijk is. Als een inspecteur weet waar de computer zegt dat het probleem zich bevindt, kan hij onbewust daar harder gaan kijken, waardoor hij ziet wat hij verwacht te zien in plaats van wat er werkelijk is. Als hij niet weet waar hij moet kijken, kan hij de subtiele verschillen volledig missen. Het vinden van een manier om deze digitale kaarten te verifiëren zonder menselijke bias te introduceren, is een cruciale vraag geworden in de moderne landbouw.

Een team van onderzoekers van Cornell University en ISRIC-World Soil Information besloot dit probleem op te lossen door een nieuwe manier te ontwikkelen om deze digitale kaarten te testen. Ze ontwikkelden een raamwerk dat twee verschillende methoden van veldinspectie tegelijkertijd gebruikt, waarbij elke methode als een apart stuk bewijs wordt behandeld. De ene methode houdt de kaart verborgen voor de mensen die de velden bewandelen, terwijl de andere hen de kaart laat zien en gebruikmaakt van hoogwaardige GPS om de exacte locaties te vinden. Door de resultaten van beide benaderingen te vergelijken, konden de onderzoekers zien of de digitale kaarten werkelijke verschillen in de gewassen lieten zien, of dat de kaarten slechts illusies creëerden in de geest van de waarnemers. Ze testten dit systeem met behulp van een specifieke digitale tool genaamd het Spatiotemporal Anomaly Detection System, of STADS, dat kaarten genereert die gebieden laten zien waar gewassen anders groeien dan verwacht.

De studie vond plaats in acht regio's in New York tijdens het groeiseizoen van 2025. De onderzoekers selecteerden specifieke gebieden op de STADS-kaarten die gewasafwijkingen vertoonden, wat simpelweg plekken zijn waar de planten er anders uitzagen dan de omliggende velden. Vervolgens stuurden ze inspecteurs om deze plekken te controleren met behulp van twee verschillende protocollen. In het eerste protocol, bekend als output-blinded scouting, kregen onafhankelijke gewasadviseurs coördinaten voor twee punten: één binnen de voorspelde probleemzone en één net buiten deze zone. De inspecteurs wisten niet welk punt welk punt was, noch zagen zij de kaart. Zij liepen naar beide locaties, maakten aantekeningen over de gezondheid van het gewas en legden hun observaties vast zonder enig idee te hebben wat de computer had voorspeld. Later beoordeelde een panel van vijf landbouwexperts deze aantekeningen zonder de kaart te zien of te weten welke observatie van de probleemzone kwam. Zij gebruikten een reeks strikte regels om te beslissen of het gewas op het eerste punt werkelijk verschilde van het tweede punt, en of dit verschil overeenkwam met de richting die de kaart had voorspeld.

In het tweede protocol, de zogenaamde output-guided scouting, liepen een ander team van onderzoekers door de velden met de kaart zichtbaar op hun schermen. Zij gebruikten hoogwaardige GPS-apparatuur die hun locatie tot op enkele centimeters nauwkeurig kon bepalen, waardoor ze precies op de grens van de voorspelde afwijking konden staan. Omdat zij de kaart konden zien, wisten zij precies waar ze moesten kijken en konden zij de binnen- en buitenkant van de afwijking direct met elkaar vergelijken. Deze methode maakte een zeer nauwkeurige controle mogelijk van of de veldomstandigheden overeenkwamen met de voorspelling van de kaart, maar het bracht het risico met zich mee dat de inspecteurs beïnvloed zouden worden door wat zij verwachtten te vinden. De onderzoekers hielden de resultaten van deze twee methoden gescheiden en analyseerden ze naast elkaar om te zien hoe ze vergeleken.

De resultaten toonden een duidelijk verschil tussen de twee benaderingen. Wanneer de inspecteurs de kaart niet zagen, vertoonde slechts ongeveer een derde van de voorspelde probleemzones duidelijk bewijs van een gewasverschil dat overeenkwam met de voorspelling van de kaart. In de andere gevallen zagen de inspecteurs ofwel geen verschil, of het verschil dat zij zagen kwam niet overeen met wat de kaart aangaf. Echter, wanneer de inspecteurs de kaart gebruikten om hun inspectie te leiden, was de overeenstemming veel groter. In deze begeleide groep vertoonde bijna zeven op de tien voorspelde plekken een gewasverschil dat overeenkwam met de kaart. De onderzoekers ontdekten dat de begeleide methode beter was in het bevestigen dat de kenmerken bestonden en dat de gewassen zich gedroegen zoals de kaart suggereerde, waarschijnlijk omdat de inspecteurs hun aandacht precies konden richten waar de kaart aangaf.

De studie bracht ook een aanzienlijke praktische hindernis aan het licht in het proces van het controleren van deze kaarten. Bij de blinded groep moesten de onderzoekers bijna de helft van de observaties weggooien omdat ze de aantekeningen niet betrouwbaar konden koppelen aan de specifieke punten die de inspecteurs hadden bezocht. Dit gebeurde omdat de inspecteurs niet voldoende locatiegegevens hadden vastgelegd, zoals georeferentieerde foto's, om te bewijzen waar zij precies waren geweest. Dit verlies van gegevens betekende dat de definitieve cijfers voor de blinded groep alleen de plekken vertegenwoordigden die geverifieerd konden worden, en niet alle plekken die oorspronkelijk gecontroleerd waren. De onderzoekers merkten op dat dit een falen van het proces van gegevensverzameling was, en niet noodzakelijkerwijs een falen van de digitale kaart zelf, maar het onderstreepte de noodzaak van betere verslaglegging in het veld.

Uiteindelijk suggereert het artikel dat geen van beide methoden alleen perfect is voor het valideren van digitale landbouwkaarten. De blinded methode is uitstekend voor het bewijzen dat een verschil zichtbaar is zonder bias, maar is moeilijk perfect uit te voeren in het veld. De guided methode is uitstekend voor het bevestigen dat een kaart gebruikt kan worden om werkelijke veldomstandigheden te vinden en te interpreteren, maar kan niet bewijzen dat de kaart onbevooroordeeld is. Door beide te combineren, creëerden de onderzoekers een completer beeld. Zij ontdekten dat hoewel de kaarten vaak op echte verschillen wezen, het vermogen om die verschillen te bevestigen sterk afhing van hoe de veldcontrole werd uitgevoerd. De studie concludeert dat om digitale kaarten te kunnen vertrouwen, ze getest moeten worden met een systeem dat zowel rekening houdt met menselijke bias als met de praktische moeilijkheden van het bezoeken van een veld, om ervoor te zorgen dat de digitale voorspellingen niet slechts data op een scherm zijn, maar echte signalen van wat er in de bodem gebeurt.