MatchPlant: An Open-Source Pipeline for UAV-Based Single-Plant Detection and Data Extraction

Stel je voor dat je een detective bent die een mysterie probeert op te lossen in een enorme, uitgestrekte tuin. Maar in plaats van door de rijen planten te lopen, vlieg je met een kleine, hypermoderne drone boven de planten en maak je duizenden foto's. Dit is de wereld van UAV-fenotypering: het gebruik van drones om foto's van gewassen te maken, zodat wetenschappers kunnen meten hoe goed ze groeien. Het doel is om de "superplanten" te vinden die het meeste voedsel produceren of het beste overleven, wat boeren helpt om de wereld efficiënter te voeden.

Het probleem is echter dat het bekijken van een gigantische foto van een veld is als het proberen te vinden van een specifieke mier in een hoop zand. De planten zijn klein, ze lijken op elkaar en ze staan dicht op elkaar gepakt. Om dit op te lossen, gebruiken wetenschappers Object Detectie, een type computer-"ogen" aangedreven door Kunstmatige Intelligentie (AI). Denk aan deze AI als een super-observante robot die naar een foto kan kijken en een kader rond elke plant kan tekenen, waarbij hij zegt: "Dat is een maïsplant!" en "Dat is er nog een!" Maar hier komt het lastige deel: de drone maakt foto's vanuit een hoek, en wanneer je deze aan elkaar naait tot een gigantische kaart (een orthomosaic), kunnen de planten worden uitgerekt of ingedeukt, wat de robot in verwarring brengt. Als de robot in de war raakt, kan hij de boer niet helpen.

Hier komt een nieuwe tool genaamd MatchPlant in beeld. Het is als een slimme, open-source handleiding en gereedschapskist die wetenschappers helpt om hun robot planten duidelijk te laten zien, zelfs wanneer de kaart lastig is. De onderzoekers achter MatchPlant wilden een systeem bouwen dat iedereen kon gebruiken, niet alleen computerexperts, om individuele planten te vinden en hun hoogte en gezondheid automatisch te meten.

De MatchPlant Pipeline: Een Gids voor de Robot in de Tuin

Het artikel introduceert MatchPlant, een gratis, modulaire software-pipeline ontworpen om dronefoto's om te zetten in nauwkeurige gegevens over individuele planten. De auteurs, die werkten met maïs in een onderzoeksveld, bouwden dit systeem om de kloof te overbruggen tussen hoogwaardige dronefotografie en de rommelige realiteit van de landbouw. Ze bouwden niet zomaar één programma; ze bouwden een productielijn met verschillende stations, elk met een specifieke taak, zodat gebruikers de tools kunnen kiezen die ze nodig hebben.

Het Probleem met "Platte" Kaarten
Normaal gesproken, wanneer wetenschappers dronefoto's gebruiken, veranderen ze deze eerst in een platte, bovenaanzicht-kaart die een orthomosaic wordt genoemd. Stel je voor dat je een foto van een speelgoedauto vanuit een hoek maakt en vervolgens probeert die foto plat op een vel papier te drukken. De wielen kunnen er ingedeukt uitzien, of de auto kan er uitgerekt uitzien. Het artikel stelt dat het trainen van een computer om planten op deze "platgedrukte" kaarten te herkennen een slecht idee is, omdat de vervorming de planten er vreemd uit laat zien.

De MatchPlant Oplossing: Trainen op de "Ruwe" Weergave
MatchPlant hanteert een andere aanpak. In plaats van de computer te leren de platgedrukte kaart te herkennen, leert het de computer de planten te herkennen in hun onvervormde staat—precies zoals ze verschijnen in de originele, ruwe dronefoto's.

1. De Opstelling: Het systeem neemt de ruwe dronefoto's en gebruikt een tool genaamd OpenDroneMap om twee dingen te maken: een platte kaart (voor de uiteindelijke locatie) en een set "onvervormde" afbeeldingen (om de computer te onderwijzen).
2. De Leraar: Het systeem gebruikt een slim AI-model genaamd Faster R-CNN. Denk aan dit model als een student. De onderzoekers "laten" het duizenden voorbeelden van maïsplanten zien in de onvervormde foto's, waarbij ze kaders rond de planten tekenen om te zeggen: "Dit is een plant."
3. De Magische Truk: Zodra de AI heeft geleerd hoe een plant eruitziet in de ruwe foto, voert MatchPlant een slimme truc uit. Het neemt de bevindingen van de AI en projecteert deze op de platte, bovenaanzicht-kaart. Het is alsof je een sticker die de robot op de ruwe foto heeft geplakt, voorzichtig naar exact dezelfde plek op de platte kaart verplaatst, waarbij de rek en de indrukking wordt gecorrigeerd. Dit zorgt ervoor dat de locatie van de plant op de grond nauwkeurig is.

Hoe Goed Werkte het?
De onderzoekers testten dit op een maïsveld in Missouri. Ze vlogen met drones over het veld toen de maïs nog jong was (drie en vier weken na het planten).

• De Score: De AI was erg goed in het vinden van de planten. Op een testset met afbeeldingen die het nog nooit eerder had gezien, identificeerde het de planten correct met een Average Precision (AP) van 85,9%. Dit betekent dat het er bijna altijd naast zat.
• De Kaart Match: Wanneer ze de bevindingen van de AI op de platte kaart projecteerden, werden 89,8% van de planten succesvol geplaatst. Nog beter: 87,5% van deze plaatsingen was zo nauwkeurig dat ze bijna perfect overlapten met de kaders die menselijke experts hadden getekend (een score die Intersection over Union, of IoU, groter dan 0,5 wordt genoemd).
• Groei Meten: Het systeem vond de planten niet alleen; het mat ze ook. Door naar de oppervlakte binnen de kaders van de AI te kijken, berekende het de planthoogte en de Normalized Difference Vegetation Index (NDVI), een maatstaf voor hoe groen en gezond de plant is. De cijfers die de computer kreeg, kwamen zeer nauw overeen met wat mensen handmatig hadden gemeten, met een correlatiescore (r) tussen 0,87 en 0,97. Dit is een zeer sterke match, wat suggereert dat de computer net zo betrouwbaar is als een mens met een meetlint.

Waarom Dit Belangrijk Is
De grootste winst van MatchPlant is dat het tijd bespaart. In de studie ontdekten de onderzoekers dat zodra ze de plantlocaties van de eerste week hadden, ze diezelfde locaties konden hergebruiken voor de tweede week. Ze hoefden niet opnieuw kaders rond elke plant te tekenen terwijl deze groeide; het systeem updatete simpelweg de metingen. Deze "tijdreis"-capaciteit betekent dat wetenschappers de groei van planten in de loop van de tijd kunnen volgen zonder urenlang repetitief tekenwerk te verrichten.

De Limieten en de Toekomst
De auteurs merken terecht op dat hoewel het systeem geweldig werkt voor jonge maïs, het moeite kan hebben met zeer kleine planten (minder dan 32x32 pixels in de afbeelding) of als de grond erg ongelijkmatig is. Ze wijzen er ook op dat de software momenteel enige technische kennis vereist om het op te zetten, zoals het installeren van specifieke computerprogramma's. Ze hopen het in de toekomst nog gemakkelijker te maken, bijvoorbeeld door het te verpakken in een eenvoudige app die iedereen met één klik kan draaien.

Kortom, MatchPlant is een nieuwe, open-source toolkit die wetenschappers helpt om drones te gebruiken om individuele planten met hoge nauwkeurigheid te tellen en te meten. Door de AI te trainen op "ruwe" foto's en de resultaten vervolgens zorgvuldig naar een platte kaart te verplaatsen, vermijdt het de vervormingen die computers normaal gesproken in verwarring brengen. Het suggereert een toekomst waarin boeren en onderzoekers automatisch de groei van elke individuele plant in een veld kunnen volgen, waardoor het werk om de wereld te voeden een stuk efficiënter en een stuk minder handmatig wordt.