MatchPlant: An Open-Source Pipeline for UAV-Based Single-Plant Detection and Data Extraction

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einem riesigen, weitläufigen Garten zu lösen. Aber anstatt durch die Reihen der Pflanzen zu laufen, fliegen Sie eine kleine, hochtechnologische Drohne über sie und machen tausende von Fotos. Dies ist die Welt des UAV-Phänotypisings: Drohnen werden eingesetzt, um Bilder von Nutzpflanzen zu machen, damit Wissenschaftler messen können, wie gut diese wachsen. Das Ziel ist es, die „Superpflanzen“ zu finden, die am meisten Nahrung produzieren oder am besten überleben, um Landwirten zu helfen, die Welt effizienter zu ernähren.

Das Betrachten eines riesigen Fotos eines Feldes ist jedoch so, als würde man versuchen, eine einzige bestimmte Ameise in einem Haufen Sand zu finden. Die Pflanzen sind winzig, sie sehen alle gleich aus und sie stehen dicht gedrängt beieinander. Um dies zu lösen, verwenden Wissenschaftler die Objekterkennung, eine Art computergestütztes „Auge“, das von Künstlicher Intelligenz (KI) angetrieben wird. Stellen Sie sich diese KI wie einen superaufmerksamen Roboter vor, der ein Bild betrachten und ein Kästchen um jede einzelne Pflanze ziehen kann, wobei er sagt: „Das ist eine Maispflanze!“ und „Das ist noch eine!“. Aber hier kommt der knifflige Teil: Die Drohne macht die Fotos aus einem bestimmten Winkel, und wenn man sie zu einer riesigen Karte (einer sogenannten Orthomosaik) zusammenfügt, können die Pflanzen verzerrt oder gestaucht werden, was den Roboter verwirrt. Wenn der Roboter verwirrt ist, kann er den Landwirten nicht helfen.

Hier kommt ein neues Werkzeug namens MatchPlant ins Spiel. Es ist wie eine clevere, Open-Source-Bedienungsanleitung und ein Werkzeugkasten, der Wissenschaftlern hilft, ihren Roboter darauf zu trainieren, Pflanzen klar zu sehen, selbst wenn die Karte schwierig ist. Die Forscher hinter MatchPlant wollten ein System entwickeln, das jeder nutzen kann, nicht nur Computerexperten, um einzelne Pflanzen zu finden und deren Höhe und Gesundheit automatisch zu messen.

Die MatchPlant-Pipeline: Ein Leitfaden für den Roboter im Garten

Das Paper stellt MatchPlant vor, eine kostenlose, modulare Software-Pipeline, die Drohnenfotos in präzise Daten über einzelne Pflanzen verwandelt. Die Autoren haben unter Verwendung von Mais (Maize) auf einem Forschungsfeld dieses System entwickelt, um die Lücke zwischen hochtechnologischer Drohnenfotografie und der unordentlichen Realität der Landwirtschaft zu schließen. Sie haben nicht nur ein einzelnes Programm gebaut; sie haben eine Fließbandfertigung mit verschiedenen Stationen geschaffen, von denen jede eine spezifische Aufgabe erfüllt, sodass Benutzer die Werkzeuge auswählen können, die sie benötigen.

Das Problem mit „flachen“ Karten
Normalerweise verwenden Wissenschaftler bei Drohnenfotos zuerst ein Verfahren, um daraus eine flache, Draufsicht-Karte, ein sogenanntes Orthomosaik, zu erstellen. Stellen Sie sich vor, Sie fotografieren ein Spielzeugauto aus einem Winkel und versuchen dann, dieses Foto flach auf ein Blatt Papier zu übertragen. Die Räder könnten gestaucht aussehen oder das Auto könnte gestreckt wirken. Das Paper argumentiert, dass es eine schlechte Idee ist, einen Computer darauf zu trainieren, Pflanzen auf diesen „abgeflachten“ Karten zu erkennen, da die Verzerrung die Pflanzen seltsam aussehen lässt.

Die MatchPlant-Lösung: Auf der „rohen“ Ansicht trainieren
MatchPlant verfolgt einen anderen Ansatz. Anstatt den Computer darauf zu trainieren, die gestauchte, flache Karte zu erkennen, bringt MatchPlant dem Computer bei, die Pflanzen in ihrem unverzerrten Zustand zu erkennen – genau so, wie sie in den ursprünglichen, rohen Drohnenfotos erscheinen.

1. Der Aufbau: Das System nimmt die rohen Drohnenfotos und verwendet ein Werkzeug namens OpenDroneMap, um zwei Dinge zu erstellen: eine flache Karte (für den endgültigen Standort) und eine Reihe von „unverzerrten“ Bildern (um den Computer zu lehren).
2. Der Lehrer: Das System nutzt ein intelligentes KI-Modell namens Faster R-CNN. Betrachten Sie dieses Modell als einen Schüler. Die Forscher „zeigen“ ihm tausende Beispiele von Maispflanzen in den unverzerrten Fotos und ziehen Kästchen um sie herum, um zu sagen: „Dies ist eine Pflanze.“
3. Der Zaubertrick: Sobald die KI gelernt hat, wie eine Pflanze im Rohfoto aussieht, vollbringt MatchPlant einen cleveren Trick. Es nimmt die Ergebnisse der KI und projiziert sie auf die flache Draufsicht-Karte. Es ist, als würde man den Aufkleber, den der Roboter auf das Rohfoto geklebt hat, vorsichtig an die exakt gleiche Stelle auf der flachen Karte bewegen und dabei die gesamte Dehnung und Stauchung korrigieren. Dies stellt sicher, dass der Standort der Pflanze auf dem Boden genau ist.

Wie gut hat es funktioniert?
Die Forscher testeten dies auf einem Maisfeld in Missouri. Sie flogen Drohnen über das Feld, als der Mais noch jung war (drei und vier Wochen nach der Aussaat).

• Die Punktzahl: Die KI war sehr gut darin, die Pflanzen zu finden. Auf einem Testdatensatz mit Bildern, die sie noch nie zuvor gesehen hatte, identifizierte sie Pflanzen korrekt mit einer mittleren Präzision (Average Precision, AP) von 85,9 %. Das bedeutet, sie lag die meiste Zeit richtig.
• Der Kartenabgleich: Als sie die Funde der KI auf die flache Karte projizierten, wurden 89,8 % der Pflanzen erfolgreich auf der Karte platziert. Noch besser: 87,5 % dieser Platzierungen waren so genau, dass sie fast perfekt mit den von menschlichen Experten gezeichneten Kästchen übereinstimmten (ein Wert, der als Intersection over Union oder IoU bezeichnet wird und größer als 0,5 ist).
• Wachstumsmessung: Das System fand nicht nur die Pflanzen; es maß sie auch. Durch die Betrachtung der Fläche innerhalb der KI-Kästchen berechnete es die Pflanzenhöhe und den Normalized Difference Vegetation Index (NDVI), ein Maß dafür, wie grün und gesund die Pflanze ist. Die Zahlen, die der Computer ermittelte, stimmten sehr eng mit den manuellen Messungen der Menschen überein, mit einem Korrelationswert (r) zwischen 0,87 und 0,97. Dies ist eine sehr starke Übereinstimmung, die zeigt, dass der Computer genauso zuverlässig ist wie ein Mensch mit einem Maßband.

Warum das wichtig ist
Der größte Gewinn von MatchPlant ist die Zeitersparnis. In der Studie stellten die Forscher fest, dass sie, sobald sie die Pflanzenpositionen aus der ersten Woche hatten, dieselben Positionen auch für die zweite Woche wiederverwenden konnten. Sie mussten nicht jedes Mal neue Kästchen um jede Pflanze zeichnen, während diese wuchs; das System aktualisierte einfach die Messungen. Diese „Zeitreise“-Fähigkeit bedeutet, dass Wissenschaftler das Wachstum von Pflanzen im Laufe der Zeit verfolgen können, ohne stundenlang repetitive Zeichenarbeit leisten zu müssen.

Die Grenzen und die Zukunft
Die Autoren merken vorsichtig an, dass das System zwar hervorragend für jungen Mais funktioniert, aber bei sehr kleinen Pflanzen (weniger als 32x32 Pixel im Bild) oder bei sehr unebenem Boden Schwierigkeiten haben könnte. Sie weisen auch darauf hin, dass die Software derzeit technisches Know-how für die Einrichtung erfordert, wie etwa die Installation spezifischer Computerprogramme. Sie hoffen, es in Zukunft noch einfacher zu machen, indem sie es vielleicht in eine einfache App verpacken, die jeder per Mausklick ausführen kann.

Kurz gesagt ist MatchPlant ein neues Open-Source-Toolkit, das Wissenschaftlern hilft, Drohnen einzusetzen, um einzelne Pflanzen mit hoher Genauigkeit zu zählen und zu messen. Indem es die KI auf „rohen“ Fotos trainiert und die Ergebnisse dann sorgfältig auf eine flache Karte überträgt, vermeidet es die Verzerrungen, die die Computer-Vision normalerweise verwirren. Es deutet eine Zukunft an, in der Landwirte und Forscher das Wachstum jeder einzelnen Pflanze auf einem Feld automatisch verfolgen können, was die Aufgabe, die Welt zu ernähren, ein wenig effizienter und viel weniger manuell macht.