Two-stage machine vision and near-infrared spectroscopy for grading leafhopper damage in fresh tea leaves

Hochwertiger Tee ist oft eine Geschichte des Schadens. Im Fall von Zijin Chan, einem charakteristischen Tee aus Südchina, hängt der eigentliche Charakter der fertigen Tasse davon ab, dass die frischen Blätter von einem winzigen Insekt namens Grüner Blattfloh angeknabbert wurden. Während das Insekt frisst, löst es chemische Veränderungen innerhalb der Pflanze aus, die ein einzigartiges honigartiges Aroma und einen besonderen Geschmack erzeugen. Die Schwere dieses Fraßschadens bestimmt die Güteklasse des Tees und seinen Marktwert. Seit Jahrhunderten beurteilen Bauern diesen Schaden mit dem Auge, indem sie nach spezifischen Anzeichen wie der Blattfarbe, dem Vorhandensein von Braunflecken und dem Grad der Einrollung des Blattes suchen. Menschliches Urteilsvermögen ist jedoch langsam und inkonsistent; es variiert von Person zu Person und ändert sich mit dem Licht oder der Ermüdung des Beobachters. Um ein konsistentes, hochwertiges Produkt zu erzeugen, benötigt die Industrie eine Möglichkeit, diesen Schaden schnell und objektiv zu messen, ohne auf das subjektive Auge eines menschlichen Experten angewiesen zu sein.

Hier kommt die Schnittstelle zweier unterschiedlicher Arten, die Welt zu sehen, ins Spiel. Die eine Art ist die maschinelle Bildverarbeitung (Machine Vision), bei der eine Kamera das äußere Erscheinungsbild eines Objekts erfasst – ganz ähnlich wie ein menschliches Auge, aber mit der Fähigkeit, tausende Bilder in Sekunden zu verarbeiten. Die andere ist die Nahe-Infrarot-Spektroskopie, eine Technik, die in das Material hineinsieht, um dessen chemische Zusammensetzung zu lesen, indem sie analysiert, wie es Licht absorbiert. Während eine Kamera einen braunen Fleck sehen kann, kann sie nicht den Zucker oder die Aminosäuren sehen, die sich im Inneren des Blattes verändern und dem Tee seinen Geschmack verleihen. Durch die Kombination dieser beiden Methoden haben Forscher der Jiangnan University ein neues System entwickelt, das wie ein zweistufiger Filter fungiert: Es nutzt die Geschwindigkeit der Kamera, um die meisten Blätter vorzusortieren, und die chemische Einsicht der Spektroskopie, um diejenigen zu überprüfen, die die Kamera verwirren.

Die Forscher begannen damit, ein Computermodell zu trainieren, das frische Teeblätter basierend auf der Schwere des Insektenschadens zu erkennen und zu sortieren. Sie verwendeten ein hochentwickeltes Bilderkennungssystem, eine verbesserte Version einer Technologie namens YOLO, die darauf ausgelegt ist, Objekte in Bildern zu finden und sie sofort zu klassifizieren. Das Team fütterte das System mit tausenden Bildern von Teeblättern und brachte es bei, zwischen drei Schadensstufen zu unterscheiden: leicht, moderat und schwer. Sie brachten dem Modell auch bei, die unordentliche Realität eines Blatthaufens zu ignorieren, in dem Blätter überlappen, sich einrollen und Teile voneinander verbergen. Das verbesserte Modell lernte, sich auf die spezifischen visuellen Merkmale zu konzentrieren, die relevant sind, wie etwa die Farbe der Teeknospe, das Ausmaß der braunen Verkohlung an den Blatträndern und den Grad der Einrollung.

Bei Tests an einer großen Menge von Bildern, die viertausend einzelne Blattziele enthielten, zeigte dieses verbesserte Kamerasystem eine beeindruckende Leistung. Es identifizierte und klassifizierte erfolgreich die große Mehrheit der Blätter, die es klar sehen konnte. Doch wie jedes System, das auf Sicht beruht, stieß es an eine Grenze, wenn die visuellen Informationen zu mehrdeutig waren. In etwa zwölf Prozent der Fälle konnte die Kamera keine sichere Entscheidung treffen. Dies waren die „Kein-Ergebnis“-Ziele: Blätter, die zu stark eingerollt, zu sehr durch Nachbarblätter verdeckt oder einfach zu ähnlich im Aussehen waren, um zwischen leichtem und moderatem Schaden zu unterscheiden. Wenn der Prozess hier gestoppt worden wäre, wären diese schwierigen Blätter entweder nicht eingestuft oder, schlimmer noch, falsch eingestuft worden, was die Qualität der gesamten Teebatch gefährdet hätte.

Um dieses Problem zu lösen, führten die Forscher eine zweite Stufe für diese hartnäckigen Proben ein. Anstatt zu versuchen, die Kamera besser sehen zu lassen, wandten sie sich der im Blatt verborgenen chemischen Signatur zu. Sie nahmen die physischen Proben der Blätter, die die Kamera nicht klassifizieren konnte, und unterzogen sie der Nahe-Infrarot-Spektroskopie. Dieser Prozess beinhaltete das Einfrieren, Trocknen und Mahlen der Blätter, um ein einheitliches Pulver zu erzeugen, das dann mit Licht gescannt wurde. Das Licht interagierte mit den chemischen Verbindungen im Blatt – wie Teepolypholen, Zuckern und Aminosäuren – und erzeugte einen einzigartigen spektralen Fingerabdruck. Die Forscher fanden heraus, dass Blätter mit unterschiedlichem Grad an Insektenschaden unterschiedliche chemische Profile aufweisen. Beispielsweise tendierten Blätter mit moderatem Schaden dazu, höhere Mengen bestimmter Polyphenole aufzuweisen, während stark geschädigte Blätter einen Anstieg an freien Aminosäuren zeigten.

Mit diesen chemischen Fingerabdrücken baute das Team ein zweites Modell, das als Schiedsrichter fungieren sollte. Dieses Modell wurde mit einem separaten Satz von zweihundertvierzig Proben trainiert, um den Unterschied zwischen den Klassen leicht, moderat und schwer rein auf Basis ihrer inneren Chemie zu lernen. Als dieses chemische Modell auf die schwierigen Proben angewendet wurde, die die Kamera abgelehnt hatte, erwies es sich als bemerkenswert genau. Es klassifizierte fast sechsundneunzig Prozent der problematischen Blätter korrekt. Durch die Kombination der Geschwindigkeit der Kamera mit der chemischen Einsicht der Spektroskopie schufen die Forscher einen Arbeitsablauf, der die gesamte Charge bewältigen konnte. Die Kamera erledigte die Hauptarbeit, indem sie die einfachen Fälle sofort sortierte, während die Spektroskopie nur dann einschlug, wenn es notwendig war, um die schwierigen Fälle zu klären.

Das Ergebnis dieses zweistufigen Ansatzes war ein bedeutender Sprung in der Gesamtgenauigkeit. Hätten sich die Forscher allein auf die Kamera verlassen, hätte das System nur etwa achtundsiebzig Prozent aller Blätter korrekt klassifiziert. Durch das Hinzufügen der chemischen Neubewertung für die schwierigen Fälle stieg die Gesamtgenauigkeit auf nahezu neunzig Prozent. Diese Verbesserung zeigt, dass eine Kamera zwar exzellent darin ist, die Oberfläche zu sehen, aber nicht immer die Komplexität der Natur durchdringen kann. Die chemische Analyse bietet eine notwendige Absicherung und stellt sicher, dass selbst die verwirrendsten Blätter korrekt eingestuft werden.

Die Forscher weisen jedoch vorsichtig darauf hin, dass dieser Erfolg in einer kontrollierten Laborumgebung erzielt wurde. Die chemische Analyse erforderte, dass die Blätter verarbeitet wurden – eingefroren, getrocknet und gemahlen –, was nicht der Art und Weise entspricht, wie Tee in einer realen Sortierlinie gehandhabt wird. Das aktuelle System ist ein Proof-of-Concept, das zeigt, dass die Kombination aus visuellen und chemischen Daten im Prinzip funktioniert. Der nächste Schritt, den die Autoren als essenziell identifizieren, besteht darin, diese Methode für frische Blätter anzupassen, die sich auf einem Förderband bewegen, ohne dass das Mahlen oder Einfrieren erforderlich ist. Bis dahin bleibt das System ein leistungsstarkes Werkzeug für die Laborbewertung und ein Entwurf für zukünftige Online-Inspektionssysteme, der einen Weg zu einer konsistenteren und qualitativ hochwertigeren Teeproduktion bietet.