Two-stage machine vision and near-infrared spectroscopy for grading leafhopper damage in fresh tea leaves

Hoogwaardige thee is vaak een verhaal van schade. In het geval van Zijin Chan, een kenmerkende thee uit het zuiden van China, hangt het karakter van de uiteindelijke kop juist af van de verse bladeren die zijn aangevreten door een piepklein insect genaamd de groene bladhoppers. Terwijl het insect zich voedt, triggert het chemische veranderingen binnen de plant die een uniek honingachtig aroma en smaak creëren. De ernst van deze voeding bepaalt de graad van de thee en de marktwaarde ervan. Eeuwenlang hebben boeren deze schade met het blote oog beoordeeld, zoekend naar specifieke tekenen zoals bladkleur, de aanwezigheid van bruine vlekken en de mate waarin het blad is gekruld. Menselijke beoordeling is echter traag en inconsistent; het varieert van persoon tot persoon en verandert met het licht of de vermoeidheid van de waarnemer. Om een consistent, hoogwaardig product te produceren, heeft de industrie een manier nodig om deze schade snel en objectief te meten, zonder te vertrouwen op het subjectieve oog van een menselijke expert.

Hier komt de kruising van twee verschillende manieren van de wereld zien in beeld. De ene manier is machinale visie, waarbij een camera het externe uiterlijk van een object vastlegt, vergelijkbaar met een menselijk oog maar met het vermogen om duizenden afbeeldingen in seconden te verwerken. De andere is nabij-infraroodspectroscopie, een techniek die in het materiaal kijkt om de chemische samenstelling te lezen door te analyseren hoe het licht absorbeert. Hoewel een camera een bruine vlek kan zien, kan het niet zien hoe de suikers of aminozuren binnen het blad veranderen, wat de thee zijn smaak geeft. Door deze twee methoden te combineren, hebben onderzoekers van de Jiangnan Universiteit een nieuw systeem ontwikkeld dat werkt als een tweestapsfilter, waarbij de snelheid van de camera wordt gebruikt om de meeste bladeren te screenen en het chemische inzicht van de spectroscopie om de bladeren te controleren die de camera verwarren.

De onderzoekers begonnen met het trainen van een computermodel om verse theebladeren te herkennen en te sorteren op basis van de ernst van de insectenschade. Ze gebruikten een geavanceerd beeldherkenningssysteem, een verbeterde versie van een technologie die bekend staat als YOLO, die ontworpen is om objecten in afbeeldingen te vinden en ze direct te classificeren. Het team voedde het systeem met duizenden afbeeldingen van theebladeren en leerde het om onderscheid te maken tussen drie niveaus van schade: lichte, matige en hevige schade. Ze leerden het model ook om de rommelige realiteit van een hoop bladeren te negeren, waarbij bladeren overlappen, krullen en delen van elkaar verbergen. Het verbeterde model leerde zich te concentreren op de specifieke visuele aanwijzingen die er toe doen, zoals de kleur van de thee-knop, de omvang van het bruine verschroeien aan de randen van het blad en de mate van krulling.

Wanneer getest op een grote batch afbeeldingen met vierduizend individuele bladdoelwitten, presteerde dit verbeterde camerasysteem indrukwekkend. Het identificeerde en classificeerde succesvol het grootste deel van de bladeren die het duidelijk kon zien. Echter, zoals elk systeem dat op zicht vertrouwt, liep het tegen een muur aan wanneer de visuele informatie te ambigu was. In ongeveer twaalf procent van de gevallen kon de camera geen zelfverzekerde beslissing nemen. Dit waren de "geen-resultaat"-doelwitten: bladeren die te veel gekruld waren, te veel werden bedekt door buren, of simpelweg te veel op elkaar leken om het verschil tussen lichte en matige schade te bepalen. Als het proces hier zou stoppen, zouden deze moeilijke bladeren ongeclassificeerd blijven, of erger nog, verkeerd worden geclassificeerd, wat de kwaliteit van de uiteindelijke thee-batch potentieel zou ruïneren.

Om dit probleem op te lossen, introduceerden de onderzoekers een tweede fase voor deze hardnekkige monsters. In plaats van te proberen de camera beter te laten zien, richtten ze zich op de chemische handtekening die verborgen zit in het blad. Ze namen de fysieke monsters die overeenkwamen met de bladeren die de camera niet kon classificeren en onderwierpen deze aan nabij-infraroodspectroscopie. Dit proces hield in dat de bladeren werden ingevroren, gedroogd en gemalen om een uniform poeder te creëren, dat vervolgens met licht werd gescand. Het licht interageerde met de chemische verbindingen in het blad — zoals thee-polyfenolen, suikers en aminozuren — en creëerde een unieke spectrale vingerafdruk. De onderzoekers ontdekten dat bladeren met verschillende niveaus van insectenschade verschillende chemische profielen hadden. Zo hadden bladeren met matige schade de neiging hogere niveaus van bepaalde polyfenolen te hebben, terwijl ernstig beschadigde bladeren een stijging in vrije aminozuren vertoonden.

Met behulp van deze chemische vingerafdrukken bouwde het team een tweede model om als scheidsrechter te fungeren. Dit model werd getraind op een aparte set van tweehonderd-en-veertig monsters om het verschil te leren tussen de lichte, matige en hevige klassen op basis van louter hun interne chemie. Wanneer dit chemische model werd toegepast op de moeilijke monsters die de camera had afgewezen, bleek het opmerkelijk nauwkeurig te zijn. Het classificeerde bijna zesennegentig procent van de problematische bladeren correct. Door de snelheid van de camera te combineren met het chemische inzicht van de spectroscopie, creëerden de onderzoekers een workflow die de gehele batch kon verwerken. De camera deed het zware werk door de gemakkelijke gevallen direct te sorteren, terwijl de spectroscopie alleen bijstapte wanneer dat nodig was om de moeilijke gevallen op te lossen.

Het resultaat van deze tweestapsbenadering was een aanzienlijke sprong in de algehele nauwkeurigheid. Als de onderzoekers alleen op de camera hadden vertrouwd, zou het systeem slechts ongeveer achtendersentachtig procent van alle bladeren correct hebben geclassificeerd. Door de chemische herbeoordeling voor de moeilijke gevallen toe te voegen, steeg de totale nauwkeurigheid naar bijna negentig procent. Deze verbetering demonstreert dat hoewel een camera uitstekend is in het zien van de oppervlakte, het de complexiteit van de natuur niet altijd kan doorzien. De chemische analyse biedt een noodzakelijke back-up, waardoor zelfs de meest verwarrende bladeren correct worden gegradeerd.

De onderzoekers zijn echter voorzichtig om op te merken dat dit succes werd bereikt in een gecontroleerde laboratoriumomgeving. De chemische analyse vereiste dat de bladeren werden verwerkt — ingevroren, gedroogd en gemalen — wat niet is hoe thee in een echte real-time sorteerlijn wordt gehanteerd. Het huidige systeem is een bewijs van concept, dat laat zien dat de combinatie van visuele en chemische gegevens in principe werkt. De volgende stap, die de auteurs als essentieel identificeren, is het aanpassen van deze methode voor verse bladeren die over een lopende band bewegen, zonder de noodzaak van malen of invriezen. Tot die tijd blijft het systeem een krachtig instrument voor laboratoriumwaardering en een blauwdruk voor toekomstige online inspectiesystemen, wat een pad biedt naar een meer consistente en hoogwaardige thee productie.