Two-stage machine vision and near-infrared spectroscopy for grading leafhopper damage in fresh tea leaves

Un tè di alta qualità è spesso una storia di danni. Nel caso del Zijin Chan, un tè distintivo della Cina meridionale, il carattere stesso della tazza finale dipende dalle foglie fresche che vengono rosicchiate da un minuscolo insetto chiamato cicadellina del tè. Mentre l'insetto si nutre, innesca cambiamenti chimici all'interno della pianta che creano un aroma e un sapore unici, simili al miele. La gravità di questo nutrimento determina la classe del tè e il suo valore di mercato. Per secoli, gli agricoltori hanno giudicato questo danno a occhio, cercando segni specifici come il colore della foglia, la presenza di macchie marroni e quanto la foglia si sia arricciata. Tuttavia, il giudizio umano è lento e incoerente; varia da persona a persona e cambia con la luce o con la stanchezza dell'osservatore. Per produrre un prodotto costante e di alta qualità, l'industria ha bisogno di un modo per misurare questo danno in modo rapido e oggettivo, senza affidarsi all'occhio soggettivo di un esperto umano.

È qui che entra in gioco l'intersezione di due diversi modi di vedere il mondo. Un modo è la visione artificiale, dove una telecamera cattura l'aspetto esterno di un oggetto, molto simile a un occhio umano ma con la capacità di elaborare migliaia di immagini in pochi secondi. L'altro è la spettroscopia nel vicino infrarosso, una tecnica che guarda all'interno del materiale per leggerne la composizione chimica analizzando come assorbe la luce. Se una telecamera può vedere una macchia marrone, non può vedere lo zucchero o gli amminoacidi che cambiano all'interno della foglia, conferendo al tè il suo sapore. Combinando questi due metodi, i ricercatori della Jiangnan University hanno sviluppato un nuovo sistema che agisce come un filtro a due stadi, utilizzando la velocità della telecamera per vagliare la maggior parte delle foglie e l'intuizione chimica della spettroscopia per ricontrollare quelle che la telecamera trova confuse.

I ricercatori hanno iniziato addestrando un modello informatico per riconoscere e classificare le foglie di tè fresche in base alla gravità del danno causato dall'insetto. Hanno utilizzato un sofisticato sistema di riconoscimento delle immagini, una versione migliorata di una tecnologia nota come YOLO, progettata per trovare oggetti nelle immagini e classificarli istantaneamente. Il team ha fornito al sistema migliaia di immagini di foglie di tè, insegnandogli a distinguere tra tre livelli di danno: lieve, moderato e grave. Hanno anche insegnato al modello a ignorare la realtà disordinata di un cumulo di foglie, dove le foglie si sovrappongono, si arricciano e nascondono parti l'una dell'altra. Il modello migliorato ha imparato a concentrarsi sui segnali visivi specifici che contano, come il colore del germoglio di tè, l'entità della bruciatura marrone sui bordi della foglia e il grado di arricciamento.

Quando testato su un grande lotto di immagini contenenti quattromila singoli bersagli di foglie, questo sistema a telecamera migliorato ha ottenuto prestazioni impressionanti. Ha identificato e classificato con successo la stragrande maggioranza delle foglie che riusciva a vedere chiaramente. Tuttavia, come ogni sistema basato sulla vista, ha incontrato un limite quando l'informazione visiva era troppo ambigua. In circa il dodici per cento dei casi, la telecamera non riusciva a prendere una decisione sicura. Questi erano i bersagli "senza risultato": foglie troppo arricciate, troppo oscurate dai vicini o semplicemente troppo simili nell'aspetto per distinguere tra un danno lieve e uno moderato. Se il processo si fosse fermato qui, queste foglie difficili sarebbero rimaste non classificate o, peggio, sarebbero state classificate erroneamente, rischiando di rovinare la qualità dell'intero lotto di tè.

Per risolvere questo problema, i ricercatori hanno introdotto una seconda fase per questi campioni ostinati. Invece di cercare di costringere la telecamera a vedere meglio, si sono rivolti alla firma chimica nascosta all'interno della foglia. Hanno preso i campioni fisici corrispondenti alle foglie che la telecamera non riusciva a classificare e li hanno sottoposti alla spettroscopia nel vicino infrarosso. Questo processo prevedeva il congelamento, l'essiccazione e la macinazione delle foglie per creare una polvere uniforme, che veniva poi scansionata con la luce. La luce interagiva con i composti chimici all'interno della foglia — come polifenoli, zuccheri e amminoacidi del tè — creando un'impronta spettrale unica. I ricercatori hanno scoperto che le foglie con diversi livelli di danno da insetto presentavano profili chimici distinti. Ad esempio, le foglie con danno moderato tendevano ad avere livelli più elevati di certi polifenoli, mentre le foglie gravemente danneggiate mostravano un aumento di amminoacidi liberi.

Utilizzando queste impronte chimiche, il team ha costruito un secondo modello per agire come arbitro. Questo modello è stato addestrato su un set separato di duecentoquattrocento campioni per imparare la differenza tra le classi lieve, moderata e grave basandosi puramente sulla loro chimica interna. Quando questo modello chimico è stato applicato ai campioni difficili che la telecamera aveva rifiutato, si è dimostrato straordinariamente accurato. Ha classificato correttamente quasi il novantasei per cento delle foglie problematiche. Combinando la velocità della telecamera con l'intuizione chimica della spettroscopia, i ricercatori hanno creato un flusso di lavoro in grado di gestire l'intero lotto di foglie. La telecamera ha svolto il lavoro pesante, classificando istantaneamente i casi facili, mentre la spettroscopia è intervenuta solo quando necessario per risolvere i casi più difficili.

Il risultato di questo approccio a due stadi è stato un salto significativo nell'accuratezza complessiva. Se i ricercatori si fossero affidati solo alla telecamera, il sistema avrebbe classificato correttamente solo circa il settantotto per cento di tutte le foglie. Aggiungendo la rivalutazione chimica per i casi difficili, l'accuratezza totale è salita a quasi il novanta per cento. Questo miglioramento dimostra che, sebbene una telecamera sia eccellente nel vedere la superficie, non sempre riesce a vedere attraverso la complessità della natura. L'analisi chimica fornisce un backup necessario, garantendo che anche le foglie più confuse siano classificate correttamente.

Tuttavia, i ricercatori tengono a precisare che questo successo è stato ottenuto in un ambiente di laboratorio controllato. L'analisi chimica richiedeva che le foglie venissero lavorate — congelate, essiccate e macinate — il che non è il modo in cui il tè viene gestito in una linea di selezione in tempo reale. L'attuale sistema è una prova di concetto, che mostra come la combinazione di dati visivi e chimici funzioni in linea di principio. Il passo successivo, che gli autori identificano come essenziale, è adattare questo metodo per le foglie fresche che si muovono su un nastro trasportatore, senza la necessità di macinazione o congelamento. Finché ciò non accadrà, il sistema rimarrà uno strumento potente per la classificazione in laboratorio e un modello per futuri sistemi di ispezione online, offrendo una via verso una produzione di tè più costante e di qualità superiore.