Two-stage machine vision and near-infrared spectroscopy for grading leafhopper damage in fresh tea leaves

Le thé de haute qualité est souvent une histoire de dommages. Dans le cas du Zijin Chan, un thé distinctif du sud de la Chine, le caractère même de la tasse finale dépend du fait que les feuilles fraîches soient grignotées par un minuscule insecte appelé la cicadelle du thé. Tandis que l'insecte se nourrit, il déclenche des changements chimiques au sein de la plante qui créent un arôme et une saveur uniques, proches du miel. La sévérité de cette alimentation détermine le grade du thé et sa valeur marchande. Depuis des siècles, les agriculteurs jugent ce dommage à l'œil nu, recherchant des signes spécifiques tels que la couleur de la feuille, la présence de taches brunes et l'ampleur de l'enroulement de la feuille. Cependant, le jugement humain est lent et incohérent ; il varie d'une personne à l'autre et change selon la lumière ou la fatigue de l'observateur. Pour produire un produit de haute qualité et constant, l'industrie a besoin d'un moyen de mesurer ce dommage rapidement et de manière objective, sans dépendre de l'œil subjectif d'un expert humain.

C'est ici qu'intervient l'intersection de deux manières différentes de voir le monde. L'une est la vision par ordinateur, où une caméra capture l'apparence externe d'un objet, un peu comme l'œil humain mais avec la capacité de traiter des milliers d'images en quelques secondes. L'autre est la spectroscopie proche infrarouge, une technique qui regarde à l'intérieur du matériau pour lire sa composition chimique en analysant la façon dont il absorbe la lumière. Si une caméra peut voir une tache brune, elle ne peut pas voir les sucres ou les acides aminés qui changent à l'intérieur de la feuille et qui donnent sa saveur au thé. En combinant ces deux méthodes, des chercheurs de l'Université de Jiangnan ont développé un nouveau système qui agit comme un filtre à deux étapes, utilisant la vitesse de la caméra pour filtrer la plupart des feuilles et l'aperçu chimique de la spectroscopie pour revérifier celles que la caméra trouve confuses.

Les chercheurs ont commencé par entraîner un modèle informatique à reconnaître et à trier les feuilles de thé fraîches en fonction de la sévérité des dommages causés par l'insecte. Ils ont utilisé un système de reconnaissance d'images sophistiqué, une version améliorée d'une technologie connue sous le nom de YOLO, qui est conçue pour trouver des objets dans des images et les classifier instantanément. L'équipe a alimenté le système avec des milliers d'images de feuilles de thé, lui apprenant à distinguer trois niveaux de dommages : léger, modéré et sévère. Ils ont également appris au modèle à ignorer la réalité désordonnée d'un tas de feuilles, où les feuilles se chevauchent, s'enroulent et cachent certaines parties les unes des autres. Le modèle amélioré a appris à se concentrer sur les indices visuels spécifiques qui comptent, tels que la couleur du bourgeon de thé, l'étendue de la brûlure brune sur les bords de la feuille et le degré d'enroulement.

Lorsqu'il a été testé sur un grand lot d'images contenant quatre mille cibles de feuilles individuelles, ce système de caméra amélioré a obtenu des résultats impressionnants. Il a réussi à identifier et à classifier la grande majorité des feuilles qu'il pouvait voir clairement. Cependant, comme tout système reposant sur la vue, il s'est heurté à un mur lorsque l'information visuelle était trop ambiguë. Dans environ douze pour cent des cas, la caméra n'a pas pu prendre de décision confiante. C'étaient les cibles « sans résultat » : des feuilles trop enroulées, trop obscurcies par leurs voisines, ou simplement trop similaires en apparence pour faire la différence entre un dommage léger et modéré. Si le processus s'était arrêté là, ces feuilles difficiles seraient restées non classées, ou pire, seraient classées incorrectement, risquant de gâcher la qualité du lot de thé final.

Pour résoudre ce problème, les chercheurs ont introduit une seconde étape pour ces échantillons récalcitrants. Au lieu d'essayer de forcer la caméra à mieux voir, ils se sont tournés vers la signature chimique cachée à l'intérieur de la feuille. Ils ont pris les échantillons physiques correspondant aux feuilles que la caméra n'avait pas pu classifier et les ont soumis à la spectroscopie proche infrarouge. Ce processus impliquait de congeler, de sécher et de broyer les feuilles pour créer une poudre uniforme, qui était ensuite scannée par la lumière. La lumière interagissait avec les composés chimiques à l'intérieur de la feuille — tels que les polyphénols du thé, les sucres et les acides aminés — créant une empreinte spectrale unique. Les chercheurs ont découvert que les feuilles présentant différents niveaux de dommages par les insectes avaient des profils chimiques distincts. Par exemple, les feuilles avec des dommages modérés avaient tendance à présenter des niveaux plus élevés de certains polyphénols, tandis que les feuilles gravement endommagées montraient une augmentation des acides aminés libres.

En utilisant ces empreintes chimiques, l'équipe a construit un second modèle pour agir comme un arbitre. Ce modèle a été entraîné sur un ensemble distinct de deux cent quarante échantillons pour apprendre la différence entre les classes légère, modérée et sévère en se basant uniquement sur leur chimie interne. Lorsque ce modèle chimique a été appliqué aux échantillons difficiles rejetés par la caméra, il s'est avéré remarquablement précis. Il a correctement classifié près de quatre-vingt-seize pour cent des feuilles problématiques. En combinant la vitesse de la caméra avec l'aperçu chimique de la spectroscopie, les chercheurs ont créé un flux de travail capable de gérer l'ensemble du lot de feuilles. La caméra a effectué le gros du travail, triant les cas faciles instantanément, tandis que la spectroscopie est intervenue uniquement lorsque cela était nécessaire pour résoudre les cas difficiles.

Le résultat de cette approche en deux étapes a été un bond significatif de la précision globale. Si les chercheurs s'étaient appuyés sur la caméra seule, le système n'aurait correctement classifié qu'environ soixante-dix-huit pour cent de toutes les feuilles. En ajoutant la réévaluation chimique pour les cas difficiles, la précision totale est montée à près de quatre-vingt-dix pour cent. Cette amélioration démontre que si une caméra est excellente pour voir la surface, elle ne peut pas toujours voir à travers la complexité de la nature. L'analyse chimique fournit une sauvegarde nécessaire, garantissant que même les feuilles les plus confuses sont classées correctement.

Cependant, les chercheurs veillent à noter que ce succès a été obtenu dans un cadre de laboratoire contrôlé. L'analyse chimique nécessite que les feuilles soient transformées — congelées, séchées et broyées — ce qui n'est pas la manière dont le thé est manipulé sur une ligne de tri en temps réel. Le système actuel est une preuve de concept, montrant que la combinaison de données visuelles et chimiques fonctionne en principe. La prochaine étape, qu'ils identifient comme essentielle, est d'adapter cette méthode pour les feuilles fraîches qui circulent sur un tapis roulant, sans avoir besoin de broyer ou de congeler. D'ici là, le système reste un outil puissant pour le classement en laboratoire et un modèle pour les futurs systèmes d'inspection en ligne, offrant une voie vers une production de thé plus constante et de plus haute qualité.