Two-stage machine vision and near-infrared spectroscopy for grading leafhopper damage in fresh tea leaves

高品質な茶は、しばしば「損傷」の物語でもあります。中国南部の独特な茶である紫金禅（Zijin Chan）の場合、最終的な一杯の個性を決定づけるのは、茶緑葉蝉と呼ばれる小さな昆虫によって、新鮮な茶葉が食害されることそのものです。この昆虫が吸汁することで、植物内に化学変化が引き起こされ、独特の蜂蜜のような香りと味わいが生まれます。この食害の程度が、茶の等級と市場価値を決定します。何世紀もの間、農家はこの損傷を目視で判断してきました。茶葉の色や茶色の斑点の有無、そして葉がどの程度丸まっているかといった特定の兆候を見てきたのです。しかし、人間の判断は遅く、一貫性に欠けます。それは人によって異なり、光の状態や観察者の疲労によっても変化します。一貫した高品質な製品を生み出すためには、人間の主観的な目に頼ることなく、この損傷を迅速かつ客観的に測定する方法が必要です。

ここで、二つの異なる「見方」の交差点が登場します。一つは、カメラが物体の外観を捉えるマシンビジョンです。これは人間の目と同じように機能しますが、数秒間に数千枚の画像を処理する能力を備えています。もう一つは、近赤外分光法であり、これは光の吸収率を分析することによって、材料の内部を見てその化学組成を読み取る技術です。カメラは茶色の斑点を見ることはできますが、葉の中で糖やアミノ酸がどのように変化しているかまでは見ることができません。これらの手法を組み合わせることで、江南大学の研究者たちは、カメラのスピードでほとんどの葉をスクリーニングし、カメラが混乱した葉に対して分光法の化学的洞察力で再確認を行うという、二段階のフィルターとして機能する新しいシステムを開発しました。

研究者たちはまず、新鮮な茶葉を食害の深刻度に基づいて認識し、分類するためのコンピュータモデルのトレーニングを開始しました。彼らは、画像内の物体を見つけ出し、即座に分類するように設計された、YOLOとして知られる技術の改良版である高度な画像認識システムを使用しました。チームはシステムに数千枚の茶葉の画像を読み込ませ、食害を「軽度」「中程度」「重度」の3つのレベルに区別することを学習させました。また、葉が重なり合い、丸まり、一部が隠れてしまうという、葉の山という複雑な現実を無視するようにモデルを訓練しました。改良されたモデルは、茶の芽の色、葉の縁の褐変（茶色の焦げ）の程度、そして葉の丸まり具合といった、重要な視覚的特徴に焦ールするように学習しました。

4,000個の個別の葉のターゲットを含む大規模な画像セットを用いてテストを行った際、この改良されたカメラシステムは目覚ましい成果を上げました。システムは、明確に見える葉の大部分を特定し、分類することに成功しました。しかし、視覚に依存するシステムである以上、視覚情報が曖昧すぎると壁に突き当たります。約12パーセントのケースにおいて、カメラは確信を持って判断を下すことができませんでした。これらは「結果なし」とされるターゲット、つまり、丸まりすぎている、隣の葉に隠れすぎている、あるいは見た目が似すぎていて軽度と中程度の区別がつかない葉でした。もしプロセスがここで止まってしまえば、これらの困難な葉は等級付けされないままになるか、最悪の場合、誤って等級付けされ、最終的な茶の品質を損なう可能性があります。

この困難なサンプルに対処するため、研究者たちはこれらの執拗なサンプルに対する第二段階を導入しました。カメラに無理に視力を向上させようとするのではなく、葉の中に隠された化学的なシグネチャーに目を向けたのです。彼らは、カメラが分類できなかった葉に対応する物理的サンプルを取り出し、近赤外分光法にかけました。このプロセスでは、葉を凍結、乾燥、粉砕して均一な粉末を作成し、それを光でスキャンしました。光は葉の中の化合物（ポリフェノール、糖、アミノ酸など）と相互作用し、独自のスペクトル指紋を作り出します。研究者たちは、食害のレベルが異なる葉は、それぞれ異なる化学的プロファイルを持つことを発見しました。例えば、中程度の損傷を受けた葉は特定のポリフェノールのレベルが高くなる傾向があり、一方で重度の損傷を受けた葉は遊離アミノ酸の上昇を示すことが分かりました。

これらの化学的な指紋を用いて、チームは「審判」として機能する第二のモデルを構築しました。このモデルは、純粋に内部の化学組成に基づいて、軽度、中程度、重度のクラスの違いを学習するために、別途用意された240個のサンプルを用いて訓練されました。この化学モデルを、カメラが拒絶した困難なサンプルに適用したところ、驚くほど正確であることが証明されました。モデルは、問題となった葉の約96パーセントを正しく分類しました。カメラのスピードと分光法の化学的洞察力を組み合わせることで、研究者たちは全工程の葉を処理できるワークフローを作り上げました。カメラが簡単なケースを即座に仕分けして重労働を行い、分光法が必要な場合にのみ介入して困難なケースを解決するという仕組みです。

この二段階のアプローチの結果、全体的な精度は大幅に向上しました。もし研究者がカメラのみに頼っていたならば、システムはすべての葉の約78パーセントしか正しく分類できなかったでしょう。困難なケースに対して化学的な再評価を加えることで、全体の精度は9割近くまで上昇しました。この改善は、カメラが表面を見るのには優れているものの、自然の複雑さを必ずしも突き抜けて見ることはできないということを示しています。化学分析は必要なバックアップを提供し、最も紛らわしい葉であっても正しく等級付けされることを保証します。

しかし、研究者たちは、この成功は管理された実験室環境において達成されたものであることに注意を促しています。化学分析には、葉を凍結、乾燥、粉砕するというプロセスが必要であり、これは実際の選別ラインでの茶の取り扱い方法とは異なります。現在のシステムは概念実証（プルーフ・オブ・コンセプト）であり、視覚データと化学データの組み合わせが原理的に機能することを示しています。次のステップとして、著者らが不可欠であると特定しているのは、粉砕や凍結を必要とせず、コンベアベルト上を移動する新鮮な葉に対してこの手法を適応させることです。それが実現するまでは、このシステムは実験室での等級付けのための強力なツールであり、将来のオンライン検査システムの設計図としての位置づけに留まりますが、より一貫した高品質な茶の生産への道筋を提示しています。