Two-stage machine vision and near-infrared spectroscopy for grading leafhopper damage in fresh tea leaves

高品质的茶叶往往是一个关于“损伤”的故事。以来自中国南方的特色茶——紫金禅为例，最终那一杯茶的独特韵味，恰恰取决于新鲜叶片被一种被称为“茶绿叶蝉”的小昆虫啃食的过程。随着昆虫的取食，它会触发植物内部的化学变化，从而产生独特的类蜂蜜香气与风味。这种取食程度的严重性决定了茶叶的等级及其市场价值。几个世纪以来，农户们一直通过肉眼来判断这种损伤，寻找诸如叶片颜色、褐色斑点以及叶片卷曲程度等特定迹象。然而，人工判断既缓慢又不具一致性；它因人而异，并会随光线变化或观察者的疲劳程度而改变。为了生产出品质稳定的高品质产品，行业需要一种能够快速且客观地测量这种损伤的方法，而不依赖于人类专家的主观视觉。

这正是两种不同观察世界方式的交汇点。一种是机器视觉，即相机捕捉物体的外部外观，类似于人类的眼睛，但具备在数秒内处理数千张图像的能力。另一种是近红外光谱技术，它通过分析光线的吸收情况，从内部观察物质并读取其化学成分。虽然相机可以看见一个褐色斑点，但它无法看到叶片内部正在变化的糖分或氨基酸，而正是这些物质赋予了茶叶风味。通过结合这两种方法，江南大学的研究人员开发出了一种全新的系统，该系统就像一个两步过滤机制：利用相机的速度对大多数叶片进行筛选，并利用光谱技术的化学洞察力来复核那些让相机感到困惑的叶片。

研究人员首先训练了一个计算机模型，根据昆虫损伤的严重程度来识别和分类新鲜茶叶。他们使用了一种先进的图像识别系统——一种改进版的YOLO技术，该技术旨在即时发现图像中的物体并对其进行分类。团队向系统输入了数千张茶叶图像，教会它区分三种损伤等级：轻微、中度和严重。他们还教会了模型如何忽略叶片堆叠中的混乱现实，例如叶片重叠、卷曲以及互相遮挡的情况。改进后的模型学会了专注于关键的视觉线索，例如茶芽的颜色、叶缘褐色焦灼的程度以及卷曲的程度。

当在一组包含四千个独立叶片目标的图像大样本上进行测试时，这一改进后的相机系统表现出色。它成功识别并分类了绝大多数能够清晰看到的叶片。然而，正如任何依赖视觉的系统一样，当视觉信息过于模糊时，它便遇到了瓶颈。在约12%的情况下，相机无法做出确定的判断。这些是“无结果”的目标：由于卷曲过度、被邻近叶片遮挡，或者仅仅是因为外观过于相似，导致无法分辨轻微损伤与中度损伤的叶片。如果流程在此停止，这些难以分类的叶片将无法被评级，或者更糟的是，会被错误评级，从而可能毁掉整批茶叶的品质。

为了解决这个问题，研究人员为这些棘手的样本引入了第二阶段。他们并没有试图强迫相机看得更清楚，而是转向了隐藏在叶片内部的化学特征。他们提取了对应于相机无法分类的叶片物理样本，并对其进行了近红外光谱分析。这一过程涉及将叶片冷冻、干燥并研磨成均匀的粉末，然后用光线进行扫描。光线与叶片内部的化学化合物（如茶多酚、糖类和氨基酸）发生相互作用，产生独特的谱图指纹。研究人员发现，具有不同程度昆虫损伤的叶片具有截然不同的化学特征。例如，中度损伤的叶片往往含有更高水平的某些多酚类物质，而严重损伤的叶片则显示出游离氨基酸的增加。

利用这些化学指纹，团队构建了第二个模型充当“裁判”。该模型是在另外两百四十个样本上进行训练的，旨在仅基于内部化学成分来学习区分轻微、中度和严重等级。当这个化学模型应用于那些被相机拒绝的困难样本时，它表现出了极高的准确性。它正确分类了近96%的问题叶片。通过将相机的速度与光谱技术的化学洞察力相结合，研究人员创建了一个可以处理整批叶片的流程：相机承担了主要工作，即刻完成易分类情况的排序；而光谱技术则仅在必要时介入，以解决那些困难的案例。

这种两阶段方法的成果是整体准确率的一次显著飞跃。如果研究人员仅依赖相机，该系统只能正确分类约78%的叶片。通过为困难案例增加化学重新评估，总准确率提升到了接近90%。这一进步证明了虽然相机擅长观察表面，但它并不总能看透自然的复杂性。化学分析提供了一个必要的备份，确保即使是最令人困惑的叶片也能得到正确的评级。

然而，研究人员谨慎地指出，这一成功是在受控的实验室环境下取得的。化学分析要求对叶片进行加工处理——冷冻、干燥和研磨——这与现实中的实时分拣线操作并不一致。目前的系统是一个概念验证，展示了视觉与化学数据结合在原理上的可行性。下一步，研究人员认为至关重要的一步是，要使该方法能够适应传送带上移动的新鲜叶片，而无需经过研磨或冷冻。在此之前，该系统仍是一个强大的实验室评级工具，也是未来在线检测系统的蓝图，为实现更稳定、更高品质的茶叶生产提供了路径。