Two-stage machine vision and near-infrared spectroscopy for grading leafhopper damage in fresh tea leaves

고품질 차(茶)는 종종 손상의 이야기입니다. 중국 남부의 독특한 차인 자진찬(Zijin Chan)의 경우, 최종적인 찻잔의 품격은 찻잎이 '차나무 잎벌레(tea green leafhopper)'라고 불리는 아주 작은 곤충에게 뜯겼는지 여부에 달려 있습니다. 이 곤슐이 먹이를 먹으면 식물 내부에서 화학적 변화가 일어나며, 이는 독특한 꿀 같은 향과 풍미를 만들어냅니다. 이 섭식의 심각도가 차의 등급과 시장 가치를 결정합니다. 수 세기 동안 농부들은 잎의 색상, 갈색 반점의 존재, 그리고 잎이 얼마나 말려 있는가와 같은 특정 징후를 눈으로 확인하며 이 손상을 판단해 왔습니다. 그러나 인간의 판단은 느리고 일관성이 없습니다. 사람마다 다르고, 빛의 상태나 관찰자의 피로도에 따라 변합니다. 일관되고 고품질의 제품을 생산하기 위해서는 인간 전문가의 주관적인 눈에 의존하지 않고, 이 손상을 빠르고 객관적으로 측정할 수 있는 방법이 필요합니다.

여기서 서로 다른 두 가지 세상을 보는 방식의 교차점이 등장합니다. 한 가지는 머신 비전(machine vision)으로, 카메라가 인간의 눈처럼 물체의 외관을 포착하되 수천 장의 이미지를 몇 초 만에 처리할 수 있는 기술입니다. 다른 하나는 근적외선 분광법(near-infrared spectroscopy)으로, 빛의 흡수 방식을 분석하여 물질 내부를 들여다보고 화학적 조성을 읽어내는 기술입니다. 카메라는 갈색 반점을 볼 수는 있지만, 찻잎의 풍미를 결정하는 당이나 아미노산이 내부에서 어떻게 변하고 있는지는 볼 수 없습니다. 이 두 가지 방법을 결합함으로써, 강남대학교(Jiangnan University)의 연구진은 카메라의 속도로 대부분의 잎을 선별하고, 카메라가 혼란스러워하는 것들을 분광법의 화학적 통찰력으로 재확인하는 2단계 필터 역할을 하는 새로운 시스템을 개발했습니다.

연구진은 먼저 신선한 찻잎을 곤충 피해의 심각도에 따라 인식하고 분류하도록 컴퓨터 모델을 학습시켰습니다. 그들은 이미지 속의 물체를 찾아 즉각적으로 분류하도록 설계된 기술인 YOLO로 알려진 개선된 버전의 정교한 이미지 인식 시스템을 사용했습니다. 연구팀은 시스템에 수천 장의 찻잎 이미지를 입력하여, 피해 정도를 경미함(slight), 보통(moderate), 심함(severe)의 세 단계로 구분하도록 가르쳤습니다. 또한, 잎들이 겹치고 말려 있으며 서로의 일부를 가리는 복잡한 실제 잎 더미의 현실을 무시하도록 모델을 학습시켰습니다. 개선된 모델은 찻잎의 색상, 잎 가장자리의 갈색 그을림 정도, 그리고 말림 정도와 같이 중요한 특정 시각적 단서에 집중하는 법을 배웠습니다.

4,000개의 개별 잎 타겟을 포함하는 대규모 이미지 세트로 테스트했을 때, 이 개선된 카메라 시스템은 인상적인 성능을 보여주었습니다. 시스템은 명확하게 보이는 거의 모든 잎을 성공적으로 식별하고 분류했습니다. 그러나 어떤 시스템이든 시각 정보에 의존하는 이상 한계에 부딪히기 마련입니다. 약 12%의 사례에서 카메라는 확신 있는 결정을 내리지 못했습니다. 이것들이 바로 '결과 없음(no-result)' 타겟이었습니다. 너무 많이 말려 있거나, 이웃한 잎들에 의해 가려져 있거나, 혹은 단순히 외관이 너무 비슷하여 경미함과 보통의 피해를 구분하기 어려운 잎들이었습니다. 만약 과정이 여기서 멈춘다면, 이 까다로운 잎들은 등급이 매겨지지 않거나, 최악의 경우 잘못 분류되어 최종 차 배치의 품질을 망칠 수도 있습니다.

이 문제를 해결하기 위해 연구진은 이 고집스러운 샘플들을 위한 두 번째 단계를 도입했습니다. 카메라가 더 잘 보게 하려고 애쓰는 대신, 그들은 찻잎 내부에 숨겨진 화학적 신호로 눈을 돌렸습니다. 연구진은 카메라가 분류하지 못한 잎들에 해당하는 물리적 샘플을 가져와 근적외선 분광법을 실시했습니다. 이 과정에는 잎을 얼리고, 말리고, 갈아서 균일한 가루로 만드는 작업이 포함되었으며, 그 후 빛을 통해 스캔했습니다. 빛은 찻잎 내부의 폴리페놀, 당, 아미노산과 같은 화학 성분과 상호작용하여 고유한 스펙트럼 지문을 만들어냈습니다. 연구진은 곤충 피해 수준이 다른 잎들이 서로 다른 화학적 프로필을 가지고 있다는 것을 발견했습니다. 예를 들어, 보통 수준의 피해를 입은 잎은 특정 폴리페놀 수치가 높은 경향이 있었고, 심하게 손상된 잎은 유리 아미노산의 증가를 보였습니다.

이러한 화학적 지문을 사용하여, 팀은 심판 역할을 할 두 번째 모델을 구축했습니다. 이 모델은 순수하게 내부 화학 성분에 기초하여 경미함, 보통, 심함 클래스를 구분하도록 별도의 240개 샘플을 통해 학습되었습니다. 이 화학 모델을 카메라가 거부한 까다로운 샘플들에 적용했을 때, 놀라울 정도로 정확한 결과를 보였습니다. 이 모델은 문제가 된 잎들을 거의 96% 정확하게 분류했습니다. 카메라의 속도와 분광법의 화학적 통찰력을 결합함으로써, 연구진은 전체 잎 배치를 처리할 수 있는 워크플로우를 만들었습니다. 카메라는 쉬운 사례들을 즉시 분류하며 힘든 일을 도맡았고, 분광법은 어려운 사례들을 해결해야 할 때만 개입했습니다.

이 2단계 접근 방식의 결과는 전반적인 정확도의 비약적인 향상이었습니다. 만약 연구진이 카메라에만 의존했다면, 시스템은 모든 잎의 약 78%만을 올바르게 분류했을 것입니다. 까다로운 경우에 대한 화학적 재평가를 추가함으로써, 전체 정확도는 거의 90%까지 올라갔습니다. 이 개선 사항은 카메라가 표면을 보는 데는 뛰어나지만, 자연의 복잡함을 뚫고 볼 수는 없다는 점을 입증합니다. 화학적 분석은 필수적인 백업을 제공하여, 가장 혼란스러운 잎들조차 올바르게 등급이 매겨지도록 보장합니다.

하지만 연구진은 이 성공이 통제된 실험실 환경에서 달성되었다는 점을 주의 깊게 언급합니다. 화학적 분석은 잎을 얼리고, 말리고, 가는 공정이 필요했기에, 이는 실제 실시간 선별 라인에서 다뤄지는 방식과는 다릅니다. 현재의 시스템은 개념 증명(proof of concept)이며, 시각 데이터와 화학 데이터의 결합이 원리적으로 작동함을 보여줍니다. 다음 단계는 저자들이 필수적이라고 밝힌 바와 같이, 갈거나 얼릴 필요 없이 컨베이어 벨트 위를 지나가는 신선한 잎에 이 방법을 적응시키는 것입니다. 그렇게 되기 전까지, 이 시스템은 실험실 등급 분류를 위한 강력한 도구이자 미래의 온라인 검사 시스템을 위한 청사진으로서, 더 일관되고 고품질의 차 생산을 향한 길을 제시합니다.