Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification

당신이 탐정이 되어 미스터리를 해결하고 있다고 상상해 보세요. 하지만 당신의 '범죄 현장'은 범죄 현장이 아니라, 대략 작은 식탁 크기 정도 되는 사각형 모양의 야생 초원입니다. 당신의 임무는 그곳에서 자라는 모든 종류의 식물의 이름을 알아내는 것입니다. 이제 반전을 하나 드리자면, 당신이 본 유일한 훈련 매뉴얼에는 흰색 배경 위에 고립된, 완벽하게 하나씩 떨어진 꽃이나 잎사귀 사진들만 들어 있습니다. 당신은 결코 혼란스럽고 북적이는 초원을 본 적이 없습니다. 이것이 바로 **다종 식물 식별(multi-species plant identification)**이라는 도전 과제입니다. 즉, 오직 개별적인 모습만을 학습한 상태에서, 이 혼란스러운 군중 속에서 각자가 누구인지 파악해야 하는 작업입니다.

이 문제를 해결하기 위해 과학자들은 **비전 트랜스포머(Vision Transformers, ViTs)**를 사용합니다. 이는 마치 이미지를 아주 작은 퍼즐 조각으로 나누어 자신이 무엇을 보고 있는지 이해하는 매우 똑똑한 디지털 눈과 같습니다. 또한 그들은 k-최근접 이웃(k-Nearest Neighbors, kNN) 방식을 사용하는데, 이는 "닮은꼴" 검색 엔진처럼 작동합니다. 예를 들어, 어떤 잎사귀 사진을 보여주면 시스템은 데이터베이스에서 가장 유사한 사진들을 찾아내어 "이것은 저것과 매우 닮았습니다!"라고 말해주는 방식입니다. 마지막으로 그들은 **사전 지식(priors)**을 사용합니다. 이는 세상의 규칙에 기반한 교육적인 추측으로, 예를 들어 선인장이 북극에서 자라지 않는다는 사실이나 특정 이끼가 높은 산에서만 자란다는 사실을 아는 것과 같습니다. 이 논문은 이 도구들을 결합하여 "혼란스러운 초원" 퍼즐을 풀고, 녹색의 무질서한 덩어리를 정밀한 종 목록으로 바꾸어 놓은 한 팀의 이야기를 들려줍니다.

탐정의 도구 상자: 팀이 혼란스러운 초원을 해결한 방법

DS@GT ARC라고 불리는 이 팀은 0.5미터 정사각형 구역의 고해상도 사진 속 식물을 식별하는 고난도 대회인 PlantCLEF 2026에 참가했습니다. 이 사진들은 약 3,000 x 3,000 픽셀로 매우 거대하며, 이 때문에 표준적인 컴퓨터 두뇌로는 한 번에 처리할 수 없습니다. 팀의 해결책은 더 크고 복적인 두뇌를 만드는 것이 아니었습니다. 대신 단서를 어떻게 살펴볼지 아는 더 똑똑한 탐정이 되는 것이었습니다.

전략: 확대하고 축소하기
헬리콥터에서 전체 그룹을 내려다보며 군중을 식별하려고 노력한다고 상상해 보세요. 사람들의 머리 부분을 볼 수는 있겠지만, 누가 빨간 모자를 쓰고 있는지는 알 수 없을 것입니다. 반대로 너무 가까이 확대하면, 한 사람만 보게 되어 전체적인 맥로를 놓치게 됩니다. 팀의 첫 번째 비결은 **다중 스케일 타일링(Multi-Scale Tiling)**이었습니다. 그들은 각 거대한 사진을 다양한 줌 레벨의 작은 정사각형(타일)으로 쪼갰습니다. 어떤 것은 멀리서 본 것(3x3 그리드), 어떤 것은 가까이서 본 것(6x6 그리드)입니다. 이를 통해 동일한 초원에 대해 86개의 서로 다른 "시점"을 얻었습니다. 그들은 정교하게 미세 조정된 DINOv2 ViT-L/14(수백만 개의 이미지로 훈련된 강력한 디지털 눈)라는 메인 AI 모델을 모든 타일에 실행했습니다. 그런 다음 "최대 풀링(max pooling)" 규칙을 적용했습니다. 즉, 만약 어떤 타일이라도 특정 식물을 높은 확신도로 포착했다면, 전체 사진에 해당 식물이 있는 것으로 인정했습니다. 이 방식은 식물이 전체 그림 속에서 너무 작아서 놓치는 일이 없도록 보장했습니다.

"닮은꼴" 검색 엔진
AI 모델은 훌륭하지만, 때때로 혼란에 빠지기도 합니다. 이를 돕기 위해 팀은 kNN 검색 시스템을 추가했습니다. 이것은 860,000장의 식물 사진이 담긴 거대한 도서관과 같습니다. AI가 타일을 볼 때, 도서관에 "이것은 누구와 닮았나요?"라고 묻습니다. 도서관은 가장 유사한 이미지 20장을 반환합니다. 만약 AI가 확신하지 못할 때 도서관이 "이것은 Geum reptans와 똑같이 생겼습니다"라고 말해준다면, 팀은 그 조언을 최종 답변에 결합합니다. 이는 수백만 그루의 식물을 본 숙련된 식물학자로부터 의견을 듣는 것과 같습니다.

"서식지 적합성" 규칙: 궁극의 현실 점검
그들의 솔루션에서 가장 강력했던 부분은 새로운 알고리즘이 아니라, 지리에 기반한 일련의 규칙이었습니다. 그들은 어떤 식물이 사진 속에 있을 '수'는 있지만, 반드시 있어야 하는 것은 아니라는 점을 깨달았습니다. 그들은 서식지 적합성 감점(Habitat-Fit Demotion) 제도를 도입했습니다.

• 지리: 만약 사진이 남서유럽에서 촬영되었다었다면, 열대 지방이나 북극에서만 자라는 식물의 확률을 자동으로 낮추었습니다.
• 고도: 만 만약 사진이 해수면 높이에서 촬영되었다면, 높은 산봉우리에서만 자라는 식물의 점수를 깎았습니다.
  이것은 AI에게 "이봐요, 저 선인장은 여기 있을 가능성이 낮아요. 아마도 바위를 보고 있는 걸 거예요"라고 조용히 속삭이는 필터 역할을 했습니다. 이 단계 하나만으로도 정확도에 가장 큰 차이를 만들었으며, 어디에 있는지를 아는 것이 무엇을 보느냐만큼 중요하다는 것을 증명했습니다.

시간 여행자: 시계열 융합(Temporal Fusion)
테스트 사진들은 단순히 일회성 스냅샷이 아니었습니다. 많은 사진이 같은 장소를 서로 다른 시기에 촬영한 것이었습니다. 팀은 이를 유리하게 활용했습니다. 만약 어떤 지점이 봄과 여름에 방문되었는데, 봄 사진에는 꽃이 있었지만 여름 사진에는 (꽃이 시들어버려서) 보이지 않는다면, 그들은 증거를 결합했습니다. 이는 세 가지 다른 날의 알리바이를 확인하여 미스터리를 푸는 것과 같습니다. 만약 증거가 방문 시점마다 일관된다면, 그들은 그것을 더 신뢰합니다. 만약 방문 모습이 매우 다르다면(예: 울창한 여름 vs 텅 빈 겨울), 계절의 변화에 속지 않도록 특별한 "유사성" 체크를 사용합니다.

무엇이 효과가 없었나 (그리고 그것이 왜 중요한가)

팀은 단순히 추측한 것이 아니라, 많은 화려한 아이디어를 시도했고 작동하지 않을 때는 과감히 버렸습니다. 이는 성공 사례만큼이나 중요합니다.

• "합성"의 함정: 그들은 새로운 유형의 디코더를 가르치기 위해 디지털 식물 부위들을 조합(pseudo-quadrats)하여 가짜 훈련 데이터를 만들려고 시도했습니다. 하지만 완전히 실패했습니다. 가짜 데이터가 실제의 무질서한 초원처럼 보이지 않았기 때문에 AI가 혼란을 겪었습니다.
• "지역 간" 실수: 그들은 유럽의 풍경(LUCAS)을 사용하여 AI를 가르치려 했으나, 이는 대회 특유의 식물들과는 달랐습니다. AI는 잘못된 교훈을 배웠고 성능이 오히려 떨어졌습니다.
• "세그멘테이션" 오류: 그들은 배경에서 개별 식물을 잘라내어 더 깨끗한 이미지를 얻기 위해 도구(SAM 3)를 사용해 보았습니다. 하지만 도움이 되지 않았습니다. AI는 격자 형태의 정사각형으로 훈련되었는데, 잘라낸 이미지는 이상한 모양이었기 때문입니다. 이 불일치는 신호보다 노이즈를 더 많이 만들어냈습니다.

최종 성적

다중 스케일 줌, 닮은꼴 검색, 그리고 엄격한 서식지 규칙을 결합한 팀의 최종 시스템은 프라이빗 리더보드에서 매크로-F1 점수 0.43902를 기록하며 대회에서 3위를 차지했습니다. 흥ari하게도, 그들이 선택하지 않았던 한 구성이 오히려 더 높은 점수(0.45777)를 기록했지만, 대회 종료 전까지는 그 점수를 확인할 수 없었습니다.

이 논문은 이처럼 복잡하고 무질서한 문제에 있어서는 반드시 더 복잡한 신경망이 최선은 아니라는 점을 시사합니다. 대신, 승리자들은 데이터를 보는 방식(다중 스케일)을 정교하게 설계하고, 올바른 "치트키"(지리 및 고도 사전 지식)를 사용하며, 실제 세상의 규칙에 맞지 않는 화려한 새로운 기술은 언제 무시해야 하는지를 아는 사람들이었습니다. 그들은 때때로 똑똑한 방법은 이미지를 보는 것만큼이나 환경의 목소리에 귀를 기울이는 것임을 증명했습니다.