Vision Transformers for Zero-Shot Clustering of Animal Images: A Comparative Benchmarking Study

기술 요약: 동물 이미지의 제로샷 클러스터링을 위한 비전 트랜스포머(Vision Transformers)

문제 정의
생물 다양성 모니터링은 카메라 트랩과 시민 과학 플랫폼에서 생성되는 시각 데이터의 양이 수동 분석 역량을 초కు 초과함에 따라 심각한 병목 현상에 직면해 있습니다. CNN과 같은 전통적인 지도 학습 기반 딥러닝 방식은 종 특이적 분류기를 학습시키기 위해 수천 장의 이미지를 수동으로 라벨링해야 하는 과도한 작업이 필요합니다. 이러한 모델들은 학습 데이터에 존재하는 고정된 종 집합에 내재적으로 제한되며, 희귀종의 데이터가 부족한 롱테일 분포(long-tailed distribution) 문제에 취약하며, 새로운 지역이나 촬영 조건에 대한 일반화 능력이 떨어지는 경우가 많습니다. 비전 트랜스포머(ViT) 파운데이션 모델이 제로샷 분류 능력을 입증해 왔음에도 불구하고, 여전히 상당 부분의 이미지에 대해 광범위한 수동 검증이 필요한 자율 시스템의 실질적 배포 사이에는 간극이 존재합니다. 본 연구는 최첨단 ViT 파운데이션 모델이 사전 종 특이적 학습이나 수동 주석(annotation) 없이도 수천 장의 라벨링되지 않은 동물 이미지를 일관된 종 수준의 클러스터로 직접 축소할 수 있는지 조사합니다.

연구 방법론
저자들은 라벨링되지 않은 동물 이미지를 조직화하는 것의 타당성을 평가하기 위해 종합적인 벤치마킹 프레임워크와 모듈형 제로샷 클러스터링 파이프라인을 개발했습니다.

• 데이터셋 준비: 본 연구는 LILA BC 저장소의 23개 프로젝트에서 추출한 60종(포유류 30종, 조류 30종)의 원시 카메라 트랩 이미지 281,127장을 활용했습니다. MegaDetector를 이용한 탐지와 SpeciesNet을 이용한 분류 과정을 거치는 자동화된 파이프라인을 사용하여 동물 영역을 크롭(crop)했습니다. 이 크롭된 이미지들은 전문가 검증을 거쳐 최종적으로 139,111장의 수동 검증된 종 수준 이미지가 되었습니다.
• 제로샷 클러스터링 파이프라인: 파이프라인은 세 가지 모듈형 단계로 구성됩니다:
  1. 특징 추출(Feature Extraction): 입력 이미지를 사전 학습된 비전 트랜스포머 모델에 통과시켜 고차원 임베딩 벡터를 생성합니다.
  2. 차원 축소(Dimensionality Reduction): 클러스터링과 시각화를 용이하게 하기 위해 임베딩을 저차원 공간(특히 2D)으로 투영합니다.
  3. 클러스터링(Clustering): 축소된 임베딩을 클러스터링 알고리즘을 사용하여 분할합니다.
• 실험 설계: 연구는 다음을 조합한 27,600개의 구성을 체계적으로 평가했습니다:
  • 5가지 ViT 모델: CLIP, SigLIP, DINOv2, DINOv3, BioCLIP 2.
  • 5가지 차원 축소 기법: t-SNE, UMAP, PCA, Isomap, Kernel PCA (및 원시 임베딩에 대한 직접 클러스터링).
  • 4가지 클러스터링 알고리즘: 두 가지 비지도 학습 방식(DBSCAN, HDBSCAN)과 두 가지 지도 학습 방식(계층적 클러스터링, 가우시안 혼합 모델)을 포함합니다.
• 평가: 성능은 V-measure(균질성과 완결성의 조화 평균)와 조정 상호 정보량(AMI)을 사용하여 측정되었습니다. 또한 모델의 실패 사례와 생물학적으로 의미 있는 패턴(예: 성적 이형성, 연령 클래스)을 구분하기 위해 클러스터 구성을 분석했습니다.

주요 기여

1. 종합 벤치마킹 프레임워크: 60종에 걸친 27,600개의 방법 조합을 정량적 지표를 통해 체계적으로 평가하여 방법 선택을 가이드하는 틀을 제공했습니다.
2. 검증된 동물 데이터셋: 실제 워크플로우를 반영한 파이프라인을 통해 처리된 139,111장의 수동 검증된 이미지 크롭으로 구성된 오픈 소스 데이터셋을 공개합니다.
3. 생태적 해석 프레임워크: 단순한 모델의 한계와 실제 생태적 하위 범주(종 내 변이)를 구분하는 분석을 수행했습니다.
4. 오픈 소스 툴킷: 코드, 데이터셋, 실험 로그 및 클러스터링 결과를 시각화할 수 있는 대화형 웹 인터페이스를 공개합니다.
5. 실무 배포 가이드라인: 롱테일 종 분포를 처리하는 것을 포함하여 데이터셋 특성에 맞춘 파라미터 선택에 대한 근거 기반 권장 사항을 제공합니다.

주요 결과

• 모델 성능: 자기 지도 학습(Self-supervised) 모델이 시각-언어(vision-language) 및 생물학 특화 모델보다 성능이 월등히 높았습니다. DINOv3가 모든 구성에서 가장 높은 평균 V-measure(0.817)를 달 기록했으며, DINOv2(0.769)가 그 뒤를 이었습니다. BioCLIP 2, CLIP, SigLIP은 현저히 낮은 성능(0.597–0.652)을 보였습니다.
• 차원 축소: 비선형 방법인 t-SNE와 UMAP이 선형 및 기타 비선형 방법(PCA, Isomap, Kernel PCA)보다 26~38% 포인트 더 높은 성능을 일관되게 보여주었습니다. t-SNE가 평균적으로 UMAP보다 미세하게 우세했습니다.
• 클러스터링 알고리즘:
  • 지도 학습 방식: 클러스터 개수가 실제 정답과 일치할 때(K=30), 계층적 클러스터링과 GMM은 DINOv3 및 t-SNE와 결합했을 때 거의 완벽한 종 수준 클별(V-measure: 0.958)을 달성했습니다.
  • 비지도 학습 방식: HDBSCAN이 DBSCAN보다 압도적으로 뛰어난 성능을 보였습니다. HDBSCAN은 낮은 이상치 비율(이미지의 1.14%)을 유지하면서 정답에 가까운 클러스터 수(30종 대비 3337개 클러스터)를 찾아냈습니다. 반면, DBSCAN은 심각한 과잉 클러스터링(200개 이상의 클러스터)과 높은 이상치 제거율(2829%) 문제를 겪었습니다.
• 불균형에 대한 강건성: 최적화된 HDBSCAN 구성(예: min_cluster_size=150)은 극단적인 롱테일 분포 하에서도 높은 성능(V-measure > 0.92)을 유지했으나, 표준 구성은 실패했습니다.
• 종 내 변이: "과잉 클러스터링"(더 높은 K 값을 사용하거나 밀도 임계값이 낮은 비지도 방식 사용)은 연령 클래스, 성적 이형성, 털 색깔 차이, 환경적 맥배경(예: 눈 배경, 적외선 vs RGB 조명) 등 생태학적으로 유의미한 종 내 패턴을 신뢰성 있게 추출해 냈습니다.
• 실패 분석: 병합된 클러스터는 모델의 오류라기보다 실제 생물학적 유사성(예: 늑대와 자칼, 타카헤와 뜸부기)을 반영하는 경우가 많았습니다. 과하게 분할된 클러스터는 높은 종 내 변이(예: 최소 족제비의 계절별 털 변화)에 대응하는 경우가 많았습니다.

의의 및 주장
본 논문은 파운데이션 모델을 이용한 제로샷 클러스터링이 생태학 연구에서 수동 주석 부담을 줄이는 실질적인 경로를 제공한다고 주장합니다. 연구는 적절한 모델(DINOv3), 차원 축소(t-SNE), 클러스터링 알고리즘(HDBSCAN)의 조합을 통해, 라벨링된 학습 데이터 없이도 완벽에 가까운 종 수준 클러스터링을 달성할 수 있음을 입증했습니다.

저자들은 이 접근 방식이 주석 작업을 이미지 하나하나를 일일이 라벨링하는 방식에서 클러스터 구성을 표적 검토하는 방식으로 전환시킨다고 강조합니다. 그들은 클러스터링의 "실패"가 단순한 오류가 아니라, 표현형 변이나 환경적 맥락과 같은 생물학적으로 중요한 구조를 드러내는 경우가 많다고 주장합니다. 결론적으로, 이 방법론은 카메라 트랩 네트워크가 전 세계적으로 확장됨에 따라 적시의 보전 의사결정을 위한 필수적인 인프라를 제공하며, 생태학자들이 특정 분류군을 분류하고 모호한 경계 사례에 전문가의 주의를 집중할 수 있도록 돕습니다. 저자들은 다른 분류군(예: 곤충, 물고기)으로의 일반화에 대해서는 신중한 태도를 유지하며, 2D 축소가 시각화와 클러스터링에는 효과적이지만 고차원 공간에 보존된 정보를 손실할 수 있다는 점을 언급했습니다.