PlankFormer: Robust Plankton Instance Segmentation via MAE-Pretrained Vision Transformers and Pseudo Community Image Generation

1. 문제 정의 (Problem Statement)

수생태계 모니터링을 위한 플랑크톤 분석은 현재 전문가가 현미경으로 수작업으로 수행하는 방식에 의존하고 있어 시간과 노력이 많이 소요되며, 숙련된 인력 부족이라는 심각한 문제가 발생하고 있습니다. 자동화를 위해 딥러닝 기반의 인스턴스 분할 (Instance Segmentation) 기술이 적용되고 있으나, 플랑크톤 이미지 분석에는 두 가지 주요 난제가 존재합니다.

1. 레이블된 데이터의 부족: 플랑크톤 개체 하나하나에 픽셀 단위 (pixel-level) 로 레이블을 지정하는 것은 매우 비용이 많이 들고 비현실적입니다. 따라서 대규모 공개 데이터셋이 부재합니다.
2. 복잡한 환경에서의 인식 어려움: 실제 현미경 이미지 (Community Images) 는 플랑크톤 개체들이 겹쳐 있고 (Occlusion), 부유물 (Debris) 이 섞여 있으며, 개체 크기와 모양이 다양합니다. 기존의 CNN 기반 방법론은 국소적 (Local) 특징에 의존하므로, 이러한 중첩이나 부유물 존재 시 정확도가 급격히 저하됩니다. 전역적 (Global) 구조 특징을 파악할 수 있는 모델이 필요합니다.

2. 제안된 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 PlankFormer라는 새로운 프레임워크를 제안했습니다. 이는 크게 두 가지 핵심 기술로 구성됩니다.

가. 가짜 군집 이미지 생성 (Pseudo Community Image, PCI Generation)

레이블된 데이터 부족 문제를 해결하기 위해, 소수의 레이블이 있는 개별 플랑크톤 이미지를 다양한 배경에 합성하여 레이블이 포함된 '가짜 군집 이미지 (PCI)'를 자동으로 생성하는 기법을 도입했습니다.

• 배경 생성: 실제 군집 이미지에서 플랑크톤이 제거된 배경 영역을 추출하거나, 생성 모델 (StyleGAN3, DDPM) 을 사용하여 합성 배경을 생성합니다.
• 개체 합성: FREPJ-Z 데이터셋의 개별 플랑크톤 이미지를 무작위 뒤집기, 회전, 크기 조절을 적용한 후 배경에 합성합니다. 개체 간의 중첩과 이미지 경계 절단도 자연스럽게 재현합니다.
• 레이블 생성: 합성 과정에서 적용된 기하학적 변환을 마스크 (Mask) 에도 동일하게 적용하여 픽셀 단위 정답 레이블을 자동 생성합니다.
• 클래스 레이블: 분할 모델이 플랑크톤의 전역적 형태 특징을 학습하도록, 종 (Species) 수준이 아닌 '과 (Family)' 수준의 레이블을 사용합니다.

나. MAE-프리트레이닝된 비전 트랜스포머 (MAE-Pretrained ViT)

중첩과 부유물이 많은 환경에서 강건한 분할을 수행하기 위해 Vision Transformer (ViT) 를 기반으로 한 아키텍처를 설계했습니다.

• 아키텍처: 인코더로 ViT-Large를, 디코더로 Mask2Former를 사용합니다. ViT 의 전역적 특징 추출 능력을 활용하여 중첩된 개체와 부유물을 구분합니다.
• 자기지도 학습 (Self-Supervised Pre-training): PCI 는 소수의 개별 이미지를 반복 사용하여 생성되므로 개체 다양성이 부족할 수 있습니다. 이를 보완하기 위해, 레이블이 없는 대량의 개별 플랑크톤 이미지를 사용하여 **Masked Autoencoder (MAE)**로 인코더를 사전 학습 (Pre-training) 시켰습니다.
  • MAE 는 이미지의 일부를 가리고 나머지 부분으로 복원하는 작업을 통해 플랑크톤의 구조적 특징과 형태를 학습하게 합니다.
  • 이는 부분적으로 가려진 플랑크톤의 형태를 추론하는 능력 (Occlusion robustness) 을 향상시킵니다.
• 파인튜닝: MAE 로 사전 학습된 인코더와 초기화된 디코더를 결합하여, 생성된 PCI 데이터셋으로 전체 모델을 파인튜닝합니다.

3. 주요 기여 (Key Contributions)

1. PCI 생성 파이프라인: 생성 모델과 합성 기법을 결합하여 레이블이 없는 개별 이미지로부터 고품질의 학습 데이터 (PCI) 를 대량으로 생성하는 방법을 제안하여 데이터 부족 문제를 해결했습니다.
2. MAE 기반 ViT 아키텍처: 플랑크톤의 복잡한 형태와 중첩 문제를 해결하기 위해 MAE 로 사전 학습된 ViT 를 인스턴스 분할 모델에 적용했습니다. 이는 기존 CNN 기반 방법론보다 전역적 맥락을 효과적으로 포착합니다.
3. 실제 환경에서의 검증: 실제 플랑크톤 군집 이미지 (부유물이 많거나 개체가 작은 환경 포함) 에서 기존 최첨단 모델 (Mask R-CNN, Mask2Former) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

일본의 호수에서 수집된 실제 플랑크톤 데이터셋 (Biwako, Tsuruike) 을 사용하여 실험을 수행했습니다.

• 데이터셋 특성:
  • Biwako: 작은 개체가 많고 부유물 (Debris) 이 많아 인식 난이도가 높음.
  • Tsuruike: 개체가 크고 배경이 깨끗하여 상대적으로 인식하기 쉬움.
• 성능 비교 (Biwako 데이터셋 - 난이도 높음):
  • 제안된 PlankFormer (MAE 프리트레이닝 + PCI) 는 mAP 0.0738, AP50 0.1749 를 기록하여 기존 방법들 (Mask R-CNN, Mask2Former, 사전 학습 없는 Baseline 등) 보다 가장 높은 성능을 보였습니다.
  • 특히 MAE 프리트레이닝은 CNN 기반 모델 대비 작은 개체 (APS) 와 중첩된 개체 인식 능력을 크게 향상시켰습니다.
• 성능 비교 (Tsuruike 데이터셋 - 난이도 낮음):
  • 제안된 방법은 Baseline 에 이어 두 번째로 좋은 성능을 보였으며, 기존 CNN 기반 모델 (Mask2Former 등) 보다 우세했습니다.
  • 명확한 개체 (APL) 에서는 사전 학습이 오히려 미세하게 성능을 저하시킬 수 있으나, 복잡한 환경 (Biwako) 에서의 강건성이 전체적인 실용성을 확보했습니다.
• 생성된 PCI 의 효과: 생성된 배경과 블러 (Blur) 처리를 포함한 PCI 가 실제 환경 (부유물, 초점 흐림 등) 에 대한 모델의 적응력을 높이는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 플랑크톤 모니터링 자동화 분야에서 다음과 같은 중요한 의의를 가집니다.

• 비용 효율성: 고비용의 픽셀 단위 수작업 레이블링을 최소화하면서도, 생성된 데이터와 자기지도 학습을 통해 고품질의 분할 모델을 구축할 수 있음을 입증했습니다.
• 강건성 (Robustness): 기존 CNN 기반 방법론이 취약했던 부유물과 중첩이 심한 복잡한 환경에서도 ViT 와 MAE 의 결합을 통해 높은 정확도를 달성했습니다.
• 실용적 적용: 수생태계 모니터링의 인력 부족 문제를 해결할 수 있는 기술적 기반을 마련하였으며, 향후 다양한 수생태계 환경에 적용 가능한 확장 가능성을 제시했습니다.

결론적으로, PlankFormer 는 데이터 부족과 복잡한 시각적 환경이라는 두 가지 주요 장벽을 극복하여 플랑크톤 개체 분할의 새로운 표준을 제시한 연구로 평가됩니다.