AQUA20: A Benchmark Dataset for Underwater Species Classification under Challenging Conditions

기술 요약: AQUA20: 까다로운 조건 하의 수중 생물 분류를 위한 벤치마크 데이터셋

문제 정의
수중 환경에서의 강건한 시각적 인식은 탁도, 낮은 조도, 폐쇄(occlusion), 색상 왜곡과 같은 복잡한 왜곡으로 인해 여전히 중요한 과제로 남아 있다. 수중 이미징 하드웨어는 발전해 왔으나, 광범위하고 주석이 달린 데이터셋의 부족으로 인해 신뢰할 수 있는 컴퓨터 비전 알고리즘의 개발이 저해되어 왔다. 기존 데이터셋들은 특정 시나리오(예: 물고기 식별 또는 산호 모니터링)에만 국한된 좁은 범위, 불충분한 데이터 양, 일관되지 않은 주석, 또는 다양한 영상 조건(수심, 조명, 탁도)의 결여와 같은 한계를 갖는 경우가 많다. 또한, 많은 기존 리소스가 합성 데이터나 통제된 환경에 크게 의존하여, 실제 수중 생태계에 내재된 클래스 내 변이(intra-class variation)와 클래스 간 유사성(inter-class similarity)을 해결하지 못하고 있다.

방법론
본 논문은 이러한 격차를 해소하기 위해 설계된 포괄적인 벤치마크 데이터셋인 AQUA20를 소개한다. 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. 데이터셋 구축 (AQUA20):

   • 규모 및 구성: 이 데이터셋은 물고기, 산호, 상어, 거북이, 다이버 및 다양한 무척추동물을 포함한 20개의 뚜렷한 해양 생물 종으로 분류된 8,171개의 고품질 수중 이미지로 구성된다.
   • 데이터 출처: 이미지는 주로 기존의 EUVP 데이터셋(원래 이미지 향상을 위한 용도)에서 선별되었으며, 20개 클래스 모두에 대한 적절한 표현을 보장하기 위해 다른 공개 소스들로 보완되었다.
   • 주석 프로토콜: 엄격한 다단계 주석 프로세스가 채택되었다. 초기 레이블링 이후, 문제 사례(예: 다중 종, 폐쇄, 블러 현상)를 식별하기 위해 세 명의 주석가가 독립적인 검토를 수행하였다. 최종적으로 합의 단계를 거쳐 이견을 해결함으로써 높은 신뢰도의 레이블을 확보하였다.
   • 포함된 도전 과제: 이 데이터셋은 클래스 간 유사성(예: 문어 vs 오징어), 높은 클래스 내 변이(예: 서로 다른 크기/각도의 물고기), 그리고 탁도, 불균일한 조명, 폐쇄와 같은 환경적 요인을 명시적으로 포착한다.
   • 분할: 데이터는 80/20 훈련-테스트 분할로 나뉘며, 각 클래스는 최소 10개의 테스트 샘플을 포함한다.

2. 벤치마킹 프레임워크:

   • 평가된 모델: 경량 CNN(SqueezeNet, MobileNetV2, ShuffleNet)부터 표준 및 심층 CNN(VGG19, ResNet50, DenseNet, EfficientNet, RegNet), 그리고 트랜스포머 기반 아키텍처(ViT, SwinV2, MaxViT, ConvNeXt)에 이르기까지 13개의 최첨단 딥러닝 모델을 평가하였다.
   • 훈련 프로토콜: 모든 모델은 ImageNet 사전 학습된 가중치로 초기화되었다. 2단계 훈련 전략이 사용되었는데, 첫째로 백본을 고정한 상태에서 분류 레이어만 훈련하였고, 둘째로 전체 네트워크를 미세 조정(fine-tuning)하였다. 원본 데이터셋의 조건에 대한 모델의 강건성을 엄격하게 평가하기 위해 훈련 중 데이터 증강(augmentation)은 적용하지 않았다.
   • 지표: 성능은 정확도(Top-1, Top-2, Top-3), 정밀도(Precision), 재현율(Recall), F1-Score, 그리고 ROC-AUC를 사용하여 평가되었다.

3. 설명 가능성 분석:

   • 연구에서는 모델의 주의(attention)를 시각화하기 위해 Gradient-weighted Class Activation Mapping (Grad-CAM)과 Local Interpretable Model-Agnostic Explanations (LIME)를 활용하였다. 이 분석은 고성능 모델(ConvNeXt)과 저성능 모델(InceptionV3)을 비교하여 모델이 수중 특징을 어떻게 해석하는지 이해하는 데 사용되었다.

주요 결과

• 최고 성능: ConvNeXt가 가장 우수한 성능을 보이는 모델로 나타났으며, Top-1 정확도 90.69%, Top-3 정확도 98.82%, 그리고 가장 높은 전체 F1-score인 **88.92%**를 달 기록하였다. 이 결과는 트랜스포머에서 영감을 받은 설계(예: 더 큰 커널, 레이어 정규화)를 포함하는 현대적인 CNN 아키텍처가 수중 분류에 매우 효과적임을 시사한다.
• 트랜스포머 성능: SwinV2B 및 ViT-B16와 같은 트랜스포머 기반 모델들은 강력한 능력(Top-3 정확도 각각 98.76% 및 98.45%)을 보여주었으나, 일관되게 ConvNeXt에 의해 하회되었다.
• 경량 모델: EfficientNetB0, MobileNetV2, ShuffleNetV2와 같은 모델들은 훨씬 적은 파라미터로도 경쟁력 있는 Top-3 정확도(95% 초과)를 달성하여, 자원이 제한된 수중 로봇 공학에서의 잠재력을 입증하였다.
• 베이스라인의 한계: 가장 많은 파라미터 수(139M)를 가진 VGG19는 낮은 성능(Top-1: 77.98%)을 보였으며, 이는 이 도메인에서 최적화되지 않은 오래된 아키텍처의 비효율성을 강조한다.
• 클래스별 통찰: 성능은 데이터 지원 정도와 상관관계가 있었다. 샘플이 풍부한 클래스(예: 물고기, 산호)는 높은 F1-score(>0.90)를 달성한 반면, 희귀 클래스(예: 약 10개의 테스트 샘플을 가진 문어, 돌고래)는 낮은 재현율을 보였다. "다이버(Diver)" 클래스는 완벽한 점수를 기록했는데, 이는 뚜렷한 시각적 특징이 낮은 샘플 수를 보완할 수 있음을 나타낸다.
• 오류 분석: 주요 오류 원인은 시각적으로 유사한 종(예: 산호 vs 불가사리/말미잘) 간의 클래스 간 혼동과 클래스 내 다양성이었다. 혼동 행렬(Confusion matrix)은 최상위 모델들조차 해양 생물에서 흔히 볼 수 있는 질감 있는 표면과 가지 구조를 다루는 데 어려움을 겪는다는 것을 드러냈다.
• 설명 가능성 결과: Grad-CAM 및 LIME 시각화는 ConvNeXt가 생물학적으로 유의미한 특징(예: 거북이 지느러미, 돌고래 몸통 부분)에 집중하는 반면, InceptionV3와 같은 저성능 모델은 종종 무관한 배경 영역(예: 해저)에 주의를 기울이며, 이것이 낮은 정확도와 상관관계가 있음을 보여주었다.

의의 및 주장
저자들은 AQUA20이 실제 환경의 가변성을 반영하는 광범위하고 주석이 달린 데이터셋을 제공함으로써 수중 시각 인식을 발전시키기 위한 기초적인 자원 역할을 한다고 주장한다. 논문은 다음과 같이 단언한다:

1. AQUA20은 핵심적인 격차를 메운다: 특정 작업이나 합성 데이터에 국한된 기존 데이터셋과 달리, 까다로운 환경 조건 하의 분류를 위해 특별히 설계된 대규모, 클래스 다양성을 갖춘 데이터셋을 제공한다.
2. ConvNeX는 강력한 베이스라인을 구축한다: 현대적인 CNN이 수중 왜곡을 효과적으로 처리할 수 있으며, 이 특정 도메인에서 전통적인 딥 CNN 및 순수 트랜스포머 아키텍처보다 뛰어난 성능을 발휘할 수 있음을 입증한다.
3. 설명 가능성은 필수적이다: 모델의 주의 맵을 시각화하는 것은 모델이 의미론적 특징에 의존하는지 아니면 가짜 상관관계(spurious correlations)에 의존하는지를 식별하는 데 도움을 주므로, 수중 환경에서의 모델 실패를 이해하는 데 중요하다.
4. 향-후 연구 방향: 이 데이터셋은 해양 생물학, 수중 로봇 공학(AUV/ROV), 이미지 향상 분야의 후속 연구를 지원하기 위해 제작되었다. 저자들은 향후 연구가 종의 범위를 확장하고, 환경적 도전에 대응하기 위한 특화된 이미지 향상 기술을 개발하며, 다양한 수중 환경 전반에 걸친 강건성을 개선하기 위한 도메인 적응(domain adaptation)을 탐구하는 데 집중해야 한다고 제안한다.

논문은 상당한 진전이 이루어졌음에도 불구하고 수중 생물 인식 분야에는 여전히 개선의 여지가 크며, AQUA20이 이러한 발전을 이끌기 위한 필요한 인프라를 제공한다고 결론짓는다.