AquaFeat+: an Underwater Vision Learning-based Enhancement Method for Object Detection, Classification, and Tracking

기술 요약: 수중 비전 작업을 위한 AquaFeat+

문제 정의
종 식별, 부유물 모니터링, 인프라 점검과 같은 수중 로봇 응용 분야는 컴퓨터 비전 시스템에 크게 의존합니다. 그러나 수중 환경은 저조도, 색상 왜곡, 빛의 감쇄 및 산란을 포함한 심각한 도전 과제를 제시합니다. 이러한 요인들은 시각적 데이터의 품질을 저하시켜 대비와 선명도의 손실을 초래하며, 이는 객체 탐지, 분류 및 추적 모델의 성능을 직접적으로 저해합니다.

기존의 향상 기법들은 흔히 두 가지 결정적인 한계에 직면합니다:

1. 태스크 미정렬(Task Misalignment): 대부분의 접근 방식은 자동화된 분석에 필수적인 특징을 보존하거나 추출하기보다는 인간의 지각적 품질(미적 매력)에 최적화되어 있습니다. 시각적으로 매력적으로 보이는 이미지가 여전히 중요한 패턴을 가려 알고리즘 성능에 부정적인 영향을 미칠 수 있습니다.
2. 계산 효율성: 많은 딥러닝 기반 향상 모델은 높은 계산 요구량과 긴 처리 시간을 유발하여, 실시간 로봇 운영에 적용하는 것을 방해합니다.

방법론: AquaFeat+
저자들은 인간의 지각이 아닌 자동화된 비전 작업을 위해 특화된 특징을 향상시키도록 설계된 플러그 앤 플레이(plug-and-play) 파이프라인인 **AquaFeat+**를 제안합니다. 이 아키텍처는 최종 애플리케이션(탐지, 분류 또는 추적)의 손실 함수(loss function)에 의해 직접 가이드되는 엔드 투 엔드(end-to-end) 방식으로 학습되어, 향상이 다운스트림 태스크에 적합하도록 보장합니다.

모델은 세 가지 주요 모듈로 구성됩니다:

1. 색상 교정 모듈(Color Correction Module): 색상 왜곡과 선택적 빛 흡수를 완화하는 비학습형 전처리 단계입니다. RGB 채널의 평균 강도를 분석하고 색상 분포를 중간 채널에 맞춰 조정함으로써, 후속 레이어를 위한 화이트 밸런스가 맞춰진 깨끗한 입력을 제공합니다.
2. 특징 향상 프로세스(Feature Enhancement Process): 이 핵심 프로세스는 세 단계를 통해 다운스트림 태스크와 통합됩니다:
   • 수중 특징 향상 네트워크(U-FEN): 공유 가중치를 사용하여 세 개의 병렬 스트림(원본, 1/4 해상도, 1/8 해상도)으로 RGB 프레임을 처리합니다. 표준 첫 번째 레이어를 채널별 통계(평균 및 표준 편차)에 따라 동적으로 대비를 조절하는 학습 가능한 콘텐츠 인식 메커니즘인 SpecialConv 레이어로 대체합니다. 이 네트워크는 기울기 소실을 방방지하기 위해 조밀한 스킵 연결(dense skip connections)과 LeakyReLU 활성화 함수를 사용하는 U-Net 아키텍처를 활용합니다.
   • 글로벌 스케일 어텐션 모듈(GSAM): 특징을 정밀하게 다듬기 위해 설계된 하이브리드 아키텍처로, 듀얼 경로 설계를 채택합니다. 장거리 공간 의존성을 모델링하는 Global Feature-Aware (GFA) 모듈과 다중 스케일 융합을 위한 Scale-Aware Feature Aggregation (SAFA) 메커니즘을 결합합니다. 출력값은 원본 입력과 잔차 연결(residual connections)을 통해 결합되어, 글로벌 컨텍스트와 다중 스케일 디테일을 모두 포함하는 풍부한 표현력을 갖게 됩니다.
   • 최종 특징 결합(Final Feature Aggregation): GSAM의 출력은 크기가 조정되어 1/8 스케일의 가장 낮은 해상도 특징 스트림과 결합됩니다. 최종 3×3 컨볼루션 레이어가 이를 종합적인 표현으로 병합합니다.
3. 적응형 잔차 출력(Adaptive Residual Output): 마지막 단계에서는 터미널 SpecialConv 레이어를 사용하여 향상된 잔차 맵(residual map)을 생성합니다. 이 잔차는 tanh를 통해 정규화된 후 원본 입력 이미지에 더해져, 학습된 향상을 적용하면서도 구조적 무결성을 보존합니다.

주요 기여

• 태스크 지향적 향상: 저조도 수중 비디오에서 계층적 특징을 향상시켜 탐지, 분류 및 추적 성능을 최적화하도록 특별히 설계된 모듈인 AquaFeat+를 제안했습니다.
• 엔드 투 엔드 학습: 일반적인 이미지 품질 지표가 아닌, 최종 태스크의 손실 함수에 의해 직접 가이드되는 데모를 통해 향상 모듈 학습의 효과를 입증했습니다.
• 데이터셋 적응: 로봇 인식을 위한 객체 탐지, 분류 및 추적 태스크를 최적화하기 위해 데이터 클리닝 및 클래스 그룹화 전략을 포함한 특정 전략을 적용하여 FishTrack23 데이터셋을 적응시켰습니다.

실험 결과
본 방법론은 탐지/추적을 위한 YOLOv8m/YOLOv10s 및 분류를 위한 YOLOv11s-cls를 사용하여 FishTrack23 데이터셋에서 평가되었습니다. 결과는 이전 모델(AquaFeat), 다른 향상 기법(FeatEnHancer) 및 베이스라인 모델과 벤치마킹되었습니다.

• 객체 탐지: AquaFeat+ (YOLOv8m)는 가장 높은 **F1-Score (0.688)**를 달성하여 정밀도(precision)와 재현율(recall) 사이의 최적의 균형을 보여주었습니다. 절대적인 mAP0.5는 가장 높지는 않았으나(0.556 vs. AquaFeat YOLOv10s의 0.557), 베이스라인 YOLOv8m(0.624 vs. 0.582)보다 재현율을 크게 개선하며 매우 경쟁력 있는 성능을 유지했습니다.
• 분류: AquaFeat+는 정밀도(0.816), 재현율(0.791), F1-Score(0.791) 모든 면에서 다른 모든 접근 방식을 능가했습니다. 이는 기존의 FeatEnHancer 및 베이스라인 YOLOv11s-cls를 능가하여 양성 예측을 식별하고 균형을 맞추는 일관된 능력을 입증했습니다.
• 추적: 다중 객체 추적에서 AquaFeat+ (YOLOv10s)는 가장 높은 **HOTA 점수 (55.206)**와 최고 **AssA 점수 (60.194)**를 기록하여, 탐지 정확도와 연관 정확도 사이의 우수한 균형을 보여주었습니다. 또한 두 번째로 높은 IDF1 점수(68.094)를 확보하여 효과적인 장기적 ID 일관성을 입증했습니다.

정성적 분석 결과, AquaFeat+는 베이스라인 모델과 다른 향상 기법들이 실패한 경우에도 이미지 경계에 위치한 부분적으로 가려진 객체를 정확히 탐지하거나 저시정 상황에서의 물고기를 식별할 수 있는 유일한 방법인 경우가 많았습니다.

의의 및 주장
본 논문은 AquaFeat+가 복잡한 수중 장면에서 인지 능력을 크게 높일 수 있음을 검증한다고 주장합니다. 특징 향상을 비전 태스크 파이프라인에 직접 통합하고 시각적 매력이 아닌 다운스트림 성능을 위해 최적화함으로써, 이미지 향상과 자동화된 분석 사이의 간극을 해결합니다. 결과는 AquaFeat+가 다양한 로봇 플랫폼에 원활하게 통합되어 의사결정을 위한 장면 분석의 신뢰성을 개선할 수 있는 유연하고 효율적인 솔루션임을 시사합니다. 저자들은 향후 연구로 깊이 추정(depth estimation) 및 시맨틱 세그멘테이션(semantic segmentation)과 같은 작업으로의 확장, 그리고 새로운 실제 데이터셋에서의 모델 평가를 언급했습니다.