AI for Maritime Security: Comparative Evaluation of Convolutional Neural Network and Vision Transformer Architectures for Maritime Object Detection

기술 요약: 해양 보안을 위한 AI – CNN 및 ViT 아키텍처의 비교 평가

문제 정의
해양 보안은 불법 밀수, 무분별한 어업, 은밀한 선박 운항 등 고조되는 위협에 직면해 있으며, 이는 강력한 감시 역량을 필요로 한다. 전통적인 방식은 레이더, 인력 순찰, 위성 개요에 의존하지만, 다중 모달 데이터의 실시간 처리나 까다로운 해상 상태에서의 작거나 이례적인 표적 탐지에는 어려움을 겪는 경우가 많다. 딥러learning 기반의 컴퓨터 비전(CV)이 자동화된 탐지 및 분류를 위한 경로를 제시하고 있음에도 불구하고, 데이터 부족, 도메인 적응, 자원이 제한된 플랫폼에서의 복잡한 모델 배포와 관련하여 상당한 과제가 남아 있다. 본 연구는 다양한 환경 조건 하에서 해양 객체 탐지를 위한 다양한 딥러닝 아키텍처, 특히 합성곱 신경망(CNN)과 비전 트랜스포머(ViT)의 효용성을 평가하고 비교하는 필요성을 다룬다.

연구 방법론
본 연구는 다양한 기상 조건(흐림, 안개, 비, 맑음)에서 촬영된 "객체(선박)" 및 "배경"으로 라벨링된 6,468장의 해양 이미지 데이터셋을 활용하였다. 데이터셋은 훈련 70%, 검증 15%, 테스트 15%로 분할되었으며, 데이터 증강은 오직 훈련 세트에만 적용되었다.

다음의 6가지 뚜-별한 딥러닝 아키텍처를 평가하였다:

1. 기본 CNN (Base CNN): 제어된 베이스라인 역할을 하기 위해 6개의 합성곱 블록, 배치 정규화(Batch Normalization), 드롭아웃(Dropout) 및 완전 연결 계층(fully connected layer)을 갖춘 수동 설계된 아키텍처.
2. 전이 학습 모델 (Transfer Learning Models): 사전 훈련된 4가지 아키텍처(Xception, VGG16, MobileNetV2, EfficientNetV2L)를 미세 조정(fine-tuning)하였다. 핵심적인 방법론적 구성 요소로서, 원래의 ImageNet 훈련 분포와 일관성을 유지하기 위해 모델별 전처리 프로토콜(예: VGG16의 채널별 평균 차감, Xception 및 MobileNetV2를 위한 특정 정규화, EfficientNetV2L을 위한 내부 전처리)을 준수하였다.
3. 비전 트랜스포머 (ViT): ImageNet에서 사전 훈련된 ViT-Base (Patch16, 224×224) 모델을 미세 조정하였다. 이 모델은 이미지 패치를 시퀀스로 취급하며, 국소적인 합성곱 연산에만 의존하는 대신 셀프 어텐션(self-attention) 메커니즘을 사용하여 전역적인 문맥적 의존성을 포착한다.

모든 모델은 조기 종료(early stopping)를 적용하여 최대 500 에포크(epoch) 동안 훈련되었다. 성능은 훈련/테스트 정확도, 제1종 오류(Type I error) 및 제2종 오류(Type II error), 모델 크기, 그리고 37초 길이의 테스트 클립에 대한 비디오 처리 시간을 사용하여 평가되었다.

주요 기여
본 논문은 네 가지 주요 기여를 기술한다:

• 체계적 비교: 단순한 정확도를 넘어 오류 유형과 계산 비용을 포함한 다각적인 성능 지표를 통해 6가지 아키텍처(기본 CNN 1종, 전이 학습 모델 4종, ViT 1종)를 종합적으로 평가하였다.
• 전처리를 위한 방법론적 프레임워크: 서로 다른 전이 학습 모델에 요구되는 구체적인 전처리 파이프라인을 상세히 설명하였다. 저자들은 일관되지 않은 전처리가 비교 연구에서 흔히 발생하는 오류의 원인임을 강조하며, 재현성을 보장하기 위한 구조화된 접근 방식을 제공한다.
• 시나리오 기반 평가: 모델 크기, 계산 요구 사항, 처리 속도를 함께 고려하여 엣지 디바이스(edge device) 또는 고용량 모니터링 시스템에 대한 적합성을 결정함으로써 실질적인 배포 관점에서의 모델 성능을 분석하였다.
• 실무 가이드라인: 경량 효율성이 필요한 시나리오와 최대 탐지 신뢰성이 필요한 시나리오를 구분하여, 해양 모니터링을 위한 모델 선택에 대한 근거 기반 권장 사항을 제시하였다.

결과
실험 결과, 모델 성능은 계산 제약 조건과 배포 조건에 따라 크게 달라지는 것으로 나타났다:

• 정확도: 비전 트랜스포머(ViT)가 가장 높은 성능을 보였으며, 훈련 및 테스트 세트 모두에서 100% 정확도에 도달하였다. 또한 가장 낮은 오류율(제1종 오류 1개 및 제2종 오류 3개)을 기록하였다.
• 효율성: 큰 모델이 더 느릴 것이라는 가정과 달리, ViT 모델은 가장 빠른 비디오 처리 시간(37초 클립에 대해 30.97초)을 보여, MobileNetV2(34.08초)와 같은 경량 모델보다도 뛰어난 성능을 보였으며, EfficientNetV2L(183.23초)보다는 현저히 빨랐다.
• 모델 크기: ViT 모델(335.2 MB)은 대부분의 CNN보다 컸으나 EfficientNetV2L(462.5 MB)보다는 작았다. MobileNetV2는 자원이 제한된 환경에 적합한 가장 컴팩트한 모델(10 MB)로 남았다.
• 수렴 (Convergence): ViT 모델은 거의 0에 가까운 손실(loss)과 AUC 1을 보이며 안정적인 수렴을 나타냈으며, 이는 테스트 데이터에 대한 완벽한 분류 능력을 의미한다.

의의 및 주장
저자들은 경량 아키텍처(예: MobileNetV2)가 계산 자원이 제한된 엣지 디바이스에 선호되지만, 계산 용량이 허용된다면 비전 트랜스포머(ViT)가 전반적으로 우수한 성능을 제공한다고 주장한다. 본 연구는 셀프 어텐션 메커니즘을 통해 전역적 문맥 관계를 포착하는 ViT의 능력이 전통적인 CNN에 비해 복잡한 해상 배경으로부터 선박을 구별하는 데 상당한 이점을 제공한다고 단언한다.

본 논문은 단일 아키텍처가 보편적으로 최적은 아니며, 선택은 구체적인 운영 맥락에 달려 있다고 결론짓는다. 그러나 중앙 집중식 국경 보호나 자율 항행과 같이 탐지 정확도와 신뢰성을 우선시하는 시스템의 경우, 트랜스포머 기반 아키텍처인 ViT가 최첨단(state-of-the-art) 솔루션을 나타낸다. 본 연구는 전이 학습에서 엄격한 전처리의 중요성을 강조하며, 실제 해양 보안 애플리케이션에 AI 기반 컴퓨터 비전 시스템을 배포하기 위한 검증된 프레임워크를 제공한다.