MARIS: Marine Open-Vocabulary Instance Segmentation with Geometric Enhancement and Semantic Alignment
이 논문은 수중 환경의 시각적 열화와 의미적 불일치 문제를 해결하기 위해 기하학적 우선순위 강화 모듈 (GPEM) 과 의미 정합 주입 메커니즘 (SAIM) 을 통합한 새로운 프레임워크를 제안하고, 이를 검증하기 위한 대규모 정밀한 수중 오픈-어휘 인스턴스 분할 벤치마크인 MARIS 를 최초로 소개합니다.
원저자:Bingyu Li, Feiyu Wang, Da Zhang, Zhiyuan Zhao, Junyu Gao, Xuelong Li
비유: 마치 초등학교 교과서만 공부한 학생이, 시험장에 **'새로운 과목'**이 나오면 당황하는 것과 같습니다.
현실: 기존 AI 는 '물고기', '산호' 같은 큰 카테고리만 알았을 뿐, '파랑앵무고기'나 '흰동가리' 같은 구체적인 종은 구별하지 못했습니다. 또한, 바다 물은 색이 바래고 흐릿해서 (안개 낀 날처럼) AI 가 물체를 보는 눈을 흐리게 만들었습니다.
2. 해결책 1: MARIS (새로운 바다 지도)
연구팀은 AI 가 더 잘 배울 수 있도록 **전 세계 최대 규모의 '바다 물체 사전 (MARIS)'**을 만들었습니다.
비유: 기존 지도에는 '산'과 '강'만 표시되어 있었는데, MARIS 는 **'구름산', '송이산', '강의 물고기가 100 여 종'**까지 모두 세세하게 적어 넣은 정밀한 등산 지도를 만든 것과 같습니다.
효과: 이제 AI 는 훈련할 때부터 158 가지의 다양한 바다 생물과 물체를 자세히 학습할 수 있게 되었습니다.
3. 해결책 2: 두 가지 마법 도구 (GPEM & SAIM)
바다는 물이 흐리고 색이 바래서 눈으로 보는 것만으로는 부족합니다. 그래서 연구팀은 AI 에게 두 가지 '보조 도구'를 달아주었습니다.
도구 1: GPEM (눈이 아닌 '형상'으로 보는 안경)
상황: 물속에서는 물고기의 색깔이 흐릿해져서 구별이 안 됩니다.
비유: 안개 낀 날에 차를 볼 때, 차의 색깔은 안 보이지만 차의 윤곽과 모양은 여전히 보입니다.
기능: 이 도구는 물체의 색깔에 의존하지 않고, 몸통 모양, 지느러미 구조 같은 '기하학적 뼈대'를 파악하도록 도와줍니다. 흐릿해도 '아, 이건 꼬리가 길고 몸이 납작하네? 그럼 이 물고기구나!'라고 추측하게 해줍니다.
도구 2: SAIM (바다 전문 번역기)
상황: AI 는 보통 육상 (땅) 에서 훈련해서, 바다 용어를 잘 모릅니다. "물속의 A"라고 하면 AI 는 "아, 그냥 A 가 있네"라고 생각할 뿐, 그 A 가 물속에서 어떤 모습인지 상상하지 못합니다.
비유: 외국인이 한국어를 배울 때, 단순히 단어 뜻만 외우는 게 아니라 **"비 오는 날의 한국 거리"**나 "겨울철의 한국 음식" 같은 **상황 설명 (프롬프트)**을 함께 배우는 것과 같습니다.
기능: 이 도구는 AI 에게 "이것은 물속에서 빛이 반사된 상태야", "이것은 탁한 물속에서 보이는 모습이야"라는 바다 특유의 설명을 추가해 줍니다. 덕분에 AI 는 물속 환경에 맞춰 단어를 해석할 수 있게 됩니다.
4. 결과: 얼마나 잘할까요?
이 두 가지 도구 (형상 파악 + 바다 전문 번역) 를 합친 MARIS 시스템은 기존 방법들보다 훨씬 잘 작동합니다.
비유: 기존 AI 가 '안개 낀 바다'에서 물체를 찾으면 실수하는 반면, MARIS 는 **등산용 안경 (형상)**을 쓰고 **바다 전문 가이드북 (설명)**을 들고 있어서, 처음 보는 물고기도 "아, 이건 저런 특징을 가진 물고구나!"라고 정확히 찾아냅니다.
성과: 이미 알고 있는 물체뿐만 아니라, 아예 처음 보는 새로운 바다 생물도 잘 찾아내며, 다른 데이터 (예: 일반 사진) 로 훈련했을 때도 바다 환경에 잘 적응했습니다.
5. 결론: 왜 이 연구가 중요할까요?
이 연구는 AI 가 바다를 더 깊이 이해하는 첫걸음입니다.
의미: 앞으로는 AI 가 바다 쓰레기를 찾거나, 멸종 위기 생물을 세거나, 잠수함이나 로봇이 바다를 안전하게 탐험하는 데 큰 도움을 줄 것입니다.
마무리: 마치 새로운 지도와 나침반을 만들어준 것과 같아서, 앞으로의 바다 탐험이 훨씬 수월해질 것입니다.
한 줄 요약:
"흐릿한 바다에서도 AI 가 물체의 '모양'과 '바다 특유의 설명'을 이용해, 처음 보는 물체까지 정확하게 찾아내는 새로운 시스템을 개발했습니다."
1. 연구 배경 및 문제 정의 (Problem)
기존의 수중 인스턴스 분할 (Instance Segmentation) 연구는 다음과 같은 심각한 한계에 직면해 있었습니다.
닫힌 어휘 (Close-Vocabulary) 의 제약: 기존 모델들은 훈련 시 정의된 제한된 클래스만 인식할 수 있어, 새로운 해양 생물이나 물체를 인식하는 능력이 부족했습니다.
데이터의 부족 및 세분화 부재: 기존 수중 데이터셋 (UIIS10K, USIS10K 등) 은 20 개 미만의 대략적인 카테고리 (예: '물고기', '식물') 로만 구성되어 있어, 오픈-보카불러리 (Open-Vocabulary, OV) 학습에 필요한 세밀한 (Fine-grained) 레이블이 부족했습니다.
수중 환경의 시각적 열화: 수중 이미지는 색감 감쇠 (color attenuation), 낮은 대비, 빛의 산란 등으로 인해 객체의 외형적 특징이 왜곡되거나 사라져, 자연 이미지에서 훈련된 OV 모델의 성능이 급격히 저하됩니다.
시맨틱 불일치 (Semantic Misalignment): 기존 시각 - 언어 모델 (VLM) 은 지상 (Terrestrial) 데이터로 훈련되어 수중 환경 특유의 의미론적 맥락 (예: 수심, 탁도, 조류) 을 이해하지 못하며, 해양 생물 분류에 대한 언어적 사전 지식이 부족합니다.
2. 제안 방법론 (Methodology)
이 논문은 위 문제들을 해결하기 위해 **MARIS (Marine Open-Vocabulary Instance Segmentation)**라는 새로운 벤치마크와 이를 위한 통합 프레임워크를 제안합니다.
A. MARIS 벤치마크
규모 및 세분화: 16,000 개 이상의 수중 이미지와 9 개의 상위 카테고리, 158 개의 세밀한 하위 카테고리를 포함하는 대규모 데이터셋입니다.
데이터 구성: 훈련 세트 (43 개 고유 클래스), 검증 세트 (74 개 고유 클래스), 그리고 두 세트에 공통된 41 개 클래스로 구성되어 In-Domain 과 Cross-Domain 평가를 가능하게 합니다.
특징: 기존 데이터셋의 '물고기'와 같은 포괄적 레이블을 '블루 파라트피시', '아나모프스' 등 종 (Species) 단위로 세분화하여 OV 학습의 기반을 마련했습니다.
B. 제안 프레임워크 (Unified Framework)
수중 환경의 시각적 열화와 시맨틱 불일치를 동시에 해결하기 위해 두 가지 보완적 모듈을 도입했습니다.
기하학적 사전 지식 강화 모듈 (GPEM: Geometric Prior Enhancement Module)
목적: 시각적 열화 (색상 손실 등) 가 발생하더라도 안정적으로 유지되는 객체의 구조적/기하학적 특징을 활용합니다.
**작동 원리:**冻结된 (Frozen) CLIP 비전 인코더에서 추출된 시각 특징과, 깊이 (Depth) 추정 모델에서 추출된 기하학적 특징을 융합합니다.
기술: 멀티 스케일 가변 어텐션 (Multi-scale Deformable Attention) 을 사용하여 국소적 세부 사항과 장기적 의존성을 강화하며, 적응적 가중치 (Adaptive Weight) 를 통해 시각 및 기하학적 특징을 융합하여 객체의 일관성을 유지합니다.
수중 인식 프롬프트: 환경 (산호초, 난파선), 매체/가시성 (탁도), 조명 (인공광, 생체발광), 수심, 상호작용 등 5 가지 차원의 수중 특화 프롬프트를 텍스트 인코더에 주입합니다.
적응형 템플릿 선택: 모든 프롬프트가 동등하게 유효하지 않으므로, 시각 특징과 텍스트 템플릿 간의 유사도를 계산하여 가장 신뢰할 수 있는 상위 N 개 템플릿을 동적으로 선택 (Top-N Selection) 합니다.
글로벌 사전 지식 주입: 깊이 토큰 (Depth Token) 을 활용하여 카테고리 표현을 풍부하게 만듭니다.
3. 주요 기여 (Key Contributions)
새로운 벤치마크 (MARIS): 수중 오픈-보카불러리 인스턴스 분할을 위한 첫 번째 대규모 세밀한 (Fine-grained) 데이터셋을 공개했습니다.
혁신적인 프레임워크: 수중 환경의 시각적 열화를 극복하기 위한 GPEM과 언어적 불일치를 해결하기 위한 SAIM을 제안하여, 두 모듈이 상호 보완적으로 작동하도록 설계했습니다.
종합적 평가: MARIS 데이터셋을 기반으로 In-Domain 및 Cross-Domain (COCO 훈련 -> MARIS 평가) 설정에서 SOTA(State-of-the-Art) 성능을 입증했습니다.
4. 실험 결과 (Results)
In-Domain 성능: ConvNeXt-B 백본을 사용할 때, 기존 최강 베이스라인 (MAFT+, FCCLIP 등) 대비 Intersection 클래스에서 52.68 mAP, Open-Vocabulary 클래스에서 39.77 mAP를 기록하여 4 포인트 이상 향상되었습니다.
Cross-Domain 성능: 지상 데이터 (COCO) 로 훈련하여 수중 데이터로 평가하는 설정에서도 기존 방법들보다 월등히 높은 성능을 보였습니다 (ConvNeXt-L 기준 46.18 mAP). 이는 제안된 프레임워크가 도메인 간 격차 (Domain Gap) 를 효과적으로 줄여준다는 것을 의미합니다.
Ablation Study: GPEM 과 SAIM 을 모두 적용했을 때 가장 높은 성능을 보였으며, 특히 SAIM 의 적응형 템플릿 선택 전략이 OV 클래스 인식 성능 향상에 결정적인 역할을 함을 확인했습니다.
효율성: 기존 SOTA 모델들에 비해 학습 가능한 파라미터 수와 계산량 (FLOPS) 이 현저히 낮으면서도 더 높은 정확도를 달성했습니다.
5. 의의 및 결론 (Significance)
이 연구는 해양 생태계 모니터링, 자율 수중 차량 (AUV), 환경 보전 등 다양한 분야에서 새로운 해양 생물을 자동으로 식별하고 분할할 수 있는 기술적 기반을 마련했습니다.
데이터의 질적 도약: 단순한 '물고기' 분류를 넘어 종 (Species) 단위의 세밀한 인식 체계를 확립했습니다.
환경 적응성: 수중 환경의 고유한 열화 조건 (색상 손실, 낮은 가시성) 에서도 기하학적 구조와 언어적 맥락을 결합하여 robust 한 인식을 가능하게 했습니다.
미래 연구의 방향: 오픈-보카불러 학습을 수중 분야에 성공적으로 적용한 사례로서, 향후 더 다양한 해양 환경과 희귀 종을 다루는 연구의 표준 벤치마크로 자리 잡을 것으로 기대됩니다.
결론적으로, MARIS 는 수중 컴퓨터 비전 분야에서 데이터의 세분화와 모델의 환경 적응성이라는 두 가지 핵심 과제를 동시에 해결한 획기적인 연구입니다.