4th Workshop on Maritime Computer Vision (MaCVi): Challenge Overview
이 논문은 CVPR 2026 의 일환으로 개최된 제 4 회 해상 컴퓨터 비전 (MaCVi) 워크숍의 5 개 벤치마크 챌린지 설정, 평가 프로토콜, 데이터셋, 트랙별 결과 및 상위 팀의 기술 보고서를 요약하여 예측 정확도와 임베디드 실시간 실현 가능성에 중점을 둔 연구 성과를 제시합니다.
원저자:Benjamin Kiefer, Jan Lukas Augustin, Jon Muhovič, Mingi Jeong, Arnold Wiliem, Janez Pers, Matej Kristan, Alberto Quattrini Li, Matija Teršek, Josip Šarić, Arpita Vats, Dominik Hildebrand, Rafia RahimBenjamin Kiefer, Jan Lukas Augustin, Jon Muhovič, Mingi Jeong, Arnold Wiliem, Janez Pers, Matej Kristan, Alberto Quattrini Li, Matija Teršek, Josip Šarić, Arpita Vats, Dominik Hildebrand, Rafia Rahim, Mahmut Karaaslan, Arpit Vaishya, Steve Xie, Ersin Kaya, Akib Mashrur, Tze-Hsiang Tang, Chun-Ming Tsai, Jun-Wei Hsieh, Ming-Ching Chang, Wonwoo Jo, Doyeon Lee, Yusi Cao, Lingling Li, Vinayak Nageli, Arshad Jamal, Gorthi Rama Krishna Sai Subrahmanyam, Jemo Maeng, Seongju Lee, Kyoobin Lee, Xu Liu, LiCheng Jiao, Jannik Sheikh, Martin Weinmann, Ivan Martinović, Jose Mateus Raitz Persch, Rahul Harsha Cheppally, Mehmet E. Belviranli, Dimitris Gahtidis, Hyewon Chun, Sangmun Lee, Philipp Gorczak, Hansol Kim, Jeeyeon Jeon, Borja Carrillo Perez, Jiahui Wang, Sangmin Park, Andreas Michel, Jannick Kuester, Bettina Felten, Wolfgang Gross, Yuan Feng, Justin Davis
원저자: Benjamin Kiefer, Jan Lukas Augustin, Jon Muhovič, Mingi Jeong, Arnold Wiliem, Janez Pers, Matej Kristan, Alberto Quattrini Li, Matija Teršek, Josip Šarić, Arpita Vats, Dominik Hildebrand, Rafia Rahim, Mahmut Karaaslan, Arpit Vaishya, Steve Xie, Ersin Kaya, Akib Mashrur, Tze-Hsiang Tang, Chun-Ming Tsai, Jun-Wei Hsieh, Ming-Ching Chang, Wonwoo Jo, Doyeon Lee, Yusi Cao, Lingling Li, Vinayak Nageli, Arshad Jamal, Gorthi Rama Krishna Sai Subrahmanyam, Jemo Maeng, Seongju Lee, Kyoobin Lee, Xu Liu, LiCheng Jiao, Jannik Sheikh, Martin Weinmann, Ivan Martinović, Jose Mateus Raitz Persch, Rahul Harsha Cheppally, Mehmet E. Belviranli, Dimitris Gahtidis, Hyewon Chun, Sangmun Lee, Philipp Gorczak, Hansol Kim, Jeeyeon Jeon, Borja Carrillo Perez, Jiahui Wang, Sangmin Park, Andreas Michel, Jannick Kuester, Bettina Felten, Wolfgang Gross, Yuan Feng, Justin Davis
이 논문은 2026 년 CVPR(컴퓨터 비전 학회)에서 열린 '마리타임 컴퓨터 비전 (MaCVi)' 워크숍의 결과를 정리한 것입니다. 쉽게 말해, **"바다 위를 떠다니는 무인 선박 (USV) 이 눈과 뇌를 갖게 하려는 기술 대회"**의 결과 보고서입니다.
바다는 빛 반사, 안개, 밤, 작은 물체 등 컴퓨터가 보기에 매우 까다로운 환경입니다. 이 대회는 다양한 분야의 연구자들이 모여 "어떻게 하면 배가 바다를 더 잘 보고, 위험을 피할 수 있을까?"를 경쟁했습니다.
이 대회는 총 **5 개의 미션 **(챌린지)으로 나뉘어 진행되었습니다. 하나씩 쉬운 비유로 설명해 드릴게요.
1. 미션 1: "지도와 눈의 대결" (Vision-to-Chart)
상황: 배가 바다를 항해할 때, 눈앞에 보이는 '부표 (등대 같은 것)'가 지도 (해상도) 에 있는 어떤 표지인지 알아맞히는 게임입니다.
어려움: 햇빛 반사, 물결, 먼 거리 때문에 부표가 왜곡되어 보일 수 있습니다.
승리의 비결: 우승팀은 단순히 "저게 부표야!"라고 외치는 게 아니라, **"배가 기울어진 각도 **(IMU)를 계산해서 지도와 실제 풍경을 정확히 겹쳐보는 지능적인 방법을 썼습니다. 마치 내비게이션이 지도를 보며 "지금 오른쪽 저 불빛이 A 지점의 등대야"라고 정확히 알려주는 것과 같습니다.
2. 미션 2: "어둠 속의 열감지기" (Thermal Object Detection)
상황: 밤이나 안개 낀 날에는 일반 카메라 (RGB) 가 안 보입니다. 이때는 열화상 카메라를 써야 합니다. 배와 장애물이 뜨거운 열을 내뿜는 것을 찾는 미션입니다.
어려움: 열화상 이미지에는 작은 배나 부표가 매우 작고 흐릿하게 나옵니다.
승리의 비결:
여러 전문가 팀업: 한 명의 천재보다 **여러 개의 AI 모델을 합쳐서 **(Ensemble) 의견을 모은 팀이 이겼습니다. 마치 여러 명의 탐정이 각자 다른 단서를 모아 범인을 찾는 것과 같습니다.
데이터 증식: 라벨이 붙지 않은 데이터도 활용해서 AI 를 더 훈련시켰습니다.
작은 것 찾기: 32x32 픽셀보다 작은 아주 작은 물체를 잡는 게 핵심이었습니다.
3. 미션 3: "바다의 모든 것을 구분하기" (Panoptic Segmentation)
상황: 화면에 보이는 모든 것을 '물', '하늘', '배', '사람', '부표' 등으로 색칠하듯 구분하는 미션입니다.
어려움: 물과 하늘의 경계가 흐릿하고, 작은 부표가 물결에 가려지기 쉽습니다.
승리의 비결: Mask2Former라는 최신 AI 구조에 DINOv3(이미지 이해 능력이 뛰어난 거대 모델)을 결합한 팀이 1 위를 차지했습니다. 이는 마치 고급 안경을 쓴 사람이 바다 풍경을 보고 "저건 물, 저건 배, 저건 작은 부표"라고 하나하나 정확히 식별하는 능력을 키운 것입니다.
4. 미션 4: "작은 배에 실을 수 있는 AI" (Embedded Segmentation)
상황: 거대한 서버가 아닌, 작은 배에 탑재된 저전력 칩에서 실시간으로 작동해야 합니다. 속도가 느리면 배가 위험에 처할 수 있습니다.
어려움: 성능 (정확도) 과 속도 (실시간성) 사이의 균형이 매우 중요합니다.
승리의 비결: DSOS-Net이라는 경량화된 모델을 개발한 팀이 이겼습니다. 이는 마치 고성능 스포츠카 엔진을 소형 경차에 맞춰 개조해서, 연비는 좋으면서도 빠르게 달리는 것과 같습니다.
5. 미션 5: "다양한 감각의 합체" (Multi-modal Segmentation)
상황: **가시광선 **(RGB) 세 가지 센서 데이터를 동시에 받아서 밤낮 상관없이 바다를 이해하는 미션입니다.
어려움: 밤에는 가시광선이 무용지물이 됩니다. 이때 열화상과 라이다가 어떻게 도와줄지 알아야 합니다.
승리의 비결: GatedMemorySAM이라는 모델이 이겼습니다. 이 모델은 **"어떤 센서가 지금 가장 잘 보이는지 판단해서 **(게이트)하는 지능을 가졌습니다. 마치 어둠이 오면 안경을 벗고 열감지 안경을 끼는 것처럼 상황에 맞춰 감각을 전환하는 것과 같습니다.
🏆 전체적인 결론 및 교훈
이번 대회를 통해 발견한 중요한 점들은 다음과 같습니다:
**혼자보다 함께 **(Ensemble) 하나의 완벽한 AI 모델보다는, 여러 모델을 합쳐서 의견을 모으는 방식이 가장 강력했습니다.
작은 것의 중요성: 바다에서는 작은 부표나 배를 놓치면 큰 사고로 이어집니다. 작은 물체를 잡는 능력이 성패를 가릅니다.
현실적인 제약: 이론적으로 완벽한 모델도, 작은 배에 실을 수 없으면 소용없습니다. 속도와 전력 소모를 고려한 설계가 필수적입니다.
지식 전수: 거대하게 훈련된 AI (DINOv3, SAM 등) 의 지식을 바다라는 특수한 환경에 적용하는 것이 핵심 열쇠였습니다.
이러한 기술들이 발전하면, 앞으로 인간이 조종하지 않아도 바다를 안전하게 항해하는 무인 선박이 훨씬 더 많아질 것입니다. 마치 스마트폰이 우리 생활을 바꾼 것처럼, 이 AI 기술이 바다의 안전을 혁신할 것으로 기대됩니다.
1. 문제 정의 (Problem Definition)
해양 환경은 역동적인 조명, 반사, 복잡한 배경 (clutter) 등으로 인해 컴퓨터 비전 기술에 독특한 도전을 제기합니다. 무인 수상 차량 (USV) 과 같은 자율 시스템은 이러한 복잡한 환경을 항해하고, 장애물을 감지하며, 해석하기 위해 견고한 비전 알고리즘이 필요합니다. MaCVi 2026 은 다음과 같은 구체적인 문제들을 해결하기 위해 설계되었습니다:
다양한 조도 조건: 낮과 밤, 안개, 비, 강한 반사 등 극단적인 환경에서의 인식.
소형 객체 감지: 해상 표지 (부표) 나 소형 선박과 같이 픽셀 크기가 매우 작은 객체의 정확한 탐지.
실시간 임베디드 제약: 제한된 전력 및 컴퓨팅 자원을 가진 소형 USV 에 배포 가능한 모델의 필요성.
멀티모달 융합: 가시광선 (RGB), 열화상 (Thermal), LiDAR 등 다양한 센서 데이터의 통합 및 결손 상황에서의 견고성.
2. 주요 방법론 및 챌린지 트랙 (Methodology & Tracks)
MaCVi 2026 은 총 5 개의 벤치마크 챌린지로 구성되었으며, 각 트랙마다 고유한 접근 방식과 기술적 트렌드가 나타났습니다.
3.1. 비전 - 투 - 차트 데이터 연관 (Vision-to-Chart Data Association)
목표: 단일 RGB 이미지에서 가시적인 해상 표지 (부표) 를 탐지하고, 이를 해도의 마커와 정확하게 매칭하는 것.
주요 방법론:
기하학적 사전 지식 (Geometric Priors) 활용: 상위권 팀들은 해도의 정보를 이미지 공간으로 투영하거나, IMU(관성측정장치) 데이터를 활용하여 쿼리 (query) 를 보정하는 방식을 사용했습니다.
Skyline-aware ROI: HD Korea Shipbuilding 팀의 1 등 방법은 천선 (skyline) 을 추정하여 선박의 롤 (roll) 을 보정하고, 학습된 거리/방위 보정 곡선을 통해 차트 쿼리를 이미지 ROI 로 투영하는 2 단계 파이프라인을 사용했습니다.
DETR 변형: QueryMLP 를 통한 학습된 세계 - 이미지 투영이나 동적 차트 유도 쿼리 (Dynamic chart-derived queries) 를 DETR 아키텍처에 통합하여 기하학적 추론 부담을 줄였습니다.
3.2. 열화상 객체 감지 (Thermal Object Detection)
목표: 저조도 및 야간 조건에서 열화상 이미지를 이용한 선박 및 항해 표지 감지.
주요 방법론:
앙상블 (Ensemble) 지배: 상위 3 개 팀 모두 다중 모델 앙상블 (6~11 개 모델) 과 가중 박스 퓨전 (WBF) 을 핵심 전략으로 사용했습니다.
반지도 학습 (Semi-supervised Learning): 1 등 팀은 라벨이 없는 테스트 이미지를 가짜 라벨 (pseudo-label) 로 변환하여 MixPL(teacher-student) 학습을 적용했습니다.
도메인 특화 전처리: CLAHE(제한적 적응 히스토그램 평활화) 를 사용하여 열화상의 대비를 개선하고, 풍력 터빈 라벨의 불일치를 수정하는 등 데이터 품질 개선이 큰 성능 향상을 가져왔습니다.
고해상도 추론: 소형 객체 (32x32 픽셀 미만) 감지를 위해 1600x1600 이상의 고해상도 입력을 사용한 모델에 높은 가중치를 부여했습니다.
3.3. LaRS 팬옵틱 분할 (LaRS Panoptic Segmentation)
목표: USV 시점의 장면을 'stuff'(물, 하늘, 정적 장애물) 와 'thing'(동적 장애물: 배, 부표, 수영자 등) 으로 분할.
주요 방법론:
Mask-Transformer 아키텍처: Mask2Former 와 MaskDINO 기반의 메타 아키텍처가 주류를 이루었습니다.
대규모 자기지도 학습 백본: DINOv3 와 같은 대규모 자기지도 학습 (Self-supervised) 백본을 사용하여 비가, 안개, 반사 등 어려운 조건에서의 견고성을 높였습니다.
소형 객체 처리: MaskDINO 기반 모델은 작은 객체에서 oversegmentation 과 마스크 드리프트 (mask drifting) 문제를 겪었으며, 이를 해결하기 위해 제안된 PanSR(외부 SOTA) 이 작은 객체 감지에서 우위를 보였습니다.
3.4. 임베디드 시맨틱 분할 (Embedded Semantic Segmentation)
목표: 저전력 임베디드 장치 (Luxonis OAK4) 에서 실시간 (30 FPS 이상) 으로 작동하는 해상 장애물 분할.
주요 방법론:
경량화 및 양자화: PIDNet-S 와 같은 경량 아키텍처는 INT8 양자화에 유리하도록 설계되었습니다.
DINOv3 기반 인코더: DSOS-Net 은 DINOv3 로 사전 학습된 ConvNeXt 백본을 사용하여 강력한 특징 표현을 얻었으며, RSOS-Net 스타일의 경량 디코더와 결합하여 정확도와 속도의 균형을 이뤘습니다.
Copy-Paste 증강: PIDNet-S 팀은 외부 해양 데이터셋에서 장애물을 잘라내어 (Copy-Paste) 학습 데이터에 추가함으로써 희귀하고 작은 장애물의 감지율을 높였습니다.
3.5. 멀티모달 시맨틱 분할 (Multimodal Semantic Segmentation)
목표: RGB, 열화상, LiDAR 가 동기화된 MULTIAQUA 데이터셋을 이용한 분할. 단, 일부 센서가 결손되거나 열화되어도 견고해야 함.
주요 방법론:
GatedMemorySAM: 1 등 팀은 SAM2 의 메모리 어텐션을 활용하여 각 모달리티를 '프레임'으로 처리하고, Soft MoE LoRA 와 품질 인식 모달리티 스코어링을 통해 센서 신뢰도에 따라 가중치를 동적으로 조정하는 방식을 도입했습니다.
야간 시뮬레이션: 훈련 데이터는 낮, 테스트는 밤인 도메인 격차를 해결하기 위해 밝기 감소, 대비 감소, 노이즈 추가 등 광범위한 야간 시뮬레이션 증강을 적용했습니다.
3. 주요 결과 (Key Results)
Vision-to-Chart: 1 등 방법 (Skyline-aware ROI-calibrated association) 은 오리지널 베이스라인 대비 F1 점수 (0.7926 vs 0.3029) 와 mIoU(0.7365 vs 0.3636) 에서 압도적인 개선을 보였습니다. 기하학적 보정이 핵심 성공 요인입니다.
Thermal Detection: 앙상블과 반지도 학습을 결합한 1 등 방법은 AP 0.4868 을 기록하여 베이스라인 (0.3137) 을 크게 상회했습니다. 소형 객체 감지가 여전히 주요 병목이지만, 고해상도 입력과 CLAHE 가 이를 완화했습니다.
LaRS Panoptic: 1 등 방법 (M2F-DINOv3) 은 PQ 53.5 를 기록하여 베이스라인 (41.4) 을 능가했으나, 외부 SOTA 인 PanSR(57.3) 에는 미치지 못했습니다. 'thing' 클래스 (동적 장애물) 감지가 여전히 어려운 과제로 남았습니다.
Embedded Segmentation: DSOS-Net 이 Q 점수 (61.9) 와 F1(66.0) 에서 1 위를 차지하며, 임베디드 환경에서도 고품질 분할이 가능함을 입증했습니다.
Multimodal: GatedMemorySAM 이 M 점수 82.1 을 기록하며 멀티모달 융합의 견고성을 보여주었으나, 야간 조건에서의 성능 저하는 여전히 해결 과제입니다.
4. 주요 기여 및 의의 (Contributions & Significance)
표준화된 벤치마크 및 데이터셋 제공: MaCVi 2026 은 다양한 해양 시나리오 (야간, 반사, 소형 객체, 임베디드 배포) 를 포괄하는 5 개의 벤치마크와 데이터셋을 제공하여 연구 커뮤니티의 비교 평가를 가능하게 했습니다.
실용적인 기술 트렌드 제시:
기하학적/물리적 사전 지식의 중요성: 단순한 딥러닝 모델보다 해도의 기하학적 정보나 IMU 데이터를 결합한 접근 방식이 특정 작업 (비전 - 투 - 차트) 에서 훨씬 효과적이었습니다.
앙상블과 반지도 학습의 효과: 데이터가 제한된 환경 (특히 열화상) 에서 앙상블과 가짜 라벨 학습이 성능 향상의 핵심 동인이었습니다.
임베디드 최적화: 양자화 친화적 아키텍처와 경량 백본의 중요성이 부각되었습니다.
도메인 특화 솔루션의 필요성 강조: 일반적인 컴퓨터 비전 모델보다는 해양 환경의 특수성 (반사, 소형 객체, 조명 변화) 에 맞춘 데이터 증강 (Copy-Paste, CLAHE, 야간 시뮬레이션) 과 라벨 정제 (Annotation Refinement) 가 모델 성능에 결정적인 영향을 미쳤습니다.
미래 방향성: 이번 워크숍은 단일 작업에 특화된 모델에서 벗어나, 다양한 센서와 배포 제약 조건을 모두 고려한 범용적 (Generalist) 해양 인식 시스템으로의 전환 필요성을 시사했습니다.
이 보고서는 해양 컴퓨터 비전 분야의 최신 기술 동향을 파악하고, 향후 자율 항해 시스템 개발을 위한 중요한 기술적 통찰력을 제공합니다.