WaterVideoQA: ASV-Centric Perception and Rule-Compliant Reasoning via Multi-Modal Agents

이 논문은 자율 수면 선박 (ASV) 의 안전하고 정확한 항해를 위해 고안된 대규모 비디오 질문 답변 벤치마크 'WaterVideoQA'와 규제 준수 및 해석 가능한 의사결정을 가능하게 하는 신경-심볼릭 다중 에이전트 시스템 'NaviMind'를 제안하여, 수로 환경에서의 지능적이고 신뢰할 수 있는 상호작용의 새로운 패러다임을 제시합니다.

핵심

이 논문은 **"바다를 항해하는 자율 선박 (ASV) 이 단순히 물체를 '보는' 것을 넘어, 바다의 규칙을 이해하고 '생각'하여 안전하게 항해할 수 있게 만드는 기술"**을 소개합니다.

기존 기술이 카메라로 물체를 인식하는 '수동적인 눈'에 그쳤다면, 이 연구는 바다의 흐름과 규칙을 이해하는 '능동적인 두뇌'를 만들어낸 것입니다.

핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제점: "눈만 큰 바보" 같은 선박

지금까지의 자율 선박 기술은 마치 눈만 크고 머리가 없는 사람과 같았습니다.

• 기존 기술: "저기 배가 있네", "저기 바위가 있네"라고 인식할 뿐입니다.
• 한계: "저 배가 좁은 수로로 들어오는데, 내 배가 길을 비켜줘야 하는가?" 같은 복잡한 상황을 판단하지 못합니다. 단순히 물체를 보는 것만으로는 충돌을 피할 수 없습니다.

2. 해결책 1: '워터비디오 QA (WaterVideoQA)'라는 거대한 교재

연구진은 먼저 이 '바보 같은 선박'에게 배울 수 있는 최고급 교재를 만들었습니다.

• 비유: 바다 항해사들이 합격하기 위해 보는 가장 방대한 기출문제집입니다.
• 내용: 강, 호수, 바다, 항구 등 다양한 물길의 영상 3,000 개가 넘고, "앞에 배가 오는데 길을 비켜야 할까?", "이때는 어떤 규칙이 적용될까?" 같은 질문과 정답 3,600 개가 담겨 있습니다.
• 특징: 단순히 "배가 보인다"는 수준이 아니라, "왜 비켜야 하는지", "날씨가 나빠지면 어떻게 해야 하는지"까지 5 단계의 난이도로 구성되어 있습니다.

3. 해결책 2: '나비마인드 (NaviMind)'라는 지능형 팀

이제 이 교재를 바탕으로 선박에 탑재할 두뇌 시스템을 개발했습니다. 이 시스템은 혼자서 모든 일을 하는 것이 아니라, 각자 역할이 명확한 5 명의 전문가 팀이 협력하는 형태입니다.

• 비유: **선박용 '지능형 의사결정 팀'**입니다.
  1. 루터 (Router): "이 질문이 쉬운가, 어려운가?"를 판단합니다. "배가 보이나요?" 같은 쉬운 질문은 신속한 시력 검사팀에 넘기고, "충돌 위험이 있나요?" 같은 복잡한 질문은 고급 분석팀으로 보냅니다. (시간과 에너지를 아끼는 역할)
  2. 캡셔너 (Captioner): 영상을 보고 "지금 배가 좁은 수로에 있고, 왼쪽에 다른 배가 정박해 있다"고 상황을 설명합니다.
  3. 리저너 (Reasoner): 가장 중요한 두뇌입니다. 시각 정보와 **해상 안전 규칙 (COLREGs 등)**을 결합해 "이제 오른쪽으로 방향을 틀어야 한다"고 결론을 내립니다.
  4. 그레이더 (Grader): 리저너가 내린 결론을 다시 한번 점검합니다. "혹시 규칙을 잘못 해석했나? 환각 (Hallucination) 은 없나?"를 체크합니다.
  5. 서머라이저 (Summary): 최종적으로 선장에게 "오른쪽으로 10 도 틀어라"라고 명확한 명령을 내립니다.

4. 핵심 기술: "규칙에 기반한 사고"

이 시스템의 가장 큰 특징은 환각 (Hallucination) 을 막는 것입니다.

• 기존 AI: "배가 보이니까 피하자"라고 막연하게 말하다가, 실제로는 규칙상 내가 피해야 할 수도, 상대가 피해야 할 수도 있는 상황을 혼동할 수 있습니다.
• 나비마인드: "규칙집 (Knowledge Base) 을 열어보니, 이 상황에서는 내가 오른쪽으로 피해야 한다"고 규칙을 근거로 답을 도출합니다. 마치 선박용 변호사가 법전을 펼쳐가며 판결을 내리는 것과 같습니다.

5. 성과: 왜 이 기술이 중요한가?

• 안전: 단순히 물체를 피하는 것을 넘어, 법규를 준수하며 사고를 예방합니다.
• 신뢰: "왜 그렇게 했는지" 이유를 설명할 수 있어 (예: "적색 등불이 보이기 때문에 우회전해야 합니다"), 인간이 시스템을 신뢰할 수 있습니다.
• 범용성: 바다뿐만 아니라 강, 운하, 심지어는 자동차 운전 (도로) 상황에서도 똑같은 논리로 작동할 수 있음을 증명했습니다.

요약

이 논문은 **"자율 선박이 단순히 카메라로 보는 것을 멈추고, 바다의 규칙을 읽고, 논리적으로 사고하여 안전한 항해를 할 수 있게 만든 첫 번째 시도"**입니다. 마치 눈만 뜨고 있던 선박에 '규칙을 아는 지혜로운 선장'을 입힌 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

자율 수면상선 (ASV) 의 항해 기술은 객체 탐지 및 분할과 같은 수동적 지각 (Passive Perception) 분야에서 큰 진전을 이루었으나, 복잡한 수로 환경에서의 지식 기반 상호작용적 인지 (Knowledge-driven Interactive Cognition) 부재에 의해 근본적으로 제한받고 있습니다.

• 현재의 한계: 기존 시스템은 정적인 패턴 매칭에 의존하여, 조류, 조수, 예측 불가능한 장애물 이동 등 역동적인 수중 환경의 인과 관계와 항해 규칙 (COLREGs 등) 을 이해하지 못합니다.
• 필요성: 단순한 "전방에 선박이 있음"을 인식하는 것을 넘어, "좁은 수로에서 규칙에 따라 양보해야 함"과 같은 고수준의 추론과 해석 가능한 의사결정이 안전에 필수적입니다.
• 데이터 부족: 기존 데이터셋은 단일 프레임 (정지 이미지) 에 국한되거나 내수/해상 환경 중 하나에만 치중하여, 시간적 맥락과 다양한 수로 환경 (강, 호수, 운하, 항구, 해상 등) 을 아우르는 종합적인 VideoQA 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

이 논문은 두 가지 핵심 요소를 제안합니다: WaterVideoQA 데이터셋과 NaviMind 시스템.

A. WaterVideoQA 데이터셋

• 개요: 모든 수로 환경 (River, Lake, Canal, Moat, Harbor, Sea) 을 포괄하는 최초의 대규모 비디오 질문응답 (VideoQA) 벤치마크입니다.
• 규모: 3,029 개의 비디오 클립과 3,673 개의 질문 - 답변 쌍 (QA Pairs) 으로 구성됩니다.
• 5 단계 인지 계층 구조: 모델의 인지 능력을 평가하기 위해 다음 5 가지 계층으로 질문을 분류합니다.
  1. 지각 (Perception): 객체 식별, 상태 확인.
  2. 장면 이해 (Scene Understanding): 수로 구조, 교차로 유무 등.
  3. 행동/상호작용 (Action/Interaction): 양보 필요성, 충돌 회피 행동.
  4. 인과 및 예측 (Causal & Predictive): 충돌 위험 예측, 미래 상태 추론.
  5. 지식 기반 추론 (Knowledge-Driven): 항해 규칙 (COLREGs) 적용, 위치 판별.
• 주관성 제거: 7 명의 박사 과정 연구원과 외부 전문가가 참여하는 인간 - 기계 협업 주석 과정과 3 단계 검증 (수동 작성/AI 보조, 문법 정제, 전문가 검증) 을 통해 데이터의 객관성과 정확성을 보장했습니다.

B. NaviMind 시스템 (Multi-Agent Neuro-Symbolic System)

ASV 가 단순 패턴 매칭을 넘어 규정에 부합하는 해석 가능한 의사결정을 내릴 수 있도록 설계된 다중 에이전트 신경 - 심볼릭 시스템입니다.

1. 적응형 의미 라우팅 (Adaptive Semantic Routing, ASR):
   • 사용자의 질문 의도를 분석하여 계산 자원을 동적으로 할당합니다.
   • 단순 지각 질문은 경량 'Fast Vision' 경로를, 지식 기반 질문은 'Fast RAG' 경로를, 복잡한 추론 질문은 전체 'Complex Reasoning' 경로를 선택하여 지연 시간을 최소화합니다.
2. 상황 인식 계층적 추론 (Situation-Aware Hierarchical Reasoning, SAHR):
   • 적응형 시간 표준화 (ATS): 가변 길이의 비디오 스트림을 정규화된 핵심 프레임으로 변환합니다.
   • 지식 증강 생성 (RAG): 실시간 시각적 맥락 (전체 장면 캡션) 과 사용자 질문을 결합하여 전문 항해 규정 (COLREGs 등) 데이터베이스에서 관련 규칙을 검색합니다.
   • 계층적 추론: 시각적 증거와 검색된 규칙을 결합하여 인과적 추론 (Chain-of-Thought) 을 수행합니다.
3. 자율 자기 반성 검증 (Autonomous Self-Reflective Verification):
   • Grader 에이전트: 생성된 답변이 검색된 규정과 논리적으로 일치하는지 점수화하여 평가합니다.
   • 할루시네이션 방지: 점수가 임계값 미만일 경우, 검색 범위를 확장하고 답변을 재생성하는 반복 루프를 통해 오류를 수정합니다.

3. 주요 기여 (Key Contributions)

1. WaterVideoQA 데이터셋: 6 가지 수로 환경과 5 단계 인지 계층을 포함하는 최초의 종합적인 VideoQA 벤치마크를 구축했습니다.
2. NaviMind 아키텍처: 시각적 지각과 전문 항해 규칙을 통합한 최초의 다중 에이전트 신경 - 심볼릭 시스템을 제안했습니다.
3. 새로운 추론 메커니즘: 적응형 의미 라우팅 (ASR) 과 상황 인식 계층적 추론 (SAHR) 을 통해 효율성과 규칙 준수성을 동시에 달성했습니다.
4. 할루시네이션 완화: 자율 자기 반성 검증 메커니즘을 통해 안전 필수적인 항해 환경에서의 신뢰할 수 있는 출력을 보장했습니다.

4. 실험 결과 (Results)

• 성능: WaterVideoQA 에서 NaviMind 는 기존 MLLM (InternVL3, Qwen-VL 등) 과 다른 Multi-Agent 시스템 (OmAgent, VideoAgent) 을 모든 지표 (ROUGE, BLEU, CIDEr, GPT-Score) 에서 압도적으로 능가했습니다. 특히 14B 파라미터 규모의 Reasoner 에이전트를 사용한 NaviMind 는 GPT-Score 0.602 를 기록하여 SOTA 를 달성했습니다.
• 효율성: ASR 메커니즘 덕분에 복잡한 추론이 필요한 경우에만 고비용 계산을 수행하여, 단순 질문에서는 2 배 이상 빠른 추론 속도를 보여주었습니다 (예: 9.74 초 vs 경쟁사 19.78 초).
• 일반화 능력: 해상 데이터셋뿐만 아니라 도로 자율주행 벤치마크인 LingoQA에서도 제로샷 (Zero-shot) 및 파인튜닝 후 우수한 성능을 보여주어, 제안된 메커니즘이 다양한 이동체 환경에 적용 가능함을 입증했습니다.
• 정성적 분석: 충돌 회피 시나리오에서 NaviMind 는 COLREGs 규칙 14 번을 명시적으로 인용하여 "우현으로 회전"이라는 구체적인 행동을 제안한 반면, 기존 모델은 모호한 답변을 내놓았습니다.

5. 의의 및 의의 (Significance)

• 패러다임 전환: 자율 수면상선의 인지 능력을 '수동적 지각'에서 '능동적, 규칙 준수적 추론'으로 전환하는 새로운 패러다임을 제시했습니다.
• 신뢰성 확보: 할루시네이션을 방지하고 전문 항해 규칙에 기반한 해석 가능한 의사결정을 제공함으로써, 고위험 해양 환경에서의 ASV 상용화 가능성을 높였습니다.
• 표준 벤치마크: 향후 해양 인공지능 연구의 표준 평가 도구로 작용할 WaterVideoQA 를 공개하여, 연구 커뮤니티의 발전에 기여합니다.

이 연구는 단순한 객체 인식을 넘어, 복잡한 물리적 환경과 법적 규제를 이해하고 준수하는 진정한 '지능형' 자율 선박의 실현을 위한 중요한 발걸음입니다.