Sim2Sea: Sim-to-Real Policy Transfer for Maritime Vessel Navigation in Congested Waters

이 논문은 GPU 가속 시뮬레이션, 이중 스트림 시공간 정책, 그리고 도메인 무작위화 기법을 결합한 'Sim2Sea' 프레임워크를 제안하여, 복잡한 해상 환경에서 시뮬레이션에서 훈련된 자율 항해 정책이 실제 17 톤 무인 선박에 제로샷으로 성공적으로 이전됨을 입증합니다.

핵심

1. 왜 이런 기술이 필요할까요? (문제 상황)

상상해 보세요. 혼잡한 항구에서 대형 유람선을 조종하는 일은 매우 어렵습니다.

• 주변에 다른 배들이 빽빽하게 들어차 있고,
• 조류 (물살) 나 바람 같은 예측 불가능한 요소들이 있고,
• 실수하면 큰 사고가 날 수 있습니다.

기존의 방법들은 두 가지 큰 한계가 있었습니다.

1. 규칙만 따르는 로봇: "다른 배가 오면 오른쪽으로 피한다" 같은 규칙 (COLREGs) 만으로는 복잡한 상황에서 유연하게 대처하기 어렵습니다.
2. 실전 훈련의 위험: 인공지능 (AI) 을 실제 배에 태워 훈련시키려면, AI 가 실수할 때마다 배가 충돌하거나 위험에 처할 수 있습니다. 이는 너무 위험하고 비용이 많이 듭니다.

그래서 연구진들은 **"가상 현실 (시뮬레이션) 에서 AI 를 훈련시켜, 실제 바다에 바로 투입하자"**고 생각했습니다. 하지만 여기서 또 다른 문제가 생겼습니다. **"가상 세계의 배와 실제 배는 느낌이 다르다"**는 것입니다. (예: 가상 배는 물살을 느끼지 못하는데, 실제 배는 물살에 밀려서 방향이 틀어집니다.) 이를 **'시뮬레이션과 현실의 간극 (Sim-to-Real Gap)'**이라고 합니다.

2. Sim2Sea 의 해결책: 3 가지 핵심 기술

이 논문은 이 간극을 좁히고 AI 가 실제로 배를 잘 조종하게 하기 위해 3 가지 마법 같은 도구를 개발했습니다.

① 초고속 '가상 바다' 시뮬레이터 (GPU 가속)

• 비유: 일반적인 시뮬레이션이 한 명씩 배를 조종해 보는 연습이라면, Sim2Sea 의 시뮬레이터는 수만 명이 동시에 가상 바다에서 배를 조종해 보는 초고속 훈련장입니다.
• 효과: AI 가 짧은 시간에 수천 번의 충돌과 피하기를 경험하며, 마치 수백 년의 항해 경험을 쌓은 노련한 선장처럼 빠르게 학습할 수 있습니다.

② '눈'과 '뇌'를 동시에 쓰는 지능형 정책 (이중 스트림)

AI 가 배를 조종할 때 두 가지 정보를 동시에 처리합니다.

• 공간적 인식 (BEV - 새의 눈): 레이더와 AIS(선박 자동식별장치) 데이터를 바탕으로 배 주변을 새가 위에서 내려다보는 것처럼 (Top-down view) 한눈에 파악합니다. "저기 배가 있고, 저기 암초가 있구나"를 즉시 인식합니다.
• 시간적 인식 (Transformer - 과거의 기억): 배는 무게가 무거워 갑자기 방향을 바꾸기 어렵습니다. AI 는 과거 몇 초간의 데이터를 기억하며 "지금 물살이 세게 밀고 있으니, 앞으로 5 초 뒤에는 이렇게 움직여야겠다"고 예측합니다.
• 효과: 단순히 현재 상황만 보는 게 아니라, 과거의 흐름을 기억하고 미래를 예측하며 조종합니다.

③ '안전 가이드'가 붙은 행동 금지 구역 (VO 기반 액션 마스킹)

• 비유: AI 가 배를 조종할 때, **"절대 가서는 안 되는 위험한 방향"**을 AI 가 스스로 고르기 전에 미리 차단해 주는 시스템입니다.
• 작동 원리: AI 가 "저기 왼쪽으로 가자!"라고 생각해도, 그 방향이 다른 배와 충돌할 가능성이 있다면 시스템이 그 선택지를 빨간색으로 표시하고 지워버립니다 (마스킹). AI 는 안전한 선택지만 골라내야 합니다.
• 효과: AI 가 실수해서 위험한 행동을 시도할 필요가 없으므로, 학습 속도가 빨라지고 안전성이 극대화됩니다.

3. 현실 세계로 가져오기: "도파민"과 "변덕"

가상에서 완벽하게 훈련된 AI 를 실제 배에 태우면 왜 실패할까요? 실제 바다는 **예측 불가능한 물살 (조류)**이 있기 때문입니다.

• 해결책 (도메인 랜덤화): 연구진들은 시뮬레이션 안에서도 물살의 방향과 세기를 매일매일 다르게, 랜덤하게 설정했습니다.
• 비유: 마치 다양한 날씨와 지형에서 훈련한 운동선수처럼, AI 는 "오늘은 물살이 왼쪽으로 강하게 밀고, 내일은 오른쪽으로 약하게 밀고..."하는 다양한 상황을 겪으며 훈련했습니다.
• 결과: 이렇게 훈련된 AI 는 실제 바다에 나가서 예상치 못한 물살이 불어도 당황하지 않고, 스스로 적응하며 배를 조종할 수 있게 됩니다.

4. 실제 성과: 17 톤 무인 배의 성공적인 항해

이론만 있는 게 아닙니다. 연구진은 이 기술을 17 톤 규모의 실제 무인 선박에 적용했습니다.

• 결과: AI 는 실제 바다에서 아무런 추가 학습 (Zero-shot) 없이 바로 투입되었습니다.
• 성공: 복잡한 항구와 해안가에서 다른 배들과의 충돌 없이, 목표 지점까지 매끄럽고 안전하게 항해했습니다.
• 의미: 이는 AI 가 시뮬레이션에서 배운 지식을 실제 거대한 배에 완벽하게 이식한 세계 최초의 사례 중 하나입니다.

요약

Sim2Sea는 **"가상 현실에서 수만 번의 훈련을 통해 배를 조종하는 법을 배운 AI 가, 실제 바다의 예측 불가능한 물살과 복잡한 상황에서도 안전 가이드를 받으며 노련한 선장처럼 배를 조종하게 만든 기술"**입니다.

이 기술은 앞으로 자율 항해 선박이 우리 바다를 더 안전하고 효율적으로 누비게 하는 핵심 열쇠가 될 것입니다.

기술 요약

Sim2Sea: 혼잡한 해상 환경에서의 선박 항해를 위한 시뮬레이션 - 현실 정책 전이 (Sim-to-Real) 프레임워크

1. 문제 정의 (Problem)

해상 무역의 증가와 연안 혼잡 수역에서의 항해 활동 확대로 인해 자율 선박 항해의 중요성이 부각되고 있습니다. 그러나 실제 환경에 자율 항해 시스템을 배포하는 것은 다음과 같은 주요 난제들로 인해 해결되지 않은 과제로 남아 있습니다:

• 복잡한 상호작용: 다양한 선박 간의 역동적인 상호작용과 예측 불가능한 환경 요인 (조류, 파도 등) 이 존재합니다.
• 시뮬레이션 - 현실 간극 (Sim-to-Real Gap): 기존 방법들은 불완전한 시뮬레이션, 부족한 상황 인식, 그리고 안전하지 않은 탐험 전략으로 인해 실제 배포 시 실패하는 경우가 많습니다.
• 훈련 환경 부재: 복잡한 역학과 다양한 상호작용 시나리오를 정확하게 모델링할 수 있는 고성능 오픈소스 시뮬레이터가 부족합니다.
• 선박의 물리적 특성: 선박의 큰 관성 (inertia) 과 부분 구동 (underactuated) 특성으로 인해 단순 반응형 정책은 운동량이나 외부 힘을 고려하지 못해 실패할 수 있습니다.

2. 제안 방법론 (Methodology)

이 논문은 시뮬레이션과 현실 세계 실행 간의 간극을 해소하기 위해 Sim2Sea라는 통합 프레임워크를 제안합니다. 이 프레임워크는 세 가지 핵심 요소로 구성됩니다.

가. 고성능 병렬 해상 시뮬레이터 (High-Performance Parallel Simulator)

• 목적: 대규모 강화학습 (RL) 훈련을 위한 확장 가능하고 정확한 해상 시나리오 시뮬레이션 제공.
• 기술적 특징:
  • 정밀한 역학 모델: MMG(Maneuvering Modeling Group), Nomoto 모델, 경량 비선형 운동학 모델 등 다양한 선박 동역학 모델을 지원하여 현실적인 선박 거동을 구현합니다.
  • GPU 가속 병렬화: Taichi 언어를 사용하여 CPU/GPU 백엔드에서 네이티브로 실행되며, 에이전트 중심의 병렬 처리 전략을 통해 수만 개의 에이전트를 동시에 시뮬레이션할 수 있습니다.
  • 안전성 검증: 이산 시간 체크의 한계를 극복하기 위해 **연속 시간 충돌 감지 (CCD, Continuous-Time Collision Detection)**를 도입하여 선박이 이동하는 전체 경로를 스캔하여 충돌을 방지합니다.
  • 센서 및 환경 모델링: AIS, 레이더, 해图等을 통합한 센서 데이터와 복잡한 지형 (연안, 방파제) 을 모델링합니다.

나. 이중 스트림 시공간 정책 네트워크 (Dual-Stream Spatiotemporal Policy)

• 목적: 복잡한 동역학과 다중 모드 센서 데이터를 처리하여 안정적인 제어 결정.
• 구조:
  • 시간적 인코더 (Temporal Encoder): Transformer 기반 인코더를 사용하여 과거 $k$시간 동안의 관측 데이터 시퀀스를 처리합니다. 이를 통해 조류나 외란과 같은 환경의 역학을 학습하고 장기적 의존성을 포착합니다.
  • 공간적 인식 (Spatial Awareness): 조류 (Bird's-Eye-View, BEV) 이미지를 생성하여 선박 주변의 공간적 맥락을 인코딩합니다. 카메라/라이더 융합 대신 AIS, 레이더, 해图等의 좌표 정보를 활용하여 효율적이고 강력한 BEV 를 생성하며, 경량 CNN 인코더를 통해 처리합니다.
  • 속도 장애물 기반 액션 마스킹 (VO-Guided Action Masking):
    • 정책 네트워크의 출력에서 안전하지 않은 행동을 명시적으로 제거 (마스킹) 하는 메커니즘입니다.
    • 확장된 속도 장애물 (Velocity Obstacles, VO) 알고리즘을 사용하여 원형 장애물 (다른 선박) 과 폴리라인 장애물 (지형) 에 대해 실시간으로 충돌 위험을 계산합니다.
    • 충돌 시간 (TTC) 이 임계값 이하이거나 경로가 지형과 교차하는 경우 해당 행동을 마스킹하여 안전하고 효율적인 탐험을 보장합니다.

다. 타겟팅된 도메인 랜덤화 (Targeted Domain Randomization)

• 목적: 시뮬레이션과 현실 간의 미세하지만 중요한 차이 (동역학, 센서 노이즈, 구동 지연) 로 인한 간극을 해소.
• 전략:
  • 센서 관측값과 명령 전송에 작은 무작위 교란을 추가합니다.
  • 조류 (Ocean Current) 모델의 무작위화: 실제 세계의 주요 불확실성인 조류를 저주파 우세 흐름과 고주파 무작위 교란으로 모델링하고, 각 훈련 에피소드마다 주 방향과 진폭을 무작위화합니다. 이를 통해 에이전트가 예측 불가능한 환경에 적응하도록 훈련합니다.

3. 주요 기여 (Key Contributions)

1. 고성능 병렬 해상 시뮬레이터 개발: 대규모 RL 훈련을 위해 설계된 오픈소스 도구를 제공하며, MMG 등 정밀한 역학 모델을 지원합니다.
2. 능동적 액션 마스킹이 포함된 시공간 정책 아키텍처 제안: BEV 와 Transformer 를 결합한 이중 스트림 구조에 VO 기반의 안전 마스킹을 도입하여 복잡한 해상 환경에서 안정적이고 안전한 학습을 가능하게 했습니다.
3. 실제 무인 선박에 대한 제로샷 (Zero-Shot) 배포 성공: 타겟팅된 도메인 랜덤화 전략을 통해, 시뮬레이션에서만 훈련된 정책이 17 톤급 무인 선박을 대상으로 혼잡한 연안 수역에서 별도의 추가 학습 없이 성공적으로 배포되었습니다. 이는 동급 선박 규모로는 최초의 성공 사례입니다.

4. 실험 결과 (Results)

• 시뮬레이션 성능:
  • 병렬 처리: A100 GPU 에서 기존 방법 대비 700 배 이상의 속도 향상을 달성하여 대규모 훈련을 가능하게 했습니다.
  • 학습 효율성: VO 기반 액션 마스킹을 적용한 Sim2Sea 는 VO-RL, COLREG-RL, 순수 VO 컨트롤러 등 기존 베이스라인 대비 더 빠른 수렴 속도, 높은 성공률 (Mini Coastline: 93%, Mini Port: 90%), 그리고 더 낮은 평균 위험 행동 수를 기록했습니다.
  • Ablation Study: 액션 마스킹, BEV 입력, 시간적 시퀀스 인코더 중 하나라도 제거될 경우 성능이 크게 저하됨을 확인하여 각 구성 요소의 중요성을 입증했습니다.
• 현실 배포 (Sim-to-Real):
  • 17 톤 무인 선박 (최대 속도 32 노트) 에서 실제 해역 (Mini Coastline 및 Mini Port 시나리오) 에 배포되었습니다.
  • 비교 분석: 도메인 랜덤화 없이 훈련된 모델은 실제 환경에서 고주파 진동 (oscillation) 을 보이며 실패했고, 시간적 인코더가 없는 모델은 선박의 관성을 제어하지 못해 치명적인 충돌을 일으켰습니다.
  • Sim2Sea 성공: 완전한 프레임워크는 충돌 없이 부드럽고 목표 지향적인 항해를 수행하며, 시뮬레이션과 현실 간의 간극을 성공적으로 극복했습니다.

5. 의의 (Significance)

이 연구는 자율 해상 항해 분야에서 시뮬레이션 기반 학습을 실제 물리적 선박에 성공적으로 적용한 선구적인 사례입니다.

• 안전성 강화: VO 기반의 능동적 액션 마스킹을 통해 강화학습의 탐험 과정을 안전하게 유도하여, 실제 배포 시 치명적 사고를 방지합니다.
• 실용성 입증: 복잡한 동역학과 불확실한 환경 (조류 등) 을 고려한 시뮬레이션과 도메인 랜덤화 전략의 결합이 대규모 선박의 자율 항해에 필수적임을 증명했습니다.
• 미래 지향성: 이 프레임워크는 향후 더 복잡한 다중 에이전트 시나리오와 다양한 해상 작업으로 확장 가능한 기반을 마련했습니다.

결론적으로, Sim2Sea 는 복잡한 해상 환경에서 자율 선박이 안전하고 효율적으로 항해할 수 있도록 하는 신뢰할 수 있는 시뮬레이션 - 현실 전이 솔루션을 제공합니다.