🤖 AI

CmIVTP: Cross-modal Interaction-based Vessel Trajectory Prediction for Maritime Intelligence

본 논문은 표적 인식 장면 인코더와 교차 모달 트랜스포머를 통해 희소 AIS 데이터와 CCTV 환경 특징을 융합하여 선박 궤적 예측 정확도를 향상시키는 교차 모달 상호작용 프레임워크인 CmIVTP를 제안하며, 이는 새로운 대규모 동기화 데이터셋 (Maritime-MmD $^+$ ) 과 확장 가능한 궤적 생성 방법을 지원합니다.

원저자: Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 배가 붐비는 항구에서 다음에 어디로 향할지 예측해 보라고 상상해 보세요. 실제 세계에서는 이것이 안개 낀 붐비는 공원을 걷는 친구가 어디에 도착할지 추측해 보는 것과 비슷하지만, 훨씬 더 큰 stakes(위험과 책임)가 따릅니다.

이 논문은 배의 미래 경로를 그 어느 때보다 정확하게 예측하는 문제를 해결하도록 설계된 CmIVTP(Cross-modal Interaction-based Vessel Trajectory Prediction, 교차 모드 상호작용 기반 선박 궤적 예측) 라는 새로운 시스템을 소개합니다. 이것이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

문제: 한 쌍의 눈만으로는 부족합니다

전통적으로 배들은 이동 추적을 위해 단일 정보원에 의존해 왔는데, 이는 손전등 하나만 가지고 어두운 방을 항해하려는 것과 비슷합니다.

손전등(AIS) 배들은 AIS(자동식별시스템) 라는 시스템을 탑재하여 자신의 위치를 방송합니다. 그러나 이 신호는 약해지거나 사라지거나, 때로는 배가 이를 끄기도 합니다(이를 "어두운 배"라고 부릅니다). 이는 깜빡이거나 완전히 꺼지는 손전등과 같습니다.
눈(CCTV) 항구에는 물을 지켜보는 카메라(CCTV) 도 있습니다. 이들은 현재 일어나는 일을 선명하게 비춰주지만, 안개를 뚫고 볼 수는 없으며 AIS 가 제공하는 속도나 과거 이력에 대해서는 잘 알지 못합니다.

만약 손전등만 사용하면 안개 속에서 배를 잃을 수 있습니다. 눈만 사용하면 배의 속도나 의도를 놓칠 수 있습니다. 저자들은 완벽한 예측을 위해서는 둘을 결합해야 한다는 점을 깨달았습니다.

해결책: 배를 위한 슈퍼 브레인

저자들은 손전등과 카메라를 동시에 사용하는 탐정처럼 행동하는 "슈퍼 브레인"(AI 프레임워크) 을 구축했습니다. 이 탐정이 사용하는 네 가지 주요 도구는 다음과 같습니다.

1. 장면 탐정(Visual Scene Target-aware Encoder)
배가 어디로 가는지 추측하기 전에 시스템은 "장면"을 살펴봅니다. 화면 위의 점만 보는 것이 아니라 환경을 이해합니다.

유사성: 운전자가 도로를 바라보는 상황을 상상해 보세요. 그들은 앞차만 보는 것이 아니라 도로의 굴곡, 다른 차량, 그리고 신호등을 봅니다. 이 모듈은 배에게도 똑같이 작동하여 물, 다른 배들, 그리고 항구의 형태가 배가 갈 수 있는 곳을 어떻게 제한하는지 이해합니다.

2. 번역기(Cross-modal Interaction Transformer)
이것이 핵심 마법입니다. 시스템은 "손전등" 데이터(AIS) 와 "카메라" 데이터(CCTV) 를 가져와 서로 대화하도록 만듭니다.

유사성: 퍼즐을 풀기 위해 서로 다른 언어를 사용하는 두 사람이 있다고 생각해 보세요. 한 사람은 역사(AIS) 를 알고 있고, 다른 한 사람은 현재 모습(CCTV) 을 봅니다. 이 모듈은 완벽한 번역가 역할을 하여 그들의 이야기를 융합합니다. 그래서 손전등이 깜빡이면 카메라가 빈틈을 메우고, 그 반대의 경우도 마찬가지입니다. 이는 예측이 물리적으로나 시각적으로나 타당하도록 보장합니다.

3. "만약에" 생성기(Uncertainty-aware Variational Decoder)
배는 크고 무거워 급격히 방향을 바꾸지 않습니다. 하지만 갑작스러운 결정을 내릴 수도 있는 인간 선장들이 있습니다. 시스템은 미래를 100% 확신할 수 없다는 것을 알고 있습니다.

유사성: 배가 어디로 갈지 단일 선 하나만 그리는 대신, 이 모듈은 동시에 다섯 개 또는 열 개의 가능한 경로를 그립니다. 이는 "비 올 확률이 60% 이지만, 맑을 수도 있습니다"라고 말하는 일기예보와 같습니다. 불확실성을 고려하기 위해 가능성의 "구름"을 생성하여, 배가 예상치 못한 일을 하더라도 예측이 이를 포괄하도록 합니다.

4. 기억 은행(Vessel Group Trajectory Bank)
시스템에는 과거의 배 이동에 대한 방대한 도서관이 있습니다.

유사성: 추측을 하기 전에 시스템은 "배가 정확히 이 기동을 한 적이 있는가?"라고 묻습니다. 그리고 역사책에서 유사한 패턴을 찾아봅니다. 만약 배가 다리 근처에서 급격히 회전하는 것을 보게 되면, 다른 배들이 어떻게 그 같은 회전 처리를 했는지 확인하기 위해 도서관을 검색합니다. 시스템은 이러한 "역사의 유령"들을 사용하여 추측을 정제하고 더 똑똑하고 빠르게 만듭니다.

새로운 데이터셋: 훈련장

이 시스템을 가르치기 위해 저자들은 **Maritime-MmD+**라는 새로운 거대한 데이터셋을 만들었습니다.

유사성: GPS 데이터와 비디오 피드를 정확히 동시에 기록하는 시뮬레이터를 마침내 얻은 운전 학교를 상상해 보세요. 그 전에는 연구자들이 두 가지를 어떻게 매칭할지 추측해야 했습니다. 이 새로운 데이터셋은 GPS 와 비디오가 완벽하게 동기화된 완벽한 "훈련장"을 제공하여, AI 가 배의 신호와 카메라가 보는 것 사이의 진정한 관계를 학습할 수 있게 합니다.

결과: 왜 중요한가

저자들은 이 시스템을 GPS 나 비디오만 사용하는 표준 AI 모델 등 다른 많은 방법들과 비교하여 테스트했습니다.

손전등 테스트: AIS 신호가 사라지는 것 (손전등 끄기) 을 시뮬레이션했을 때, 기존 시스템들은 길을 잃고 터무니없고 부정확한 추측을 했습니다. 그러나 새로운 CmIVTP 시스템은 침착함을 유지했습니다. 여전히 카메라를 보고 있었기 때문에 배의 경로를 정확하게 예측할 수 있었습니다.
군중 테스트: 배들이 매우 붐비는 물에서 새로운 시스템은 그 어떤 것보다 혼란을 더 잘 처리하여 충돌을 더 효과적으로 피하는 경로를 예측했습니다.

요약

이 논문은 두 가지 다른 유형의 데이터(무선 신호와 비디오) 를 융합하여 배가 어디로 갈지 예측하는 더 똑똑한 방법을 제시합니다. 한 가지가 실패하면 다른 하나가 구원하는 방식입니다. 환경을 이해하는 "장면 탐정", 데이터를 혼합하는 "번역기", 불확실성을 처리하는 "만약에 생성기", 그리고 과거에서 배우는 "기억 은행"을 사용합니다. 그 결과 데이터가 혼란스럽거나 불완전할 때에도 훨씬 더 안전하고 신뢰할 수 있는 시스템이 탄생했습니다.

기술 요약: CmIVTP – 교차 모달 상호작용 기반 선박 궤적 예측

1. 문제 제기

해상 지능형 교통 시스템 (MITS) 은 항해 안전과 효율성을 보장하기 위해 정확하고 실시간인 선박 궤적 예측이 필요합니다. 그러나 현재 접근 방식은 단일 소스 데이터에 대한 의존성으로 인해 상당한 한계에 직면해 있습니다:

AIS 한계: 자동식별시스템 (AIS) 데이터는 거시적 운동학을 제공하지만, 종종 희소하며 전송 지연을 겪고, 소형 또는 비협조적 선박 (예: "다크 선박") 의 경우 사용 불가능할 수 있습니다.
CCTV 한계: 폐쇄회로 텔레비전 (CCTV) 은 풍부한 지역적 의미와 환경적 맥락을 제공하지만, 가려짐 (occlusion), 영상 간섭에 취약하며, 고립된 상태에서는 동적인 선박 행동을 완전히 포착하지 못합니다.
도메인 격차: 기존 다중 모달 방법은 종종 차선으로 제한된 차량을 위해 설계된 육상 기반 모델을 해상 도메인으로 이전하여, 복잡한 유체역학과 암묵적 상호작용에 의해 선박 이동이 지배되는 비구조적 개방 수역 환경을 고려하지 못합니다.
데이터 부족: AIS 와 CCTV 데이터를 결합한 동기화된 대규모 데이터셋이 부족하여 견고한 다중 모달 모델의 훈련을 방해하고 있습니다.

2. 방법론: CmIVTP 프레임워크

저자들은 이질적인 AIS 와 CCTV 데이터를 융합하여 정교한 선박 - 환경 상호작용을 모델링하도록 설계된 CmIVTP(Cross-modal Interaction-based Vessel Trajectory Prediction) 프레임워크를 제안합니다. 이 아키텍처는 네 가지 주요 모듈로 구성됩니다:

A. 비전 장면 대상 인식 인코더 (VSTaE)

이 모듈은 CCTV 장면 데이터에서 시공간 표현을 추출하여 선박 - 환경 상호작용 (예: 위험물 또는 다른 선박과의 근접성) 을 포착합니다.

대상 인식 공간 특징 추출: ResNet-18 백본을 사용하여 글로벌 특징 맵을 생성합니다. 대상별 임베딩 (RoI Align 을 통해), 글로벌 컨텍스트 (글로벌 평균 풀링을 통해), 그리고 바운딩 박스 위치 인코딩이라는 세 가지 특징 유형을 융합합니다.
시간적 컨텍스트 모델링: ConvLSTM 을 사용하여 특징 맵 시퀀스를 처리하여 시간적 진화를 포착합니다. 지수 가중치 메커니즘을 적용하여 단기 동역학 (급격한 기동) 을 우선시하면서도 장기적 추세 (높은 관성) 를 유지합니다.
시공간 융합: MLP 를 통해 공간 및 시간 특징을 연결하여 통합된 장면 표현을 생성합니다.

B. 교차 모달 상호작용 기반 인코더 (CmIE)

단순한 특징 연결을 피하기 위해, CmIE 는 선박 동역학과 시각적 제약을 깊이 있게 정렬하기 위해 **교차 모달 상호작용 트랜스포머 (CMIT)**를 사용합니다.

비대칭 아키텍처: AIS 에서 유도된 운동 특징을 주요 쿼리로, CCTV/장면 특징을 메모리로 취급합니다.
메커니즘: 이 모듈은 궤적의 부드러움을 보장하기 위해 모달 내 정제 (Self-Attention) 를 순차적으로 수행한 후, 운동 표현에 환경적 제약을 주입하기 위해 교차 모달 상호작용 (Cross-Attention) 을 수행합니다. 이를 통해 모델은 모달 내 의미와 모달 간 상호작용을 모두 포착할 수 있습니다.

C. 불확실성 인식 변분 디코더 (UaVD)

결정론적 매핑을 넘어, 이 모듈은 확률적 선박 행동을 고려하기 위해 궤적 예측을 확률 분포 문제로 모델링합니다.

잠재 공간 모델링: 조건부 변분 오토인코더 (CVAE) 프레임워크에 기반하여 관찰되지 않은 요인 (예: 인간의 의도, 갑작스러운 교란) 을 나타내는 잠재 변수 ( $z$ ) 를 샘플링합니다.
다중 모드 생성: 서로 다른 $z$ 값을 샘플링함으로써 디코더는 진로 유지, 회전, 감속과 같은 다양하고 물리적으로 타당한 미래 궤적 (모드) 을 생성합니다.
아키텍처: 융합된 특징과 샘플링된 잠재 변수를 기반으로 MLP 를 사용하여 전체 미래 시퀀스를 동시에 디코딩합니다.

D. 선박 그룹 궤적 뱅크 (VGTB)

효율성과 정확성을 높이기 위해, 프레임워크는 과거 AIS 데이터에서 대표적인 운동 패턴의 뱅크를 구축합니다.

클러스터링: 과거 AIS 궤적을 정규화하고 K-means 를 사용하여 대표적인 운동 패턴으로 클러스터링합니다.
검색 및 정제: 대상 선박의 경우, 시스템은 뱅크에서 가장 유사한 과거 궤적 (사전 지식) 을 검색합니다. 이 사전 지식은 학습 가능한 오프셋과 동적 게이팅 메커니즘을 사용하여 기본 네트워크 예측과 융합되어, 모델이 현재 조건에 적응하면서도 과거 사전 지식을 활용할 수 있게 합니다.

E. 데이터셋: Maritime-MmD+

저자들은 상하이의 황포강에서 AIS 데이터와 CCTV 비디오를 포함하는 대규모 동기화 데이터셋인 **Maritime-MmD+**를 소개합니다. 이 데이터셋은 다양한 선박 밀도를 가진 교량 지역과 곡선 수로 등 다양한 시나리오를 포괄하여 다중 모달 궤적 예측을 위한 견고한 벤치마크를 제공합니다.

3. 주요 기여

새로운 프레임워크: 데이터 희소성과 누락을 해결하기 위해 교차 모달 상호작용을 통해 AIS 동역학과 CCTV 맥락을 통합하는 CmIVTP 제안.
아키텍처 혁신:
- VSTaE: 세밀한 선박 - 환경 상호작용을 포착.
- CmIE: 비대칭 교차 어텐션을 사용하여 운동학적 및 시각적 특징을 융합.
- UaVD: 변분 추론을 통해 궤적 불확실성을 모델링하여 다중 모드 예측 수행.
- VGTB: 과거 운동 사전 지식을 활용하여 예측을 정제.
데이터셋 생성: 다중 모달 연구를 지원하기 위한 동기화된 AIS-CCTV 데이터셋인 Maritime-MmD+ 공개.
성능: 다양한 예측 구간, 선박 밀도 및 AIS 누락률에 걸쳐 최첨단 베이스라인 대비 우수한 정확성과 견고성 입증.

4. 실험 결과

Maritime-MmD+ 데이터셋에서 광범위한 실험을 수행하여 CmIVTP 를 결정론적 (GRU, LSTM, TCNN, Transformer) 및 불확실성 인식 (VAE, GAN) 베이스라인과 비교했습니다.

예측 정확도: CmIVTP 는 모든 예측 단계 ( $\Delta t = 12, 24, 36$ ) 에서 평균 변위 오차 (ADE) 와 최종 변위 오차 (FDE) 를 가장 낮게 달성했습니다. 예를 들어, $\Delta t = 36$ 에서 CmIVTP 는 $0.65 \times 10^{-2}$ 의 ADE 를 기록하여 다음으로 가장 좋은 베이스라인 (Trans., $0.86 \times 10^{-2}$ ) 을 크게 앞섰습니다.
데이터 손실에 대한 견고성: AIS 데이터가 누락된 경우 (시뮬레이션 비율 $\rho = 0.1, 0.2, 0.3$ ) 모델은 뛰어난 복원력을 보여주었습니다. 베이스라인이 심각한 성능 저하를 겪은 반면, CmIVTP 는 안정적인 수렴과 낮은 오차 범위를 유지하며 CCTV 시각 특징을 사용하여 누락된 AIS 신호를 효과적으로 보충했습니다.
밀도 처리: 선박 상호작용이 복잡한 고밀도 시나리오 ( $\phi_h$ ) 에서 CmIVTP 는 충돌 회피 기동으로 인한 비선형 편차를 성공적으로 포착하여 가장 낮은 오차율을 유지했습니다.
애벌레이션 연구:
- 단일 모달 (AIS, CCTV, 또는 장면 표현) 이나 모듈 (VSTaE, CmIE, UaVD, VGTB) 중 하나를 제거하면 성능 저하가 발생하여 전체 다중 모달 아키텍처의 필요성이 확인되었습니다.
- VGTB 모듈은 해로운 편향을 도입하지 않으면서도 특히 저유사도 (희귀) 궤적 사례에 대해 예측을 효과적으로 정제하는 것으로 나타났습니다.
불확실성 분석: 잠재 공간의 시각화는 운동 속성 (예: 구불구불함, 변위) 에 해당하는 구조화된 조직을 보여주었습니다. 모델은 완전한 데이터의 경우 컴팩트한 분포를 생성하고 누락된 데이터의 경우 적절히 다양한 분포를 생성하여 실제 값이 예측 범위 내에 있도록 보장했습니다.

5. 중요성 및 주장

본 논문은 CmIVTP 가 단일 소스 데이터의 고유한 한계를 극복함으로써 해상 지능 분야에서 중요한 진전을 이루었다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

신호 차단 환경에서의 신뢰성: 다중 모달 데이터의 중복성을 활용하여 AIS 신호가 손실되거나 사용 불가능할 때에도 연속적이고 신뢰할 수 있는 궤적 예측을 보장합니다.
맥락 인식 모델링: 이 프레임워크는 선박 동역학과 환경적 제약 사이의 복잡한 상호작용을 성공적으로 모델링하여 혼잡하고 제한된 수로에서의 안전에 필수적입니다.
기초 벤치마크: Maritime-MmD+ 의 도입은 다중 모달 해상 행동 분석에 대한 미래 연구를 위한 표준화된 자원을 제공함으로써 해당 분야의 중요한 격차를 해소합니다.

저자들은 극단적인 환경 조건 (예: 짙은 안개) 과 새로운 수로로의 일반화와 관련하여 여전히 과제가 남아있지만, CmIVTP 는 해상 안전을 강화하고 해상 자율 수면선 (MASS) 의 진화를 지원하기 위한 견고하고 확장 가능한 솔루션을 제공한다고 결론지었습니다.