Hybrid Multi- Expert Deep Learning Framework for Operational SAR Maritime Surveillance and Dark Vessel Identification

바다를 배들이 자동차처럼 움직이는 거대하고 북적이는 고속도로라고 상상해 보세요. 수십 년 동안 우리는 AIS라는 시스템을 통해 이 자동차들을 추적해 왔습니다. 이는 배들이 "나 여기 있어!"라고 말하기 위해 자발적으로 방송하는 디지털 번호판과 같습니다. 하지만 운전자가 톨게이트를 몰래 지나가기 위해 헤드라이트를 끄는 것처럼, 어떤 배들은 숨기 위해 AIS 신호를 끄기도 합니다. 이들을 "다크 베슬(dark vessels, 암흑 선박)"이라고 부르며, 이들은 밀수, 불법 어업 또는 기타 수상한 사업에 이용될 수 있습니다. 이들을 잡기 위해서는 안개, 비, 칠흑 같은 밤을 뚫고 볼 수 있는 눈이 필요합니다. 여기서 합성 개구 레이더(Synthetic Aperture Radar), 즉 SAR가 등장합니다. SAR를 빛을 사용하지 않고 보이지 않는 마이크로파 빔을 사용하는 초강력 손전등이라고 생각하세요. SAR는 배에 부딪혀 돌아오는 신호를 통해 폭풍우가 치거나 달이 숨어 있는 상황에서도 사진을 만들어낼 수 있습니다. 하지만 이 레이더 사진을 보는 것은 까다롭습니다. 사진은 종종 입자가 거칠고, 오래된 TV처럼 정적(노이즈)이 가득하며, 특히 배들이 정어리 캔 속의 정어리처럼 빽빽하게 모여 있는 혼잡한 항구 근처에서는 매우 혼란스럽습니다. 과학자들은 컴퓨터를 사용하여 배를 찾으려고 시도해 왔지만, 대부분의 컴퓨터 프로그램은 '제너럴리스트(일반론자)'와 같습니다. 즉, 탁 트인 대양에서 배를 찾아내는 데는 괜찮지만, 바쁜 항구나 암석 해안에서는 혼란을 겪습니다.

여기서 Amity 대학교 연구진의 새로운 연구가 등장합니다. 그들은 "하이브리드 멀티 엑스퍼트 딥 러닝 프레임워크(Hybrid Multi-Expert Deep Learning Framework)"를 제안하는데, 이는 멋진 말로 표현하자면 단 하나의 모델에 의존하는 대신 전문화된 컴퓨터 탐정 팀을 구축했다는 의미입니다. 모든 범죄 현장에 모든 형사를 보내지 않는 경찰서를 상상해 보세요. 대신, 먼저 현장을 살피는 똑똑한 배차 요원이 있습니다. 만약 조용한 대양이라면, 시스템은 빠르고 효율적인 "전문가 A"를 보냅니다. 만약 파도가 거친 해안가라면, 조금 더 신중한 "전문가 B"를 보냅니다. 만약 배들이 서로 겹쳐 있는 매우 붐비는 항구라면, 엉킨 것을 풀어낼 특별한 도구를 가진 가장 진보된 탐정인 "전문가 C"를 투입합니다. 연구진은 이 팀을 실제 위성 이미지로 테스트했으며, 이 "스마트 배차 요원" 시스템이 놀라울 정도로 잘 작동한다는 것을 발견했습니다. 그들은 레이더가 보는 것과 배들이 실제로 방송하는 "디지털 번호판"(AIS)을 매칭함으로써, 숨어 있는 배들을 찾아낼 수 있음을 보여주었습니다. 싱가포르 해협의 혼잡한 구역에서 실시한 테스트에서, 이 시스템은 1,000척 이상의 배를 찾아냈고 그 중 96척을 모습을 숨기려 했던 "다크 베슬"로 식별했습니다.

"원사이즈 피츠 올(One-Size-Fits-All)" 탐정의 문제점

오랫동안 과학자들은 레이더 이미지에서 배를 찾기 위해 단일 컴퓨터 프로그램을 사용해 왔습니다. 이것은 마치 책을 읽고, 차를 운전하고, 별을 관찰하는 일을 한 번에 다 하기 위해 단 하나의 안경을 사용하려는 것과 같습니다. 한 가지 일에는 괜찮을지 몰라도, 다른 일들에는 그리 훌륭하지 못할 수 있습니다. 탁 트인 대양에서는 배들이 서로 멀리 떨어져 있어 단순하고 빠른 탐지기가 충분히 작동합니다. 하지만 해안 근처에서는 물결이 거칠고 레이더가 파도 때문에 혼란을 겪습니다. 밀집된 항구에서는 배들이 너무 가까이 붙어 있어 마치 하나의 거대한 덩어리처럼 보입니다. "상수 가양률(Constant False Alarm Rate, CFAR)" 기법과 같은 전통적인 방식은 이러한 배경 소음에 압도되어, 실제 배를 놓치고 파도 하나하나에 경보를 울리는 실수를 범하곤 합니다.

연구진은 환경에 적응하는 시스템이 필요하다고 주장합니다. 그들은 하나의 모델에게 모든 것을 강요하는 대신, 컴퓨터가 무엇을 보고 있는지에 따라 어떤 "전문가"를 사용할지 결정하게 해야 한다고 제 제안합니다.

스마트 배차 요원: 장면 라우팅

이 새로운 프레임워크의 첫 번째 단계는 "지능형 장면 라우팅(Intelligent Scene Routing)"입니다. 이것을 접수 데스크의 배차 요원이라고 생각하세요. 새로운 레이더 이미지가 도착하면, 시스템은 즉시 배를 찾기 시작하는 것이 아닙니다. 먼저, ResNet-50이라는 변형된 신경망을 사용하여 사진을 살펴보고 "여기가 어디인가?"라고 묻습니다.

시스템은 장면을 세 가지 유형으로 분류합니다:

1. 오프쇼어(Offshore): 비교적 조용하고 맑은 먼바다.
2. 인쇼어(Inshore): 파도가 더 거칠고 배경이 지저린 해안가.
3. 밀집 항구(Dense Port): 배들이 빽빽하게 들어찬 붐비는 항구.

연구진은 이 배차 요원이 이 업무를 매우 잘 수행하도록 훈련시켰습니다. 테스트 결과, 이 시스템은 환경 유형을 98.8%의 정확도로 올바르게 식별했습니다. 이는 매우 중요한데, 왜냐하면 적절한 도구가 적재적소에 사용되도록 보장하기 때문입니다. 만약 배차 요원이 잘못된 전문가를 보낸다면, 시스템은 배를 놓치거나 파도 때문에 혼란에 빠질 수 있습니다.

전문화된 탐정 팀

배차 요원이 위치를 파악하면, 이미지를 특정 환경에 맞게 설계된 전문가에게 전달합니다:

• 전문가 A (오프쇼어): 먼바다를 위해 시스템은 YOLOv8n을 사용합니다. 이는 가볍고 빠른 모델입니다. 대양은 복잡함이 적기 때문에, 이 전문가는 지나치게 복잡할 필요 없이 빠르고 정확하기만 하면 됩니다. 연구진은 이 전문가가 **97%**의 탐지 정확도(평균 정밀도, mAP)를 달ex했다는 것을 발견했습니다.
• 전문가 B (인쇼어): 해안가를 위해 시스템은 약간 더 크고 신중한 YOLOv8s로 전환합니다. 또한 "CFAR 기반 적응형 필터링"이라는 특별한 기술을 사용합니다. 이것을 소음 수준에 따라 민감도를 조절하는 탐정이라고 상상해 보세요. 만약 파도가 크게 들린다면, 이 탐정은 작은 물결은 무시하고 큰 형태에 집중하는 법을 알고 있습니다. 이 전문가는 약 **86%**의 mAP를 기록했습니다.
• 전문가 C (밀집 항구): 이 팀의 핵심 전력입니다. 붐비는 항구에서는 배들이 겹쳐 있어 분리하기가 어렵습니다. 이 전문가는 SwinIR(거친 레이더 이미지를 깨끗하게 만들어 선명하게 만드는 도구)과 Mask R-CNN(각 개별 배의 윤곽을 정밀하게 그려내는 모델, 배들이 서로 닿아 있어도 가능)을 결합하여 사용합니다. 이 전문가는 겹쳐진 배들을 찾아내는 능력이 매우 뛰어나서, 거의 1.0에 가까운 "재현율(Recall)"을 달성했습니다. 즉, 거의 모든 배를 찾아냈으며 놓친 배가 거의 없었다는 뜻입니다.

숨은 자들을 잡다: AIS 퓨전

배를 찾는 것은 전투의 절반에 불 불과합니다. 진짜 목표는 숨어 있는 다크 베슬을 찾는 것입니다. 이를 위해 시스템은 "AIS 데이터 퓨전(AIS Data Fusion)"이라는 영리한 기술을 사용합니다.

규칙을 준수하는 모든 배는 AIS를 통해 자신의 위치를 방송합니다. 시스템은 레이더로 찾은 배들의 목록을 가져와서, 위치를 방송하고 있는 배들의 목록과 비교합니다. 시스템은 하버사인 거리(Haversine distance)라는 수학적 공식을 사용하여 레이더에 포착된 배가 AIS 배와 동일한 것인지 확인하기 위해 충분히 가까운지 판단합니다. 연구진은 규칙을 정했습니다: 만약 레이더 배가 AIS 배로부터 500미터 이내에 있다면, 두 배는 동일한 것으로 간주합니다.

만약 레이더에는 배가 보이는데 근처에 AIS 신호가 없다면, 시스템은 이를 다크 베슬로 표시합니다. 이것은 마치 헤드라이트 없이 운전하는 차를 보는 것과 같습니다. 차가 거기 있다는 것은 알지만, 누구인지는 알려주지 않는 것입니다.

미스터리 선박 추적하기

다크 베슬이 포착되면, 시스템은 단순히 스냅샷을 찍는 데 그치지 않고 추적을 시작합니다. 시스템은 **칼만 필터(Kalman Filter)**를 사용하는데, 이는 이전 위치를 바탕으로 다음 행방을 예측하는 수학적 방법입니다. 이것을 배가 다음에 어디로 갈지 예측하는 "핫 포테이토(뜨거운 감자)" 게임이라고 생각하세요. 만약 배가 갑자기 방향을 바꾸거나 이상한 방식으로 멈춘다면, 시스템은 이러한 이상 징징을 포착할 수 있습니다. 이는 당국이 배가 단순히 어디에 있는지뿐만 아니라, 무엇을 하고 있는지까지 이해하는 데 도움을 줍니다.

결과: 검증 단계

연구진은 단순히 컴퓨터 시뮬레이션에서 이를 만든 것이 아니라, 실제 데이터를 통해 테스트했습니다. 그들은 Sentinel-1 위성 이미지와 세계에서 가장 붐비는 항로 중 하나인 싱가포르 해협의 데이터를 사용했습니다.

결과는 다음과 같습니다:

• 시스템은 1,038건의 선박 탐지를 분석했습니다.
• 그 중 96건을 다크 베슬로 식별했습니다.
• 이는 **9.24%**의 **다크 베슬 탐지율(DVDR)**을 기록했습니다.

이는 이 특정 테스트에서 레이더에 탐지된 배 10척 중 약 1척이 자신의 위치를 방송하지 않고 있었음을 의미합니다. 연구진은 이것이 이전 연구들과 일치한다고 언급하며, 해상 교통의 상당 부분이 그림자 속에서 운영되고 있음을 시사한다고 밝혔습니다.

이것이 왜 중요한가

이 논문의 핵심 요지는 배를 찾는 데 있어 "원사이즈 피츠 올" 방식은 충분하지 않다는 것입니다. 각기 다른 환경에 맞는 자신만의 초능력을 가진 전문가 팀을 구축함으로써, 연구진은 더 강력하고 정확한 해상 모니터링 방법을 만들어냈습니다.

이 연구는 이 하이브리드 프레임워크가 운영 가능한 해상 감시에 있어 중요한 진전임을 시사합니다. 이는 단순한 시뮬레이션을 넘어 실제 위성 데이터 및 실시간 교통 정보와 함께 작동할 수 있음을 보여주었습니다. 비록 이 시스템이 완벽하지는 않지만(완벽한 시스템은 없듯이), 틈새를 통해 빠져나가려는 "다크 베슬"을 잡아내어 글로벌 무역 경로를 더 안전하고 보안이 철저하게 유지하는 데 유망한 방법을 제공합니다. 연구진은 향후 레이더를 다른 유형의 센서와 결합하는 등 시스템을 계속 개선할 계획이지만, 현재로서는 스마트한 멀티 엑스퍼트 팀이 숨겨진 바다의 퍼즐을 푸는 최선의 방법임을 입증했습니다.