SeaAlert: Critical Information Extraction From Maritime Distress Communications with Large Language Models

1. 문제 정의 (Problem)

해상 구조 및 안전 시스템 (GMDSS) 은 VHF 라디오를 통한 음성 구조 통신을 기반으로 합니다. 이러한 통신은 선박의 신원, 위치, 구조의 성격, 필요한 지원 등 필수 정보를 포함해야 하지만, 실제 환경에서는 다음과 같은 심각한 한계가 존재합니다.

• 통신 환경의 열악함: 잡음, 스트레스, 비표준화된 표현, 그리고 자동 음성 인식 (ASR) 시스템의 오류로 인해 텍스트가 왜곡됩니다.
• 기존 방법론의 부족: 전통적인 키워드 스포팅 (KWS) 이나 Bag-of-Words (BoW) 기반 모델은 잡음과 모호한 문맥 하에서 실패하기 쉽습니다. 이는 지연된 대응이나 오경보로 이어져 생명에 치명적인 결과를 초래할 수 있습니다.
• 데이터 부족: 실제 해상 구조 통신 데이터는 기밀성 및 희소성 문제로 인해 레이블이 지정된 대규모 데이터셋을 확보하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 SeaAlert이라는 LLM 기반 프레임워크를 제안하며, 다음과 같은 5 단계의 실험 파이프라인을 구축했습니다.

• 가상 데이터 생성 파이프라인 (Synthetic Data Generation):
  • GPT-4 를 활용하여 1,872 개의 해상 구조 메시지를 생성했습니다.
  • 세분화: 4 가지 심각도 등급 (Distress, Urgency, Safety, Routine), 3 가지 통신 스타일, 12 가지 시나리오 유형을 포함합니다.
  • 강화 학습: 표준 GMDSS 코드워드 (예: MAYDAY) 를 생략하거나 대체하는 등 다양한 변형을 포함시켜 모델의 견고성을 평가할 수 있도록 설계했습니다.
• 오디오 시뮬레이션 및 잡음 주입:
  • 생성된 텍스트를 TTS(음성 합성) 로 변환한 후, 실제 해상 VHF 채널의 잡음 특성을 모사한 잡음 (Medium: 12dB, High: 6dB SNR) 을 주입했습니다.
  • 이를 Whisper ASR 시스템을 통해 다시 텍스트로 변환하여, 실제와 유사한 ASR 오류 (WER 약 29.6%~36.2%) 를 포함한 전사본을 확보했습니다.
• 모델 아키텍처 및 비교:
  • 기저 모델 (Baseline): Logistic Regression (BoW 기반).
  • 변환기 모델 (Transformer): RoBERTa-base.
  • 정보 추출: 정규식 (Regex) 기반 추출과 GPT-4 기반 제로샷 (Zero-shot) 추출을 비교했습니다.
• 실험 설계:
  1. ASR 잡음 견고성 테스트: 깨끗한 텍스트 vs. 잡음 섞인 전사본 성능 비교.
  2. 적대적 시나리오 테스트: 부정문, 훈련 (Drill), 중계 등 오해의 소지가 있는 메시지 처리 능력 평가.
  3. 키워드 제거 (Ablation) 테스트: GMDSS 코드워드를 마스킹했을 때의 성능 저하 분석.
  4. 구조화된 정보 추출: 선박명, MMSI, 위치, 탑승 인원 (POB) 등 필드 추출 정확도 평가.

3. 주요 기여 (Key Contributions)

1. 종단 간 평가 프레임워크: 가상 데이터 생성, 잡음 시뮬레이션, ASR 전사, 심각도 분류, 그리고 구조화된 정보 추출까지 통합된 해상 구조 통신 분석 프레임워크를 최초로 제시했습니다.
2. Robustness 중심 비교: 깨끗한 텍스트에서는 BoW 와 Transformer 모델의 성능 차이가 미미하지만, ASR 잡음 하에서 RoBERTa 가 BoW 대비 월등히 뛰어난 견고성을 보임을 입증했습니다.
3. 코드워드 의존성 분석: 두 모델 모두 명시적인 코드워드에 크게 의존하지만, RoBERTa 는 코드워드가 생략되거나 왜곡되었을 때 BoW 보다 훨씬 효과적으로 문맥을 활용하여 분류를 수행함을 보였습니다.
4. 정보 추출 방법론의 전환: 잡음이 섞인 ASR 전사본에서 구조화된 정보 (특히 알파벳/숫자 조합인 MMSI, 호출 부호 등) 를 추출할 때, Regex 기반 방법론은 실패하지만 GPT-4 기반 추출이 압도적으로 우수함을 입증했습니다.

4. 주요 결과 (Results)

• 분류 성능 (Classification):
  • ASR 잡음 영향: ASR High 잡음 조건에서 Logistic Regression 의 Macro-F1 은 약 37% 급감한 반면, RoBERTa 는 약 10% 만 감소하여 훨씬 안정적인 성능을 유지했습니다.
  • 코드워드 마스킹: 코드워드가 제거된 조건에서 RoBERTa 는 성능 저하가 적었고, BoW 모델은 오히려 성능이 더 떨어지는 등 문맥 이해 능력이 부족함을 보였습니다.
  • 적대적 공격: '훈련 (Drill)' 메시지는 두 모델 모두 0% 정확도로 실패했으나, RoBERTa 는 모호한 메시지나 코드워드 없는 실제 구조 메시지 (Real_no_codeword) 에서 BoW 보다 높은 정확도를 보였습니다.
• 정보 추출 (Information Extraction):
  • Regex 의 한계: 잡음으로 인해 문자열 패턴이 깨지면 MMSI, 호출 부호 등 필드 추출이 거의 불가능해졌습니다.
  • GPT-4 의 우위: GPT-4 는 잡음이 심한 전사본에서도 MMSI, 위치, POB 등 핵심 필드를 높은 정확도로 복원했습니다. 특히 알파벳/숫자 혼재 필드에서 Regex 대비 월등한 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 함의: 해상 구조 통신 분석 시스템은 단순히 깨끗한 텍스트 분류 능력이 아닌, 열악한 통신 환경 (잡음, ASR 오류, 비표준 표현) 에서의 견고성이 핵심입니다. Transformer 기반 분류 모델과 LLM 기반 정보 추출을 결합하는 것이 필수적입니다.
• 안전성 고려: 현재 모델들은 '훈련 (Drill)'이나 '오해의 소지가 있는 메시지'를 실제 구조로 오인할 위험이 있으므로, 완전 자동화보다는 **의사결정 지원 도구 (Decision Support Tool)**로서 인간 운영자의 감독 하에 사용되어야 합니다.
• 미래 방향: 향후 연구는 실제 해상 VHF 녹음 데이터를 활용한 검증, 코드워드 의존성 감소를 위한 아키텍처 개선, 그리고 ASR 오류 전파를 줄이는 엔드 - 투 - 엔드 오디오 모델 개발이 필요함을 시사합니다.

이 논문은 해상 안전 분야에서 NLP 기술의 실용적 적용 가능성을 보여주며, 특히 Synthetic Data와 LLM을 활용한 데이터 부족 및 잡음 문제 해결 전략을 제시했다는 점에서 의의가 큽니다.