SeaAlert: Critical Information Extraction From Maritime Distress Communications with Large Language Models

1. Planteamiento del Problema

Las comunicaciones de socorro marítimo transmitidas por radio VHF son mensajes de voz críticos para la seguridad que reportan emergencias en el mar bajo el Sistema Mundial de Socorro y Seguridad Marítima (GMDSS). Aunque estos mensajes deben seguir procedimientos estandarizados, su análisis automático presenta desafíos significativos:

• Condiciones adversas: Los mensajes suelen ser breves, ruidosos y generados bajo estrés, lo que a menudo lleva a desviaciones del formato prescrito.
• Errores de ASR: La degradación del canal y el estrés del hablante provocan errores en los sistemas de Reconocimiento Automático del Habla (ASR), corrompiendo el texto transcrito.
• Limitaciones de métodos tradicionales: Los enfoques basados en la detección de palabras clave (Keyword Spotting - KWS) o modelos clásicos (como Bag-of-Words) fallan frecuentemente ante ruido, frases ambiguas o cuando faltan las palabras clave estándar (codewords) debido a errores de transcripción.
• Escasez de datos: Existe una falta crítica de datos reales etiquetados de comunicaciones de socorro, lo que dificulta el entrenamiento de modelos robustos.

2. Metodología

El estudio presenta SeaAlert, un marco de evaluación integral que combina clasificación de severidad y extracción de información estructurada. La metodología se basa en cinco etapas interconectadas:

• A. Generación de Datos Sintéticos:
  • Dado el escaso volumen de datos reales, se utilizó un LLM (GPT-4) para generar un conjunto de datos sintético balanceado de 1,872 mensajes.
  • Los datos cubren cuatro niveles de severidad (Socorro, Urgencia, Seguridad, Rutina), tres estilos de comunicación y 12 tipos de escenarios.
  • Se incluyen variaciones controladas donde las palabras clave del GMDSS (ej. MAYDAY, PAN-PAN) se omiten o enmascaran para evaluar la dependencia del modelo en estos anclajes léxicos.
• B. Simulación de Audio e Inyección de Ruido:
  • Los textos se convirtieron en audio usando Coqui TTS (VITS) con 109 hablantes diversos.
  • Se aplicó ruido de canal VHF simulado (niveles Medio y Alto) basado en grabaciones reales.
  • El audio corrupto se transcribió mediante Whisper ASR, introduciendo errores de reconocimiento realistas (tasa de error de palabra promedio del 29.6% a 36.2%).
• C. Modelos y Entrenamiento:
  • Se compararon dos paradigmas:
    1. Línea base clásica: Representación Bag-of-Words (BoW) con Regresión Logística.
    2. Modelos Transformer: DistilBERT y RoBERTa-base (seleccionado como el mejor representante).
  • Los modelos se entrenaron y evaluaron con una división estratificada (70/15/15).
• D. Diseño Experimental:
  • Pruebas de Robustez ASR: Evaluación en texto limpio vs. transcripciones ruidosas.
  • Pruebas Adversariales: Inclusión de negaciones, falsas alarmas, ejercicios (drills) y retransmisiones.
  • Pruebas de Ablación de Palabras Clave: Evaluación del rendimiento cuando se eliminan las palabras clave del protocolo.
  • Extracción de Información: Comparación entre métodos basados en Expresiones Regulares (Regex) y extracción zero-shot con GPT-4 para campos como nombre del buque, MMSI, posición y número de personas a bordo (POB).

3. Contribuciones Clave

1. Marco de Evaluación End-to-End: Presentación de un pipeline completo que integra generación de datos sintéticos, simulación de ruido VHF, transcripción ASR, clasificación de severidad y extracción de información estructurada.
2. Análisis Comparativo de Robustez: Demostración de que, aunque los modelos Transformer y BoW tienen un rendimiento similar en texto limpio, RoBERTa es sustancialmente más robusto ante la corrupción por ASR, el enmascaramiento de palabras clave y formulaciones adversarias.
3. Evaluación de Dependencia de Codewords: Análisis que revela que ambos modelos dependen fuertemente de las palabras clave del GMDSS, pero RoBERTa generaliza mejor cuando estas faltan, ofreciendo un comportamiento de "respaldo" más efectivo.
4. Superioridad de LLMs en Extracción: Evidencia de que la extracción basada en LLMs (GPT-4) supera drásticamente a los métodos basados en Regex en transcripciones ruidosas, especialmente para identificadores alfanuméricos (MMSI, Call Sign) y campos semánticamente variables.
5. Recurso Abierto: Publicación de datos, código e implementación en GitHub para fomentar la reproducibilidad.

4. Resultados Principales

• Rendimiento en Texto Limpio: La diferencia entre Regresión Logística (BoW) y RoBERTa es mínima (67.9% vs 68.3% de precisión), indicando que ambos aprovechan bien la estructura léxica regular de los mensajes sintéticos.
• Resiliencia al Ruido ASR:
  • Bajo condiciones de ruido alto, el rendimiento de BoW cae drásticamente (caída relativa del 37% en Macro-F1), mientras que RoBERTa mantiene una degradación mucho menor (10%).
  • RoBERTa preserva correctamente la etiqueta de "Urgencia" en transcripciones corruptas donde BoW falla y clasifica erróneamente como "Rutina".
• Robustez ante Enmascaramiento: Cuando se eliminan las palabras clave del GMDSS durante la prueba, RoBERTa mantiene su rendimiento, mientras que BoW sufre una degradación severa e incluso muestra un rendimiento negativo en la transferencia de texto limpio a texto enmascarado.
• Escenarios Adversariales: Ambos modelos luchan con mensajes de "ejercicios" (drills), fallando completamente en clasificarlos correctamente (0% de precisión en drills). Sin embargo, RoBERTa supera a BoW en casos ambiguos y de negación.
• Extracción de Información:
  • Los métodos Regex fallan casi por completo en campos alfanuméricos (MMSI, Call Sign) bajo ruido ASR alto.
  • GPT-4 logra recuperar con éxito campos críticos (posición, POB, incidente) incluso con transcripciones muy corruptas, demostrando una capacidad superior para inferir información semántica a pesar de errores fonéticos.

5. Significado e Implicaciones

• Seguridad Operacional: El estudio confirma que los sistemas de clasificación de texto limpio no son suficientes para entornos marítimos reales. La capacidad de los modelos Transformer para manejar la degradación del lenguaje es crucial para evitar falsas alarmas o retrasos en la respuesta.
• Diseño de Sistemas: Se recomienda encarecidamente el uso de arquitecturas Transformer para la clasificación de severidad y LLMs para la extracción de información en pipelines de comunicaciones marítimas, en lugar de depender de reglas fijas o modelos léxicos simples.
• Limitaciones y Futuro:
  • Se destaca que los modelos actuales aún no son totalmente fiables para distinguir automáticamente entre emergencias reales y ejercicios (drills), por lo que la supervisión humana sigue siendo esencial.
  • El uso de datos sintéticos es una limitación, aunque necesaria; el trabajo futuro debe validar estos hallazgos con tráfico VHF real y explorar modelos que reduzcan la dependencia de las palabras clave estándar.

En conclusión, SeaAlert demuestra que la combinación de clasificación basada en Transformers y extracción basada en LLMs ofrece una base mucho más sólida para la inteligencia de comunicaciones marítimas en condiciones de ruido y estrés que los métodos tradicionales.