Multi-Field Hybrid Retrieval-Augmented Generation for Maritime Accident Root Cause Analysis

Resumen Técnico: RAG Híbrido de Recuperación Multicampo para el Análisis de Causa Raíz de Accidentes Marítimos

Planteamiento del Problema
Los informes de adjudicación de accidentes marítimos, como los del Tribunal de Seguridad Marítima de Corea (KMST), contienen hallazgos críticos para el Análisis de Causa Raíz (RCA). Sin embargo, aprovechar estos registros para nuevas investigaciones es una tarea laboriosa. Los informes abarcan décadas y se caracterizan por información densa y fragmentada que mezcla terminología legal y técnica a través de distintas secciones (narrativas, razonamiento causal y disposiciones). Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen potencial para automatizar la síntesis narrativa, son propensos a las alucinaciones en dominios especializados, generando a menudo regulaciones o mecanismos causales plausibles pero fácticamente incorrectos. Además, los enfoques estándar de Generación Aumentada por Recuperación (RAG) enfrentan dos desafíos específicos en este contexto: (1) tratar los informes de adjudicación como bloques de texto monolíticos diluye las señales específicas de campo necesarias para una recuperación precisa, y (2) evaluar la calidad de la recuperación a escala es difícil debido al alto costo de obtener etiquetas de relevancia de expertos.

Metodología
Los autores proponen un marco de RAG híbrido multicampo diseñado para la generación estructurada informada por casos. La metodología consta de cuatro componentes primarios:

1. Construcción de una Base de Conocimiento Estructurada:
   El sistema utiliza un conjunto de datos de 13,329 informes de adjudicación del KMST (1971–2025). Los documentos brutos se transforman en "tarjetas de incidentes" estructuradas que contienen tres campos recuperables distintos: Resumen (descripción del incidente), Causas (razonamiento causal del tribunal) y Disposición (resultados administrativos). Cada tarjeta también se enriquece con etiquetas de causas jerárquicas L1/L2 y metadatos (p. ej., tipo de accidente, jurisdicción, año). Este proceso genera aproximadamente 37,007 fragmentos (chunks) recuperables.

2. Etiquetado de Taxonomía Basado en Reglas:
   Para facilitar la generación estructurada sin una anotación manual extensiva, los autores emplean un enfoque de supervisión débil. Utilizando aproximadamente 2,400 entradas de diccionario y 800 patrones de expresiones regulares (regex), mapean palabras clave y causas de los informes a una taxonomía de causas estandarizada del KMST (grupos L1 y 24 factores L2), logrando una cobertura del 97.6%.

3. Recuperación Híbrida Multicampo:
   La estrategia de recuperación emplea un enfoque híbrido consciente de los campos. Para cada uno de los tres campos del documento, el sistema ejecuta dos recuperadores complementarios:

   • Recuperación Dispersa (BM25): Para la coincidencia exacta de identificadores técnicos.
   • Recuperación Densa (BAAI/bge-m3): Para capturar paráfrasis semánticas.
     Los resultados de estos seis rankings independientes (3 campos × 2 métodos) se fusionan mediante Fusión de Ranking Recíproco (RRF) para producir una lista final de fragmentos de evidencia ordenados.

4. Generación Estructurada:
   El generador (Qwen3-Next-80B-A3B-Instruct) se condiciona a los $k$ fragmentos recuperados de mayor rango. Su tarea es sintetizar una narrativa de causa concisa ($n$) y mapear el incidente a etiquetas de taxonomía estandarizadas ($T$). La salida está restringida a un esquema JSON estricto con una temperatura de 0.0 para minimizar la varianza.

Protocolo de Evaluación
Debido a la falta de etiquetas de relevancia de expertos a gran escala, los autores introducen una puntuación de relevancia proxy derivada de metadatos ($RelScore$) basada en la similitud de palabras clave, tipo de accidente, jurisdicción y proximidad temporal. El rendimiento de la recuperación se mide mediante Norm-Recall@100 y nDCG@100. La calidad de la generación se evalúa mediante ROUGE-L, similitud de coseno SBERT y una puntuación de LLM-como-juez (escala 1–5) que evalúa la coherencia y el fundamento (grounding).

Resultos Clave

• Rendimiento de la Recuperación: La estrategia híbrida multicampo propuesta supera significativamente a los modelos base.
  • Pasar de la indexación de documentos completos a la indexación multicampo mejoró el Norm-Recall@100 de 0.1819 a 0.4981 (Densa).
  • El enfoque híbrido (fusionando BM25 y Densa) alcanzó el mayor rendimiento con un Norm-Recall@100 de 0.5463 y un nDCG de 0.7697, comparado con 0.1819 para la línea base densa de documento completo.
  • La inclusión del campo "Disposición" proporcionó un impulso significativo, sugiriendo que los resultados administrativos portan señales discriminativas para desambiguar casos causalmente diferentes.
• Rendimiento de la Generación: El fundamentar al generador en precedentes recuperados mejoró la puntuación de LLM-como-juez de 3.34 a 3.72 (+11.5%). Aunque la superposición léxica (ROUGE-L) y la similitud semántica mostraron mejoras marginales, la mejora cualitativa reside en la consistencia fáctica y la capacidad de citar precedentes específicos.
• Estudios de Caso: En ejemplos específicos (p. ej., casos de varamiento y explosión), la línea base de solo LLM produjo vínculos causales alucinados (p. ej., atribuyendo una explosión a vapores de alcohol basados en la intoxicación de la tripulación). El marco propuesto identificó correctamente los mecanismos técnicos (p. ej., ignición de gas propano) al aprovechar los campos específicos de "Causas" y "Disposición" de los precedentes recuperados.

Significancia y Contribuciones
El artículo sostiene que su contribución principal es demostrar que la RAG consciente de los campos puede agilizar sustancialmente los flujos de trabajo de investigación de seguridad marítima. Al aislar las narrativas descriptivas del razonamiento técnico y legal, el sistema reconstruye las vías de razonamiento diagnóstico utilizadas por los investigadores expertos. El estudio establece que:

1. La Alineación Estructural Importa: Tratar los documentos como bloques monolíticos diluye las señales críticas; separar los campos mejora la precisión de la recuperación.
2. La Recuperación Híbrida es Esencial: Combinar señales dispersas y densas proporciona robustez contra los desajustes de vocabulario mientras preserva la recuperación de terminología técnica precisa.
3. Viabilidad de la Puntuación Proxy de Evaluación: Una puntuación proxy impulsada por metadatos puede servir como una línea base reproducible y sistemática para comparar estrategias de recuperación en dominios administrativos especializados donde no hay etiquetas de oro disponibles.

En última instancia, el marco permite una búsqueda de precedentes más rápida y una redacción de RCA más consistente y basada en evidencia, reduciendo el riesgo de alucinación en el análisis de seguridad marítima de alto riesgo.