KEO: Knowledge Extraction on OMIn via Knowledge Graphs and RAG for Safety-Critical Aviation Maintenance

A continuación presento un resumen técnico detallado del artículo "KEO: Knowledge Extraction on OMIn via Knowledge Graphs and RAG for Safety-Critical Aviation Maintenance" (Extracción de Conocimiento en OMIn mediante Grafos de Conocimiento y RAG para el Mantenimiento Aeroespacial Crítico para la Seguridad), traducido y sintetizado al español.

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) enfrentan desafíos significativos cuando se aplican a dominios altamente especializados y críticos para la seguridad, como el mantenimiento aeronáutico. Las limitaciones principales incluyen:

• Dependencia de conocimiento paramétrico: Los LLMs dependen de datos de entrenamiento estáticos, lo que puede llevar a alucinaciones, información desactualizada y una incapacidad para manejar escenarios del mundo real específicos del dominio.
• Deficiencias del RAG tradicional: La estrategia predominante, la Generación Aumentada por Recuperación (RAG) basada en fragmentos de texto no estructurados (text-chunk), a menudo resulta en contextos redundantes y fragmentados. Esto dificulta el razonamiento complejo de múltiples saltos (multi-hop) y la comprensión global del sistema, lo cual es vital en entornos donde la falta de contexto verificable puede comprometer la seguridad.
• Necesidad de despliegue local: En sectores sensibles como la aviación militar y civil, es crucial que las herramientas de IA operen localmente sin depender de APIs externas para garantizar la privacidad y la seguridad de los datos.

2. Metodología: El Framework KEO

Los autores proponen KEO (Knowledge Extraction on OMIn), un marco de trabajo que integra la representación estructurada de conocimiento (Grafos de Conocimiento - KG) con RAG para mejorar la extracción y el razonamiento de conocimiento específico del dominio.

Componentes Clave:

1. Construcción del Grafo de Conocimiento (KG):

   • Se utiliza el conjunto de datos OMIn (Operations and Maintenance Intelligence), que contiene 2,748 registros de incidentes de la FAA.
   • Se emplean LLMs (como GPT-4o o Phi-4-mini) en un modo zero-shot para extraer triplets de conocimiento (entidad, relación, entidad) de los registros de mantenimiento no estructurados.
   • El KG se construye dinámicamente, minimizando la redundancia de nodos y asignando pesos a las relaciones basados en su frecuencia.

2. Pipeline de RAG Basado en KG:
   A diferencia del RAG tradicional que recupera fragmentos de texto, KEO opera a nivel de entidades y relaciones:

   • Identificación de Nodos Semánticos: Se calculan embeddings para cada nodo (entidad) del grafo y se recuperan los $k$ nodos más relevantes semánticamente como "semillas".
   • Expansión del Grafo Consciente de la Importancia: A partir de las semillas, se expande el grafo a $m$ saltos. Se aplica un filtrado para priorizar subestructuras informativas, transformando el subgrafo dirigido en un grafo no dirigido ponderado y calculando Árboles de Expansión Máxima (MST) para mantener las conexiones más estructurales y relevantes.
   • Reconstrucción de Contexto: Se generan descripciones textuales basadas en la traversión de los árboles MST. Además, se incorpora una resumen comunitario jerárquico (inspirado en GraphRAG) para proporcionar tanto detalles locales como una estructura global al LLM.

3. Creación de un Benchmark de QA:
   Se desarrolló un nuevo conjunto de evaluación con dos tipos de preguntas:

   • Comprensión Global (Global Sensemaking): Requiere sintetizar patrones y tendencias a través de todo el conjunto de datos (ej. "¿Qué modos de fallo recurrentes emergen?").
   • Conocimiento a Acción (Knowledge-to-Action): Evalúa la transferencia de conocimiento estructurado a problemas de mantenimiento específicos no vistos previamente, utilizando pares problema-acción del dataset MaintNet como referencia, pero restringiendo la recuperación solo a los datos de OMIn.

4. Evaluación:

   • Se probaron LLMs locales y ligeros para la generación de respuestas: Gemma-3, Phi-4 y Mistral-Nemo.
   • Se utilizaron modelos más potentes (GPT-4o y Llama-3.3) como jueces para evaluar la precisión factual y la calidad del razonamiento mediante puntuaciones absolutas y comparativas.

3. Contribuciones Clave

• Framework KEO: Una metodología novedosa que integra KGs en un pipeline RAG para dominios críticos, permitiendo un razonamiento más coherente a nivel de conjunto de datos.
• Benchmark Especializado: Creación de un estándar de evaluación para mantenimiento aeronáutico que mide tanto la comprensión global de patrones sistémicos como la capacidad de transferencia de conocimiento a acciones específicas.
• Validación de Despliegue Local: Demostración de que es posible lograr un alto rendimiento en tareas de razonamiento complejo utilizando modelos de lenguaje locales y seguros, sin depender de la nube.
• Análisis Comparativo: Evidencia empírica que distingue cuándo es superior el RAG basado en KG (razonamiento global) frente al RAG basado en fragmentos de texto (tareas procedimentales locales).

4. Resultados

Los experimentos arrojaron hallazgos diferenciados según el tipo de tarea:

• Comprensión Global (Global Sensemaking):

  • KEO superó significativamente tanto al Vanilla LLM (sin contexto) como al RAG tradicional basado en fragmentos de texto.
  • El enfoque de KG permitió revelar patrones sistémicos y relaciones complejas que los métodos tradicionales no podían capturar.
  • La mejora fue más pronunciada cuando KEO se combinó con modelos base más capaces (como Gemma-3), sugiriendo que los modelos más potentes aprovechan mejor el contexto estructurado.
  • El rendimiento óptimo se observó cuando el KG se construyó con entre 200 y 300 registros.

• Conocimiento a Acción (Knowledge-to-Action):

  • En tareas que requieren respuestas procedimentales específicas y locales, el RAG tradicional basado en fragmentos de texto fue igual o superior a KEO.
  • La recuperación directa de registros semánticamente similares funcionó mejor para respuestas concretas que la abstracción de un grafo de conocimiento.
  • Las métricas ROUGE mostraron diferencias estadísticamente insignificantes, probablemente debido a la naturaleza breve y específica de las respuestas de oro.

5. Significado e Impacto

Este trabajo es fundamental para la aplicación de IA en entornos de alta seguridad:

• Seguridad y Confianza: Al utilizar KGs, se mitigan las alucinaciones y se proporciona un contexto verificable y transparente, esencial para la toma de decisiones en aviación.
• Escalabilidad en Dominios Críticos: Demuestra que los sistemas de IA pueden escalarse a dominios de alto riesgo mediante el uso de conocimiento estructurado, permitiendo que modelos más pequeños y locales alcancen un rendimiento comparable a modelos grandes.
• Hibridación de Enfoques: El estudio concluye que no existe una solución única; la combinación de RAG basado en KG para el razonamiento sistémico y RAG basado en texto para tareas procedimentales ofrece el enfoque más robusto para sistemas de soporte de decisiones en mantenimiento.
• Futuro: El marco es transferible a otros sectores críticos como la salud, los sistemas de energía y la defensa, abriendo la puerta a una IA más segura, explicable y localmente desplegable.