World2Rules: A Neuro-Symbolic Framework for Learning World-Governing Safety Rules for Aviation

Resumen Técnico: World2Rules

1. El Problema

Muchos sistemas críticos para la seguridad, como la aviación, están gobernados por reglas explícitas que definen configuraciones inseguras y restringen las interacciones entre agentes. Sin embargo, en la práctica, estas reglas a menudo están implícitas en datos, procedimientos o conocimiento experto, en lugar de estar formalizadas para el razonamiento sistemático.

El aprendizaje automático de estas reglas enfrenta tres desafíos principales:

1. Complejidad y Contexto: Las reglas son complejas y dependen del contexto, lo que hace que su especificación manual sea propensa a errores e incompleta.
2. Naturaleza de los Datos: Los datos de seguridad son asimétricos. Existe una gran cantidad de datos operativos "nominales" (comportamiento diario seguro), mientras que los casos de fallo o violaciones de seguridad (accidentes, incidentes) son escasos, ruidosos y a menudo se presentan en informes textuales no estructurados.
3. Limitaciones de los Enfoques Actuales:
   • Los modelos neuronales (como LLMs) pueden extraer patrones de texto e imágenes, pero carecen de garantías formales, son propensos a alucinaciones y no ofrecen verificación lógica.
   • Los métodos simbólicos (como la Programación Lógica Inductiva o ILP) ofrecen verifiabilidad, pero son frágiles cuando se aplican directamente a observaciones imperfectas o ruidosas extraídas de datos del mundo real.

2. Metodología: El Marco World2Rules

El authors proponen World2Rules, un marco neuro-simbólico diseñado para aprender reglas de seguridad de primer orden a partir de datos multimodales (texto e imágenes/trajectorias). El enfoque combina la capacidad de extracción de modelos preentrenados con la rigurosidad de la lógica simbólica.

Componentes Clave:

• Extracción Multimodal:

  • Datos de Violación (Positivos): Se extraen de informes de accidentes e incidentes (ej. sistema ASIAS) utilizando un Modelo de Lenguaje Grande (LLM).
  • Datos Nominales (Negativos): Se extraen de operaciones rutinarias en aeropuertos (imágenes y trayectorias) utilizando un Modelo de Lenguaje Visión (VLM).
  • Ambos flujos generan hechos simbólicos candidatos (predicados y relaciones) que sirven como entrada para el ILP.

• Programación Lógica Inductiva (ILP) con Verificación:

  • Se utiliza el motor Popper (con solvers RC2 y NuWLS) para buscar hipótesis (reglas lógicas) que sean consistentes con los ejemplos positivos y negativos.
  • El sistema no asume que las extracciones neuronales son perfectas; las trata como entradas ruidosas que deben ser filtradas.

• Mecanismo de Retroalimentación Jerárquica (4 Niveles):
  Para garantizar la robustez, el sistema aplica una verificación de consistencia en cuatro niveles antes de agregar las reglas finales:

  1. Consistencia de Extracción: Validación sintáctica y semántica de los datos extraídos por los modelos neuronales.
  2. Consistencia a Nivel de Subconjunto: Cada par (informe de incidente + observación nominal) se trata como una tarea ILP independiente. Si un subconjunto no permite encontrar una hipótesis consistente, se descarta.
  3. Agregación Iterativa Global: Se agregan progresivamente los subconjuntos consistentes. En cada paso, el solver verifica que la nueva hipótesis mantenga un 100% de precisión sobre todos los datos agregados. Si un nuevo subconjunto rompe la consistencia global, se descarta o se depura.
  4. Poda por Soporte Empírico: Se eliminan reglas con bajo soporte (basadas en ruido o patrones espurios), manteniendo solo aquellas que se sostienen en la mayoría de los datos consistentes.

• Garantías de Corrección:
  El marco demuestra teóricamente que el resultado final es negativamente seguro (no viola ninguna regla de seguridad conocida, es decir, no genera falsos positivos sobre estados seguros) y, antes de la poda, es completo con respecto a los ejemplos positivos.

3. Contribuciones Clave

1. Marco Neuro-Simbólico: Introducción de World2Rules, capaz de aprender reglas declarativas de seguridad a partir de datos multimodales crudos sin depender de entradas simbólicas limpias.
2. Verificación Jerárquica: Formalización de un procedimiento de verificación de consistencia que integra extractores preentrenados con un solver lógico, filtrando errores en múltiples niveles de granularidad.
3. Uso Complementario de Datos: Demostración de cómo combinar datos operativos nominales (que definen lo permitido) con datos de violaciones de seguridad (que definen lo prohibido) permite un aprendizaje robusto de reglas de seguridad en operaciones de superficie aeroportuaria.
4. Aplicación en Aviación: Validación del enfoque en un dominio de alta criticidad (detección de intrusión en pistas), logrando reglas interpretables y formalmente verificables.

4. Resultados Experimentales

El sistema se evaluó en un conjunto de datos de prueba con 38 escenarios de intrusión en pistas (28 reales, 10 canónicos).

• Comparación de Rendimiento:

  • World2Rules: Logró un F1-score del 94.0%.
  • Solo LLM (GPT-4o): 70.4% (F1).
  • ILP Naïve (sin verificación iterativa): 50.8% (F1).
  • Mejora: World2Rules superó al enfoque puramente neuronal en 23.6 puntos porcentuales y a la línea base neuro-simbólica simple en 43.2 puntos porcentuales.

• Precisión y Recall:

  • Todas las variantes basadas en ILP lograron una precisión perfecta o casi perfecta (evitando falsos positivos), lo cual es crucial para la seguridad.
  • La ventaja de World2Rules radica en su recall (capacidad de detectar casos reales), que aumentó significativamente gracias a la consistencia iterativa, permitiendo capturar patrones de intrusión más diversos sin introducir ruido.

• Escalabilidad:

  • El rendimiento mejoró monótonamente al aumentar el número de informes de violación (de 10 a 300), pasando de un F1 de 52.5% a 94.0%, impulsado principalmente por la mejora en el recall.

• Interpretabilidad:

  • El sistema aprendió un conjunto compacto de 15 reglas de primer orden. Estas reglas son legibles por humanos y corresponden directamente a categorías reconocidas de intrusión en pistas (ej. "avión aterrizando mientras otro se mantiene en la misma pista").

5. Significado e Impacto

El trabajo de World2Rules es significativo por varias razones:

• Seguridad Crítica: Proporciona un método para aprender reglas de seguridad que no solo son predictivas, sino que son formalmente verificables y libres de contradicciones lógicas, algo esencial en aviación.
• Robustez ante Ruido: Demuestra que es posible utilizar modelos neuronales potentes (LLMs/VLMs) para la extracción de características en entornos ruidosos, siempre que se utilice una capa de verificación simbólica estricta para corregir errores y alucinaciones.
• Generalización: Aunque se probó en aviación, el marco es agnóstico al dominio. Puede aplicarse a cualquier sistema gobernado por reglas estructuradas donde existan datos multimodales y un vocabulario de predicados definido.
• Equilibrio: Resuelve el dilema entre la flexibilidad de los modelos neuronales y la rigidez de los sistemas simbólicos, ofreciendo un equilibrio óptimo entre capacidad de generalización y garantías de seguridad.

En conclusión, World2Rules establece un nuevo estándar para el aprendizaje de reglas de seguridad en sistemas críticos, demostrando que la integración reflexiva de la extracción neuronal y la verificación lógica puede superar significativamente a los enfoques puramente neuronales o simbólicos tradicionales.