T-ILR: a Neurosymbolic Integration for LTLf

Resumen Técnico: T-ILR: una Integración Neurosimbólica para LTLf

Planteamiento del Problema
Si bien el aprendizaje neurosimbólico (NeSy) ha demostrado éxito en la integración de conocimiento simbólico con aprendizaje profundo para dominios estáticos, los métodos para manejar especificaciones de lógica temporal siguen siendo insuficientemente explorados. Los enfoques existentes para la integración temporal NeSy, como el trabajo de Umili et al. (2023), dependen de la construcción de Autómatas de Estados Finitos (DFA) para representar fórmulas temporales expresadas en Lógica Temporal Lineal sobre trazas finitas (LTLf). Aunque es efectivo, esta estrategia incurre en altos costos computacionales debido a la complejidad de convertir fórmulas LTLf en DFAs (De Giacomo y Vardi, 2013) y la subsiguiente sobrecarga de procesar estos autómatas durante el entrenamiento. Además, la mayoría de los marcos de trabajo NeSy se centran en lógicas de primer orden o proposicionales para el razonamiento estático, dejando el razonamiento en entornos dinámicos y temporalmente estructurados como un problema abierto.

Metodología: Refinamiento Local Iterativo Temporal (T-ILR)
Los autores proponen T-ILR, un nuevo marco neurosimbólico diseñado para incorporar especificaciones LTLf directamente en arquitecturas de aprendizaje profundo para tareas basadas en secuencias sin requerir una representación de autómata externa. El marco extiende el algoritmo de Refinamiento Local Iterativo (ILR) (Daniele et al., 2023) aprovechando interpretaciones difusas de LTLf (fLTLf).

La arquitectura T-ILR consta de dos módulos primarios:

1. Módulo de Percepción: Una red neuronal paramétrica ($f_\theta$) que mapea observaciones brutas (por ejemplo, imágenes) a una secuencia de valores de verdad difusos. Este módulo fundamenta las proposiciones atómicas de la fórmula LTLf a partir de los datos brutos. Dependiendo de la tarea, emplea activaciones softmax (para símbolos mutuamente excluyentes) o sigmoid (para símbolos no mutuamente excluyentes).
2. Módulo Simbólico: Este módulo evalúa la especificación LTLf utilizando semánticas difusas (fLTLf) definidas sobre trazas finitas. La fórmula LTLf original se transforma en una contraparte difusa ($\tilde{\Phi}$) y se procesa a través de una capa ILR. La capa ILR descompone la fórmula en un grafo computacional y aplica Funciones de Refinamiento Mínimo (MRF) a cada nodo de conectiva lógica. Este proceso refina iterativamente las salidas difusas del módulo de percepción para satisfacer las restricciones lógicas (valor de verdad objetivo $t=1$) mientras se minimiza la desviación de las predicciones originales.

Crucialmente, T-ILR utiliza semánticas de lógica de Gödel (específicamente semántica de Zadeh para t-normas) para asegurar que los operadores lógicos sigan siendo diferenciables. Esto permite una optimización basada en gradientes de extremo a extremo donde la función de pérdida se calcula basándose en la satisfacción refinada de la fórmula temporal, eliminando la necesidad de la construcción explícita de un DFA.

Contribuciones Clave

• Integración Directa de LTLf: El artículo introduce un método para incrustar especificaciones LTLf directamente en redes neuronales mediante lógica temporal difusa, evitando el cuello de botella computacional de la construcción de DFA.
• Extensión de ILR: Los autores extienden el algoritmo ILR para operar sobre trazas temporales usando fLTLf, permitiendo el manejo de operadores temporales (Siguiente, Hasta) dentro de un marco diferenciable.
• Razonamiento Temporal Diferenciable: El marco soporta la retropropagación a través de las restricciones lógicas, permitiendo que el módulo de percepción aprenda representaciones simbólicas que satisfagan condiciones temporales.

Resultados Experimentales
Los autores evaluaron T-ILR frente al enfoque basado en DFA de vanguardia (Umili et al., 2023) utilizando una tarea de clasificación binaria débilmente supervisada en secuencias de imágenes MNIST. La evaluación cubrió dos escenarios: ocurrencias de símbolos Mutuamente Excluyentes (ME) y No Mutuamente Excluyentes (NME), con longitudes de secuencia y tamaños de alfabeto variables.

• Precisión: T-ILR demostró una precisión mejorada en comparación con el baseline de DFA. En el escenario ME, T-ILR superó al baseline en 9 de 20 casos, mientras que en el escenario más complejo NME, superó al baseline en 13 de 20 casos. T-ILR mantuvo una alta precisión incluso a medida que aumentaban las longitudes de secuencia y los tamaños de alfabeto, mientras que el enfoque DFA mostró una degradación significativa del rendimiento en estos entornos complejos.
• Eficiencia Computacional: T-ILR exhibió una eficiencia computacional superior. El método DFA sufrió de tiempos de espera agotados (excediendo los 60 minutos) en varias configuraciones, particularmente con alfabetos más grandes y secuencias más largas, debido al costo del procesamiento de autómatas. En contraste, T-ILR completó consistentemente el entrenamiento dentro de los límites de tiempo, mostrando tiempos de ejecución significativamente menores.

Significancia y Reivindicaciones
El artículo afirma que T-ILR valida la viabilidad del uso de semánticas basadas en lógica difusa como un puente entre las representaciones simbólicas y neuronales en dominios temporales. Los resultados sugieren que la incrustación directa de conocimiento temporal vía fLTLf permite un aprendizaje más estable y eficiente dentro del módulo de percepción en comparación con los métodos basados en autómatas. Los autores destacan que la capacidad de T-ILR para manejar eventos concurrentes (NME) y escalar con la longitud de la secuencia lo convierte en una dirección prometedora para el razonamiento temporal NeSy.

Los autores enmarcan modestamente su trabajo como una extensión de los paradigmas NeSy existentes hacia dominios dinámicos, señalando que, aunque utilizaron la lógica de Gödel, otras semánticas difusas (por ejemplo, Lukasiewicz, Producto) podrían explorarse en trabajos futuros. Proponen que este enfoque podría aplicarse a dominios del mundo real como el monitoreo predictivo y prescriptivo de procesos, pero no reclaman el despliegue inmediato en estas áreas dentro del alcance del presente estudio.