Resumen Técnico: NeSyCat Torch

Planteamiento del Problema

La IA neurosimbólica (NeSy) busca combinar las capacidades perceptivas de las redes neuronales con el razonamiento estructurado de la lógica simbólica. Sin embargo, el campo sufre de fragmentación: los sistemas clásicos, difusos y probabilísticos definen la verdad mediante reglas inductivas distintas, lo que impide la transferencia de bases de conocimiento y objetivos de aprendizaje entre ellos. Si bien el Lenguaje Unificado para el Aprendizaje y el Razonamiento (ULLER) unificó previamente estas semánticas bajo un marco categórico basado en mónadas, carecía de una implementación para predicados y funciones aprendidos por redes neuronales. Además, las implementaciones existentes suelen tener dificultades con la escalabilidad y la estabilidad numérica al pasar de entornos discretos a continuos o de grandes lotes (batches).

Metodología

El artículo presenta NeSyCat Torch, una implementación tensorial diferenciable del marco categórico NeSyCat. La metodología central consiste en interpretar símbolos computacionales mediante redes neuronales dentro de una arquitectura paramétrica de mónadas.

1. Marco Categórico y Mónadas

El marco extiende la semántica categórica de Johnstone (2002) organizando la sintaxis y la semántica en cuatro capas: categórica, lógica, de dominio y gramatical. El mecanismo de unificación es la mónada fuerte $M$, que parametriza el efecto (p. ej., probabilidad, pesos tensoriales). El artículo utiliza tres capas de mónadas específicas (Tabla 1):

• Mónada de Distribución ($D$): Representa distribuciones de probabilidad con soporte finito. Sirve como semántica de referencia y lectura métrica, donde el bind ($>>=$) realiza la marginalización (ley de la probabilidad total).
• Mónada Tensorial ($T$) / Mónada de Log-Tensor ($T_{log}$): Implementa la mónada de distribución de manera diferenciable utilizando números reales (logits) en lugar de probabilidades. $T_{log}$ opera sobre el semianillo de logaritmos $(\mathbb{R}, \text{logsumexp}, +)$ para asegurar la estabilidad numérica y la diferenciabilidad, evitando la degeneración del gradiente asociada con los operadores difusos en $[0,1]$.
• Mónada de Lote o Batch ($B$): Una mónada lectora sobre un conjunto de índices de lote que permite el procesamiento paralelo de mini-lotes sin introducir aleatoriedad.

2. Sintaxis y Semántica

El sistema soporta tres tipos de símbolos:

• Tarski: Mapas deterministas (Lógica de Primer Orden estándar).
• Kleisli: Mapas con efectos hacia $M$.
• NeSy: Mapas neuronales que toman portadores monádicos como entrada y producen portadores monádicos como salida.

Las fórmulas se construyen utilizando notación do (azúcar sintáctica para el bind monádico). Una innovación clave es el tratamiento de los símbolos de función computacional (p. ej., $digit: \text{Image} \to M \text{Digit}$) y los predicados. La semántica se define inductivamente:

• Bind ($\leftarrow$): Realiza la marginalización en $D$ y la convolución en el espacio de logaritmos en $T$.
• Cuantificadores: Agregan valores de verdad monádicos sobre dominios finitos.
• Evaluación Perezosa (Lazy Evaluation): El marco emplea mónadas perezosas para posponer el cálculo de las probabilidades marginalizadas hasta que sean estrictamente necesarias, podando las ramas innecesarias.

3. Entrenamiento e Inferencia

El entrenamiento minimiza la pérdida de conocimiento (log-veracidad negativa media de los axiomas) sobre un conjunto de datos.

• Batching (Procesamiento por lotes): En lugar de ejecutar el programa de la notación do $N$ veces para $N$ muestras, el sistema lo ejecuta una sola vez sobre un tensor de lote. La mónada de lote $B$ se compone con la mónada tensorial $T$ ($B \circ T$).
• Manejo de Datos: Las observaciones se tratan como valores "ciertos" (codificados en one-hot en el espacio de logaritmos) que entran en la fórmula vía liftB.
• Implementación: El marco está implementado en Haskell (HaskTorch), Python (JAX) y Python (PyTorch). El backend de JAX utiliza la compilación JIT para la convolución en el espacio de logaritmos y la diferenciación.

Contribuciones Clave

1. Implementación Neuronal de NeSyCat: Proporciona la primera implementación neuronal del marco NeSyCat, cerrando la brecha entre la semántica categórica abstracta y el aprendizaje profundo práctico.
2. Parametricidad de Mónadas Unificada: Demuestra que un único código base, escrito en notación do monádica, puede instanciar diferentes semánticas (probabilística, difusa, clásica) simplemente cambiando la mónada subyacente.
3. Mónada de Log-Tensor Diferenciable: Introduce un backend de entrenamiento numéricamente estable y diferenciable utilizando el semianillo de logaritmos, evitando la necesidad de una normalización softmax explícita durante los pasos intermedios (posponiéndola hasta el límite).
4. Escalabilidad mediante Pereza: Logra un entrenamiento eficiente en lotes y problemas de múltiples dígitos mediante el aplazamiento de los cálculos de marginalización.

Resultados Experimentales

Los autores evaluaron el marco en la tarea de suma de MNIST (supervisión distante: solo se observa la suma de dos dígitos escritos a mano, no los dígitos en sí).

• Precisión (Accuracy):
  • Dígito Único ($N=1$): NeSyCat Torch alcanzó un 94.6% (estilo LTN) y un 94.2% (estilo DeepProbLog), superando a LTN (93.5%) y DeepProbLog (92.2%).
  • Multi-Dígito ($N=4$): NeSyCat Torch logró un 92.0% de precisión. En contraste, LTN y DeepProbLog agotaron el tiempo de ejecución (T/O) en esta tarea.
  • Comparación: El enfoque se acerca a la precisión de DeepStochLog (92.7% para $N=4$), que es actualmente la línea base más precisa, manteniendo un marco uniforme aplicable a diversos enfoques de primer orden.
• Eficiencia:
  • Los pasos de entrenamiento en una sola GPU A100 fueron significativamente más rápidos que LTN (0.52ms vs. 5.36ms por paso para el estilo LTN en hardware antiguo).
  • El sistema converge rápidamente; el barrido completo de 15 semillas para la suma de un solo dígito tomó aproximadamente 1.5 minutos.
• Generalización: La red aprendió a reconocer dígitos con un ~97% de precisión basándose únicamente en las sumas observadas, sin utilizar etiquetas de dígitos.

Significado y Reivindicaciones

El artículo afirma que NeSyCat Torch logra escalar la generalidad del marco categórico NeSyCat al nivel de la implementación neuronal. Su principal importancia radica en:

• Unificación: Ofrece un marco único y uniforme que se aplica a muchos enfoques de NeSy de primer orden (clásicos, difusos, probabilísticos) simplemente instanciando la mónada, en lugar de requerir definiciones separadas para cada uno.
• Escalabilidad: Al utilizar mónadas perezosas y estructuras tensoriales, supera los cuellos de botella computacionales (como el conteo de modelos ponderados #P-hard en DeepProbLog) que limitan otros métodos en problemas más grandes (p. ej., $N=4$ dígitos).
• Extensibilidad: El marco es paramétrico; aunque el trabajo actual se centra en distribuciones de soporte finito, los autores señalan que instanciarlo con la mónada Giry podría extender el enfoque a la probabilidad continua (aunque la representación neuronal para esto queda como trabajo futuro).

Los autores señalan modestamente que, si bien la implementación actual maneja dominios finitos y distribuciones discretas de manera efectiva, generalizar a dominios infinitos y representaciones neuronales eficientes de la probabilidad continua sigue siendo un desafío abierto para investigaciones futuras.