Resumen Técnico: EM-NESY: Expectación-Maximización para el Aprendizaje Neurosimbólico

Planteamiento del Problema

Los modelos neurosimbólicos (NeSy) buscan integrar las fortalezas perceptivas de las redes neuronales con las capacidades de razonamiento de la lógica simbólica. Si bien los modelos NeSy de vanguardia suelen lograr un entrenamiento de extremo a extremo mediante la retropropagación de gradientes a través de ambos componentes, tanto el neural como el simbólico, este enfoque enfrenta desafíos significográficos cuando el componente simbólico depende de la inferencia aproximada.

La inferencia probabilística exacta es a menudo #P-hard e intratable computacionalmente para tareas complejas. En consecuencia, muchos sistemas recurren a métodos de inferencia aproximada (por ejemplo, muestreo, propagación de creencias o relajaciones de programación lineal). Sin embargo, estos métodos introducen problemas de diferenciabilidad:

1. No diferenciabilidad: Las técnicas como el muestreo son inherentemente no diferenciables, lo que requiere estimadores de gradiente especializados (por ejemplo, REINFORCE) o trucos de reparametrización.
2. Sobrecarga Computacional: Incluso los métodos iterativos teóricamente diferenciables (por ejemplo, la propagación de creencias) se vuelven impracticables para diferenciar en la práctica debido al enorme grafo computacional requerido para retropropagar a través de todas las iteraciones.

Las soluciones actuales suelen requerir modificaciones específicas de la inferencia para asegurar la diferenciabilidad, lo que limita la flexibilidad y escalabilidad de los sistemas NeSy.

Metodología: EM-NeSy

Los autores proponen EM-NeSy, un marco de aprendizaje que plantea el aprendizaje NeSy probabilístico como una instancia del algoritmo de Expectación-Maximización (EM). Esta formulación desacopla el proceso de inferencia simbólica del cálculo del gradiente, permitiendo el uso de cualquier motor de inferencia (exacto o aproximado, diferenciable o no).

El Marco de Trabajo

El modelo NeSy se trata como un modelo de variables latentes donde:

• $X$: Entrada subsimbólica (por ejemplo, imágenes).
• $Z$: Variables simbólicas latentes (predichas neuronalmente).
• $Y$: Salida simbólica objetivo (por ejemplo, la validez de una cuadrícula de Sudoku).
• $\theta$: Parámetros de la red neuronal.

El proceso de aprendizaje alterna entre dos pasos:

1. E-Step (Expectación):
   El componente simbólico calcula la distribución a posteriori de las variables latentes $Z$ condicionada a la etiqueta observada $Y$ y la entrada $X$:
   $$p(z|y, x, \theta) = \frac{p_{Ne}(z|x, \theta)p_{Sy}(y|z)}{p(y|x, \theta)}$$
   Aquí, $p_{Ne}$ es la previa neural y $p_{Sy}$ es la verosimilitud simbólica. Crucialmente, este paso actúa como un "corrector probabilístico", abduciendo etiquetas suaves o duras para $Z$ basándose en el conocimiento de fondo. Este paso puede ser realizado por cualquier motor de inferencia simbólica (exacto, aproximado, basado en muestreo, etc.) sin requerir diferenciabilidad.

2. M-Step (Maximización):
   Los parámetros neuronales $\theta$ se actualizan minimizando la entropía cruzada entre la previa neural $p_{Ne}(z|x, \theta)$ y la posterior $\ell(z)$ calculada en el E-step:
   $$L_{EM-NeSy}(\theta) = -\sum_{z \in R(Z)} \ell(z) \log p_{Ne}(z|x, \theta)$$
   Los gradientes se retropropagan únicamente a través del componente neural, tratando la posterior $\ell(z)$ como una constante. Esto elimina la necesidad de diferenciar a través del proceso de inferencia simbólica.

Equivalencia Teórica

El artículo demuestra que, bajo inferencia exacta, los gradientes calculados por EM-NeSy son matemáticamente equivalentes a los de un aprendizaje NeSy estándar diferenciable de extremo a extremo (Teorema 3.1). Por lo tanto, EM-NeSy recupera el escenario estándar cuando la inferencia exacta es factible, pero ofrece una ventaja distinta cuando no lo es.

Variantes y Extensiones

• Hard EM: Utiliza asignaciones de Máxima A Posteriori (MAP) en lugar de posteriores suaves.
• Multi-M EM: Realiza múltiples pasos M (actualizaciones de gradiente) para un solo paso E para acelerar la convergencia sin volver a calcular la posterior costosa.
• Inferencia Aproximada: El marco soporta naturalmente métodos basados en muestreo (por ejemplo, Rejection Sampling, ABC Sampling) y algoritmos iterativos (por ejemplo, Belief Propagation) sin modificaciones.

Contribuciones Clave

1. Reformulación del Aprendizaje NeSy: Los autores reformulan el aprendizaje NeSy dentro del marco EM, permitiendo el uso de variantes avanzadas de EM (Generalized EM, Stochastic EM, Hard EM) para una mayor flexibilidad.
2. Integración Libre de Diferenciabilidad: Se propone un marco general que integra cualquier motor de inferencia probabilística en un modelo NeSy sin requerir que el proceso de inferencia simbólica sea diferenciable.
3. Escalabilidad y Eficiencia: El enfoque demuestra que el aprendizaje NeSy puede escalar a tareas donde la inferencia exacta es intratable o donde diferenciar a través de solucionadores iterativos es computacionalmente prohibitivo.

Resultados Experimentales

Los autores evaluaron EM-NeSy en tres bancos de pruebas: MNISTAdd (suma de dígitos escritos a mano), Visual Sudoku y Warcraft path-planning.

• Inferencia Exacta (MNISTAdd): EM-NeSy logró una precisión comparable a la del NeSy estándar diferenciable de extremo a extremo (BP-std) y DeepStochLog. Sin embargo, superó significativamente a estos en escalabilidad y eficiencia. Mientras que DeepStochLog falló al escalar a 15 dígitos debido a los límites de compilación de conocimiento, EM-NeSy escaló a 100 dígitos. También redujo el uso de memoria pico de ~90 GB a ~35 GB y redujo el tiempo de entrenamiento.
• Inferencia Aproximada/No Diferenciable:
  • Visual Sudoku: Los métodos diferenciables estándar (Scallop, SL) agotaron el tiempo de ejecución en cuadrículas de 9x9. EM-NeSy utilizando el muestreo de Computación Bayesiana Aproximada (ABC) logró una precisión competitiva (53.3%) con un tiempo de entrenamiento mínimo (8.24 min), mientras que otros métodos eran inaplicables.
  • Warcraft Path-Planning: EM-NeSy con muestreo ABC logró una precisión de estado del arte (98.80% en 12x12, 69.60% en 30x30) con tiempos de entrenamiento significativamente más rápidos en comparación con I-MLE y EXAL.
• Limitaciones Observadas: El rendimiento de EM-NeSy depende de la calidad de la posterior aproximada. El Hard EM (MAP) mostró sesgo en MNISTAdd, y la propagación de creencias de bucle (loopy belief propagation) falló en el Sudoku de 9x9 debido a la estructura del grafo de factores. El muestreo ABC mostró alta varianza en instancias más grandes pero se mantuvo efectivo en entornos más pequeños.

Significado y Reivindicaciones

El artículo afirma que EM-NeSy proporciona un marco de aprendizaje unificado que simplifica sustancialmente el diseño de modelos al eliminar la necesidad de modificaciones de diferenciabilidad específicas de la inferencia. Al tratar el aprendizaje NeSy como un problema de EM, el enfoque:

• Permite el uso de cualquier motor de inferencia simbólica, incluyendo solucionadores especializados, optimizados o no diferenciables.
• Recupera el aprendizaje estándar de extremo a extremo bajo inferencia exacta, ofreciendo al mismo tiempo una eficiencia computacional y escalabilidad de memoria superiores.
• Permite que los sistemas NeSy aborden tareas que involucran restricciones combinatorias complejas (como la planificación de rutas o el Sudoku) donde la inferencia exacta es infactible y las aproximaciones diferenciables son difíciles de construir.

Los autores concluyen que, si bien EM-NeSy no resuelve el problema de seleccionar aproximaciones efectivas (que sigue dependiendo de la tarea), elimina la barrera de la diferenciabilidad, permitiendo así sistemas neurosimbólicos más escalables y flexibles.