🤖 AI

Accelerating NeurASP with vectorization and caching

Este artículo mejora la escalabilidad del marco neurosimbólico NeurASP mediante la implementación de vectorización, procesamiento por lotes y almacenamiento en caché para lograr aceleraciones de varios órdenes de magnitud en el entrenamiento, validadas a través de un nuevo y desafiante conjunto de datos de juegos de cartas.

Autores originales: Alexander Philipp Rader, Alessandra Russo

Publicado 2026-06-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexander Philipp Rader, Alessandra Russo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Enseñar a un robot a pensar

Imagina que estás intentando enseñarle a un robot a jugar un juego de cartas. Tienes una Red Neuronal (la "intuición" del robot) que mira imágenes de cartas y adivina qué son. También tienes un conjunto de Reglas Lógicas (el "cereza" o "libro de reglas" del robot) que toma esas suposiciones y calcula la puntuación final.

El problema es que solo conoces la puntuación final (por ejemplo, "El total es 15"). No sabes qué supuso el robot para cada carta individual (por ejemplo, "¿Es un 7 de Corazones o un 3 de Picas?").

En el pasado, el marco llamado NeurASP intentaba aprender esto adivinando cada combinación posible de cartas que pudiera resultar en una puntuación de 15, comprobando cuáles funcionaban y luego ajustando la intuición del robot. Sin embargo, este proceso era como intentar contar cada grano de arena en una playa uno por uno. Era tan lento que, para tareas complejas, la computadora simplemente se rendía y se agotaba el tiempo antes de terminar.

Este artículo presenta una versión supercargada de NeurASP que hace que este proceso sea miles de veces más rápido, permitiendo al robot aprender juegos de cartas complejos que antes eran imposibles.

Los tres cuellos de botella (y cómo se solucionaron)

Los autores identificaron tres razones principales por las que el sistema original era tan lento, y solucionaron cada una con un truco ingenioso.

1. El problema de la "Calculadora" (Vectorización)

La forma antigua: Imagina a un profesor pidiendo a un estudiante que multiplique números. El código antiguo de NeurASP le pedía al estudiante que hiciera las matemáticas un número a la vez, en una larga fila. "Multiplica 2 por 3. Bien, ahora multiplica eso por 4. Bien, ahora multiplica eso por 5..." Esto es muy lento.
La nueva forma: Los autores enseñaron a la computadora a usar la Vectorización. En lugar de hacer matemáticas uno por uno, le dieron a la computadora una calculadora gigante que puede multiplicar toda una pila de números a la vez. Es como cambiar de un camino de tierra de un solo carril a una autopista de 10 carriles.

Resultado: Calcular probabilidades y gradientes (las matemáticas necesarias para aprender) se volvió de 100 a 1,000 veces más rápido.

2. El problema de la "Biblioteca" (Almacenamiento en caché)

La forma antigua: Imagina que estás resolviendo un rompecabezas. Cada vez que ves una pieza del rompecabezas, caminas hacia una biblioteca, buscas la solución para esa pieza específica, la escribes y luego regresas. Incluso si ves la misma pieza 1,000 veces, caminas a la biblioteca 1,000 veces.
La nueva forma: Los autores se dieron cuenta de que la solución a una pieza del rompecabezas depende solo de la puntuación final, no de la imagen específica de la carta. Si la puntuación final es "15", las combinaciones de cartas posibles siempre son las mismas, sin importar cómo se vean las cartas.
Construyeron un Cache (un cuaderno personal). La primera vez que ven una puntuación de "15", van a la biblioteca, buscan la respuesta y la escriben en el cuaderno. Las siguientes 999 veces que ven un "15", simplemente consultan el cuaderno.

Resultado: En lugar de pedir respuestas a la biblioteca 30,000 veces, solo la pidieron 19 veces (una vez por cada puntuación posible). Esto ahorró una cantidad masiva de tiempo.

3. El problema de la "Entrega" (Procesamiento por lotes)

La forma antigua: El código original era como un repartidor que entregaba un paquete, regresaba al almacén, recogía el siguiente paquete y salía de nuevo.
La nueva forma: El nuevo código utiliza el Procesamiento por lotes (Batch Processing). Carga un camión lleno de paquetes (datos) y los entrega todos en un solo viaje. Esto es mucho más eficiente para grandes conjuntos de datos.

El nuevo desafío: "Aritmética de Cartas"

Para demostrar que su nuevo sistema funciona, los autores crearon una nueva y difícil prueba llamada Aritmética de Cartas.

Las pruebas antiguas: Las pruebas anteriores utilizaban números simples (como sumar dos dígitos del 0 al 9). Era como sumar 2 + 3.
La nueva prueba: Utilizaron fotos reales de cartas de juego. Hay 52 cartas diferentes (As de Picas, 2 de Corazones, etc.), y las reglas implican multiplicar y sumar sus valores.
La dificultad: Para un solo juego, podría haber decenas de miles de formas diferentes en las que las cartas podrían organizarse para obtener el total correcto.

Los Resultados

Cuando ejecutaron los experimentos:

Velocidad: El nuevo sistema terminó tareas en minutos que al sistema antiguo le habrían tomado días, semanas o meses completar. En algunos casos, el sistema antiguo simplemente falló (se agotó el tiempo) porque era demasiado lento.
Precisión: El nuevo sistema aprendió con éxito los juegos de cartas, logrando una alta precisión incluso con la enorme complejidad de 52 cartas diferentes.
Comparación: Compararon su sistema con otro marco llamado Embed2Sym. Aunque Embed2Sym era bueno para tareas simples, falló por completo en los juegos de cartas porque se quedó atrapado intentando resolver la enorme cantidad de posibilidades. NeurASP lo manejó fácilmente.

Una peculiaridad: "Atajos de razonamiento"

El artículo también notó algo interesante. A veces, el robot obtenía la puntuación final correcta pero adivinaba mal las cartas individuales.

Analogía: Imagina que la regla es "3 de Tréboles (valor 6) + 2 de Picas (valor 6) = 12". El robot podría adivinar "6 de Corazones + 6 de Diamantes = 12". Obtuvo la matemática correctamente, pero las cartas estaban mal.
Debido a que diferentes cartas pueden tener el mismo valor matemático, el robot encontró un "atajo" para obtener la respuesta correcta sin aprender la identidad real de las cartas. Esto demuestra que, aunque el sistema es rápido, a veces encuentra formas ingeniosas, pero técnicamente incorrectas, de resolver el rompecabezas.

Resumen

Los autores tomaron un sistema lento y tosco para enseñar a la IA a razonar con lógica y reglas, y lo convirtieron en un sistema de alto rendimiento. Al organizar mejor las matemáticas (vectorización) y recordar respuestas pasadas (almacenamiento en caché), transformaron un sistema que apenas podía manejar una suma simple en uno que puede dominar complejos juegos de cartas en una fracción del tiempo.

Resumen Técnico: Aceleración de NeurASP mediante Vectorización y Almacenamiento en Caché

Planteamiento del Problema
Los marcos de trabajo de IA neurosimbólica como NeurASP combinan redes neuronales para la percepción de conceptos con Programación de Conjuntos de Respuestas (ASP) para el razonamiento simbólico. Una limitación crítica de la implementación original de NeurASP es su ineficiencia computacional, lo que dificina su escalabilidad hacia tareas complejas. El marco depende de la pérdida semántica para retropropagar las señales de aprendizaje desde las etiquetas de salida (que están disponibles) hacia los conceptos latentes (que no lo están). Este proceso requiere tres pasos costosos: calcular todos los posibles conjuntos de respuestas (combinaciones latentes) que satisfacen una etiqueta de salida, calcular la probabilidad de cada conjunto de respuestas basada en las confidencias neuronales y calcular los gradientes para estas probabilidades.

Las aplicaciones previas de NeurASP a conjuntos de datos más desafiantes resultaron frecuentemente en tiempos de espera agotados (timeouts). Los autores atribuyen estos fallos no a límites teóricos del marco, sino a una implementación imperfecta caracterizada por bucles anidados ingenuos para el cálculo de probabilidades y gradientes, y estrategias de almacenamiento en caché subóptimas para la generación de conjuntos de respuestas.

Metodología y Mejoras Técnicas
Los autores proponen una implementación mejorada de NeurASP que aborda estos cuellos de botella mediante tres modificaciones técnicas primarias:

Vectorización: La implementación original utilizaba bucles anidados de Python para calcular probabilidades (Ecuación 1) y gradientes (Ecuación 2) para los conjuntos de respuestas. La nueva implementación reemplaza estos bucles con operaciones de tensores de PyTorch vectorizadas. Al apilar las confidencias neuronales en tensores 2D y utilizar funciones de indexación y reducción (por ejemplo, prod, sum), el sistema procesa todas las interpretaciones y conjuntos de respuestas simultáneamente en lugar de hacerlo de forma iterativa.
Almacenamiento en Caché de Conjuntos de Respuestas: El código original almacenaba en caché los conjuntos de respuestas por ejemplo del conjunto de datos, lo que aún requería una llamada al resolvedor de ASP (Clingo) para cada instancia de entrenamiento. Los autores observaron que los conjuntos de respuestas dependen únicamente de la etiqueta de salida, no de los datos de entrada específicos. Por consiguiente, la nueva implementación almacena en caché los conjuntos de respuestas por etiqueta de salida única. Para un conjunto de datos con 30,000 ejemplos pero solo 19 etiquetas únicas (por ejemplo, la suma de MNIST va de 0 a 18), esto reduce las llamadas a Clingo de 30,000 a 19.
Mejoras de Infraestructura: Para soportar la experimentación a gran escala, el marco fue refactorizado para incluir procesamiento por lotes (batch processing) mediante cargadores de datos, conjuntos de validación para el ajuste de hiperparámetros, semillas aleatorias para la reproducibilidad y un registro exhaustivo en JSON. Se añadieron pruebas unitarias para asegurar la corrección funcional.

Resultos Experimentales
Los autores evaluaron el marco mejorado utilizando datos sintéticos y tareas de referencia (benchmarks), incluyendo tareas estándar basadas en MNIST (Suma, Miembro) y un nuevo conjunto de datos más complejo llamado "Card arithmetic" (Aritmética de cartas) que involucra imágenes de cartas de juego.

Pruebas de Velocidad Sintéticas: En datos sintéticos con variaciones en el número de conjuntos de respuestas (de 100 a 1,000,000), el NeurASP mejorado demostró aceleraciones de dos órdenes de magnitud para el cálculo de probabilidades y tres órdenes de magnitud para el cálculo de gradientes en comparación con el NeurASP original. También superó a SLASH (una extensión reciente de NeurASP) por un factor promedio de 100x en el cálculo de gradientes debido al uso continuo de bucles parciales por parte de SLASH.
Tiempos de Ejecución de Referencia: En conjuntos de datos reales, las mejoras fueron drásticas. Para la tarea "Member 5" (50,000 conjuntos de respuestas), el NeurASP original requirió más de 4 horas, mientras que la versión mejorada completó la tarea en 12 minutos. Para la tarea más compleja "Card sum 4" (40,130 conjuntos de respuestas), se extrapoló que el NeurASP original y SLASH tardarían días o semanas (o se agotarían los tiempos), mientras que el NeurASP mejorado completó el entrenamiento en aproximadamente 18 horas.
Precisión y Escalabilidad: El NeurASP mejorado logró altas precisiones tanto de salida como latentes en las tareas de aritmética de cartas (por ejemplo, 86% de precisión latente en Card sum 4), resolviendo con éxito problemas donde el marco competidor Embed2Sym agotó el tiempo de espera. Embed2Sym falló en las tareas de cartas porque su paso de optimización implica asignar 52 clústeres a los conceptos, lo que conduce a una explosión combinatoria ( $52!$ soluciones). Aunque NeurASP tuvo dificultades con los "atajos de razonamiento" (reasoning shortcuts) en las tareas "Card prodsum" (donde diferentes combinaciones de cartas producen el mismo valor, lo que genera una alta varianza en la precisión latente a pesar de las predicciones de salida correctas), fue el único marco capaz de converger en estas tareas dentro de un tiempo razonable.

Contribuciones Clave

Optimización Algorítmica: La introducción de cálculos de probabilidad y gradiente vectorizados y un mecanismo de almacenamiento en caché de conjuntos de respuestas basado en etiquetas, que colectivamente reducen el tiempo de computación en múltiples órdenes de magnitud.
Nuevo Conjunto de Datos: La creación del conjunto de datos "Card arithmetic", que presenta imágenes de cartas de juego de alta resolución y 52 conceptos latentes, diseñado para probar los límites de la escalabilidad neurosimbólica más allá de los estándares de MNIST/CIFAR.
Modernización del Marco: Una refactorización completa del código de NeurASP para soportar el procesamiento por lotes, la reproducibilidad y un registro robusto, haciéndolo viable para la experimentación extensa.

Significancia
El artículo afirma que estas mejoras transforman a NeurASP de un marco limitado a tareas de percepción simple en una herramienta escalable capaz de manejar problemas neurosimbólicos complejos con decenas de miles de conjuntos de respuestas y docenas de conceptos latentes. Al reducir los tiempos de entrenamiento de meses a horas, este trabajo permite la aplicación de NeurASP a problemas del mundo real más sofisticados. Además, el entrenamiento exitoso en las tareas de "Card arithmetic" demuestra que la pérdida semántica puede guiar eficazmente el aprendizaje en espacios latentes de alta complejidad, aunque los autores señalan que la volatilidad de la pérdida semántica y la aparición de atajos de razonamiento siguen siendo áreas de investigación futura. Los autores concluyen que su trabajo allana el camino para una mayor investigación sobre las fortalezas y límites de NeurASP y la pérdida semántica en la IA neurosimbólica.