🤖 AI

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

Este artículo propone un enfoque neurosimbólico para la Respuesta de Preguntas Visuales que destila reglas de Programación de Conjuntos de Respuestas a partir de Modelos de Lenguaje de Gran Escala, aprovechando ejemplos de pocos disparos y la retroalimentación del solucionador para extender automáticamente las teorías de razonamiento, ofreciendo una alternativa escalable e interpretable al aprendizaje de reglas tradicional basado en datos.

Autores originales: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Publicado 2026-06-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Enseñando a un robot a pensar con lógica

Imagina que tienes un asistente robot muy inteligente que puede mirar una imagen y responder preguntas sobre ella (como "¿lleva el gato un sombrero?"). Esto se llama Pregunta-Respuesta Visual (VQA).

Normalmente, estos robots son entrenados como atletas: practican millones de veces hasta que aciertan la respuesta mediante la adivinación de patrones. Pero esto los convierte en algo parecido a una "caja negra": no sabes por qué acertaron la respuesta y, si les haces un tipo de pregunta ligeramente diferente, podrían confundirse.

Los autores de este artículo quieren construir un robot que piense más como un lógico humano. Utilizan un "libro de reglas" especial llamado Programación de Conjuntos de Respuestas (ASP). Piensa en este libro de reglas como un conjunto de instrucciones lógicas estrictas (como una receta) que le dice al robot exactamente cómo deducir la respuesta.

El Problema: Escribir estos libros de reglas a mano es difícil. Si quieres que el robot aprenda un truco nuevo (como contar objetos de una manera específica), un desarrollador humano tiene que sentarse a escribir nuevas reglas desde cero. Es lento y tedioso.

La Solución: Los autores le pidieron a una IA superinteligente (un Modelo de Lenguaje Grande, o LLM) que escribiera estas reglas por ellos. Llaman a este proceso "Destilación de Reglas".

Cómo funciona: La analogía del "Tutor y el Estudiante"

Imagina que el LLM es un estudiante brillante pero un poco distraído que sabe mucho sobre lógica, pero no ha visto este rompecabezas específico antes. El "Profesor" (el sistema informático) quiere que el estudiante escriba el libro de reglas correcto.

Este es el proceso paso a paso que utilizaron:

La Configuración: El profesor le entrega al estudiante un libro de reglas "roto". Funciona para la mayoría de las cosas, pero le falta una regla específica (por ejemplo, cómo encontrar el camino más corto en un mapa).
El Ejemplo: El profesor le muestra al estudiante un solo ejemplo: "Aquí hay una imagen de un mapa, aquí está la pregunta y aquí está la respuesta correcta".
El Intento: El estudiante (el LLM) intenta escribir una nueva regla para arreglar el libro roto.
- El Problema: El estudiante a veces comete errores. Puede escribir una regla con mala gramática (error de sintaxis) o una regla que parece correcta pero da la respuesta equivocada (error de lógica).
El Bucle de Corrección (El "Remiendo"):
- Verificación de Sintaxis: La computadora comprueba si la regla está escrita en el lenguaje correcto. Si el estudiante usó un símbolo que no existe en el lenguaje del libro de reglas, la computadora dice: "Oye, corrige tu ortografía", y el estudiante lo intenta de nuevo.
- Verificación de Lógica: La computadora ejecuta la nueva regla. Si la respuesta es incorrecta, la computadora dice: "Te has equivocado de respuesta. Inténtalo de nuevo".
- La "Red de Seguridad" (Prueba de Regresión): Una vez que el estudiante escribe una regla que funciona para el nuevo ejemplo, la computadora comprueba si esa regla rompe alguno de los ejemplos antiguos. Es como asegurarse de que un nuevo ingrediente en un pastel no arruine el sabor de los pasteles que horneaste anteriormente.
El Resultado: Una vez que la regla pasa todas las comprobaciones, se añade al libro de reglas maestro.

La "Magia" de unos pocos ejemplos

Uno de los hallazgos más interesantes del artículo es que el estudiante no necesitó estudiar miles de ejemplos. Bastaron unos pocos (a veces tan solo 1 o 2) para que los modelos de IA más inteligentes comprendieran la lógica y escribieran la regla perfecta.

Es como mostrarle a un chef genio la foto de un suflé perfecto y pedirle que escriba la receta. No necesita probar 1,000 suflés; solo necesita entender la lógica de los ingredientes.

Los Competidores: ¿Quién lo hizo mejor?

Los investigadores probaron diferentes "estudiantes" (modelos de IA) para ver quién escribía las mejores reglas:

Los Líderes (GPT-4o, DeepSeek, Gemini-3): Estos eran como los alumnos de excelencia de la clase. Escribían reglas perfectas casi siempre, incluso para acertijos muy complicados que involucraban mapas y grafos.
- Gemini-3 fue particularmente especial. Parecía tener un "modo de pensamiento" donde se detenía a verificar su propia lógica antes de escribir la regla, lo que resultaba en libros de reglas con muy pocos errores y muy limpios.
Los Estudiantes con Dificultades (LLaMA3, Mistral): Estos modelos estaban bien para tareas sencillas, pero se confundían con la lógica compleja. A veces, darles demasiadas pistas (prompts complejos) hacía que su rendimiento fuera peor, como si se sintieran abrumados por las instrucciones.

El "Podado" (Limpiar el Desorden)

A veces, la IA escribía un libro de reglas que funcionaba pero era desordenado. Podía incluir cinco formas diferentes de decir lo mismo, o reglas que en realidad no eran necesarias.

Los investigadores crearon una herramienta de "jardinero" (heurística de podado) que revisaba el libro de reglas y cortaba las ramas muertas (reglas redundantes).

Analogía: Imagina que la IA escribió una frase como: "Si llueve, trae un paraguas. Además, si llueve, trae un paraguas. Además, si llueve, trae un paraguas". El podador elimina las copias extra, dejando solo una instrucción clara.
Resultado: Esto hizo que los libros de reglas fueran más pequeños y fáciles de leer para los humanos, sin cambiar la capacidad del robot para responder preguntas.

Qué significa esto (Según el artículo)

El artículo concluye que ya no necesitamos programar manualmente la lógica compleja para los sistemas de IA. Podemos usar una IA inteligente para "destilar" la lógica por nosotros, utilizando solo unos pocos ejemplos como guía.

Funciona mejor cuando la tarea es clara y el modelo de IA es muy inteligente.
Es diferente del aprendizaje automático tradicional porque no "memoriza" datos; aprende la lógica del problema.
Crea transparencia: Debido a que el resultado es un conjunto de reglas lógicas (como una receta), los humanos pueden leer y entender realmente por qué el robot tomó una decisión.

En resumen: Los autores construyeron un sistema donde un humano proporciona un rompecabezas lógico roto y unos pocos ejemplos, y una IA inteligente escribe las piezas faltas del rompecabezas, verifica su propio trabajo y entrega un libro de reglas limpio y funcional.

Resumen Técnico: Destilación de Reglas de Programación de Conjuntos de Respuestas desde LLMs para la Pregunta-Respuesta Visual Neurosimbólica

Planteamiento del Problema
La Pregunta-Respuesta Visual (VQA, por sus siglas en inglés) requiere la integración de entradas multimodales (visión y texto) con cadenas de razonamiento complejas. Si bien los enfoques neurosimbólicos modulares ofrecen interpretabilidad al separar la percepción (neuronal) del razonamiento (simbólico), estos enfrentan una carga de mantenimiento significativa. Específicamente, cuando los requisitos de la tarea cambian —como la introducción de nuevos tipos de preguntas o de operadores de razonamiento— el componente de razonamiento simbólico, implementado frecuentemente mediante Programación de Conjuntos de Respuestas (ASP), debe extenderse o adaptarse manualmente. Los métodos tradicionales de aprendizaje de reglas basados en datos (por ejemplo, la Programación Lógica Inductiva) suelen requerir grandes conjuntos de datos y espacios de búsqueda codificados rígidamente (declaraciones de modo) para generalizar las reglas. Este artículo aborda el desafío de automatizar la extensión de las teorías de razonamiento basadas en ASP en sistemas VQA sin necesidad de un reentrenamiento extensivo o ingeniería de reglas manual.

Metodología
Los autores proponen un marco de destilación de conocimiento declarativo donde los Modelos de Lenguaje de Gran Escala (LLMs) son instados mediante prompts para generar o extender reglas ASP basándose en ejemplos de pocos disparos (few-shot). El sistema opera dentro de un flujo de trabajo VQA neurosimbólico modular que consta de:

Módulo de Visión: Convierte imágenes en grafos de escena simbólicos (hechos de ASP).
Módulo de Lenguaje: Convierte preguntas en lenguaje natural en programas funcionales (hechos de ASP).
Módulo de Razonamiento: Un resolvedor (solver) de ASP deriva las respuestas a partir de la combinación de los hechos y una teoría de ASP (un conjunto de reglas).

El algoritmo central (Algoritmo 1) itera a través de una suite de destilación de ejemplos de VQA $(s, q, a)$ . Si la teoría ASP actual $T$ falla al derivar la respuesta correcta $a$ para una escena $s$ y una pregunta $q$ dadas, el sistema solicita a un LLM que genere reglas candidatas para subsanar la brecha. El proceso emplea un bucle de retroalimentación que involucra:

Estrategias de Prompting:
- Multi-prompting: Solicita múltiples variantes de solución en una sola llamada.
- Cadena de Pensamiento (CoT): Instruye al LLM para descomponer el problema en pasos lógicos intermedios antes de generar las reglas (versiones simple y compleja).
Reparación y Enmienda (Mending):
- Enmienda de Sintaxis: Si el LLM genera un ASP sintácticamente inválido (por ejemplo, símbolos matemáticos alucinados), el mensaje de error del resolvedor se devuelve al LLM para su corrección.
- Enmienda Semántica: Si las reglas son sintácticamente correctas pero producen una respuesta errónea, la salida incorrecta del resolvedor se compara con la verdad de referencia (ground truth) y se devuelve al LLM para su revisión.
- Pruebas de Regresión: Las nuevas reglas se prueban contra ejemplos previamente resueltos para asegurar la consistencia y prevenir regresiones.
Eliminación de Redundancia: Un heurístico (Algoritmo 2) poda las reglas que no afectan al conjunto de respuestas, asegurando que la teoría destilada permanezca compacta.

Contribuciones Clave

Destilación de Conocimiento Declarativo: Un método para extender automáticamente las teorías ASP en sistemas VQA mediante el uso de prompts con ejemplos, en lugar de utilizarlos como datos de entrenamiento para el aprendizaje estadístico.
Estrategias de Prompting: El diseño y la evaluación de técnicas de prompting específicas (multi-prompting, CoT) y mecanismos de reparación (enmienda de sintaxis/semántica) adaptados para la generación de programas lógicos.
Síntesis de Reglas Composicionales: Demostración de que los LLMs pueden componer nuevos predicados de mayor aridad (por ejemplo, in_between, connected) a partir de operaciones primitivas existentes dentro de la teoría ASP.
Evaluación Empírica: Una evaluación exhaustiva en tres conjuntos de datos diversos:
- GQA: Escenas del mundo real con relaciones de objetos complejas.
- CLEVR: Escenas geométricas sintéticas con preguntas composicionales.
- CLEGRV: Redes de tránsito basadas en grafos que requieren razonamiento recursivo (por ejemplo, rutas más cortas).

Resultados
Los experimentos evaluaron varios LLMs (GPT-4o, DeepSeek, Mistral-Large, LLaMA3-70B, Gemini-3 Pro) en la restauración de predicados eliminados de las teorías ASP.

Desempeño: Los modelos de gran escala (GPT-4o, DeepSeek, Gemini-3) lograron una precisión casi perfecta (frecuentemente >98%) en GQA y CLEVR con muy pocos ejemplos (típicamente de 1 a 4 por intento de destilación).
Complejidad del Conjunto de Datos: El desempeño disminuyó en el más complejo conjunto de datos CLEGRV (que involucra recursión), aunque Gemini-3 Pro mantuvo una alta precisión (100% en varios predicados), atribuido a su modo de "razonamiento alto".
Sensibilidad del Modelo: Los modelos más pequeños o menos capaces (LLaMA3-70B, Mistral-Large) mostraron una alta varianza y tuvieron dificultades con tareas complejas. Curiosamente, para estos modelos, deshabilitar las estrategias de prompting complejas (como CoT) a veces mejoró el desempeño, sugiriendo que pueden verse "abrumados" por instrucciones verbosas.
Eficiencia: Gemini-3 Pro fue el más eficiente, requiriendo la menor cantidad de ejemplos y tokens, y produciendo los conjuntos de reglas menos redundantes.
Ablación: El flujo completo de prompting (enmienda + CoT + multi-prompting) aumentó significativamente el desempeño para los modelos de primer nivel, pero no siempre fue necesario para los modelos más débiles.

Significancia y Reivindicaciones
El artículo sostiene que la destilación de reglas desde LLMs es una alternativa prometedora al aprendizaje de reglas tradicional basado en datos (ILP/SRL). A diferencia de la ILP, que requiere definiciones explícitas del espacio de búsqueda y grandes conjuntos de datos, este enfoque aprovecha el conocimiento implícito de los LLM, requiriendo solo unos pocos ejemplos para provocar reglas correctas y generalizables.

Interpretabilidad: El método preserva la transparencia de los sistemas neurosimbólicos al producir reglas lógicas legibles por humanos en lugar de pesos neuronales opacos.
Adaptabilidad: Ofrece un mecanismo viable para que los profesionales extiendan los módulos de razonamiento dinámicamente a medida que evolucionan los requisitos de la tarea, actuando como un "copiloto interactivo" para la programación lógica.
Limitaciones: Los autores señalan que el método asume semánticas de preguntas decomponibles y composicionales, y depende de la validación empírica (pruebas de regresión) en lugar de pruebas formales de corrección. El enfoque es actualmente más efectivo para los LLM más grandes y capaces.

El trabajo sugiere que, si bien los LLM pueden no reemplazar a los motores de razonamiento formal, pueden servir eficazmente como un puente para automatizar el mantenimiento y la extensión de los componentes de razonamiento simbólico en sistemas de IA complejos.