💬 NLP

NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering

NoSy-RAG es un marco modular de generación aumentada por recuperación neuro-simbólica que sintetiza módulos de Prolog atribuibles a partir de texto recuperado para proporcionar respuestas transparentes y deterministas, y detectar automáticamente la falta de contexto del usuario, logrando una precisión superior sobre las líneas base estándar de RAG en el benchmark ShARC.

Autores originales: Jonas Gann, Michael Gertz

Publicado 2026-08-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jonas Gann, Michael Gertz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un misterio, pero en lugar de un detective, tienes a un asistente robot increíblemente hablador y superinteligente. Este robot ha leído casi todos los libros de la biblioteca y puede darte la respuesta a casi cualquier pregunta. Esto es lo que llamamos un "Modelo de Lenguaje Extenso" (LLM, por sus siglas en inglés). Sin embargo, hay un inconveniente: a veces este robot inventa cosas, o "alucina", y cuando explica su razonamiento, suena más como un sueño nebuloso que como un mapa claro. No siempre puedes saber por qué te dio una respuesta o si realmente leyó la página correcta en la biblioteca. Este es un gran problema en campos serios como el derecho o la medicina, donde necesitas saber exactamente de dónde proviene la información y estar seguro de que es cierta. Para solucionar esto, los científicos han intentado combinar estos robots habladores con el "razonamiento simbólico", un tipo de lógica computacional que funciona como una demostración matemática estricta y paso a paso. Piensa en ello como darle al robot una lista de verificación rígida que debe seguir para que no pueda simplemente adivinar. La gran pregunta es: ¿Podemos crear un robot que sea lo suficientemente hablador para entendernos y lo suficientemente estricto para ser confiable?

Entra en escena NeSy-RAG, un nuevo marco propuesto por Jonas Gann y Michael Gertz que intenta resolver este rompecabezas. Imagina que la biblioteca del robot es un enorme almacén lleno de papeles sueltos (fragmentos de texto). Normalmente, cuando le haces una pregunta, el robot agarra algunos papeles, los lee y adivina la respuesta. NeSy-RAG hace algo diferente. Cuando agarra un papel, no solo lo lee; lo traduce instantáneamente a un pequeño "acertijo lógico" autónomo escrito en un lenguaje llamado Prolog. Es como convertir un párrafo de texto en un conjunto de reglas estrictas de "Si-Entonces". Por ejemplo, si el texto dice: "Puedes reclamar beneficios si eres mayor de 18 años", el sistema lo convierte en una regla: si edad > 18, entonces elegible.

Aquí es donde se vuelve ingenioso. El sistema construye toda una colección de estos acertijos lógicos a partir de los papeles que encuentra. Pero en lugar de intentar resolver toda la biblioteca desordenada a la vez, utiliza un truco especial llamado "predicados de aridad 0". Piensa en esto como convertir cada regla compleja en una simple pregunta de "Sí/No", como "¿Es la persona mayor de 18 años?" o "¿Es la persona un ciudadano?". El robot luego utiliza una búsqueda inteligente para encontrar solo las preguntas específicas de "Sí/No" que coinciden con tu consulta. Las une en una consulta lógica final y la ejecuta. Debido a que está ejecutando un programa lógico, la respuesta es determinista: es verdadera o falsa, sin conjeturas de por medio. Mejor aún, el sistema mantiene un "recibo" perfecto para cada paso, mostrando exactamente qué fragmento de texto condujo a qué regla, para que puedas rastrear la respuesta hasta la fuente.

Pero, ¿qué pasa si el robot no tiene suficiente información? Tal vez preguntas: "¿Soy elegible?", pero el robot no sabe tu edad. Un robot normal podría simplemente adivinar "Sí" o "No" y esperar lo mejor. NeSy-RAG, sin embargo, tiene un "detector de brechas de conocimiento". Observa su acertijo lógico y se da cuenta: "¡Oye, me falta un valor para la variable 'edad'!". En lugar de adivinar, se detiene y te pregunta: "¿Cuántos años tienes?". Sigue haciendo estas preguntas de seguimiento dirigidas hasta que tiene todas las piezas para resolver el acertijo. Esto evita que el robot invente hechos.

Los investigadores probaron este sistema con un conjunto de datos llamado ShARC, que contiene preguntas legales sobre beneficios gubernamentales del Reino Unido. No entrenaron el sistema con estos datos específicos; simplemente dejaron que lo descubriera sobre la marcha. Los resultados fueron prometedores. NeSy-RAG obtuvo la respuesta correcta el 61.1% de las veces. Esto fue significativamente mejor que un sistema de "solo chatbot" estándar que intentó hacer lo mismo sin las reglas lógicas, el cual solo acertó el 42.8%. El nuevo sistema también fue más rápido, tomando un promedio de 7.4 segundos por pregunta en comparación con los 11.4 segundos del enfoque estándar de chatbot.

Sin embargo, el artículo tiene cuidado de no llamar a esto una solución perfecta. El sistema es todavía un prototipo. A veces, es un poco demasiado cauteloso. Si no está 100% seguro de un hecho faltante, pedirá más información incluso cuando podría no ser estrictamente necesario, lo que lo lleva a decir "necesito más información" (lo que los investigadores llaman "más") en lugar de dar un "Sí" o "No" definitivo. De hecho, clasificó erróneamente aproximadamente el 31% de las respuestas "Sí" como "más", lo que sugiere que genera demasi many de las alertas de "información faltante". Aunque esto es un poco molesto para la velocidad, los autores señalan que en situaciones de alto riesgo como el derecho, es más seguro ser cauteloso que estar erróneamente seguro. El sistema también tuvo dificultades con las preguntas "irrelevantes", confundiéndose a veces sobre si un fragmento de texto estaba siquiera relacionado con la pregunta.

En resumen, NeSy-RAG demuestra que al convertir el texto en acertijos lógicos estrictos y pedir las piezas de información faltantes, podemos construir una IA que sea más transparente, más precisa y menos propensa a mentir. No es una solución mágica que lo resuelva todo perfectamente todavía, pero es un paso firme hacia la creación de asistentes de IA en los que realmente se pueda confiar para conocer la verdad.

Resumen Técnico: NeSy-RAG para la Respuesta a Preguntas Explicable

1. Planteamiento del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) mejoran los Modelos de Lenguaje Extensos (LLM) al fundamentarlos en corpus de texto externos, pero sufren tres limitaciones críticas en dominios de alto riesgo:

Razonamiento Opaco: Los pasos intermedios de razonamiento son difíciles de verificar, y las respuestas generadas no pueden atribuirse de manera fiable a una evidencia de la fuente específica. Las explicaciones estándar de Cadena de Pensamiento (CoT) suelen ser poco fiables.
Escalabilidad y Construcción de Consultas: La construcción de consultas simbólicas sobre bases de conocimiento monolíticas y extensas es frágil. Los enfoques neuro-simbólicos existentes suelen depender de reglas curadas manualmente o requieren que el modelo inspeccione bases de conocimiento completas, lo que genera problemas de escalabilidad.
Contexto de Usuario Ausente: Los pipelines de RAG actuales rara vez detectan la información faltante específica del usuario de manera sistemática. Esto a menudo conduce a salidas incompletas o incorrectas, ya que los LLM tienen dificultades para buscar proactivamente información aclaratoria cuando el contexto del usuario es incompleto.

2. Metodología: El Marco de Trabajo NeSy-RAG

NeSy-RAG es un marco neuro-simbólico modular diseñado como una extensión plug-in para los sistemas RAG existentes. Sintetiza y ejecuta módulos de Prolog atribuibles a partir de fragmentos de texto recuperados para realizar una respuesta a preguntas explicable. El pipeline opera de la siguiente manera:

2.1. Síntesis de Prolog Atribuible

Para cada fragmento de texto recuperado, el sistema sintetiza un módulo de Prolog dedicado que contiene reglas y hechos derivados únicamente de ese fragmento.

Modularidad: Al procesar los fragmentos de forma aislada, el sistema garantiza que cada hecho y regla pueda mapearse de forma única a su texto de origen, permitiendo una explicabilidad y verificabilidad granulares.
Hechos Dinámicos vs. Universales: El sistema distingue entre hechos universales (completamente especificados por el conocimiento del dominio) y hechos dinámicos (que contienen argumentos cuyos valores son desconocidos en el momento de la síntesis, por ejemplo, atributos del usuario). Los hechos dinámicos se marcan para su instanciación en tiempo de ejecución.

2.2. Abstracción de Predicados de Aridad 0 y Recuperación Jerárquica

Para abordar el cuello de botella de la generación de consultas, NeSy-RAG introduce una estrategia de recuperación de dos etapas:

Síntesis de Módulos: Durante la síntesis de un módulo de Prolog, el LLM genera reglas de aridad 0 (afirmaciones booleanas) que encapsulan la funcionalidad del módulo sin requerir vinculaciones de variables (por ejemplo, can_not_get_winter_fuel_payment :- lives_in_cyprus(true)...).
Recuperación de Predicados: En lugar de cargar toda la base de conocimiento, el sistema utiliza un modelo de incrustación conjunto de Lenguaje Natural–Prolog (NL-PL) para recuperar los $k$ más relevantes de reglas de aridad 0 basados en la pregunta del usuario.
Composición de Consultas: Un LLM compone la consulta de Prolog final utilizando solo este subconjunto pequeño y relevante de reglas. Esto restringe el espacio de generación, reduce las alucinaciones y mantiene pequeños los contextos de ventana.

2.3. Detección Simbólica de Brechas de Conocimiento

El marco aborda el contexto de usuario incompleto mediante un mecanismo simbólico:

Interacción en Tiempo de Ejecución: Durante la ejecución de Prolog, si el sistema encuentra un hecho dinámico con un valor indefinido, activa un método de interacción específico.
Generación de Seguimiento: El sistema genera automáticamente preguntas de seguimiento dirigidas al usuario para resolver el valor de verdad faltante.
Gestión de Resultados: Si un usuario no puede proporcionar la información necesaria, el sistema evalúa la consulta bajo ambas asignaciones booleanas. Si el resultado varía, el sistema devuelve "más" (indicando que la respuesta es indeterminada) en lugar de adivinar.

2.4. Generación de Respuestas

El sistema ejecuta la consulta de Prolog compuesta contra los módulos recuperados. La salida incluye:

Una respuesta determinista (Sí/No/Más/Irrelevante).
Una traza de ejecución que vincula cada paso de razonamiento con su fragmento de texto y documento de origen, proporcionando una justificación transparente.

3. Principales Contribuciones

El artículo propone cuatro contribuciones principales:

Marco Neuro-Simbólico Modular: Un sistema que sintetiza y ejecuta módulos de Prolog atribuibles a partir de fragmentos de texto recuperados, asegurando que cada paso de razonamiento sea trazable a su fuente.
Abstracción de Predicados de Aridad 0: Un método novedoso para presentar los módulos de Prolog como afirmaciones booleanas, lo que permite una construcción de consultas restringida y escalable mediante la recuperación de lenguaje natural a código (NL2C).
Detección Simbólica de Brechas de Conocimiento: Un mecanismo que identifica hechos de usuario faltantes durante la inferencia simbólica y activa proactivamente interacciones de seguimiento, evitando conclusiones prematuras o incorrectas.
Validación Empírica: Demostración de que NeSy-RAG supera a los baselines de LLM agnósticos al dominio en el benchmark ShARC sin requerir entrenamiento específico del dominio.

4. Resultados Experimentales

El marco fue evaluado en el benchmark ShARC, un conjunto de datos de respuesta a preguntas conversacionales basado en textos legales del gobierno del Reino Unido. La evaluación simuló un entorno donde el contexto del usuario se retiene inicialmente, requiriendo que el sistema recupere la información faltante mediante preguntas de seguimiento.

Precisión: NeSy-RAG alcanzó una precisión del 61.1% (con $k=10$ predicados de aridad 0 recuperados), superando significativamente al baseline de RAG de LLM (42.8%) y al baseline de RAG de LLM con un modelo más grande (53.7%).
Eficiencia: NeSy-RAG tuvo un tiempo medio de ejecución menor (7.4s) en comparación con el baseline de RAG (11.4s). Esta eficiencia se atribuye a la reutilización de módulos, ventanas de contexto más pequeñas durante la generación de consultas y la activación algorítmica de seguimiento en lugar de la generación basada en LLM.
Gestión de Brechas de Conocimiento: NeSy-RAG clasificó correctamente el 61% de los casos que requerían más información (etiquetados como "más"), en comparación con solo el 19% del baseline de RAG de LLM. Esto resalta la efectividad del mecanismo de detección de brechas simbólicas.
Análisis de Errores: El principal modo de error para NeSy-RAG fue la sobregeneración de predicados dinámicos, lo que llevó a clasificaciones conservadoras de "más" para preguntas que eran contestables (31% de las instancias de "Sí" clasificadas erróneamente como "más"). Sin embargo, se señala que este sesgo conservador es preferible a la falsa certeza en dominios de alto riesgo.

5. Significado y Reivindicaciones

El artículo postula que NeSy-RAG ofrece un camino viable hacia una IA confiable y explicable en dominios de alto riesgo como el derecho y la salud. Al combinar la recuperación densa con el razonamiento simbólico, aborda directamente la opacidad y la falta de rendición de cuentas en los pipelines de RAG estándar.

Los autores afirman que la importancia del marco radica en su capacidad para:

Proporcionar trazas de ejecución transparentes que vinculan los pasos de razonamiento con el texto de origen, una capacidad que los pipelines de LLM puro carecen.
Permitir el razonamiento escalable sobre extensas bases de conocimiento de dominio sin requerir bases de conocimiento monolíticas o la curación manual de reglas.
Detectar y resolver sistemáticamente el contexto de usuario faltante, evitando que el sistema alucine respuestas cuando la información es insuficiente.

Aunque el enfoque actual depende de un único fragmento relevante (recuperación de un solo salto o single-hop) y se centra en hechos booleanos dinámicos, los autores ven la integración exitosa de la síntesis modular de Prolog con RAG como un paso fundamental hacia sistemas de respuesta a preguntas más robustos, verificables e interactivos.