A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

Resumen Técnico: Una arquitectura centrada en LLM con el humano en el bucle para la respuesta a preguntas de grafos de conocimiento

Planteamiento del problema
Aunque los modelos de lenguaje extensos (LLMs) sobresalen en la comprensión del lenguaje natural, enfrentan limitaciones significativas en dominios intensivos en conocimiento, incluyendo las alucinaciones, la información desactualizada y una falta de explicabilidad. Los enfoques actuales de Generación Aumentada por Recuperación (RAG) suelen depender de la recuperación basada en texto, la cual tiene dificultades con el razonamiento de múltiples saltos (multi-hop) necesario para conectar entidades indirectamente relacionadas. Por el contrario, los Grafos de Conocimiento (KGs) ofrecen consultas precisas y explicables, pero requieren experiencia en lenguajes de consulta como Cypher o SPARQL. Los pipelines de KG-RAG actuales suelen sufrir tres fallos de diseño específicos: (1) la linealización de las ternas del grafo borra el contexto estructural; (2) la recuperación de caja negra oculta la ruta de razonamiento; y (3) la falta de control del usuario en el bucle impide el refinamiento iterativo de coincidencias erróneas de entidades o del alcance. Un trabajo previo de los autores demostró que, si bien los LLMs pueden traducir preguntas a consultas, la incapacidad de depurar o explicar estas consultas obligaba a una regeneración completa tras un fallo, creando una desconexión entre la intención del usuario y la ejecución.

Metodología
Los autores proponen un marco interactivo y modular donde los LLMs generan, explican y refinan iterativamente consultas Cypher basadas en la entrada de lenguaje natural del usuario. La arquitectura consta de cuatro componentes principales:

1. Generación de consultas: Traduce preguntas en lenguaje natural a consultas Cypher ejecutables utilizando un prompt consciente del esquema que restringe el vocabulario a tipos de nodos y aristas válidos.
2. Ejecución de consultas: Se conecta a una base de datos Neo4j para ejecutar la consulta generada y devolver resultados estructurados.
3. Explicación de consultas: Genera explicaciones legibles por humanos, paso a paso, de la lógica de la consulta, incluyendo resúmenes de propósito y comprobaciones de plausibilidad (por ejemplo, señalando relaciones invertidas o tipos de nodos inválidos).
4. Enmienda de consultas: Permite a los usuarios proporcionar retroalimentación en lenguaje natural para actualizar iterativamente una consulta existente sin regenerarla desde cero, permitiendo correcciones dirigidas a filtros, tipos de entidades o lógica de navegación.

El marco fue evaluado mediante tres experimentos distintos:

• Benchmark sintético (Movie KG): Un benchmark de 90 consultas diseñado para probar la capacidad del LLM para explicar consultas Cypher y detectar errores inyectados (por ejemplo, relaciones invertidas, etiquetas sin sentido, restricciones contradictorias). Se probaron cinco LLMs en calidad de explicación y detección de fallos.
• Caso de estudio del mundo real 1 (MaRDI KG): Un grafo de datos de investigación matemática que contiene paquetes de software, autores y publicaciones. Catorce LLMs fueron probados en nueve preguntas de lenguaje natural para evaluar la precisión de la generación de consultas con hasta dos intentos de enmienda.
• Caso de estudio del mundo real 2 (Hyena KG): Un grafo biológico derivado de datos ecológicos a largo plazo sobre hienas manchadas. Los mismos 14 LLMs fueron probados en cinco preguntas formuladas por expertos sobre parentesco y dispersión, permitiendo nuevamente el refinamiento iterativo.

Contribuciones clave

1. Marco interactivo: Un sistema que combina la expresividad de Cypher con la accesibilidad de los LLM, apuntando explícitamente a las limitaciones de transparencia y control de los sistemas KG-RAG existentes. Permite a los usuarios inspeccionar, explicar y refinar consultas mediante retroalimentación conversacional.
2. Evaluación empírica: Una evaluación exhaustiva a través de dominios sintéticos y del mundo real (matemáticas y biología), midiendo la calidad de la explicación, la detección de fallos y la precisión de la generación de consultas en múltiples LLMs.
3. Perspectivas sobre modos de fallo: Identificación de patrones comunes de fallo de los LLM, tales como la omisión de restricciones temporales en los resúmenes y la variabilidad significativa de rendimiento entre modelos al manejar preguntas complejas de nivel experto.

Resultos

• Calidad de la explicación: En el benchmark sintético de películas, los modelos con mejor desempeño (o1-preview, deepseek-reasoner-api, o3-mini) lograron más del 70% de precisión en la generación de resúmenes correctos de una sola oración. Sin embargo, un modo de fallo recurrente en todos los modelos fue la omisión de años específicos mencionados en las consultas. En la detección de fallos, los modelos variaron en su equilibrio de sensibilidad y especificidad; o1-preview y deepseek-reasoner-api lograron una alta detección de defectos (>85%) con bajas tasas de falsos positivos (<10%), mientras que otros tuvieron dificultades con tipos de perturbación específicos como las relaciones invertidas.
• Generación de consultas (MaRDI): En el KG matemático, o3-mini y GPT-5.2 resolvieron las nueve tareas, mientras que la mayoría de los otros modelos resolvieron entre 7 y 8. Las consultas simples se manejaron de manera fiable, pero las tareas complejas, como identificar autores compartidos entre paquetes, resultaron difíciles para muchos modelos.
• Generación de consultas (Hyena): Las brechas de rendimiento se ampliaron significativamente en el KG biológico. Solo o3 y deepseek-reasoner-api alcanzaron un 100% de precisión (5/5 preguntas). Otros modelos, incluidos aquellos que tuvieron un buen desempeño en MaRDI, tuvieron dificultades; varios modelos alojados en Ollama lograron 0/5. La eficiencia varió, ya que algunos modelos requirieron múltiples intentos de enmienda para alcanzar una respuesta correcta.

Significancia y afirmaciones
El artículo afirma que su contribución principal es cerrar la brecha entre el lenguaje natural y la consulta formal de grafos al hacer que la ruta de razonamiento sea explícita y auditable. Los autores argumentan que, si bien los LLM pueden generar consultas funcionales, su utilidad en escenarios reales impulsados por expertos es altamente variable y depende del dominio y la complejidad de la pregunta. El estudio demuestra que los benchmarks sintéticos pueden no capturar plenamente las dificultades de las preguntas de origen experto, como lo evidencia la caída de rendimiento en el caso de estudio de Hyena.

Los autores concluyen modestamente que su marco permite con éxito que personas no expertas interactúen con KGs complejos sin aprender lenguajes de consulta, siempre que el sistema soporte el refinamiento iterativo. Enfatizan que el trabajo futuro debería centrarse en refinar los prompts de explicación para retener las restricciones temporales y desarrollar herramientas interactivas (por ejemplo, vistas de diferencias o diff views) para mejorar la eficiencia del proceso de interacción humano-en-el-bucle. El trabajo no pretende resolver todos los desafíos de KG-RAG, sino que proporciona un enfoque estructurado de transparencia y control que reduce el riesgo de alucinación y mejora la confianza en las respuestas basadas en grafos.