Resumen Técnico: Reducción de Alucinaciones en la Generación de Consultas SPARQL Basadas en Modelos de Lenguaje Mediante la Recuperación de Memoria Post-Generación

Planteamiento del Problema

La generación de consultas SPARQL a partir de preguntas en lenguaje natural es esencial para la recuperación de datos estructurados de Grafos de Conocimiento (KG). Si bien los Modelos de Lenguaje Extensos (LLM) se han adoptado para esta tarea, enfrentan problemas significativos de fiabilidad. Específicamente, los LLM suelen alucinar Identificadores de Recursos Uniformes (URIs) al generar elementos del KG. Debido a que los KG modernos (por ejemplo, Wikidata) utilizan identificadores opacos y no semánticos (por ejemplo, "Q937" para Albert Einstein) en lugar de cadenas semánticas, los LLM deben depender únicamente de su memoria paramétrica interna para mapear conceptos a estos IDs. Esta dependencia conduce a la generación de URIs que parecen plausibles pero que no existen, comprometiendo la precisión y la seguridad de los sistemas de recuperación de información.

Las soluciones existentes como la Generación Aumentada por Recuperación (RAG) intentan mitigar esto proporcionando contexto antes de la generación. Sin embargo, RAG a menudo falla en eliminar las alucinaciones porque el LLM no está estrictamente restringido al contexto recuperado y aún puede generar identificadores incorrectos basados en su conocimiento interno. Además, muchos enfoques de generación de SPARQL existentes requieren datos de entrenamiento "etiquetados" (donde los URIs están pre-vinculados a las preguntas), lo cual es laborioso e impráctico para el despliegue en el mundo real.

Metodología: PGMR (Recuperación de Memoria Post-Generación)

Los autores proponen PGMR, un marco modular que desacopla la generación de la estructura de la consulta SPARQL de la resolución de identificadores específicos del KG. La innovación central es el reposicionamiento temporal de la fase de recuperación: en lugar de recuperar el contexto antes de la generación (como en RAG), PGMR recupera los identificadores después de que la estructura de la consulta se ha formado.

1. Generación de Consulta Intermedia

El LLM es entrenado o instruido para generar una consulta SPARQL-PGMR intermedia. En este formato:

• Se preserva la estructura sintáctica de la consulta SPARQL.
• Todos los URIs específicos (entidades y relaciones) se reemplazan con marcadores de posición (placeholders) de lenguaje natural.
• Un bloque de mapeo acompaña a la consulta, definiendo cada marcador de posición con una etiqueta canónica y una descripción desambiguadora (por ejemplo, entity0 = [ENT] Hamburgo [/ENT] ciudad y estado en el norte de Alemania).

Este diseño permite que el LLM se concentre en la corrección sintáctica y la estructura lógica sin necesidad de recordar IDs opacos específicos de su memoria paramétrica.

2. Recuperación Post-Generación

Un módulo de memoria no paramétrica, que consiste en diccionarios para entidades y relaciones, almacena los embeddings de las etiquetas de los URIs y sus descripciones junto con los URIs reales.

• Proceso de Recuperación: Después de que el LLM genera la consulta intermedia, un recuperador (utilizando BGE como codificador y FAISS para la búsqueda de similitud) procesa los marcadores de posición de lenguaje natural.
• Resolución: El recuperador hace coincidir la etiqueta y la descripción del marcador de posición con la memoria para encontrar el URI más similar.
• Salida Final: Los URIs recuperados reemplazan a los marcadores de posición, resultando en una consulta SPARQL final y ejecutable.

3. Mecanismo de Seguridad

PGMR incorpora un umbral de confianza de recuperación. Si la puntuación de similitud del URI recuperado con el rango superior para cualquier marcador de posición cae por debajo de un umbral establecido, el sistema está diseñado para rechazar la consulta en lugar de alucinar un ID incorrecto. Este mecanismo permite que el sistema señale la incertidumbre cuando el conocimiento es insuficiente.

Contribuciones Clave

1. Arquitectura Novedosa: PGMR separa explícitamente la generación de la sintaxis de la consulta (LLM) de la fundamentación de identificadores (recuperador no paramétrico), abordando la causa raíz de las alucinaciones de URI.
2. Transformación de Datos de Entrenamiento: Los autores introducen un proceso sistemático para convertir pares de pregunta-SPARQL estándar al formato intermedio de PGMR, permitiendo el entrenamiento sin la necesidad de datos de entrada con URIs pre-etiquetados.
3. Eliminación Casi Completa de Alucinaciones: El marco logra una tasa cercana a cero de alucinaciones de URI en diversos modelos y conjuntos de datos.
4. Robustez y Seguridad: El sistema demuestra la capacidad de rechazar correctamente consultas no contestables mediante umbrales de confianza y mantiene su rendimiento incluso cuando la memoria se expande con entidades irrelevantes y distractoras.

Resultados Experimentales

Los autores evaluaron PGMR en LCQUAD 2.0 (tanto en la división original como en la de "URI desconocido") y QALD-10, utilizando modelos que van desde T5-Small hasta Llama 3.1 8B y GPT-4o.

• Corrección de la Consulta (SQM): PGMR superó consistentemente tanto a la generación directa como a las líneas base de RAG. En LCQUAD 2.0 (división original), mejoró el Coincidencia Semántica de Consulta (SQM) aproximadamente un 61% respecto a la generación directa y un 16% respecto a RAG en promedio.
• Reducción de Alucinaciones: Mientras que la generación directa alucinó URIs en ~75% de los casos y RAG redujo esto a ~8.7%, PGMR logró una eliminación casi completa de las alucinaciones de URI (0.0% a 0.01% en la mayoría de las configuraciones).
• Robustez Fuera de Distribución: En la división de "URI desconocido" (donde las consultas de prueba contienen URIs no vistos durante el entrenamiento), PGMR mantuvo un alto rendimiento, mejorando el SQM en un 73% respecto a la generación directa.
• Escalabilidad de la Memoria: Cuando la memoria de entidades se escaló 9 veces con distractores irrelevantes, PGMR exhibió una degradación mínima de rendimiento (solo una caída de ~4% en SQM), demostrando la resiliencia del recuperador ante el ruido.
• Precisión de Rechazo: Al ajustar el umbral de confianza, el modelo pudo rechazar eficazmente las consultas que carecían de soporte en la memoria, equilibrando la relación entre la precisión del rechazo y la capacidad de respuesta.

Significado y Reivindicaciones

El artículo sostiene que PGMR ofrece una solución robusta a la crisis de fiabilidad en el KGQA basado en LLM. Al diferir la fundamentación de identificadores a un paso de recuperación post-generación, el marco asegura que todos los URIs generados estén estrictamente alineados con los elementos existentes en el grafo de conocimiento.

Los autores enfatizan que este enfoque:

• Mejora la Seguridad: La capacidad de rechazar consultas basadas en la confianza de recuperación evita que el sistema fabrique respuestas en aplicaciones críticas.
• Mejora la Generalización: Funciona bien incluso con datos no etiquetados y URIs fuera de la distribución, lo que lo hace más práctico para el despliegue en el mundo real que los métodos que requieren un etiquetado extensivo.
• Mantiene la Eficiencia: La sobrecarga computacional del paso de recuperación es insignificante en comparación con el tiempo de generación base, ya que el proceso de recuperación es altamente eficiente.

Los autores señalan modestamente que, si bien PGMR resuelve el problema de la alucinación de URI, el rendimiento general sigue estando limitado por la capacidad del LLM para construir estructuras de consulta SPARQL precisas, particularmente para consultas altamente complejas encontradas en conjuntos de datos como QALD-10. Sugieren que el trabajo futuro podría implicar la combinación de PGMR con LLMs más potentes o la integración de pasos de recuperación tanto antes como después de la generación.