💬 NLP

MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

El artículo presenta MARS, un marco de trabajo escalable y libre de ajuste fino para la Respuesta a Preguntas sobre Grafos de Conocimiento que combina Modelos de Lenguaje de Gran Escala con un proceso de recuperación adaptativo de múltiples saltos estructurado para generar consultas SPARQL precisas, minimizando al mismo tiempo las alucinaciones y manteniendo la eficiencia.

Autores originales: Nikit Srivastava, Daniel Vollmers, René Speck, Nikolaos Karalis, Hamada M. Zahera, Axel-Cyrille Ngonga Ngomo

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nikit Srivastava, Daniel Vollmers, René Speck, Nikolaos Karalis, Hamada M. Zahera, Axel-Cyrille Ngonga Ngomo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un misterio masivo y de múltiples capas, pero en lugar de un solo detective, tienes un cerebro brillante y superrápido que a veces se inventa cosas cuando no sabe la respuesta. Este es el mundo de los Modelos de Lenguaje de Gran Escala (LLM): son increíblemente inteligentes para entender el lenguaje y razonar, pero tienen el mal hábito de "alucinar", o de afirmar con confianza hechos que no son ciertos. Para solucionar esto, los científicos suelen emparejar estos cerebros con un "Grafo de Conocimiento" (KG). Piensa en un KG no como una pila desordenada de libros, sino como una red gigante y perfectamente organizada de hechos donde cada pieza de información está conectada con otras mediante líneas claras y lógicas, como un mapa de metro de todo el conocimiento del mundo. El desafío es lograr que el supercerebro lea este mapa correctamente sin perderse o inventar paradas que no existen. Este es el núcleo del rompecabezas de la Respuesta a Preguntas sobre Grafos de Conocimiento (KGQA): ¿cómo hacemos una pregunta compleja y obtenemos una respuesta perfectamente precisa de esta red, especialmente cuando la respuesta requiere saltar de un hecho a otro, como seguir un rastro de pistas?

Entra MARS, un nuevo enfoque que actúa como un detective muy disciplinado y que sigue paso a paso, en lugar de un explorador salvaje y errante. Los investigadores detrás de MARS, liderados por Nikit Srivastava y sus colegas, querían resolver el problema de hacer preguntas complejas que requieren un razonamiento de "múltiples saltos" (multi-hop)—preguntas donde no puedes simplemente buscar un dato; tienes que encontrar a una persona, luego encontrar dónde vive, luego encontrar qué hay cerca de su hogar, y así sucesivamente. Los métodos anteriores intentaban dejar que la IA deambulara por el grafo de conocimiento como un agente con un mapa, pero esto a menudo conducía a la confusión y a la invención de hechos. MARS toma un camino diferente. En lugar de dejar que la IA adivine toda la ruta de una vez, MARS descompone el viaje. Comienza encontrando la "estación" específica (entidad) mencionada en la pregunta, luego observa cuidadosamente las "vías" (patrones) inmediatas conectadas a esa estación. Le pregunta a la IA: "Basándote en estas vías, ¿tenemos información suficiente para resolver el rompecabezas, o necesitamos saltar a la siguiente estación?". Si la respuesta es "todavía no", MARS salta al siguiente conjunto de hechos, enriquece el contexto e intenta de nuevo. Repite este bucle estructurado hasta que ha reunido suficiente evidencia para escribir una instrucción precisa y ejecutable (una consulta SPARQL) que la computadora pueda ejecutar para obtener la respuesta exacta.

El artículo encuentra que este enfoque estructurado de "parar y pensar" funciona notablemente bien. Cuando se probó en tres conjuntos diferentes de preguntas difíciles (incluyendo algunos en los que más del 29% requería múltiples saltos), MARS funcionó tan bien como, o mejor que, los sistemas más avanzados disponibles, incluso sin necesidad de ser reentrenado en datos específicos. Mostró una fuerza particular al manejar preguntas complejas de múltiples pasos y funcionó en diez idiomas diferentes, incluyendo algunos que rara vez se utilizan en la tecnología. Los investigadores también descubrieron que, si bien dejar que un agente de IA deambule libremente puede ser poderoso, un flujo de trabajo guiado que obligue a la IA a verificar su camino en cada paso es más confiable y menos propenso a inventar cosas. También señalaron que algunos benchmarks anteriores tenían problemas con la falta de datos, por lo que lanzaron sus propias versiones limpias y actualizadas de los datos de prueba para asegurar que todos compitan en un campo de juego justo. En última instancia, MARS sugiere que, para tareas de razonamiento complejo, un guía metódico y basado en patrones es a menudo un mejor compañero para un supercerebro que un agente de libre deambulación, ofreciendo una forma de obtener respuestas precisas y fundamentadas sin el riesgo de la alucinación.

Resumen Técnico de MARS: Recuperación Adaptativa de Múltiples Saltos y Generación de SPARQL para KGQA

Declaración del Problema
Los Modelos de Lenguaje Extensos (LLMs) demuestran sólidas capacidades de razonamiento, pero sufren de alucinaciones e inconsistencias fácticas, particularmente en tareas que requieren un conocimiento intensivo y actualizado. Aunque la Generación Aumentada por Recuperación (RAG) mitiga estos problemas, el RAG basado en texto tiene dificultades con el razonamiento complejo de múltiples saltos porque las estructuras relacionales solo se representan implícitamente en el texto. Por el contrario, los enfoques actuales de Respuesta a Preguntas sobre Grafos de Conocimiento (KGQA) enfrentan compromisos significativos:

Los métodos de recuperación de hechos que recuperan subgrafos para el razonamiento del LLM suelen exceder los límites de la ventana de contexto cuando se trata de subgrafos grandes y relevantes.
Los modelos de Pregunta-SPARQL ajustados (fine-tuned) están limitados por la cobertura y diversidad de los datos de entrenamiento.
Los enfoques orientados a agentes que dependen de los LLMs para la exploración iterativa de grafos son vulnerables a la propagación de errores y a las alucinaciones en cada paso.
Los desafíos de reproducibilidad persisten, ya que los conjuntos de datos de referencia suelen publicarse sin la versión específica del Grafo de Conocimiento (KG) utilizada durante su creación, o con versiones que carecen de la cobertura necesaria.

Metodología: El Pipeline MARS
MARS es un enfoque escalable que no requiere ajuste fino (fine-tuning-free), el cual combina la recuperación de patrones basada en patrones con conocimiento aumentado por contexto para generar consultas SPARQL ejecutables. Opera mediante un pipeline estructurado de tres etapas que refina iterativamente el contexto hasta que se puede generar una consulta o se alcanza un límite de múltiples saltos.

Vinculación de Entidades y Aumento de Texto:
El sistema primero extrae entidades de la pregunta de entrada utilizando un pipeline basado en GRASP. Para soportar la navegación por grafos y consultas en otros idiomas, emplea un LLM multilingüe para la traducción y un LLM ajustado por instrucciones para generar texto aumentado ( $q_{aug}^{text}$ ) que incorpora etiquetas de tipo de entidad predichas. Esta estrategia híbrida preserva la estructura semántica de la consulta original mientras aprovecha la traducción para la vinculación de entidades.
Recuperación de Patrones y Filtrado:
En lugar de recuperar triples crudos o subgrafos completos, MARS recupera patrones de triples (predicado, entidad, marcador de posición).

Definición de Patrones: Los patrones se definen como $(s, p, \_)$ o $(\_, p, o)$ basados en las entidades extraídas.
Verbalización: Los patrones se convierten en cadenas de lenguaje natural (por ejemplo, "entidad predicado ?objeto").
Clasificación Semántica: Estos patrones verbalizados se incrustan (embed) y se clasifican por similitud semántica con la pregunta de entrada. Se seleccionan los $N$ mejores patrones.
Enriquecimiento: Los patrones seleccionados se enriquecen con recuentos de instancias, etiquetas de instancias (limitadas a un subconjunto para reducir costos) e información tipológica (restricciones de dominio y rango de la estructura del KG).

Razonamiento Iterativo y Generación de SPARQL:
Un LLM (actuando como un Razonador SPARQL) recibe la pregunta original y el contexto de patrones enriquecido.

Bucle de Decisión: El modelo determina si el contexto actual es suficiente para generar la consulta SPARQL final ( $q_{sparql}$ ).
Navegación Adaptativa: Si el contexto es insuficiente, el modelo selecciona patrones específicos para expandir. El sistema extrae las entidades de estos patrones, las trata como nuevos puntos de partida y repite el proceso de recuperación de patrones para reunir información del "siguiente salto".
Terminación: El bucle continúa hasta que se genera una consulta o se alcanza un límite predefinido de múltiples saltos ( $m_{hop}$ ).

Contribuciones Clave

Recuperación Basada en Patrones: Un método que reduce el tamaño del contexto del LLM al filtrar y clasificar patrones de triples en lugar de operar sobre subgrafos crudos, incorporando iterativamente hechos del siguiente salto al razonamiento.
Configuración Multilingüe Híbrida: Un marco que combina la traducción automática con texto en lengua nativa y aumento de tipo de entidad, soportando 10 idiomas (incluyendo cuatro idiomas de bajos recursos) a través de tres conjuntos de datos de referencia.
Evaluación y Análisis Exhaustivos: Un estudio de ablación detallado sobre características (por ejemplo, ejemplos concretos, información tipológica, verificación) y configuraciones, junto con un análisis de errores detallado.
Reproducibilidad: La publicación de la instantánea (snapshot) de Wikidata utilizada para la evaluación, los conjuntos de datos actualizados y el código utilizando LLMs de pesos abiertos para abordar el problema común del desfase de versiones de KG en los benchmarks.

Resultados Experimentales
MARS fue evaluado en tres benchmarks: LC-QuAD2.0 (inglés a gran escala), QALD-9-plus (multilingüe) y QALD-10 (consultas complejas de múltiples saltos).

Desempeño: MARS logró puntuaciones de Macro F1 competitivas o de vanguardia (state-of-the-art) en todos los conjuntos de datos. Notablemente, en el benchmark altamente complejo QALD-10 (donde ~29% de las consultas requieren razonamiento de múltiples saltos), MARS superó a todos los baselines, incluyendo el sistema agéntico GRASP, en los cuatro idiomas evaluados.
Comparación con Baselines: MARS superó a los modelos ajustados (DeepPavlov, UniQ-Gen, MST5) y al baseline agéntico GRASP en 8 de 14 comparaciones directas. Los resultados sugieren que un pipeline de planificación fijo es más efectivo que los agentes de selección de herramientas dinámicos para preguntas de múltiples saltos.
Perspectivas de Ablación:
- Ejemplos Concretos: Proporcionar ejemplos de instancias concretas de los patrones recuperados mejoró significamente el desempeño.
  ে * Verificación: Una segunda pasada para verificar y actualizar la consulta SPARQL generada produjo ganancias sustanciales.
- Configuración: La configuración óptima utilizó GPT-OSS con un $N$ superior de 20 patrones y un límite de múltiples saltos de 10, equilibrando el costo de inferencia y la precisión.

Significancia y Limitaciones
El artículo afirma que MARS demuestra que los bucles de abstracción deterministas guiados por patrones pueden superar a los enfoques totalmente agénticos en KGQA de múltiples saltos al reducir los riesgos de alucinación y proporcionar profundidades de recuperación más predecibles. El enfoque logra un alto desempeño sin necesidad de ajuste fino específico para el conjunto de datos, confiando en cambio en las capacidades de razonamiento de los LLMs de pesos abiertos guiados por una recuperación estructurada.

Los autores reconocen limitaciones específicas:

Restricciones Técnicas: Los errores provienen principalmente de la truncación de resultados (limitado a 1,000 resultados), la falta de proyecciones booleanas/agregadas (ASK, COUNT) y la generación de literales excesivamente cautelosa.
Escalabilidad: La recuperación de patrones en nodos de alto grado en KGs a gran escala (como Wikidata) requiere almacenes de triples especializados (por ejemplo, Tentris) para uniones (joins) eficientes.
Cobertura de Benchmarks: La evaluación se restringió a benchmarks basados en Wikidata; extender esto a Freebase o DBpedia es un trabajo futuro.
Estándares de Reproducibilidad: El artículo destaca que las puntuaciones F1 no son directamente comparables entre diferentes artículos debido a las variaciones en las definiciones de denominador (conjuntos predichos vs. coincidencia exacta vs. componentes), lo que requiere la reevaluación de todos los baselines bajo un protocolo unificado.

El trabajo concluye que, si bien MARS no es una solución perfecta, ofrece una alternativa robusta, reproducible y eficiente a los sistemas actuales de KGQA ajustados y agénticos, particularmente para tareas de razonamiento de múltiples saltos complejas.

Más como este