💬 NLP

Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction

Este trabajo propone un marco novedoso que mejora la precisión factual de los Modelos de Lenguaje Grandes mediante la construcción y refinamiento dinámicos de grafos de conocimiento estructurados durante la inferencia, lo cual integra el conocimiento interno del modelo con la recuperación externa para superar las limitaciones de los enfoques basados en texto no estructurado.

Autores originales: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Publicado 2026-05-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un bibliotecario muy inteligente y bien leído (el Modelo de Lenguaje Grande, o LLM). Este bibliotecario ha leído millones de libros y puede decirte casi cualquier cosa. Sin embargo, como cualquier ser humano, tiene un límite en lo que puede recordar perfectamente. A veces, puede confundir dos historias similares, olvidar un detalle específico o inventar con confianza un hecho que suena correcto pero no lo es. Esto es lo que los investigadores llaman "alucinación".

Para solucionar esto, los autores de este artículo proponen una nueva forma de trabajar para el bibliotecario, a la que llaman "Construcción de Grafos de Conocimiento en Tiempo de Inferencia".

Así es como funciona su método, desglosado en pasos simples usando una analogía de construir un mapa para encontrar un tesoro escondido.

El Problema: La Búsqueda "No Estructurada"

Por lo general, cuando le haces al bibliotecario una pregunta difícil, podría intentar responder simplemente pensando mucho (como una "Cadena de Pensamiento"). O bien, podría buscar algún texto en internet y leerlo.

El Problema: Leer un párrafo largo y desordenado de texto es como intentar encontrar una calle específica en una ciudad leyendo una novela sobre la ciudad. Es fácil perderse, perder un giro o distraerse con detalles irrelevantes. El bibliotecario podría agarrar el hecho incorrecto porque la información no estaba organizada.

La Solución: Construir un "Mapa" (El Grafo de Conocimiento)

En lugar de solo leer texto, los autores enseñan al bibliotecario a dibujar un mapa (un Grafo de Conocimiento) mientras responde la pregunta. Este mapa conecta puntos (hechos) con líneas (relaciones).

Aquí está su proceso de 4 pasos:

1. Dibujar el Mapa Semilla (Inicialización)

Cuando le haces una pregunta (por ejemplo: "¿En qué obra de teatro se basaron las Danzas Sinfónicas de Bernstein?"), el bibliotecario primero mira su propia memoria y dibuja un boceto pequeño y aproximado.

Anotan: Dag Achatz → transcribió → Danzas Sinfónicas → proviene de → West Side Story.
El Problema: La memoria interna del bibliotecario podría estar incompleta. Podría detenerse en West Side Story y pensar: "¡Esa es la respuesta!". Pero en realidad, West Side Story en sí misma se basó en algo más. Al mapa le falta una pieza.

2. Expandir el Mapa (Expansión Interna)

El bibliotecario mira su boceto y se pregunta: "¿Qué más sé sobre estos puntos?". Intenta añadir más líneas al mapa usando su propia capacidad mental.

Podrían añadir: West Side Story → compuesta por → Leonard Bernstein.
El Problema: Incluso con esta expansión, al bibliotecario podría seguirle faltando el vínculo crucial que conecta West Side Story de vuelta a la obra original, Romeo y Julieta. Su memoria interna tiene una brecha.

3. Consultar la "Guía de la Ciudad" (Recuperación Externa)

Este es el paso mágico. El bibliotecario se da cuenta: "No estoy seguro de tener el panorama completo". Así que se detiene y consulta una Guía de la Ciudad externa y de confianza (como Wikipedia o una Búsqueda de Google).

Buscan West Side Story en la guía.
La guía dice: "West Side Story se inspiró en Romeo y Julieta".
El bibliotecario toma este nuevo hecho verificado y lo añade a su mapa: West Side Story → inspirada en → Romeo y Julieta.
El Beneficio: Si el bibliotecario hubiera cometido un error antes (por ejemplo, pensando que la música era de un año diferente), la Guía de la Ciudad le ayuda a corregir el mapa, no solo a añadirle cosas.

4. Encontrar el Tesoro (Responder en el Grafo)

Ahora, con un mapa completo y corregido que conecta a Dag Achatz todo el camino hasta Romeo y Julieta, el bibliotecario traza el camino en el mapa. Como el camino está claro y verificado por la Guía de la Ciudad, puede decir con confianza: "La respuesta es Romeo y Julieta".

¿Por qué es esto mejor?

El artículo afirma que este método es superior por tres razones principales:

Estructura sobre Caos: En lugar de vadear a través de una inundación de texto no estructurado, el bibliotecario trabaja con un mapa estructurado. Esto hace que sea más difícil distraerse con información irrelevante.
Autocorrección: El bibliotecario no confía solo en su propia memoria. Utiliza la guía externa para corregir errores en su propio mapa. Si el bibliotecario piensa "A lleva a B", pero la guía dice "A lleva a C", el bibliotecario actualiza el mapa.
Los bibliotecarios pequeños pueden hacer trabajos grandes: Los experimentos mostraron que incluso bibliotecarios más pequeños y menos potentes (modelos de IA más pequeños) podían rendir tan bien como los gigantes si usaban este método de construcción de mapas. La guía externa nivela el campo de juego.

Los Resultados

Los autores probaron esto en tres tipos diferentes de desafíos de trivia.

El Resultado: Su método obtuvo consistentemente más respuestas correctas que las formas estándar de preguntar a la IA.
El Impulso de "Recuperación": Descubrieron que al usar la guía externa, el "mapa" que construyeron contenía los hechos correctos con mucha más frecuencia (un gran salto en "recuperación", o encontrar los hechos correctos) en comparación con depender solo de la memoria de la IA.

El Truco (Limitaciones)

Los autores son honestos sobre las fallas:

Basura entra, basura sale: Si el bibliotecario dibuja la parte inicial del mapa incorrectamente, y la guía externa no lo detecta, la respuesta final seguirá siendo incorrecta.
No es perfecto: Aún hay una brecha entre tener los hechos correctos en el mapa y realmente elegir la respuesta correcta. El sistema no es 100% perfecto todavía.

Resumen

En resumen, este artículo sugiere que, en lugar de pedirle a una IA que simplemente "piense" o "lea un párrafo", deberíamos pedirle que construya un mapa visual de hechos, verifique ese mapa contra una enciclopedia de confianza, corrija cualquier error en el mapa y luego siga el mapa hasta la respuesta. Esto hace que la IA sea más precisa, menos propensa a mentir y más fácil de entender.

Resumen Técnico: Mejora de la Facticidad en LLMs mediante la Construcción de Grafos de Conocimiento en Tiempo de Inferencia

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLMs) generan con frecuencia respuestas factualmente inconsistentes debido a limitaciones en su memoria paramétrica. Aunque los paradigmas de Generación Aumentada por Recuperación (RAG) intentan mitigar esto incorporando conocimiento externo en tiempo de inferencia, los enfoques existentes suelen tratar el conocimiento recuperado como texto no estructurado. Este enfoque basado únicamente en texto sufre de una menor precisión en la recuperación, dificulta el razonamiento composicional y amplifica la influencia de información irrelevante, socavando finalmente la consistencia factual de las salidas de los LLM. Además, los métodos que dependen de Grafos de Conocimiento (KG) estáticos y preconstruidos carecen de adaptabilidad en contextos de cambio rápido y son difíciles de escalar.

Metodología

Los autores proponen una nueva tubería de cuatro etapas que construye y expande dinámicamente Grafos de Conocimiento durante la inferencia, integrando tanto el conocimiento interno del LLM como el conocimiento externo recuperado. El proceso se formaliza de la siguiente manera:

Inicialización del Grafo: Dada una pregunta $Q$ , se solicita al LLM que extraiga entidades y relaciones relevantes para formar un KG semilla ( $G_0$ ). Esto captura el enfoque central de la pregunta.
Expansión del Grafo: El KG semilla se expande iterativamente de manera de búsqueda en anchura utilizando el conocimiento interno del LLM. El modelo selecciona entidades de un búfer y genera nuevos tripletes (sujeto-relación-objeto) para extender el grafo hasta una profundidad predefinida $D$ , resultando en un KG expandido ( $G_1$ ).
Recuperación Externa: Para abordar imprecisiones o lagunas en $G_1$ $G_{1}$ , el sistema emplea un mecanismo de recuperación externa (utilizando Wikipedia y Google Search mediante BM25). El LLM selecciona entidades o tripletes específicos del grafo y elige entre dos acciones:
- Corrección: Reemplazar tripletes erróneos con otros factualmente precisos encontrados en fuentes externas.
- Expansión: Añadir nuevos tripletes relacionados para cerrar lagunas de conocimiento.
  Esta refinación iterativa produce un KG fundamentado ( $G^*$ ).
Respuesta sobre el Grafo: Finalmente, el LLM genera la respuesta consultando el KG refinado ( $G^*$ ). El modelo se restringe a razonar sobre los tripletes presentes en el grafo para reducir las alucinaciones fuera del grafo y asegurar que la respuesta se base en cadenas de evidencia verificables.

Contribuciones Clave

El artículo describe tres contribuciones principales:

Construcción de KG en Tiempo de Inferencia: Un nuevo método para extraer tripletes directamente del conocimiento interno de un LLM y diseñar una estrategia de expansión iterativa para extender dinámicamente los KGs durante la inferencia.
Integración Híbrida de Conocimiento: Una tubería unificada que combina sinérgicamente el conocimiento interno del LLM con bases de conocimiento externas. Este enfoque híbrido compensa las lagunas inherentes a cada fuente, mejorando la fundamentación factual.
Validación Empírica: Una evaluación exhaustiva en tres diversos benchmarks de Preguntas y Respuestas Factual (Complex WebQuestions, HotpotQA y SimpleQA) demuestra mejoras consistentes y significativas en la precisión de las respuestas y la consistencia factual a través de diferentes conjuntos de datos y modelos base.

Resultados Experimentales

El método fue evaluado en CWQ, HotpotQA y SimpleQA utilizando diversos modelos base (incluyendo GPT-4o, Deepseek-V3, Llama-4-Scout y Qwen2.5).

Mejoras en el Rendimiento: El enfoque propuesto logró resultados de vanguardia tanto en configuraciones de conocimiento interno como externo. Bajo la configuración de conocimiento externo, el método mostró mejoras sustanciales, particularmente en el desafiante conjunto de datos SimpleQA, con ganancias de precisión de hasta un 23.0% en comparación con las líneas base.
Mejoras en la Recuperación: La integración de la recuperación externa aumentó significativamente la recuperación de hechos de verdad absoluta que aparecen en el proceso de razonamiento. Por ejemplo, en SimpleQA, la recuperación de Llama-4-Scout aumentó del 13.0% (solo interno) al 37.5% (con recuperación externa).
Generalización: El método demostró ser robusto a través de diferentes escalas de modelos. Cabe destacar que modelos más pequeños (por ejemplo, Llama-4-Scout) equipados con este método pudieron superar o igualar a modelos significativamente más grandes (por ejemplo, DeepSeek-V3) cuando se utilizó recuperación externa, lo que sugiere que el método mitiga eficazmente las limitaciones de la memoria paramétrica interna.
Perspectivas de Ablación: El análisis reveló una compensación donde un aumento en la complejidad del razonamiento (más saltos) conduce a tamaños de grafo más grandes pero a una disminución en la precisión, ya que el modelo lucha por identificar el camino correcto entre los candidatos expandidos. Sin embargo, los modelos más grandes generalmente exhibieron mayor precisión y recuperación, con la brecha de rendimiento entre modelos estrechándose cuando se introdujo conocimiento externo.

Significado

El artículo postula que la construcción de KG en tiempo de inferencia es una dirección prometedora para mejorar la facticidad de los LLM de manera estructurada, interpretable y escalable. Al ir más allá de la recuperación de texto no estructurado, el marco propuesto permite a los LLM acceder e integrar conocimiento factual de manera sistemática. La capacidad de construir y refinar grafos dinámicamente permite una adaptación en tiempo real a las lagunas de conocimiento, ofreciendo una solución plug-and-play que mejora la fiabilidad sin requerir una curación manual extensa ni grafos preconstruidos estáticos. Los autores enfatizan que, aunque persisten limitaciones relacionadas con la propagación de alucinaciones y la optimalidad de la recuperación de grafos, el enfoque representa un paso significativo hacia una IA más confiable en dominios de alto riesgo.