💬 NLP

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

ReaLM es un marco novedoso que tiende un puente entre los Embeddings de Grafos de Conocimiento y los Grandes Modelos de Lenguaje mediante la discretización de embeddings continuos de KG en tokens aprendibles a través de la cuantización vectorial residual e incorporando restricciones guiadas por ontologías, logrando así un rendimiento de vanguardia en la Completación de Grafos de Conocimiento.

Autores originales: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Publicado 2026-06-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: Dos Lenguajes que No se Mezclan

Imagina que tienes a dos expertos brillantes intentando resolver un rompecabezas juntos, pero hablan idiomas completamente diferentes.

Experto A (El Grafo de Conocimiento): Este experto conoce el mundo como un mapa masivo y estructurado de hechos. Piensa en coordenadas y números precisos. Si sabe que "Iron Man está casado con Pepper Potts", lo almacena como una conexión matemática específica entre dos puntos.
Experto B (El Modelo de Lenguaje Grande - LLM): Este experto es un maestro de las historias que habla el lenguaje humano. Entiende el contexto, los matices y cómo fluyen las palabras. Sin embargo, no entiende naturalmente las coordenadas matemáticas precisas del mapa del Experto A.

El Conflicto: Cuando le pides al Cuentacuentos (LLM) que adivine un dato faltante del Mapa (Grafo de Conocimiento), este suele confundirse.

Si le muestras el mapa como texto, podría adivinar una palabra que suena bien (como "Pepper") pero que no es la entidad exacta en la base de datos.
Si intentas obligarlo a aprender cada nombre del mapa (hay decenas de miles), su cerebro se llena demasiado, se vuelve lento y empieza a cometer errores.

La Solución: ReaLM (El Traductor Universal)

Los autores crearon un sistema llamado ReaLM para cerrar esta brecha. Piensa en esto como un dispositivo de traducción que convierte las complejas coordenadas del Mapa en un código simple y corto que el Cuentacuentos puede leer y escribir perfectamente.

Así es como funciona, paso a paso:

1. Convertir Mapas en "Códigos de ÁREA" (Cuantización de Vectores Residuales)

En lugar de intentar enseñarle al Cuentacuentos todo el mapa, ReaLM toma la "dirección" matemática compleja de cada entidad (como Iron Man) y la comprime en una secuencia corta y única de números.

La Analogía: Imagina que tienes una biblioteca gigante con millones de libros. En lugar de darle al bibliotecario el libro entero para que lo lea, le das un código de barras corto (por ejemplo, 7-48-109-586).
Cómo funciona: El sistema descompone la matemática compleja en capas (como pelar una cebolla). Encuentra la coincidencia más cercana en un "diccionario de códigos" para la primera capa, calcula qué falta, encuentra una coincidencia para la segunda capa, y así sucesivamente. El resultado es una lista compacta de números que representa perfectamente la idea compleja original.
El Beneficio: El Cuentacuentos (LLM) no necesita memorizar millones de nombres. Solo necesita aprender un conjunto manejable de estos "códigos de barras".

2. Enseñarle al Cuentacuentos los Nuevos Códigos

Una vez que las entidades se convierten en estos códigos numéricos, ReaLM los añade al vocabulario del Cuentacuentos.

La Analogía: Imagina que el diccionario del Cuentacuentos de repente recibe una nueva sección llamada "Códigos Cuantizados". Ahora, cuando ve el código 7-48-109, sabe exactamente a qué personaje se refiere, sin necesidad de adivinar la ortografía.
El Beneficio: El Cuentacuentos ahora puede generar la respuesta exacta correcta (la entidad específica) en lugar de una suposición vaga.

3. La Verificación del "Libro de Reglas" (Restricciones Guiadas por Ontología)

A veces, incluso con los códigos, el Cuentacuentos podría cometer un error lógico. Por ejemplo, podría suponer que un "Coche" es la esposa de una "Persona".

La Analogía: ReaLM trae un Libro de Reglas (Ontología). Antes de que el Cuentacuntas dé su respuesta final, el Libro de Reglas verifica: "Espera, la pregunta pide una 'esposa'. La respuesta debe ser una 'Persona', no un 'Coche'".
Cómo funciona: El sistema predice primero la categoría (clase) de la respuesta. Si el Cuentacuentos adivina una entidad que no encaja en la categoría, el sistema la filtra y elige la siguiente mejor opción que sí encaja.
El Beneficio: Esto asegura que las respuestas no sean solo matemáticamente cercanas, sino también lógicas y semánticamente correctas.

¿Qué Descubrieron?

Los investigadores probaron este sistema en dos grandes "libros de acertijos" (conjuntos de datos) que contienen hechos sobre películas y palabras.

El Resultado: ReaLM se convirtió en el campeón de estos acertijos. Superó a todos los métodos anteriores, incluyendo otros modelos de IA que intentaban combinar mapas y lenguaje.
Por qué ganó: Al convertir la matemática compleja en códigos simples, el Cuentacuentos finalmente pudo "ver" el mapa con claridad. Al añadir la verificación del Libro de Reglas, dejó de cometer errores lógicos absurdos.

Resumen

ReaLM es como un traductor que convierte un mapa complejo y de alta tecnología en un simple conjunto de códigos de barras que un experto en lenguaje puede leer. Luego, añade una "verificación de lógica" para asegurar que las respuestas tengan sentido. Esto permite que la Inteligencia Artificial combine lo mejor de ambos mundos: la estructura precisa de una base de datos de conocimiento y el poderoso razonamiento de un modelo de lenguaje.

Resumen Técnico de ReaLM: Cuantización Residual para el Puente entre las Incrustaciones de Grafos de Conocimiento y los Modelos de Lenguaje Extensos

Planteamiento del Problema
Si bien los Modelos de Lenguaje Extensos (LLMs) han demostrado fuertes capacidades de razonamiento para la Completación de Grafos de Conocimiento (KGC), existe un desalineamiento fundamental entre los espacios de incrustación continuos de los modelos de Grafos de Conocimiento (KG) y los espacios de tokens discretos de los LLMs. Los enfoques tradicionales que convierten las ternas de KG en lenguaje natural a menudo generan salidas que están semánticamente relacionadas pero que no corresponden exactamente a las entidades definidas en el KG, lo que genera inconsistencias de mapeo. Por el contrario, expandir directamente el vocabulario del LLM para incluir todas las entidades del KG es computacionalmente prohibitivo debido a la naturaleza vasta y evolutiva de los conjuntos de entidades (por ejemplo, WN18RR contiene más de 40,000 entidades, superando el vocabulario de 32,000 tokens de LLaMA-2). Los métodos existentes que intentan cerrar esta brecha, como la proyección directa o la integración parcial, a menudo sufren de inestabilidad en el entrenamiento, incapacidad para soportar tareas de clasificación (ranking) o una falla al capturar la rica semántica estructural.

Metodología
El marco propuesto, ReaLM, aborda estos desafíos mediante un proceso de múltiples etapas que discretiza las incrustaciones de KG en secuencias de códigos compactos compatibles con la tokenización de los LLMs, mientras impone consistencia semántica mediante ontología.

Extracción Semántica: El marco utiliza RotatE para preentrenar incrustaciones de entidades y relaciones de alta calidad en un espacio vectorial complejo. Se selecciona RotatE por su capacidad superior para capturar patrones relacionales en comparación con otros métodos de incristación como TransE o DistMult.
Cuantización de Vectores Residuales (RVQ): Para cerrar la brecha continuo-discreta, ReaLM emplea la Cuantización de Vectores Residuales. Las incrustaciones complejas preentrenadas se mapean a vectores de valores reales y se aproximan a través de una secuencia de $S$ etapas (establecidas empíricamente en 32). En cada etapa, un vector residual es cuantizado seleccionando el palabra clave (codeword) más cercano de un libro de códigos independiente. Este proceso transforma una incrustación continua de alta dimensión en una secuencia discreta compacta de $S$ índices de código. La cuantización se optimiza utilizando una función de pérdida que combina la pérdida de reconstrucción, la pérdida del libro de códigos y una pérdida de compromiso para prevenir el colapso del libro de códigos.
Integración y Ajuste Fino del LLM: Los índices de código discretos se tratan como nuevos tokens y se añaden al vocabulario del LLM. Las incrustaciones para estos nuevos tokens se inicializan sumando los vectores de los codewords correspondientes a través de todas las etapas de cuantización. Luego, el modelo se ajusta mediante una estrategia de adaptación dual:
- Optimización de la Incrustación de Tokens: Las incredaciones de los nuevos tokens cuantizados se entrenan mediante el descenso de gradiente estándar.
- Adaptación de Parámetros Eficiente: Los parámetros internos del LLM se adaptan utilizando Adaptación de Bajo Rango (LoRA), lo que permite al modelo interiorizar el formato de token discreto sin reentrenar toda la red.
Restricciones de Clase Guiadas por Ontología: Para asegurar la corrección semántica, ReaLM integra el conocimiento de la ontología. Las clases se tratan de manera similar a las entidades: se incrustan, se cuantizan y se añaden al vocabulario. Durante la inferencia, el modelo predice tanto la entidad faltante como su clase correspondiente. Si la entidad predicha no pertenece a la clase predicha, la predicción se refina seleccionando un candidato alternativo que satisfaga la restricción de clase.

Contribuciones Clave

Marco de Cuantización de Vectores Residuales: ReaLM introduce un método para transformar las incrustaciones de KG de alta dimensión en secuencias de códigos discretos compactos. Esto permite una integración fluida con los espacios de tokens de los LLMs mientras preserva la rica información relacional y semántica, evitando la necesidad de una expansión descontrolada del vocabulario.
Restricciones de Clase Guiadas por Ontología: El marco incorpora restricciones semánticas a nivel de clase para imponer consistencia entre las entidades predichas y sus clases correspondientes, abordando el problema de las predicciones que son semánticamente plausibles pero inconsistentes con su clase.
Validación Empírica: El enfoque se valida en conjuntos de datos de referencia estándar (FB15k-237 y WN18RR), demostrando mejoras significativas sobre tanto los modelos basados en incrustaciones tradicionales como los métodos de KGC basados en LLM existentes.

Resultados Experimentales
Se realizaron experimentos extensos en tareas de predicción de enlaces y clasificación de ternas:

Predicción de Enlaces: En el conjunto de datos WN18RR, ReaLM logró un Rango Recíproco Medio (MRR) de 0.608 y un Hits@1 de 0.575, superando al baseline más fuerte basado en LLM (SSQR-LLaMA3.1) por un 1.6–3.5%. En FB15k237, alcanzó un MRR de 0.467, superando a todos los baselines.
Clasificación de Ternas: En el conjunto de datos FB15k-237N, ReaLM alcanzó una precisión de 0.814 y un F1-score de 0.825, mejorando el baseline SSQR-LLaMA3.1 por 1.4 puntos porcentuales en F1-score.
Estudios de Ablación: Eliminar el componente guiado por ontología resultó en una degradación consistente del rendimiento en todas las métricas (por ejemplo, una caída del 3.38% en el F1-score para la clasificación de ternas), confirmando el papel crítico de las restricciones de clase para filtrar predicciones incoherentes con el tipo.
Análisis de Parámetros: Los experimentos indicaron que un tamaño de libro de códigos ( $K$ ) de 1000–1500 y 32 etapas de cuantización ( $S$ ) ofrecen el equilibrio óptimo entre capacidad de representación y eficiencia computacional.

Significancia
El artículo afirma que ReaLM cierra eficazmente la brecha entre el conocimiento estructurado y los modelos de lenguaje generativos. Al discretizar las incrustaciones en códigos cuantizados, ReaLM permite que los LLMs interioricen la semántica estructurada de los KG sin sacrificar la fluidez lingüística ni requerir expansiones masivas del vocabulario. La integración de las restricciones guiadas por la ontología asegura además que las predicciones del modelo permanezcan semánticamente consistentes con la estructura subyacente del grafo de conocimiento. Los autores concluyen que ReaLM representa un enfoque de vanguardia para la KGC, ofreciendo una solución robusta a los desafíos del desalineamiento semántico y la escalabilidad del vocabulario en el razonamiento de conocimiento basado en LLM.