💬 NLP

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

O ReaLM é um novo framework que faz a ponte entre Embeddings de Grafos de Conhecimento e Grandes Modelos de Linguagem ao discretizar embeddings contínuos de KG em tokens aprendíveis via quantização vetorial residual e incorporar restrições guiadas por ontologia, alcançando assim o estado da arte em Completamento de Grafos de Conhecimento.

Autores originais: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Duas Línguas que Não se Misturam

Imagine que você tem dois especialistas brilhantes tentando resolver um quebra-cabeça juntos, mas eles falam línguas completamente diferentes.

Especialista A (O Grafo de Conhecimento): Este especialista conhece o mundo como um mapa massivo e estruturado de fatos. Ele pensa em coordenadas e números precisos. Se ele sabe que "Homem de Ferro é casado com Pepper Potts", ele armazena isso como uma conexão matemática específica entre dois pontos.
Especialista B (O Grande Modelo de Linguagem - LLM): Este especialista é um mestre contador de histórias que fala a linguagem humana. Ele entende contexto, nuances e como as palavras fluem juntas. No entanto, ele não entende naturalmente as coordenadas matemáticas precisas do mapa do Especialista A.

O Conflito: Quando você pede ao Contador de Histórias (LLM) para adivinhar um fato que falta no Mapa (Grafo de Conhecimento), ele costuma ficar confuso.

Se você mostrar o mapa como texto, ele pode adivinhar uma palavra que soa bem (como "Pepper"), mas que não é exatamente a entidade no banco de dados.
Se você tentar forçá-lo a aprender cada nome no mapa (existem dezenas de milhares), o cérebro dele fica sobrecarregado, ele fica lento e começa a cometer erros.

A Solução: ReaLM (O Tradutor Universal)

Os autores criaram um sistema chamado ReaLM para preencher essa lacuna. Pense nele como um dispositivo de tradução que transforma as coordenadas complexas do Mapa em um código simples e curto que o Contador de Histórias pode ler e escrever perfeitamente.

Veja como funciona, passo a passo:

1. Transformando Mapas em "Códigos de Barras" (Quantização Vetorial Residual)

Em vez de tentar ensinar ao Contador de Histórias o mapa inteiro, o ReaLM pega o "endereço" matemático complexo de cada entidade (como Homem de Ferro) e o comprime em uma sequência curta e única de números.

A Analogia: Imagine que você tem uma biblioteca gigante com milhões de livros. Em vez de dar o livro inteiro para o bibliotecário ler, você entrega um código de barras curto (ex: 7-48-109-586).
Como funciona: O sistema decompõe a matemática complexa em camadas (como descascar uma cebola). Ele encontra a correspondência mais próxima em um "dicionário de códigos" para a primeira camada, calcula o que falta, encontra uma correspondência para a segunda camada e assim por diante. O resultado é uma lista compacta de números que representa perfeitamente a ideia complexa original.
O Benefício: O Contador de Histórias (LLM) não precisa memorizar milhões de nomes. Ele só precisa aprender um conjunto gerenciável desses "códigos de barras".

2. Ensinando o Contador de Histórias os Novos Códigos

Uma vez que as entidades são convertidas nesses códigos numéricos, o ReaLM os adiciona ao vocabulário do Contador de Histórias.

A Analogia: Imagine que o dicionário do Contador de Histórias subitamente ganha uma nova seção chamada "Códigos Quantizados". Agora, quando ele vê o código 7-48-109, ele sabe exatamente a qual personagem isso se refere, sem precisar adivinhar a grafia.
O Benefício: O Contador de Histórias agora pode gerar a resposta exata (a entidade específica) em vez de um palpite vago.

3. A Verificação do "Livro de Regras" (Restrições Guiadas por Ontologia)

Às vezes, mesmo com os códigos, o Contador de Histórias pode cometer um erro lógico. Por exemplo, ele pode adivinhar que um "Carro" é a esposa de uma "Pessoa".

A Analogia: O ReaLM traz um Livro de Regras (Ontologia). Antes de o Contador de Histórias dar sua resposta final, o Livro de Regras verifica: "Espere, a pergunta pede uma 'esposa'. A resposta deve ser uma 'Pessoa', não um 'Carro'".
Como funciona: O sistema prevê primeiro a categoria (classe) da resposta. Se o Contador de Histórias adivinhar uma entidade que não se encaixa na categoria, o sistema a filtra e escolhe a próxima melhor opção que se encaixe.
O Benefício: Isso garante que as respostas não sejam apenas matematicamente próximas, mas também lógicas e semanticamente corretas.

O Que Eles Descobriram?

Os pesquisadores testaram este sistema em dois grandes "livros de quebra-cabeças" (datasets) contendo fatos sobre filmes e palavras.

O Resultado: O ReaLM tornou-se o campeão desses quebra-cabeças. Ele superou todos os métodos anteriores, incluindo outros modelos de IA que tentavam combinar mapas e linguagem.
Por que venceu? Ao transformar matemática complexa em códigos simples, o Contador de Histórias finalmente pôde "enxergar" o mapa claramente. Ao adicionar a verificação do Livro de Regras, ele parou de cometer erros lógicos bobos.

Resumo

ReaLM é como um tradutor que transforma um mapa complexo e de alta tecnologia em um conjunto simples de códigos de barras que um especialista em linguagem consegue ler. Ele então adiciona uma "verificação de lógica" para garantir que as respostas façam sentido. Isso permite que a Inteligência Artificial combine o melhor dos dois mundos: a estrutura precisa de um banco de dados de conhecimento e o raciocínio poderoso de um modelo de linguagem.

Resumo Técnico de ReaLM: Quantização Residual Unindo Embeddings de Grafos de Conhecimento e Grandes Modelos de Linguagem

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado fortes capacidades de raciocínio para a Completagem de Grafos de Conhecimento (KGC), existe um desalinhamento fundamental entre os espaços de embedding contínuos dos modelos de Grafos de Conhecimento (KG) e os espaços de tokens discretos dos LLMs. Abordagens tradicionais que convertem triplas de KG em linguagem natural frequentemente geram saídas que são semanticamente relacionadas, mas que não correspondem exatamente às entidades definidas no KG, levando a inconsistências de mapeamento. Por outro lado, expandir diretamente o vocabulário do LLM para incluir todas as entidades do KG é computacionalmente proibitivo devido à natureza vasta e evolutiva dos conjuntos de entidades (por exemplo, o WN18RR contém mais de 40.000 entidades, excedendo o vocabulário de 32.000 tokens do LLaMA-2). Métodos existentes que tentam preencher essa lacuna, como projeção direta ou integração parcial, frequentemente sofrem de instabilidade de treinamento, incapacidade de suportar tarefas de ranking ou falha em capturar semântica estrutural rica.

Metodologia
O framework proposto, ReaLM, aborda esses desafios através de um processo de múltiplos estágios que discretiza os embeddings de KG em sequências de códigos compactas compatíveis com a tokenização de LLMs, enquanto impõe consistência semântica via ontologia.

Extração Semântica: O framework utiliza o RotatE para pré-treinar embeddings de entidade e relação de alta qualidade em um espaço vetorial complexo. O RotatE foi seleciono por sua capacidade superior de capturar padrões relacionais em comparação com outros métodos de embedding como TransE ou DistMult.
Quantização Vetorial Residual (RVQ): Para unir o hiato contínuo-discreto, o ReaLM emprega a Quantização Vetorial Residual. Os embeddings complexos pré-treinados são mapeados para vetores de valor real e aproximados através de uma sequência de $S$ estágios (definidos empiricamente como 32). Em cada estágio, um vetor residual é quantizado pela seleção do codeword mais próximo de um codebook independente. Este processo transforma um embedding contínuo de alta dimensão em uma sequência discreta compacta de $S$ índices de código. A quantização é otimizada usando uma função de perda que combina perda de reconstrução, perda de codebook e uma perda de compromisso (commitment loss) para evitar o colapso do codebook.
Integração de LLM e Fine-tuning: Os índices de código discretos são tratados como novos tokens e adicionados ao vocabulário do LLM. Os embeddings para esses novos tokens são inicializados pela soma dos vetores dos codewords correspondentes através de todos os estágios de quantização. O modelo é então ajustado via uma estratégia de adaptação dual:
- Otimização de Embedding de Token: Os embeddings dos novos tokens quantizados são treinados via gradiente descendente padrão.
- Adaptação de Parâmetros Eficiente: Os parâmetros internos do LLM são adaptados usando Low-Rank Adaptation (LoRA), permitindo que o modelo internalize o formato de token discreto sem o retreinamento de toda a rede.
Restrições de Classe Guiadas por Ontologia: Para garantir a correção semântica, o ReaLM integra o conhecimento da ontologia. As classes são tratadas de forma semelhante às entidades: elas são embedadas, quantizadas e adicionadas ao vocabulário. Durante a inferência, o modelo prevê tanto a entidade ausente quanto sua classe correspondente. Se a entidade prevista não pertencer à classe prevista, a previsão é refinada selecionando um candidato alternativo que satisfaça a restrição de classe.

Principais Contribuições

Framework de Quantização Vetorial Residual: O ReaLM introduz um método para transformar embeddings de KG de alta dimensão em sequências de códigos discretos compactos. Isso permite a integração perfeita com os espaços de tokens de LLMs enquanto preserva informações relacionais e semânticas ricas, evitando a necessidade de uma expansão descontrolada do vocabulário.
Restrições de Classe Guiadas por Ontologia: O framework incorpora restrições semânticas de nível de classe para garantir a consistência entre as entidades previstas e suas classes correspondentes, abordando o problema de previsões que são semanticamente plausíveis, mas incoerentes com a classe.
Validação Empírica: A abordagem é validada em conjuntos de dados de benchmark padrão (FB15k-237 e WN18RR), demonstrando melhorias significativas sobre tanto os modelos baseados em embedding tradicionais quanto os métodos de KGC baseados em LLM existentes.

Resultados Experimentais
Experimentos extensivos foram conduzidos em tarefas de predição de ligação (link prediction) e classificação de triplas:

Predição de Ligação: No conjunto de dados WN18RR, o ReaLM alcançou um Mean Recral Proportional Rank (MRR) de 0.608 e Hits@1 de 0.575, superando o baseline mais forte baseado em LLM (SSQR-LLaMA3.1) em 1.6–3.5%. No FB15k237, alcançou um MRR de 0.467, superando todos os baselines.
Classificação de Triplas: No conjunto de dados FB15k-237N, o ReaLM atingiu uma acurácia de 0.814 e um F1-score de 0.825, melhorando o baseline SSQR-LLaMA3.1 em 1.4 pontos percentuais no F1-score.
Estudos de Ablação: A remoção do componente guiado por ontologia resultou em uma degradação consistente do desempenho em todas as métricas (por exemplo, uma queda de 3.38% no F1-score para classificação de triplas), confirmando o papel crítico das restrições de classe no filtragem de previsões incoerentes de tipo.
Análise de Parâmetros: Experimentos indicaram que um tamanho de codebook ( $K$ ) de 1000–1500 e 32 estágios de quantização ( $S$ ) oferecem o melhor equilíbrio entre capacidade de representação e eficiência computacional.

Significância
O artigo afirma que o ReaLM efetivamente une o abismo entre o conhecimento estruturado e os modelos de linguagem generativos. Ao discretizar os embeddings em códigos quantizados, o ReaLM permite que os LLMs internalizem a semântica estruturada do KG sem sacrificar a fluência linguística ou exigir expansões massivas de vocabulário. A integração de restrições guiadas por ontologia garante ainda que as previsões do modelo permaneçam semanticamente consistentes com a estrutura subjacente do grafo de conhecimento. Os autores concluem que o ReaLM representa uma abordagem de estado da arte para KGC, oferecendo uma solução robusta para os desafios de desalinhamento semântico e escalabilidade de vocabulário em o raciocínio de conhecimento baseado em LLM.