💬 NLP

Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion

O artigo propõe o DuPLeR, um framework de raciocínio de LLM de via dupla que integra priors derivados de LLMs multimodais com estruturas de grafos fatuais para alcançar uma completude de grafo de conhecimento poucos disparos (few-shot) robusta, mitigando o ruído e aprimorando as representações de entidades por meio de grafos de relações calibrados e raciocínio estrutural de nível duplo.

Autores originais: Jinlan Liu, Zhiying Tu, Yongchao Xing, Yicheng Liu, Bolin Zhang, Dianbo Sui, Dianhui Chu, Hongliang Sun

Publicado 2026-07-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jinlan Liu, Zhiying Tu, Yongchao Xing, Yicheng Liu, Bolin Zhang, Dianbo Sui, Dianhui Chu, Hongliang Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando terminar um quebra-cabeça gigante e em constante crescimento sobre os fatos do mundo, onde cada peça é uma conexão entre duas coisas, como "Elvis Presley" e "Rei do Rock and Roll". Isso é o que os cientistas chamam de Grafo de Conhecimento (Knowledge Graph). É um mapa digital de como tudo se relaciona com tudo mais, alimentando assistentes inteligentes e mecanismos de busca. Mas aqui está o problema: o mundo real é bagunçado. Novos fatos surgem todos os dias — novas celebridades, novas descobertas científicas, novas gírias — e o mapa muitas vezes não tem peças suficientes para conectá-los ainda. Este é o problema da Completude de Grafo de Conhecimento (Knowledge Graph Completion): tentar adivinhar os elos perdidos.

Normalmente, os computadores são ótimos nisso se já viram as peças antes. Mas e se você entregar a eles uma peça de quebra-cabeça novinha em folha que eles nunca viram, com apenas um ou dois outros pedaços por perto para dar uma dica? Esse é o desafio de poucos disparos (few-shot) ou zero disparos (zero-shot). É como ser solicitado a adivinhar o final de uma história que você nunca leu, baseando-se apenas na primeira frase. Para ajudar, pesquisadores estão agora pegando emprestado um truque dos Modelos de Linguagem de Grande Escala (LLMs) — os chatbots de IA superinteligentes que leram quase tudo na internet. Essas IAs têm um "pressentimento" sobre como as coisas costumam se conectar, mesmo que não tenham visto aquele quebra-cabeça específico antes. No entanto, essas IAs podem ser confiantes demais, inventando fatos (alucinações) ou se confundindo com imagens que não combinam exatamente com o texto. A grande questão é: Como usamos esse "pressentimento" da IA para preencher as lacunas sem deixar que ela invente bobagens?

Apresentamos o DuPLeR, um novo framework proposto pelos pesquisadores Jinlan Liu e colegas que atua como um detetive superorganizado para essas peças de quebra-cabeça perdidas. Em vez de apenas perguntar à IA "O que você acha?" e torcer pelo melhor, o DuPLeR usa uma estratégia inteligente de via dupla (dual-path strategy) para cruzar as suposições da IA com evidências reais.

Primeiro, o sistema pede à IA para prever quais tipos de coisas podem estar conectadas (por exemplo, adivinhar que um "artista musical" provavelmente está conectado a uma "música"). Mas a IA não é confiada cegamente. O sistema constró o um mapa "calibrado", pegando as sugestões da IA e eliminando as partes que não correspondem aos fatos reais e concretos já conhecidos. É como um professor revisando a redação de um aluno: eles mantêm as boas ideias, mas riscam os detalhes inventados que não se encaixam na evidência.

Então, a verdadeira mágica acontece com o aprimoramento multimodal de via dupla (dual-path multimodal enhancement). Imagine que você está tentando identificar um suspeito em uma fila de reconhecimento.

Via Um (O Foco do Detetive): Enquanto o sistema observa as pistas específicas para a pergunta atual, ele utiliza um filtro "específico para a consulta". Ele pergunta à IA: "Ei, olhando para esta relação específica, quais partes da foto ou da descrição textual realmente importam?". Ele ignora o ruído de fundo e foca apenas nas dicas visuais ou textuais relevantes.
Via Dois (O Conhecimento Geral): Depois que o detetive fez seu trabalho específico, o sistema recua um passo e olha para a imagem inteira novamente. Ele pega a descrição e a imagem completas e não filtradas do suspeito para garantir que não tenha perdido nenhum detalidade geral importante que o filtro específico possa ter descartado.

Ao combinar essas duas vias — uma que é laser-focada na pergunta específica e outra que mantém o panorama geral em mente — o sistema cria um palpite muito mais forte e preciso sobre o elo perdido.

Os pesquisadores testaram isso em oito versões diferentes de dois grandes benchmarks de grafos de conhecimento, simulando cenários onde o computador tinha que aprender com apenas um ou três exemplos (few-shot) ou até mesmo zero exemplos (zero-shot). Os resultados foram promissores: o DuPLeR superou consistentemente métodos antigos e até outras abordagens assistidas por IA. Por exemplo, no dataset FB15K-IMG-R, o DuPLeR alcançou uma pontuação Hits@10 de 71,77% em um cenário de 1-shot, superando significativamente o recorde anterior de 61,20%. Em cenários zero-shot, onde nenhum exemplo foi fornecido, o sistema ainda conseguiu melhorar as previsões, sugerindo que este método de via dupla ajuda a IA a manter-se fundamentada na realidade, mesmo quando está voando às cegas.

O estudo sugere que, embora a IA possa fornecer um ponto de partida útil para entender novos fatos, ela precisa de um "choque de realidade" de dados reais e de uma maneira inteligente de equilibrar pistas específicas com o conhecimento geral. O DuPLeR não afirma ter resolvido o quebra-cabeça do universo, mas oferece uma nova forma robusta de preencher as lacunas quando a informação é escassa, garantando que nossos mapas digitais do mundo permaneçam completos e confiáveis.

Resumo Técnico: DuPLeR – Raciocínio de LLM de Caminho Duplo para Completamento de Grafos de Conhecimento Multimodal de Poucos Disparos (Few-Shot)

1. Definição do Problema

O artigo aborda o Completamento de Grafo de Conhecimento (KGC) Indutivo em cenários de poucos disparos (few-shot) e zero disparos (zero-shot), especificamente dentro de Grafos de Conhecimento Multimodais (MMKGs).

O Desafio: Métodos tradicionais de KGC transdutivos falham ao encontrar novas entidades e relações não vistas durante o treinamento. Em cenários do mundo real, entidades emergentes frequentemente possuem vizinhanças locais extremamente esparsas (few-shot) ou não possuem nenhuma tripla de suporte (zero-shot).
A Restrição Multimodal: Embora informações multimodais (descrições textuais, imagens) possam suplementar dados estruturais esparsos, a fusão indiscriminada introduz ruído, heterogeneidade cross-modal e alucinações. Isso é particularmente prejudicial em configurações de poucos disparos, onde modalidades ruidosas podem distorcer as representações das entidades.
A Lacuna dos LLMs: Grandes Modelos de Linguagem (LLMs) oferecem um rico conhecimento de mundo para enriquecer contextos esparsos, mas os métodos existentes frequentemente falham em lidar explicitamente com a confiabilidade específica da modalidade ou com o desajuste de granularidade entre os priors semânticos derivados de LLM e as evidências multimodais fáticas em MMKGs.

2. Metodologia: Estrutura DuPLeR

Os autores propõem o DuPLeR (Dual-Path LLM Reasoning), uma estrutura projetada para integrar priors multimodais derivados de LLM com raciocínio estrutural, mitigando o ruído. A arquitetura consiste em quatro componentes principais:

2.1 Raciocínio Estrutural de Dois Níveis

Para explorar a supervisão limitada, o DuPLeR realiza o raciocínio em dois níveis complementares:

Nível de Relação (CCoRGE): Um Codificador de Grafo de Relação de Coocorrência Melhorado por Contexto constrói um grafo de relação de alta ordem. Ele captura padrões de interação transferíveis entre relações baseados em coocorrência topológica (ex: como as relações compartilham entidades cabeça/cauda). Este nível é menos dependente de identidades específicas de entidades.
Nível de Entidade (MAPNet): Uma Rede de Predição Consciente de Multimodalidade utiliza os embeddings de relação do CCoRGE para guiar a passagem de mensagens sobre o grafo de entidades. Ela identifica caminhos estruturais conscientes da relação e pontua entidades candidatas.

2.2 Injeção de Conhecimento Prévio (Integração de LLM)

Para abordar a escassez de triplas associadas a relações, o DuPLeR utiliza LLMs multimodais para inferir tipos de entidades cabeça e cauda plausíveis para relações não vistas.

Estratégia de Prompting: A estrutura utiliza prompts cuidadosamente construídos que tratam imagens como evidências opcionais. O LLM é instruído a usar informações visuais apenas quando relevante para a relação e consistente com o texto, caso contrário, deve ignorá-las para reduzir o ruído visual.
Refinamento de Topologia: Para mitigar as alucinações do LLM, uma etapa de refinamento baseado em triplas fáticas é introduzida. Ela constrói um grafo de relação preliminar fundindo o grafo semântico derivado do LLM ( $G_{sem}$ ) com o grafo estrutural ( $G_{ins}$ ). Uma estratégia indireta de filtragem de ruído remove então arestas que conectam a relação alvo a vizinhos com altos "graus de ruído" (discrepâncias entre o grafo fundido e o estrutural), resultando em um grafo de relação calibrado ( $G_R$ ).

2.3 Melhoria Multimodal de Caminho Duplo

Reconhecendo que nem o filtragem condicionada à relação, nem a fusão agnóstica à consulta são suficientes, o DuPLeR emprega dois caminhos complementares para injetar sinais multimodais:

Regulação Específica de Consulta (Caminho de Injeção de Processo): Durante a passagem de mensagens estruturais, características textuais e visuais são fundidas dinamicamente com base na relação da consulta. Um mecanismo de atenção de baixo rank guiada pela relação e portões de baixo rank específicos de modalidade controlam a contribuição dos sinais visuais. Isso atua como um regulador suave, garantindo que o raciocínio estrutural permaneça dominante enquanto é guiado por pistas multimodais relevantes à consulta.
LMF-Max Agnóstico à Consulta (Caminho de Injeção Pós): Após a propagação do grafo, um módulo de Fusão de Baixo Rank com Max pooling (LMF-Max) compensa a perda de informação. Ele captura evidências visuais salientes (usando masked max pooling para excluir imagens inválidas) e atribui pesos aprendíveis a diferentes subespaços semânticos de baixo rank. Este caminho fornece semânticas de nível de entidade holísticas e independentes da consulta para a predição final.

2.4 Pré-treinamento e Inferência

O DuPLeR é pré-treinado em múltiplos MMKGs com componentes treináveis compartilhados. Durante a inferência em grafos não vistos, ele deriva representações para relações não vistas via saídas de LLM, injeta-as no grafo e realiza a predição de ligação sem necessidade de retreinamento no grafo alvo.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

Estrutura DuPLeR: Uma abordagem inovadora que integra priors relacionais derivados de LLM multimodal com raciocínio estrutural para mitigar a distorção de representação causada por supervisão esparsa e ruidosa em KGC indutivo.
Mecanismo de Caminho Duplo: Um design que separa a integração multimodal em regulação condicionada à consulta durante a passagem de mensagem e suplementação independente da consulta após a propagação, permitindo uma fusão multimodal robusta.
Validação Empírica: Experimentos extensos em oito variantes indutivas de dois benchmarks de MMKG (FB15K-IMG-R e OpenBG-IMG-R), demonstrando melhorias consistentes em generalização indutiva e robustez.

4. Resultados Experimentais

Os autores avaliaram o DuPLeR contra três categorias de baselines: embeddings de KG tradicionais (DistMult, RotatE), modelos indutivos unimodais (InGram, ULTRA, ProLINK) e modelos multimodais (MMSN).

Desempenho: O DuPLeR superou consistentemente todos os baselines em configurações de 1-shot e 3-shot tanto no FB15K-IMG-R quanto no OpenBG-IMG-R.
- No FB15K-IMG-R (v1, 1-shot), o DuPLeR (usando Qwen3-8B) alcançou 71.63% Hits@10, superando significativamente o ProLINK (61.40%) e o ULTRA (27.00%).
- No OpenBG-IMG-R (v1, 1-shot), o DuPLeR alcançou 25.73% Hits@10, comparado aos 22.37% do ProLINK e 11.17% do MMSN.
Capacidade Zero-Shot: Em configurações zero-shot, o DuPLeR mostrou melhorias claras sobre o ProLINK, particularmente com backbones de LLM mais fracos (ex: Llama2-7B), validando sua capacidade de mitigar a escassez de informação.
Estudos de Ablação: Remover o prior de LLM multimodal causou uma queda relativa de ~28.2% no desempenho em configurações zero-shot, destacando seu papel crítico. Remover o mecanismo de melhoria multimodal de caminho duplo também degradou significamente o desempenho, confirmando a necessidade de ambos os caminhos de injeção.
Robustez: O modelo manteve alto desempenho através de diferentes backbones de LLM (Llama2, Qwen, DeepSeek), demonstrando que o módulo de caminho duplo de melhoria multimodal complementa efetivamente o contexto relacional mesmo quando o conhecimento prévio do LLM é insuficiente.

5. Significância e Alegações

O artigo posiciona o DuPLeR como uma solução fundamentada para o problema de KGC de poucos disparos indutivo em ambientes multimodais. Sua significância reside em:

Preencher a Lacuna: Ele alinha efetivamente os priors semânticos de LLM com pistas multimodais, abordando os problemas de confiabilidade e desajuste de granularidade inerentes aos MMKGs.
Mitigação de Ruído: Ao introduzir um módulo de refinamento de topologia e um mecanismo de injeção de caminho duplo, ele visa especificamente os riscos de ruído e alucinação associados ao uso de LLMs e dados multimodais brutos em cenários de escassez de dados.
Escalabilidade: A estrutura permite a predição precisa de ligações para entidades emergentes sem exigir retreinamento, tornando-a adequada para aplicações de inteligência escaláveis onde os custos de anotação são altos.

Os autores concluem que, embora os priors derivados de LLM forneçam um contexto relacional essencial, a melhoria multimodal de caminho duplo é crucial para ancorar esses priors em semânticas fáticas de nível de entidade, alcançando assim uma generalização indutiva robusta.