💬 NLP

When Correct Edges Cannot Be Verified: A Provenance Gap in Incomplete KGQA and a Provenance-Favoring Completion Policy

Este artigo revela que a verificabilidade textual é um fraco substituto para a correção de arestas em Resposta a Perguntas sobre Grafos de Conhecimento Incompletos devido à falta generalizada de texto de suporte para fatos válidos, levando à proposta do TGComplete, uma política que favorece a proveniência que prioriza admitir apenas arestas verificáveis para garantir a auditabilidade em vez de maximizar o recall.

Autores originais: Yongqi Kang, Yu Fu, Yong Zhao

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yongqi Kang, Yu Fu, Yong Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério complexo usando uma enciclopédia digital gigante (um Grafo de Conhecimento) e um detetive muito inteligente, mas que às vezes alucina (um Modelo de Linguagem Grande - LLM).

Normalmente, o detetive caminha pela enciclopédia, seguindo um rastro de fatos para encontrar a resposta. Mas, às vezes, a enciclopédia está com páginas faltando. O rastro se quebra e o detetive fica travado.

Para corrigir isso, o detetive pode tentar "adivinhar" o fato ausente a partir de sua própria memória, ou pode ir a uma biblioteca de livros (texto) para buscar evidências. A grande questão que este artigo propõe é: Se o detetive encontrar um livro que mencione o fato ausente, isso significa que o fato é realmente verdadeiro?

Os autores dizem: Não, não necessariamente. E aqui está o porquê, explicado de forma simples.

1. O Problema da "Página Ausente"

No mundo real, os grafos de conhecimento são incompletos. Imagine um mapa de uma cidade onde algumas ruas foram apagadas. Se o seu GPS (o modelo de raciocínio) tentar dirigir do Ponto A ao Ponto B, ele encontrará um beco sem saída.

O Modo Antigo (GoG): O detetive apenas adivinha o nome da rua ausente com base no que ele "lembra". Ele pode estar certo, ou pode ser uma alucinação completa.
A Nova Ideia: Antes de aceitar o palpite, verifique a biblioteca (texto) para ver se alguém escreveu sobre essa rua. Se a biblioteca tiver um livro mencionando-a, assumimos que o palpite é seguro.

2. A Grande Surpresa: O "Gap de Proveniência"

Os autores testaram isso pegando um mapa perfeito, deletando secretamente de 20% a 40% de suas ruas e observando o que acontecia. Eles sabiam exatamente quais ruas eram as "reais" ausentes porque eles mesmos as deletaram.

A Descoberta Contraintuitiva:
Eles descobriram que 76% a 96% das ruas ausentes corretas não podiam ser encontradas nos livros da biblioteca, mesmo que se pesquisasse cada livro exaustivamente.

A Analogia:
Imagine que você está procurando um fato específico e obscuro: "Quem era o prefeito de uma pequena vila em 1994?"

O Fato: É 100% verdadeiro.
A Biblioteca: Você pesquisa todos os jornais, biografias e livros de história.
O Resultado: A biblioteca não menciona o nome do prefeito na mesma frase que o nome da vila. O fato é verdadeiro, mas é textualmente invisível.

O artigo chama isso de Gap de Proveniência.

Verificabilidade: Consigo encontrar um livro que diga isso?
Corretude: Isso é realmente verdade?
O Gap: Só porque você não consegue encontrar um livro, não significa que seja falso. E só porque você consegue encontrar um livro, não garante que seja a verdade total. A maioria dos fatos nesses bancos de dados é assim, como aquele prefeito obscuro — eles existem, mas não aparecem como "Cabeça + Cauda" em uma única frase em um livro.

3. A Solução: TGComplete (O "Detetive Cauteloso")

Como não podemos confiar em encontrar um livro para provar que um fato é verdadeiro, os autores construíram um novo sistema chamado TGComplete.

Em vez de tentar ser perfeito, o TGComplete muda o objetivo. Ele pergunta: "Devo admitir este fato em meu raciocínio ou devo admitir que não tenho provas?"

Como funciona:

Parar: Quando o rastro quebra, ele para.
Pesquisar: Ele busca evidências na biblioteca.
Verificar: Ele checa se a evidência apoia fortemente o palpite.
Decidir:
- Se houver prova forte? Admite o fato e continua o caminho.
- Se não houver prova? Abstém-se (para e diz "eu não sei"). Ele não adivinha.

4. O Equilíbrio: Precisão vs. Recall

É aqui que entra a parte de "Gestão de Risco".

O Custo: Como o TGComplete se recusa a adivinhar sem provas, ele perde algumas respostas corretas. Ele rejeita cerca de 24% a 50% dos fatos ausentes corretos porque eles não tinham evidência em livros.
O Ganho: No entanto, os fatos que ele aceita são muito mais confiáveis. Ele filtra os palpites "falsos".
A Magia: Surpreendentemente, embora rejeite muitos fatos corretos, a precisão da resposta final (chegar à resposta certa para a pergunta) permanece a mesma do método de adivinhação.

Por quê?
Os autores descobriram que a maioria dos fatos ausentes (mesmo os corretos) são causalmente redundantes.

Analogia: Imagine resolver um labirinto. Você precisa virar à esquerda, depois à direita, depois à esquerda. O "fato ausente" é a segunda "esquerda".
Os autores descobriram que, em 95–97% dos casos, o labirinto ainda poderia ser resolvido mesmo se você ignorasse aquela curva específica, porque o conhecimento interno do detetive ou outros caminhos eram suficientes para chegar à saída.
Portanto, rejeitar o fato ausente não prejudicou a pontuação final, mas evitou que o detetive afirmasse com confiança um fato falso.

5. A Conclusão

O artigo conclui que precisamos mudar a forma como pensamos sobre a "verificação" de fatos em IA.

Crença Antiga: "Se eu não encontro isso no texto, provavelmente está errado."
Nova Realidade: "Se eu não encontro isso no texto, pode ainda ser verdade, mas eu não posso provar."

TGComplete é uma ferramenta para Auditabilidade. Ele não promete encontrar todas as respostas corretas. Em vez disso, promete que cada resposta que ele fornece é respaldada por um rastro de evidências. Ele troca "encontrar tudo" por "dizer apenas o que posso provar".

Em um mundo onde precisamos confiar na IA, este artigo sugere que é melhor ter um sistema que diga "eu não sei" do que um que minta com confiança, mesmo que isso signifique perder alguns palpites corretos pelo caminho.

Resumo Técnico: "Quando Arestas Corretas Não Podem Ser Verificadas: Uma Lacuna de Proveniência em IKGQA Incompleto e uma Política de Completude que Favorece a Proveniência"

1. Formulação do Problema

O artigo aborda o Questionamento de Grafos de Conhecimento Incompleto (IKGQA), um cenário onde triplas críticas necessárias para o raciocínio estão ausentes do Grafo de Conhecimento (KG). Métodos padrão como o Think-on-Graph (ToG) falham quando os caminhos de raciocínio são interrompidos devido a arestas ausentes. Abordagens recentes, como o Generate-on-Graph (GoG), tentam resolver isso fazendo com que Modelos de Linguagem de Grande Escala (LLMs) gerem triplas ausentes a partir do conhecimento paramétrico. Para mitigar os riscos de alucinação, uma estratégia comum é verificar essas arestas geradas contra textos recuperados antes de admiti-las na cadeia de raciocínio.

Os autores desafiam uma premissa fundamental e não testada dessa estratégia de "verificar antes de admitir": A verificabilidade textual realmente rastreia a corretude? Especificamente, eles investigam se uma aresta sustentada por texto tem maior probabilidade de estar correta e, inversamente, se arestas que carecem de suporte textual são provavelmente incorretas.

2. Principais Descobertas: A Lacuna de Proveniência

Através de um estudo de medição sistemático usando as triplas de ouro deletadas do protocolo padrão de deleção aleatória (em CWQ e WebQSP), os autores identificam um fenômeno contraintuitivo que denominam Lacuna de Proveniência:

Divergência entre Corretude e Verificabilidade: Entre as arestas que são corretas de ouro (correspondendo à verdade fundamental deletada), 76–96% não possuem nenhuma passagem de suporte no corpus, mesmo sob condições de recuperação exaustivas.
Causa Estrutural: Esta lacuna não é um artefato de uma recuperação ruim, mas uma propriedade estrutural de fatos no estilo Freebase. A maioria dos fatos (ex: envolvendo nós mediadores de CVT, identificadores de banco de dados, fatos entre sentenças ou entidades de cauda longa) não aparece como menções cabeça-cauda em uma única passagem de texto.
Implicação Métrica: Métricas de fidelidade textual (ex: "razão de fundamentação em texto") medem proveniência (a aresta pode ser verificada?), não corretude (a aresta é verdadeira?). Os dois conceitos são separados por uma lacuna de nível de paradigma que a recuperação no corpus não consegue fechar.
Redundância Causal: Uma descoberta secundária revela que 95–97% das respostas corretas não dependem de nenhuma aresta completada sem suporte. A maioria das arestas completadas é causalmente redundante para a resposta final, deslocando o problema de "garantir a corretude" para "gestão de risco" (admitir ou abster-se sob incerteza).

3. Metodologia: TGComplete

Com base nessas descobertas, os autores propõem o TGComplete, uma política de admissão que favorece a proveniência, sem treinamento e sem índice. Diferente do GoG, que gera-para-completar, o TGComplete recupera-para-completar.

Pipeline:

Gatilho de Interrupção: Quando o raciocínio encontra uma aresta ausente $(h, r, ?)$ , o sistema aciona a recuperação de texto de um corpus externo (Wikipedia).
Extração de Candidato: Um candidato a entidade de cauda $t$ é extraído das passagens recuperadas.
Loop de Verificação de Três Fatores: Uma aresta candidata é admitida apenas se passar por:
- Acordo Multi-fonte: Contagem de fontes independentes que sustentam o candidato.
- Julgamento de Entailment por LLM: Um loop leve onde o LLM principal julga se as passagens de origem implicam estritamente o candidato (mapeando para pontuações: Implicado, Incerto, Não Implicado).
- Detecção de Conflito no KG: Verificação de conflitos com restrições funcionais existentes no KG.
Admissão/Abstenção: Se a pontuação de confiança combinada exceder um limiar fixo ( $\tau=0.5$ ) e não houver conflitos, a aresta é admitida. Caso contrário, o sistema abstrai-se (rejeita a aresta) e faz o backtrack com uma consulta mais direcionada. Crucialmente, o limiar nunca é reduzido para acomodar candidatos de baixa qualidade.

4. Resultados Experimentais

Avaliado contra o baseline GoG e outros métodos de RAG/Graph-RAG nos subconjuntos IKG-20% e IKG-40% de CWQ e WebQSP:

Acurácia (EM): O TGComplete alcança nenhuma perda estatisticamente detectável em Exact Match (EM) comparado ao GoG (McNemar $p > 0.05$ em todos os subconjuntos). Isso confirma que rejeitar arestas não verificáveis não prejudica significativamente a acurácia da resposta final, consistente com a descoberta de redundância causal.
Precisão da Aresta: O TGComplete melhora significativamente a precisão da aresta contra triplas de ouro (15–21% vs. 3–14% para o GoG). Ao filtrar candidatos não verificáveis, as arestas admitidas têm maior probabilidade de estarem corretas.
Fidelidade Estrita (Proveniência): As arestas admitidas no TGComplete exibem uma fidelidade estrita 3.1–7.4× maior (verificada por um juiz independente) comparado ao GoG.
Custo de Recall: O método aceita um recall menor de arestas, rejeitando 24–50% das arestas corretas de ouro que carecem de suporte textual. No entanto, como essas arestas rejeitadas são majoritariamente redundantes para a causalidade, isso não se traduz em uma queda na acurácia da resposta final.
Robustez: O padrão de "sem perda de acurácia, maior proveniência" mantém-se mesmo no conjunto de dados IKGWQ (atualizações de conhecimento do mundo real), embora as pontuações absolutas de fidelidade permaneçam baixas devido à dificuldade de fundamentar fatos atualizados.

5. Significância e Alegações

O artigo posiciona o TGComplete não como um método universalmente superior, mas como um ponto principiado no trade-off entre precisão/proveniência e recall.

Reenquadramento da Completude: Os autores argumentam que a completude de arestas em IKGQA deve ser vista como uma decisão de gestão de risco em vez de um concurso de corretude. Como a maioria das arestas corretas é não verificável, o objetivo muda para "admitir ou abster-se sob incerteza de proveniência".
Auditabilidade: O TGComplete é projetado para cenários onde a auditabilidade é importante. Ele garante que as arestas admitidas sejam verificáveis, mesmo que isso signifique descartar alguns fatos corretos, porém não verificáveis.
Limitações da Verificação Textual: O estudo conclui que nenhum método de verificação textual pode garantir a corretude devido à lacuna de proveniência inerente. A fundamentação textual serve como um sinal para proveniência, não como um certificado de verdade.
Direções Futuras: O artigo sugere que fechar a lacuna pode exigir uma composição de evidências mais rica (agregação de múltiplas passagens), evidências estruturadas (tabelas/infoboxes) ou recursos de alinhamento KB-texto, em vez de simplesmente melhorar a recuperação ou a geração de LLM.

Os autores disponibilizam código, prompts e scripts de avaliação para apoiar a replicação, enfatizando que sua contribuição é um estudo de medição que revela uma limitação fundamental nas estratégias atuais de verificação de IKGQA e uma política para navegar nela.