🤖 machine learning

CQD-SHAP: Explainable Complex Query Answering via Shapley Values

O artigo propõe o CQD-SHAP, um novo framework que utiliza valores de Shapley da teoria dos jogos cooperativos para fornecer resposta a consultas complexas explicável sobre grafos de conhecimento incompletos, ao quantificar a contribuição de cada parte da consulta para os rankings de respostas, abordando, assim, as limitações de interpretabilidade dos modelos existentes de caixa-preta e neurosimbólicos.

Autores originais: Parsa Abbasi, Stefan Heindorf

Publicado 2026-06-23

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Parsa Abbasi, Stefan Heindorf

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Detetive da "Caixa Preta"

Imagine que você tem uma biblioteca gigante e bagunçada (um Grafo de Conhecimento) onde os livros estão conectados por fios. Às vezes, a biblioteca está com páginas faltando ou livros inteiros sumidos (ela é incompleta).

Quando você faz uma pergunta simples como "Quem escreveu Harry Potter?", o computador geralmente consegue encontrar a resposta apenas seguindo os fios. Mas e se você fizer uma pergunta complexa como: "Quais medicamentos tratam diabetes E causam toxicidade renal?"

Para responder a isso, o computador precisa fazer duas coisas:

Seguir os fios (Abordagem Simbólica): Procurar por medicamentos que definitivamente tratam diabetes e definitivamente causam toxicidade renal na biblioteca existente.
Adivinhar os elos faltantes (Abordagem Neural): Como a biblioteca está incompleta, o computador usa um "adivinhador inteligente" (uma rede neural) para inferir conexões que deveriam estar lá, mas ainda não foram escritas.

O problema? O "adivinhador inteligente" é uma caixa preta. Ele te dá uma lista de respostas (como "Insulina"), mas não te diz por que escolheu aquela resposta. Ele escolheu a Insulina porque a biblioteca disse explicitamente? Ou ele a escolheu porque o computador acha que a Insulina está relacionada à toxicidade renal, mesmo que esse fato esteja faltando na biblioteca?

CQD-SHAP é uma nova ferramenta projetada para abrir essa caixa preta e explicar exatamente quanto cada parte da pergunta contribuiu para a resposta final.

A Ideia Central: A Analogia da "Pontuação da Equipe"

Os autores utilizam um conceito da teoria dos jogos chamado Valores de Shapley. Pense nisso como um trabalho em grupo onde uma equipe de alunos (os átomos da pergunta) trabalha junta para obter uma nota (o ranking da resposta).

Em nosso exemplo de pergunta ("Medicamentos para diabetes E toxicidade renal"), existem dois "alunos" (átomos):

Aluno A: "Medicamentos para diabetes."
Aluno B: "Medicamentos para toxicidade renal."

A nota final (o ranking da "Insulina") depende de quão bem ambos os alunos se saem. Mas quanto crédito o Aluno A merece versus o Aluno B?

CQD-SHAP atua como um árbitro justo. Ele executa milhares de mini-experimentos para descobrir a pontuação:

Cenário 1: O Aluno A faz o trabalho usando a "Caminhada pela Biblioteca" (Simbólico), e o Aluno B usa o "Adivinhador Inteligente" (Neural).
Cenário 2: O Aluno A usa o "Adivinhador Inteligente", e o Aluno B usa a "Caminhada pela Biblioteca".
Cenário 3: Ambos usam a "Caminhada pela Biblioteca".
Cenário 4: Ambos usam o "Adivinhador Inteligente".

Ao comparar esses cenários, o CQD-SHAP calcula exatamente quanto o "Adivinhador Inteligente" melhorou a nota final para cada aluno.

O Momento "Aha!": Por Que Isso Importa

O artigo afirma que este método revela algo surpreendente. Às vezes, o "Adivinhador Inteligente" está fazendo todo o trabalho pesado e, às vezes, ele está na verdade prejudicando o resultado.

A Analogia do "Vizinho Barulhento":
Imagine que você está tentando encontrar uma casa específica (a resposta).

A Caminhada pela Biblioteca é como ler o livro de endereços oficial. É preciso, mas pode não listar a casa se o livro estiver desatualizado.
O Adivinhador Inteligente é como perguntar a um vizinho que conhece a área. Ele pode saber que a casa existe, mesmo que ela não esteja no livro.

O CQD-SHAP pode te dizer:

"Para a resposta 'Insulina', a parte da sua pergunta 'Toxicidade Renal' recebeu um enorme aumento (+450 pontos) porque o Adivinhador Inteligente adivinhou a conexão. No entanto, a parte 'Diabetes' na verdade recebeu uma pequena penalidade (-10 pontos) porque o Adivinhador Inteligente se confundiu e sugeriu alguns vizinhos errados."

Sem o CQD-SHAP, você apenas veria "Insulina" no topo da lista e assumiria que o computador tem 100% de certeza. Com o CQD-SHAP, você percebe: "Espere, o computador está majoritariamente adivinhando sobre a parte renal. Eu deveria conferir esse fato."

Como Eles Testaram Isso (O "Teste de Estresse")

Os autores testaram isso em conjuntos de dados do mundo real (como Freebase e NELL) usando vários tipos de perguntas complexas (algumas com "E", outras com "OU").

Eles compararam o método deles com outras formas de adivinhar qual parte da pergunta era importante (como escolher a primeira parte, a última parte ou a parte com a pontuação mais baixa).

Os Resultados:

Explicações Necessárias: Se você remover o "Adivinhador Inteligente" da parte mais importante da pergunta, o ranking da resposta deve cair significativamente. O CQD-SHAP foi muito melhor em identificar essas partes críticas do que os outros métodos.
Explicações Suficientes: Se você usar apenas o "Adivinhador Inteligente" na parte mais importante, o ranking da resposta deve subir significativamente. Novamente, o CQD-SHAP venceu.

Em termos simples, o CQD-SHAP é o único método que aponta consistentemente para a parte certa da pergunta para explicar por que uma resposta tem um ranking alto ou baixo.

Principais Conclusões

Não é apenas sobre a resposta; é sobre o "Porquê": Ele explica por que uma consulta complexa retornou um resultado específico, decompondo a contribuição de cada etapa lógica.
Ele mede o "Poder de Adivinhação": Ele quantifica especificamente quanto a capacidade da rede neural de "adivinhar" fatos ausentes ajudou (ou prejudicou) o ranking final em comparação com apenas olhar para os fatos existentes.
É matematicamente justo: Utiliza uma fórmula matemática rigorosa (Valores de Shapley) para garantir que o "crédito" seja distribuído de forma justa entre as partes da pergunta.
Ele detecta erros: Pode revelar quando uma resposta de alto ranking é baseada em um palpite fraco ou ruidoso, ajudando os usuários a confiar menos cegamente no sistema.

O Que Ele NÃO É (Baseado estritamente no artigo)

Não afirma curar doenças ou diagnosticar pacientes. O exemplo do "medicamento" é apenas uma metáfora para como o sistema funciona.
Não diz que isso substituirá médicos ou advogados. É uma ferramenta para ajudar a entender como um modelo de IA está pensando.
Não afirma resolver o problema da "caixa preta" para toda a IA, apenas para este tipo específico de sistema de resposta a consultas complexas.

Em resumo, o CQD-SHAP é uma ferramenta de transparência que atua como um "placar" para detetives de IA, mostrando exatamente quais pistas (partes da consulta) eram fatos reais e quais eram adivinhações inteligentes, para que você saiba em quem confiar.

Resumo Técnico: CQD-SHAP

Definição do Problema

A Resposta de Consultas Complexas (CQA - Complex Query Answering) em Grafos de Conhecimento (KGs) vai além da simples predição de ligação para lidar com consultas que exigem raciocínio de múltiplos saltos (multi-hop) e operadores lógicos (conjunção, disjunção). Embora abordagens neurosimbólicas como o CQD (Decomposição de Consulta Complexa) tenham surgido para abordar a incompletude de KGs do mundo real através da inferência de ligações ausentes, elas funcionam amplamente como modelos de caixa-preta. Os métodos de explicabilidade existentes para predição de ligação focam em identificar triplas ou caminhos importantes para predições de um único salto e não se aplicam diretamente a consultas complexas. Além disso, os métodos atuais de CQA neurosimbólica carecem de transparência em relação à contribuição específica de diferentes componentes da consulta (átomos) para o ranking de uma resposta. Essa opacidade prejudica a confiança do usuário, a depuração e a capacidade de especialistas de domínio identificarem lacunas no KG ou refinarem consultas.

Metodologia: CQD-SHAP

O artigo propõe o CQD-SHAP, um framework que explica os resultados de modelos de CQA neurosimbólicos (especificamente o CQD) quantificando a contribuição de cada átomo da consulta para o ranking de uma entidade resposta específica usando valores de Shapley da teoria dos jogos cooperativos.

Definições Principais

Jogadores: Os átomos (partes constituintes) de uma consulta complexa $Q$ são tratados como jogadores em um jogo cooperativo.
Coalizões: Um subconjunto de átomos $S$ é executado usando a abordagem neural (inferindo ligações ausentes via um preditor de ligação), enquanto os átomos restantes são executados usando uma abordagem simbólica (baseando-se estritamente em fatos observados no KG).
Função de Valor: O valor de uma coalizão $S$ $S$ para uma entidade alvo $e_i$ $e_{i}$ é definido pela Quantidade de Interesse (QoI) de $\Delta$ Rank. Isso mede a melhoria na posição de ranking de $e_i$ $e_{i}$ quando os átomos em $S$ $S$ são executados neuralmente em comparação com uma execução puramente simbólica de toda a consulta.
- Formalmente: $val_{e_i}(Q_S) = r_i(Q_{\emptyset}) - r_i(Q_S)$ , onde $r_i$ é o rank da entidade $e_i$ em um cenário filtrado.
Cálculo do Valor de Shapley: A contribuição de um átomo específico $a$ é calculada como a média da contribuição marginal desse átomo através de todas as coalizões possíveis de outros átomos. Isso satisfaz os axiomas fundamentais de Shapley, incluindo a eficiência (a soma de todas as contribuições dos átomos é igual à melhoria total de rank obtida pela execução neural completa).

Detalhes de Execução

Execução Neural: Utiliza um preditor de ligação (ex: de CQD) para atribuir pontuações a entidades, permitindo a inferência sobre grafos incompletos.
Execução Simbólica: Realiza a travessia de grafos no KG observado (incompleto), atribuindo pontuações constantes a fatos existentes e pontuações baixas para fatos inexistentes.
Computação Exata: Devido ao pequeno número de átomos em consultas complexas (tipicamente $\le 4$ ), o artigo calcula valores de Shapley exatos sem aproximação.

Principais Contribuições

Primeira Explicação Baseada em Shapley para CQA: Tanto quanto os autores sabem, esta é a primeira abordagem para explicar modelos de resposta de consulta complexa neural usando valores de Shapley.
Definição Formal de Explicações ao Nível de Átomo: O artigo define um framework de explicação formal ao nível de átomos de consulta, distinguindo-o das explicações de nível de tripla ou de caminho usadas em predição de ligação.
Métrica Inovadora (CQD-SHAP): Introduz um método para quantificar o quanto a execução neural de um átomo específico contribui para o ranking de uma resposta alvo em comparação com a execução simbólica.
Redefinição de Critérios de Avaliação: Estende os conceitos de explicações Necessárias e Suficientes da predição de ligação para o domínio de CQA:
- Necessária: Substituir o átomo mais importante por execução simbólica causa uma queda significativa no ranking da resposta (medida por $\Delta$ MRR).
- Suficiente: Executar apenas o átomo mais importante neuralmente (enquanto os outros são simbólicos) melhora significativamente o ranking em comparação com um baseline puramente simbólico.

Resultados Experimentais

Os autores avaliaram o CQD-SHAP no FB15k-237, NELL995 e suas variantes mais difíceis (+H) através de vários tipos de consulta (projeções, interseções, uniões).

Desempenho: O CQD-SHAP superou consistentemente todos os baselines (First, Last, Random e seleção baseada em Score) em ambos os cenários de avaliação necessária e suficiente.
- No cenário Necessário, o CQD-SHAP reduziu o Mean Reciprocal Rank (MRR) em até 45,70% (para consultas 2u no NELL995), significativamente mais do que o melhor baseline.
- No cenário Suficiente, aumentou o MRR em até 58,90% (para consultas 2u no NELL995+H).
Sensibilidade à Estrutura da Consulta: O método demonstrou maior eficácia para consultas de interseção (ex: 3i, 4i) em comparação com consultas de projeção. Os autores atribuem isso à natureza estrutural das interseções (usando t-norms), onde um único ramo crítico atua como um filtro forte, enquanto consultas de projeção frequentemente possuem caminhos alternativos.
Eficiência: Apesar da natureza NP-difícil dos valores de Shapley, o pequeno número de átomos permitiu a computação exata com baixa latência (média de ~30–140 ms por par consulta-resposta, dependendo do dataset).
Insight: A análise revelou que o átomo mais importante nem sempre é um "elo perdido" (missing link). Em alguns casos, um átomo correspondente a um fato existente no KG pode ser o principal motor do ranking devido à proximidade de embeddings ou ao ruído introduzido pela execução neural de outras partes.

Significância e Alegações

O artigo afirma que o CQD-SHAP fornece uma maneira matematicamente rigorosa e eficaz de interpretar a resposta de consulta neurosimbólica. Ao satisfazer os axiomas de Shapley, ele garante uma atribuição justa de crédito aos componentes da consulta. Os autores afirmam que esta abordagem:

Ajuda especialistas de domínio a identificar lacunas em KGs ao revelar quais partes da consulta dependem fortemente de conhecimento inferido.
Auxilia na depuração de consultas ao mostrar quais átomos mais influenciam o ranking final.
Fornece uma visão transparente de como os preditores neurais utilizam dados incompletos em comparação com a recuperação simbólica.

Os autores declaram explicitamente que este é o primeiro trabalho a aplicar valores de Shapley para explicar resultados de resposta de consulta complexa, indo além das limitações dos métodos de explicação de predição de ligação existentes. Eles observam que, embora o trabalho atual foque em explicações locais (resposta única), direções futuras incluem explicações globais e geração de linguagem natural para tornar esses valores legíveis para humanos.