Resumo Técnico: Ex-GraphRAG

Declaração do Problema

Sistemas GraphRAG aprimoram Modelos de Linguagem de Grande Escala (LLMs) recuperando subgrafos de grafos de conhecimento (KGs), codificando-os por meio de Redes Neurais em Grafos (GNNs) e projetando o resultado no espaço de entrada do LLM como um prompt suave. No entanto, codificadores GNN padrão (por exemplo, GCN, GAT, GIN) dependem de agregação iterada de vizinhança e transformações não lineares. Esse processo entrelaça as contribuições de nós individuais com suas vizinhanças de múltiplos saltos, resultando em vetores latentes sem decomposição por nó de forma fechada.

Consequentemente, não há uma maneira fiel de auditar quais entidades recuperadas realmente influenciaram a condicionamento do modelo. Embora existam métodos de explicabilidade pós-hoc (por exemplo, GNNExplainer, SubgraphX), eles dependem de aproximações (otimização de informação mútua, valores de Shapley ou pesos de atenção) que não garantem fidelidade ao cálculo real do modelo. Em domínios de alto risco, como QA biomédica e conformidade regulatória, a incapacidade de distinguir entre falhas de recuperação, falhas de codificação e falhas do LLM impede a depuração e a confiança.

Metodologia: Ex-GraphRAG e M-GNAN

Para abordar a opacidade dos codificadores padrão, os autores introduzem o Ex-GraphRAG, um framework que substitui o codificador GNN padrão por uma Rede Neural Aditiva em Grafos Multivariada (M-GNAN).

1. Arquitetura M-GNAN

Construído sobre a Rede Neural Aditiva em Grafos (GNAN), o M-GNAN estende o formalismo aditivo para espaços de incorporação de alta dimensão.

• Decomposição Aditiva: Diferentemente das GNNs de passagem de mensagens, o M-GNAN calcula a contribuição de cada nó para a saída independentemente, por meio de funções de forma aprendidas, e as combina aditivamente com ponderação baseada em distância.
• Grupos de Recursos: A GNAN padrão opera em recursos escalares. O M-GNAN adapta isso para GraphRAG tratando vetores de incorporação de alta dimensão (por exemplo, incorporações de sentenças de 768 dimensões) como um único "grupo de recursos". Isso permite que o modelo atribua importância a todo o vetor de incorporação de um nó, em vez de dimensões individuais não interpretáveis.
• Atribuição Exata: A saída do M-GNAN é uma soma exata das contribuições dos nós. A pontuação de importância para qualquer nó é uma soma parcial da saída do codificador, calculada diretamente durante a passagem forward, sem aproximação pós-hoc.

2. O Pipeline Ex-GraphRAG

O sistema segue um fluxo GraphRAG padrão, mas com o codificador auditável:

1. Recuperação: Uma consulta é incorporada para recuperar nós semente. Estes são expandidos em um subgrafo usando o algoritmo Árvore de Steiner Coletora de Prêmios (PCST), com opções para expansão de um salto ou múltiplos saltos.
2. Codificação: O subgrafo é codificado pelo M-GNAN, produzindo representações de nós e pontuações exatas de importância por nó.
3. Projeção: As representações dos nós são mapeadas para o espaço oculto do LLM como um prompt suave, enquanto o subgrafo também é linearizado em texto. O LLM é ajustado finamente (usando LoRA) conjuntamente com o codificador M-GNAN.

Contribuições Principais

1. Codificador Intrinsecamente Decomponível: A introdução do M-GNAN, que estende a GNAN para incorporações de grupos de recursos, permitindo atribuição exata e não aproximada por nó em sistemas GraphRAG.
2. Descoberta de Incompatibilidade Semântico-Estrutural: Usando o codificador auditável, os autores descobriram um fenômeno crítico: os nós que dominam a saída do codificador (importância semântica) são frequentemente estruturalmente desconectados no subgrafo recuperado. Eles são mantidos juntos por "nós de ponte" (intermediários como classes de medicamentos ou identificadores de vias) que têm baixa atribuição semântica, mas são estruturalmente essenciais.
3. Paridade de Desempenho: Demonstrou-se que o M-GNAN alcança desempenho competitivo em Resposta a Perguntas (QA) no benchmark STaRK-Prime em comparação com codificadores de caixa-preta (GAT, GCN, GIN), validando que a interpretabilidade não exige uma perda catastrófica de precisão.
4. Capacidades de Depuração: Estabeleceu-se que a atribuição exata permite a depuração direcionada do pipeline de recuperação, distinguindo entre falhas na seleção de sementes, expansão do subgrafo e codificação.

Resultados Empíricos

O sistema foi avaliado no STaRK-Prime, um conjunto de dados de KGQA biomédico, usando o Llama 3.1 8B como base.

• Desempenho:
  • Um salto: O M-GNAN alcançou um Hits@1 de 0,285, dentro de 0,012 da melhor linha de base de caixa-preta (GAT em 0,297).
  • Múltiplos saltos: O M-GNAN alcançou um Hits@1 de 0,293, superando o GAT (0,282) e o GCN (0,291), mas ficando atrás do GIN (0,341). Os autores atribuem a lacuna com o GIN ao tradeoff entre expressividade e auditabilidade, observando que a superior expressividade do GIN na hierarquia Weisfeiler-Lehman é mais crítica para estruturas complexas de múltiplos saltos.
• Análise de Poda:
  • Remover nós de baixa atribuição (mantendo apenas os 25 principais) causou uma queda de 9,8% no Hits@1 de um salto, mas uma queda severa de 27,6% no Hits@1 de múltiplos saltos.
  • Essa assimetria confirma que, embora nós de baixa atribuição contribuam pouco para a saída semântica, eles são vitais para a conectividade estrutural em cadeias de raciocínio de múltiplos saltos.
• Incompatibilidade Semântico-Estrutural:
  • Em uma consulta representativa, três nós (MAPK1, MAPK14, MAP3K4) responderam por ~60% da saída do codificador.
  • No entanto, remover os restantes 180+ nós de baixa pontuação fragmentou o grafo, desconectando os nós de alta importância e destruindo o contexto de raciocínio exigido pelo LLM.

Significado e Alegações

O artigo afirma que o Ex-GraphRAG fornece o primeiro mecanismo para auditar fielmente o roteamento de evidências em sistemas GraphRAG. Seu significado principal reside em revelar a incompatibilidade semântico-estrutural, um fenômeno invisível para codificadores opacos e obscurecido por aproximações pós-hoc.

Os autores argumentam que, em cenários de alto risco, a capacidade de auditar o codificador não é opcional. Ao substituir a GNN pelo M-GNAN, os praticantes podem:

• Identificar se os erros provêm do recuperador (sementes ausentes) ou do codificador (ponderação incorreta de evidências).
• Compreender que a conectividade estrutural (pontes) e a importância semântica são governadas por conjuntos disjuntos de nós.
• Evitar as armadilhas da poda agressiva de contexto baseada apenas em pontuações semânticas, o que pode degradar o raciocínio de múltiplos saltos em até 28%.

O artigo conclui que, embora exista um tradeoff entre a expressividade de GNNs de caixa-preta e a auditabilidade de modelos aditivos, a transparência ganha é essencial para a implantação confiável em tarefas complexas de raciocínio. Os autores reconhecem limitações, incluindo a avaliação em um único conjunto de dados e a necessidade de mais estudos com usuários para validar a utilidade prática dessas pontuações de atribuição.