Resumo Técnico: Um Benchmark Unificado para Avaliação de Métodos de Construção de Grafos de Conhecimento e Redes Neurais em Grafos

Declaração do Problema

Os grafos de conhecimento (KGs) construídos automaticamente a partir de texto não estruturado são cada vez mais vitais para aplicações do mundo real. No entanto, esses grafos derivados de texto sofrem inerentemente de ruído, fragmentação e inconsistências semânticas, o que degrada significativamente o desempenho das Redes Neurais em Grafos (GNNs) em tarefas subsequentes. Existe uma lacuna crítica na literatura: frequentemente não está claro se as limitações de desempenho decorrem do próprio modelo de aprendizado ou da baixa qualidade do grafo construído.

Os benchmarks existentes falham em abordar efetivamente essa dualidade. Conjuntos de dados acadêmicos iniciais (por exemplo, Citeseer, Cora) são pequenos demais e monorrelacionais para GNNs modernas. Por outro lado, recursos de grande escala e alta qualidade (por exemplo, Wikidata, UMLS) são curados por especialistas e carecem dos padrões específicos de ruído encontrados em grafos extraídos automaticamente. Além disso, nenhum conjunto de dados existente fornece simultaneamente (i) um corpus textual bruto, (ii) múltiplos KGs construídos automaticamente e (iii) um grafo de referência de alta qualidade. Essa ausência impede a análise sistemática de como os erros de extração se propagam e afetam o aprendizado subsequente, tornando difícil quantificar a degradação de desempenho causada especificamente por erros de construção de grafos.

Metodologia

Os autores introduzem um benchmark de dupla finalidade construído sobre o domínio biomédico, utilizando o corpus MedMentions e o tesauro UMLS (Unified Medical Language System). A metodologia envolve três componentes principais:

1. Construção do Benchmark

• Grafo de Referência ($G_{ref}$): Um subgrafo de alta qualidade, curado por especialistas, derivado do Metatesauro UMLS, filtrado especificamente para o NCI Thesaurus. Para garantir adequação ao treinamento de GNN, os autores aplicaram filtragem de fontes (apenas inglês), poda de arestas (removendo arestas inversas e relações raras) e integração explícita de tipos semânticos (adicionando nós de tipo ligados via relações is-a). Este grafo serve como um limite superior de desempenho.
• Corpus Textual: O conjunto de dados MedMentions (4.392 resumos do PubMed) foi usado como texto fonte. Um passo de normalização foi aplicado para substituir menções de nível superficial por termos preferenciais do UMLS e alinhar os tipos semânticos ao esquema do grafo de referência, garantindo um conjunto comum de entidades em todos os grafos.
• Grafos Construídos Automaticamente: Dois grafos distintos foram gerados a partir do mesmo corpus normalizado usando diferentes pipelines de extração:
  • GT2KG: Construído usando um pipeline OpenIE seguido de limpeza sintática e validação baseada em LLM. Este grafo exibe fraquezas estruturais, incluindo conectividade fraca e vários ruídos em nível de aresta/nó (por exemplo, predicados incorretos, termos excessivamente genéricos).
  • KGGen: Construído usando um pipeline totalmente baseado em LLM (DeepSeek-Chat) envolvendo extração baseada em prompts e resolução de entidades. Embora maior em escala, permanece fragmentado e sofre de ruído de esquema aberto, incluindo auto-relações e conectores lógicos mal identificados como predicados semânticos.

2. Protocolo de Avaliação

O benchmark suporta dois cenários de avaliação complementares usando um pipeline padronizado e reproduzível baseado em PyTorch Geometric:

• Cenário 1 (Avaliação de Construção de KG): Novos métodos de construção podem ser avaliados gerando um grafo a partir do corpus MedMentions e medindo seu desempenho em uma tarefa subsequente em comparação com o grafo de referência. Isso quantifica a perda de desempenho atribuível a erros de construção.
• Cenário 2 (Avaliação de Robustez de GNN): Novos modelos de GNN podem ser testados nas três variantes de grafo (Referência, GT2KG, KGGen) para avaliar sua robustez a ruído e fragmentação.

A tarefa subsequente é classificação de nós semi-supervisionada em 1.032 nós alinhados abrangendo oito tipos semânticos. O conjunto de dados é dividido em conjuntos de treinamento (10%), validação (10%) e teste (80%), estratificados por classe. As métricas de avaliação incluem Precisão, Revocação, F1 Macro e Acurácia.

3. Baselines

Os autores implementaram várias arquiteturas representativas de GNN para estabelecer baselines:

• GCN & GAT: Modelos padrão baseados em convolução e atenção.
• RGCN: Modelo consciente de relações projetado para grafos multi-relacionais.
• TransGCN / RotatE-GCN: Modelos que integram transformações geométricas de relações.
  Todos os modelos foram treinados sob protocolos idênticos (otimizador Adam, busca fixa de hiperparâmetros, inicialização baseada em PLM usando all-MiniLM-L6-v2) para garantir comparação justa.

Principais Resultados

Os resultados experimentais destacam a interação entre a qualidade do grafo e a arquitetura do modelo:

• Impacto da Qualidade do Grafo: O desempenho caiu significativamente ao passar do grafo de Referência limpo para os grafos construídos automaticamente e ruidosos. Por exemplo, o RGCN alcançou uma acurácia de 0,712 no grafo de Referência, mas caiu para 0,508 no GT2KG.
• Robustez do Modelo: Modelos conscientes de relações e geométricos demonstraram superior robustez ao ruído.
  • RGCN teve o melhor desempenho no grafo de Referência limpo, mas foi impraticável no grafo KGGen devido ao alto número de relações únicas (5.787), levando a sobreparametrização e problemas de memória.
  • Modelos Geométricos (TransGCN, RotatE-GCN) mantiveram o desempenho mais alto em grafos ruidosos. RotatE-GCNattn alcançou a melhor acurácia no GT2KG (0,565) e KGGen (0,594). Os autores atribuem isso à sua capacidade de modelar relações geométricas e utilizar passagem de mensagens bidirecional, o que melhora o fluxo de informação em grafos esparsos ou fragmentados.
• Ruído Estrutural vs. Semântico: Os resultados indicam que, embora a qualidade semântica seja importante, as propriedades estruturais (conectividade, tamanho do componente) afetam criticamente a propagação de mensagens e a eficácia do modelo.

Principais Contribuições

1. Benchmark de Dupla Finalidade: Um novo framework projetado para avaliar conjuntamente (i) o impacto dos métodos de construção de KG em tarefas subsequentes e (ii) a robustez das GNNs em grafos derivados de texto e ruidosos sob condições controladas.
2. O Conjunto de Dados do Benchmark: Uma coleção única compreendendo um corpus textual, dois KGs construídos automaticamente (GT2KG e KGGen) de diferentes pipelines e um grafo de referência de alta qualidade (UMLS-NCI). Crucialmente, todos os grafos compartilham um conjunto comum de nós anotados, permitindo comparações diretas e controladas.
3. Framework de Avaliação Reproduzível: Um pipeline padronizado fornecendo carregadores de dados, protocolos de treinamento e implementações de baseline, facilitando a integração de novos métodos de extração e modelos de aprendizado.

Significado e Limitações

O artigo afirma que este benchmark preenche uma lacuna crítica ao fornecer um ambiente controlado para desvendar os efeitos da qualidade de construção de grafos do desempenho da arquitetura do modelo. Permite a quantificação precisa da degradação de desempenho causada por ruído estrutural e semântico e apoia o estudo sistemático da robustez das GNNs.

Os autores reconhecem limitações específicas:

• Restrição de Domínio: O benchmark está atualmente limitado ao domínio biomédico devido ao alto custo e dificuldade de obter grafos de referência confiáveis e limpos e corpora anotados em outros campos.
• Escopo da Tarefa: A avaliação está atualmente restrita à classificação de nós semi-supervisionada. A extensão para tarefas como previsão de links ou completude de grafos de conhecimento permanece desafiadora em configurações de esquema aberto onde os tipos de relação variam significativamente entre os grafos.

O trabalho conclui enfatizando a extensibilidade do benchmark, permitindo a integração futura de novos métodos de extração e uma análise mais profunda de como as características estruturais e semânticas influenciam o desempenho de aprendizado.