SocraticKG: Knowledge Graph Construction via QA-Driven Fact Extraction

Resumo Técnico: SocraticKG

1. O Problema

A construção de Grafos de Conhecimento (KGs) a partir de texto não estruturado enfrenta um dilema fundamental nas abordagens atuais baseadas em Grandes Modelos de Linguagem (LLMs): o trade-off entre cobertura factual e coerência estrutural.

• Extração Direta: Métodos que extraem triplas diretamente do texto tendem a capturar fatos superficiais, resultando em grafos fragmentados com baixa conectividade semântica (falta de "pontes" lógicas entre entidades).
• Consolidação Centrada em Entidades: Métodos que primeiro identificam entidades e depois organizam as relações (como GraphRAG ou KGGen) tendem a perder nuances contextuais e fatos implícitos que não se encaixam em estruturas pré-definidas, levando à perda de informação.

O desafio central é como extrair informações completas e densas sem sacrificar a conectividade lógica necessária para raciocínio complexo (como raciocínio multi-hop).

2. Metodologia: SocraticKG

O SocraticKG propõe uma mudança de paradigma: em vez de extrair triplas diretamente do texto bruto, ele utiliza Pares Pergunta-Resposta (QA) como uma representação intermediária estruturada para desdobrar a semântica do documento antes da extração de triplas.

O processo ocorre em três etapas principais:

1. Geração de QA Guiada por 5W1H:

   • O documento é decomposto em pares QA atômicos e autocontidos.
   • Utiliza-se o framework 5W1H (Who, What, When, Where, Why, How) para guiar a formulação das perguntas. Isso força o modelo a explorar não apenas entidades explícitas, mas também dependências causais, procedimentais e contextuais que seriam ignoradas em uma extração direta.
   • Independência Contextual: As respostas devem ser geradas de forma que não dependam do texto original (ex: substituição de pronomes por nomes de entidades explícitos), resolvendo ambiguidades de referência antecipadamente.

2. Extração de Triplas a partir do QA:

   • Cada par QA é tratado como uma unidade de extração independente.
   • O modelo decompõe a pergunta e a resposta em triplas atômicas (Sujeito, Relação, Objeto).
   • Como o contexto já foi esclarecido na etapa anterior (substituindo pronomes, explicando causalidade), a extração de triplas torna-se mais precisa e menos propensa a erros de inferência implícita.

3. Construção e Canonalização do Grafo:

   • As triplas extraídas são unificadas. Um processo de canonalização (agrupamento baseado em embeddings e refinamento via LLM) resolve variações de superfície (sinônimos, abreviações) e consolida o grafo em uma estrutura coesa.

3. Contribuições Principais

• SocraticKG (SoKG): Um método automatizado que formaliza a Pergunta e Resposta não apenas como uma ferramenta de recuperação, mas como uma andaime semântico para expandir a narrativa do documento antes da extração estrutural.
• Expansão Guiada por 5W1H: Uma abordagem sistemática para revelar dependências latentes (causais e procedimentais) que são frequentemente negligenciadas em extrações diretas, melhorando a cobertura factual sem aumentar a fragmentação.
• Mitigação de Trade-offs: Demonstra que é possível superar o conflito entre cobertura de informações e conectividade estrutural, resultando em grafos que são tanto densos em fatos quanto estruturalmente coesos.

4. Resultados Experimentais

O método foi avaliado no benchmark MINE (focado em retenção factual e características estruturais) e na tarefa de raciocínio HotpotQA (raciocínio multi-hop).

• Retenção Factual (MINE): O SocraticKG superou consistentemente os métodos de ponta (Direct Extraction, GraphRAG, KGGen) em todos os modelos de linguagem testados (GPT-4o, Claude-4, Gemini, Qwen).
  • Com o Claude-4, atingiu 96,3% de retenção factual, comparado a 86,8% da extração direta.
  • A variante sem 5W1H (SoKG w/o 5W1H) ainda superou a extração direta, provando o valor do QA como intermediário, mas o 5W1H trouxe ganhos adicionais significativos.
• Coesão Estrutural:
  • O SocraticKG produziu grafos com maior densidade de conexões (maior Average Degree) e menor índice de fragmentação (NFI), mesmo extraiando um volume muito maior de triplas.
  • Enquanto a extração direta gerava muitos fatos desconectados, o SocraticKG manteve a integridade do grafo.
• Raciocínio Multi-hop (HotpotQA):
  • O SocraticKG demonstrou superioridade em tarefas de raciocínio complexo. No conjunto de dados "Hard Bridge" do HotpotQA, superou o Naive RAG (recuperação de texto plano) e outros métodos baseados em grafos.
  • Com o Claude-4 em 3 saltos (3-hop), atingiu 56,38% de precisão, superando o Naive RAG em 8,5 pontos percentuais. Isso confirma que a estrutura do grafo gerada pelo SocraticKG facilita a integração de fatos dispersos.

5. Significado e Conclusão

O trabalho estabelece que a organização semântica explícita via geração de perguntas é um componente crítico, e não apenas um passo de pré-processamento auxiliar, para a construção de KGs baseada em LLMs.

• Impacto: O SocraticKG resolve o problema de "alucinação de estrutura" e fragmentação, fornecendo uma base mais confiável para aplicações que exigem raciocínio complexo e verificação de fatos.
• Limitações: O pipeline multi-etapa consome mais tokens computacionais do que a extração direta (embora o custo seja justificado pela qualidade do conhecimento extraído). Além disso, a qualidade depende da capacidade do LLM de formular perguntas específicas; perguntas genéricas (especialmente do tipo "O quê") ainda podem gerar respostas superficiais.

Em suma, o SocraticKG demonstra que transformar a compreensão de texto em um processo interrogativo sistemático (inspirado na aprendizagem humana) permite extrair grafos de conhecimento que são simultaneamente completos, conectados e precisos.