GraphWalker: Agentic Knowledge Graph Question Answering via Synthetic Trajectory Curriculum

Resumo Técnico: GraphWalker

1. Problema Abordado

O Questionamento de Base de Conhecimento (KGQA) baseado em agentes requer que um modelo interaja iterativamente com um Grafo de Conhecimento (KG) global para responder a perguntas complexas. No entanto, os métodos existentes enfrentam dois gargalos principais:

• Escassez de Dados de Treinamento: A falta de trajetórias de interação diversificadas e de alta qualidade limita a capacidade de generalização do agente.
• Generalização de Raciocínio:
  • Métodos baseados em prompting (ex: ToG, GoG) frequentemente carecem de atualizações paramétricas dedicadas para navegar em KGs ruidosos.
  • Métodos baseados em treinamento (ex: RoG, KG-Agent) muitas vezes restringem o raciocínio a fluxos de trabalho pré-definidos ou subgrafos extraídos, falhando em interagir autonomamente com o KG global.
  • Agentes puramente supervisionados (SFT) sofrem de imitação superficial de padrões e não possuem a otimização por Reforço (RL) necessária para superar o "teto de desempenho" das demonstrações.

O artigo questiona: Como um agente pode construir uma fundação robusta de exploração em KGs para expandir os limites de sua capacidade de raciocínio?

2. Metodologia: GraphWalker

O GraphWalker é um novo framework agentic que resolve esses problemas através de Síntese Automática de Trajetórias e um Curriculum de Ajuste Fino (Fine-tuning) em Etapas. A abordagem consiste em três componentes principais:

A. Ambiente Agentic e Ferramentas
O agente interage diretamente com o KG global (Freebase) em tempo real, sem depender de subgrafos pré-extraídos. Ele possui duas ferramentas primitivas:

1. get_relations(e): Retorna todas as relações incidentes a uma entidade para mapear o vizinhança local.
2. get_triples(e, R'): Retorna triplas específicas baseadas em um subconjunto de relações selecionadas, permitindo travessia direcionada.

B. Construção de Dados (Dois Conjuntos Complementares)
Para superar a escassez de dados, os autores criaram dois corpora sintéticos:

1. GraphSynth (15k trajetórias): Focado em exploração estrutural.
   • Gerado via Constrained Random Walk (CRW) no KG, criando caminhos de raciocínio diversificados (cadeias de composição de 2-5 hops e grafos de conjunção).
   • Perguntas são sintetizadas por LLMs (Gemini-2.5-Pro) com filtragem semântica rigorosa para garantir coerência e evitar vazamento de dados.
   • Objetivo: Estabelecer um prior amplo de exploração sobre a estrutura do KG.
2. GraphRoll (6k trajetórias): Focado em reflexão e recuperação de erros.
   • Coletado via amostragem estratificada de perguntas complexas (CWQ).
   • Um modelo "especialista" gera trajetórias que incluem explicitamente a detecção de observações não informativas e o backtracking (retrocesso) de becos sem saída.
   • Seleção baseada em rejeição: Apenas trajetórias com resposta correta (EM=1) e fundamentadas em evidências recuperadas (não em conhecimento paramétrico) são mantidas.

C. Pipeline de Treinamento em Três Estágios
O framework adota um currículo de treinamento sequencial:

1. Etapa 1 (SFT - GraphSynth): O agente é treinado para internalizar comportamentos de navegação robustos e padrões de invocação de ferramentas sob ruído de recuperação, aprendendo a explorar estruturas diversas.
2. Etapa 2 (SFT - GraphRoll): O modelo é ajustado para desenvolver capacidades de reflexão e autocorreção, aprendendo a identificar erros e recuperar-se de caminhos falhos.
3. Otimização por RL (GRPO): Com base no modelo pré-treinado nas duas etapas SFT, aplica-se Group Relative Policy Optimization (GRPO) com uma recompensa esparsa de correspondência exata (Exact Match). O prior forte estabelecido pelas etapas SFT permite que o RL explore trajetórias recompensadoras de forma eficiente, superando o teto de desempenho do SFT puro.

3. Principais Contribuições

• Identificação de Gargalo: Reconhece a escassez de dados de treinamento diversificados como o principal obstáculo para a generalização em KGQA agentic.
• Novos Conjuntos de Dados: Introdução de GraphSynth (15k trajetórias sintéticas estruturalmente diversas) e GraphRoll (6k trajetórias de especialistas com correção de erros).
• Paradigma de Treinamento em Duas Etapas: Demonstra que um SFT inicial focado em exploração ampla, seguido por um SFT focado em reflexão, cria uma fundação essencial que desbloqueia um desempenho superior na fase de RL.
• Desempenho SOTA: O método alcança o estado da arte em benchmarks padrão, superando métodos de prompting e treinamento existentes.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks CWQ (Complex Web Questions) e WebQSP, além de GrailQA (zero-shot) e um novo benchmark GraphWalkerBench.

• Desempenho Geral: O GraphWalker (baseado em Qwen2.5-7B) alcançou 79.6% de EM no CWQ e 91.5% de EM no WebQSP, superando significativamente o GoG (GPT-4) e modelos de treinamento como KG-Agent e KBQA-o1.
• Transferência Zero-Shot: Treinado apenas no CWQ, o modelo obteve 86.3% de EM no GrailQA (zero-shot) e 63.5% de EM no GraphWalkerBench, demonstrando forte generalização para estruturas de raciocínio não vistas.
• Análise de Ablação:
  • Remover a Etapa 1 (GraphSynth) causou uma queda de ~5-6% no EM, confirmando a importância da exploração ampla.
  • Remover a Etapa 2 (GraphRoll) causou uma queda de ~9-11%, evidenciando a necessidade crítica de aprendizado de reflexão e recuperação de erros.
  • Remover o RL resultou em uma queda de ~10%, mostrando que o RL é necessário para refinar e superar o desempenho do SFT.
• Análise Pass@k: A remoção da Etapa 1 reduziu consistentemente o Pass@k em todas as tentativas, provando que o GraphSynth expande efetivamente o espaço de busca do agente.

5. Significado e Impacto

O GraphWalker representa um avanço significativo na área de Raciocínio Agentic sobre Grafos de Conhecimento.

• Superação de Limitações de Subgrafos: Ao operar diretamente no KG global, o método é mais robusto a ruídos e distribuições de cauda longa (long-tail) do que métodos que dependem de subgrafos pré-extraídos.
• Validação de Curriculum de Aprendizado: O trabalho prova empiricamente que a ordem do treinamento é crucial: a exploração ampla deve preceder o refinamento de correção de erros para que o RL seja eficaz.
• Escalabilidade: A abordagem de síntese de dados permite treinar agentes eficientes em modelos de linguagem abertos (como Qwen e Llama) que superam modelos proprietários grandes (como GPT-4) quando equipados com o mesmo framework de interação.

Em suma, o GraphWalker estabelece um novo padrão para KGQA agentic, demonstrando que a combinação de síntese de dados estruturada, treinamento em etapas e otimização por RL é a chave para agentes de raciocínio robustos e generalizáveis.