Resumo Técnico: PathRouter

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação em Grafos (GraphRAG) agênticos utilizam agentes de modelos de linguagem para recuperar e raciocinar iterativamente sobre evidências estruturadas em grafos. Embora esses sistemas visem melhorar a tomada de decisão ao navegar em redes de informações complexas, os métodos de treinamento existentes que dependem exclusivamente de aprendizado por reforço (RL) baseado em resultados sofrem de duas limitações críticas:

1. Aliasing de Recompensa de Caminho-Resposta (Answer-Path Reward Aliasing): O RL padrão atribui recompensas baseadas apenas na correção da resposta final. Isso confunde trajetórias onde a resposta correta é derivada de caminhos de evidência úteis com aquelas onde a resposta é recuperada da memória paramétrica do modelo (atalhos), apesar da falha na recuperação de evidências. Consequentemente, o modelo é reforçado por sucessos "sortudos" que não melhoram as capacidades de recuperação.
2. Ambiguidade de Atualização de Busca (Search-Update Ambiguity): O feedback escalar ao nível da trajetória (por exemplo, uma única pontuação de recompensa para toda a interação) falha em indicar quais ações de recuperação específicas (consultas de busca ou passos de raciocínio) contribuíram para o resultado. Isso deixa o agente sem orientação acionável para ajustar sua estratégia de busca quando uma trajetória falha ou tem sucesso via atalhos.

Metodologia: PathRouter

Os autores propõem o PathRouter, um framework de treinamento consciente de caminhos projetado para alinhar os sinais de recompensa com a qualidade da recuperação. O framework opera através de três mecanismos centrais:

1. Roteamento Consciente de Caminho e Escalonamento de Vantagem Diferenciado

Em vez de tratar todas as trajetórias uniformemente, o PathRouter avalia cada trajetória ao longo de dois eixos:

• Correção da Resposta ($C_i$): Se a resposta final está correta.
• Sobreposição de Caminho de Evidência ($P_i$): A sobreposição F1 ao nível de token entre as passagens recuperadas e a evidência de suporte de ouro (gold).

Com base nessas métricas, as trajetórias são categorizadas em quatro tipos, cada um recebendo um peso diferenciado para o escalonamento de vantagem da Otimização de Política Relativa de Grupo (GRPO):

• Sucesso Fiel ($C \uparrow, P \uparrow$): Resposta correta com alta sobreposição de evidência. Recebe peso total.
• Falha por Atalho ($C \uparrow, P \downarrow$): Resposta correta, mas com baixa sobreposição de evidência (dependendo da memória paramétrica). Recebe peso reduzido para suprimir o reforço de comportamentos de atalho.
• Evidência Recuperada ($C \downarrow, P \uparrow$): Resposta incorreta, mas com alta sobreposição de evidência (falha de raciocínio). Recebe peso atenuado para evitar a penalização excessiva de comportamentos de recuperação úteis.
• Falha Conjunta ($C \downarrow, P \downarrow$): Resposta incorreta com baixa sobreposição de evidência. Recebe peso total.

Este roteamento garante que as atualizações da política reflitam a qualidade da recuperação, e não apenas a correção da resposta final.

2. Professor de Evidência-Ouro Seletivo para Ambiguidade de Atualização de Busca

Para resolver a ambiguidade de quais ações de busca ajustar, o PathRouter introduz um professor de evidência-ouro congelado para trajetórias pobres em evidência ($P_i < \theta_P$).

• Mecanismo: O professor é instruído com a consulta e as passagens de suporte de ouro (contexto privilegiado). Ele não gera uma nova trajetória, mas pontua o rollout on-policy do estudante.
• Orientação KL ao Nível de Token: O professor fornece supervisão de divergência de Kullback-Leibler (KL) especificamente em tokens de raciocínio e tokens de consulta de busca.
• Exclusão: Tokens de resposta e blocos de observação recuperados são excluídos da supervisão KL para evitar a imitação direta da resposta e garantir que o agente aprenda a encontrar evidências, em vez de apenas produzir a resposta.
• Agendamento: Um warmup linear é aplicado ao coeficiente de KL para permitir que o estudante explore via recompensas GRPO antes que a restrição do professor entre em vigor.

3. Objetivo de Treinamento

O perda total combina a perda GRPO roteada com a perda KL do professor seletivo:
$$\mathcal{L} = \mathcal{L}_{GRPO} + \lambda_T(s) \cdot \mathcal{L}_{TKL}$$
A função de recompensa também incorpora modelagem de exploração (bônus para recuperação de múltiplos turnos, penalidades para paradas preguiçosas, timeouts e redundância) para incentivar a coleta de evidências minuciosa.

Principais Contribuições

1. Identificação de Aliasing de Recompensa: O artigo identifica o aliasing de recompensa de caminho-resposta como um modo de falha primário em GraphRAG agêntico e propõe um mecanismo de escalonamento de vantagem condicionado por rota para desacoplar a correção da resposta da qualidade da recuperação.
2. Destilação Seletiva ao Nível de Token: Um novo mecanismo de professor seletivo é introduzido, aplicando orientação KL ao nível de token para tokens de raciocínio e de consulta de busca para trajetórias pobres em evidência. Isso resolve a ambiguidade de atualização de busca sem imitar as respostas finais.
3. Validação Empírica: Experimentos extensos demonstram que o PathRouter melhora consistentemente tanto a precisão da resposta quanto a sobreposição do caminho de evidência em seis benchmarks de QA e três tamanhos de modelo (1.5B, 3B, 7B).

Resultados Experimentais

Avaliado em seis benchmarks (HotpotQA, 2WikiMultiHopQA, MuSiQue, NQ, PopQA, TriviaQA) usando modelos Qwen2.5:

• Ganhos de Desempenho: O PathRouter supera consistentemente as bases fortes, incluindo o Graph-R1.
  • Em modelos de 7B, alcançou um ganho médio de F1 de 4.9 pontos (de 57.82 para 62.74) e um ganho de Exact Match (EM) de 4.69 pontos.
  • Em modelos de 3B, alcançou um ganho médio de F1 de 3.1 pontos.
  • As melhorias foram mais pronunciadas em tarefas de raciocínio de múltiplos saltos (ex: +7.4 F1 em HotpotQA, +8.2 em MuSiQue para modelos de 7B).
• Mudança de Trajetória: A análise das distribuições de trajetória mostra que o PathRouter desloca com sucesso a massa das categorias de "atalho" e "falha conjunta" em direção às categorias de "sucesso fiel" e "falha de raciocínio com presença de evidência", indicando uma melhor aquisição de evidências independente da correção da resposta.
• Generalização: Testes de transferência cross-dataset revelaram alta generalização OOD (razão média de 95.7%), sugerindo que as estratégias de recuperação aprendidas são robustas e não presas às distribuições de datasets específicos.
• Descobertas de Ablação:
  • Remover a recompensa de caminho ($r_p$) degradou significativamente a qualidade da evidência (SF-F1) enquanto manteve o F1 da resposta, confirmando que o sinal visa a recuperação.
  • Remover o professor KL seletivo reduziu o desempenho, particularmente em tarefas de múltiplos saltos, confirmando seu papel na resolução da ambiguidade de atualização de busca.
  • A eficácia do professor KL foi encontrada como dependente de capacidade; modelos menores (1.5B) mostraram resultados mistos ou degradação com um professor mais forte, sugerindo que a capacidade do estudante é um fator limitante.

Significância e Alegações

O artigo afirma que o PathRouter aborda as limitações fundamentais de atribuição de crédito do aprendizado por reforço baseado apenas em resultados em sistemas agênticos. Ao avaliar conjuntamente a correção da resposta e a sobreposição do caminho de evidência, o framework garante que as atualizações da política sejam impulsionadas pela qualidade do processo de recuperação, não apenas pelo output final.

Os autores sustentam que esta abordagem permite que os agentes aprendam políticas de recuperação que são tanto precisas na resposta quanto fiéis à evidência. O trabalho sugere que o treinamento consciente do caminho produz comportamentos de recuperação generalizáveis que evitam atalhos específicos de datasets, ofereando uma base mais robusta para tarefas de raciocínio complexo em sistemas GraphRAG. O artigo reconhece limitações relativas aos hiperparâmetros adicionais necessários para roteamento e agendamento, bem como o custo computacional aumentado por passo devido às passagens do professor, observando um compromisso entre eficiência de treinamento e fidelidade aprimorada.