Resumo Técnico: Pode Davi Golias? Sobre Raciocínio Multi-Hop com Agentes com Restrições de Recursos

Declaração do Problema

O artigo aborda o desafio de treinar agentes de modelos de linguagem pequenos (SLM) para realizar raciocínio multi-hop (por exemplo, Resposta a Perguntas Multi-Hop) sob restrições rigorosas de recursos. Embora a Aprendizagem por Reforço (RL) tenha treinado com sucesso agentes para tarefas complexas, as abordagens existentes geralmente dependem de configurações de alto custo envolvendo grandes tamanhos de lote e extensos rollouts on-policy (por exemplo, milhares de trajetórias por atualização). Essas configurações são inacessíveis a pesquisadores que utilizam hardware comercial (por exemplo, 4×RTX 3090 GPUs).

Sob restrições de baixo orçamento (lotes pequenos, poucos rollouts), métodos padrão de RL como a Otimização de Política Relativa em Grupo (GRPO) enfrentam um gargalo crítico: cada atualização contém muito poucas trajetórias úteis da política atual para formar estimativas de vantagem significativas. Especificamente, na recuperação multi-hop, um agente deve acumular múltiplos documentos de suporte (evidência de ponte e evidência de resposta). Com rollouts esparsos, os agentes frequentemente falham em recuperar qualquer evidência útil, levando a um "colapso da política" onde o agente recebe recompensas zero e não consegue aprender. Soluções existentes falham neste regime:

• Inicialização baseada em SFT sofre de sobreajuste quando as trajetórias anotadas são escassas.
• Recompensas no nível da recuperação frequentemente atribuem crédito a documentos individuais sem otimizar a cobertura do conjunto completo de evidências.
• Expansão de rollout (por exemplo, Tree-GRPO) desperdiça computação ao expandir a partir de prefixos que carecem de sinais de progresso na evidência.

Metodologia: DAVID-GRPO

Os autores propõem o DAVID-GRPO, um framework de RL eficiente em orçamento projetado para tornar pequenos lotes de trajetórias mais informativos, aproveitando informações tanto de fora quanto de dentro da política atual. O método consiste em dois componentes principais:

1. Inicialização por Especialista (Injeção Off-Policy)

Para prevenir o colapso precoce da política quando a própria exploração do agente não gera recompensas, o DAVID-GRPO injeta um pequeno número de trajetórias de especialista off-policy no grupo de atualização de RL.

• Mecanismo: Em vez de depender de milhares de trajetórias anotadas para Ajuste Fino Supervisionado (SFT), o método utiliza um pool de trajetórias de especialista "few-shot" ($X_{inj}$) contendo apenas $k$ exemplos (onde $k \ll |X_{train}|$).
• Integração: Para uma dada entrada, o grupo de treinamento é construído com uma trajetória de especialista off-policy ($\tau^*$) e $G-1$ trajetórias on-policy amostradas da política atual ($\pi_\theta$).
• Objetivo: A função de perda é modificada para incluir um objetivo misto, onde a trajetória de especialista recebe uma vantagem específica para incentivar a imitação, enquanto as trajetórias on-policy são atualizadas por meio de vantagens relativas ao grupo padrão. Isso fornece um sinal de gradiente mesmo quando a exploração do agente falha.

2. Exploração Guiada por Evidência (Reutilização On-Policy)

Para abordar a questão de lotes subótimos onde nenhuma trajetória alcança uma recompensa perfeita, o método introduz um sinal de recompensa mais denso e um mecanismo para reutilizar sucessos parciais.

• Recompensa de Cobertura de Evidência ($r_g$): Em vez de depender exclusivamente da correção da resposta final ($r_o$), o método calcula uma recompensa baseada no recall do conjunto de suporte completo $D$ dentro do conjunto cumulativo de documentos recuperados $\hat{D}_{union}$ ao longo de toda a trajetória.
  $$r_g(\tau) = \frac{|\hat{D}_{union} \cap D|}{|D|}$$
  A recompensa total é uma soma ponderada: $R(\tau) = \lambda r_g(\tau) + (1-\lambda)r_o(\tau)$. Isso incentiva o agente a recuperar todos os documentos de ponte e de resposta necessários, e não apenas a resposta final.
• Continuação de Prefixo: Se a melhor trajetória em um lote ainda for subótima (ou seja, cobertura de evidência incompleta), o método identifica o último passo $t'$ onde a cobertura de evidência aumentou. Ele truncar a trajetória em $t'$ e reamostra a continuação a partir da política atual. Se a nova continuação melhorar a recompensa, ela substitui a pior trajetória do lote. Isso efetivamente "recicla" prefixos promissores para gerar exemplos de maior qualidade sem exigir rollouts completos adicionais.

Principais Contribuições

1. Framework DAVID-GRPO: Um framework de RL inovador que combina inicialização por especialista e exploração guiada por evidência para permitir o treinamento de raciocínio multi-hop em modelos pequenos com computação limitada.
2. Ganhos de Eficiência: Demonstra que agentes pequenos (até 1,5B de parâmetros) podem aprender estratégias complexas de recuperação multi-hop usando apenas 4,7% do orçamento de rollout exigido por baselines de alto custo como o Tree-GRPO.
3. Mudança Comportamental: Mostra que o DAVID-GRPO aprende a realizar múltiplas ações de recuperação e a acumular conjuntos completos de evidências, enquanto as baselines de baixo orçamento anteriores frequentemente pulam a recuperação ou param após buscas superficiais.
4. Robustez: O método permanece estável em diferentes tamanhos de modelo (0,5B a 1,5B) e generaliza para cadeias de uso de ferramentas além de QAs no estilo Wikipedia (por exemplo, benchmarks de uso de ferramentas BFCL).

Resultados Experimentais

Os autores avaliaram o DAVID-GRPO em seis benchmarks de QAs multi-hop (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle, BamTwoogle e AntiLeakBench) usando modelos Qwen2.5 e Llama-3.2 (0,5B e 1,5B parâmetros) treinados em 4×RTX 3090 GPUs.

• Desempenho vs. Baselines de Alto Orçamento: Apesar de usar apenas 4,7% do orçamento de rollout da baseline de alto custo Tree-GRPO, o DAVID-GRPO alcançou pontuações de Correspondência Exata (EM) mais altas em 2WikiMultiHopQA, MuSiQue e Bamboogle.
• Desempenho vs. Baselines de Baixo Orçamento: Sob as mesmas restrições de baixo orçamento, o DAVID-GRPO superou significativamente outros métodos de baixo orçamento (Tree-GRPO, StepSearch, Search-R1-v0.3). Por exemplo, na escala 1,5B do AntiLeakBench, ele superou a segunda melhor baseline em 19,6 pontos percentuais em EM.
• Comportamento de Recuperação: A análise revelou que os agentes do DAVID-GRPO realizaram em média 2–3 ações de recuperação, cobrindo com sucesso tanto documentos de ponte quanto de resposta. Em contraste, baselines como o Tree-GRPO frequentemente realizaram zero ações de recuperação, dependendo de conhecimento paramétrico.
• Estudos de Ablação: A remoção de qualquer componente de inicialização por especialista ou exploração guiada por evidência levou à degradação do desempenho, confirmando a necessidade de ambos os mecanismos. O método também mostrou robustez quando treinado em "evidência prata" (perguntas geradas emparelhadas com pares fixos de resposta-suporte).

Significado e Alegações

O artigo alega que o principal gargalo para agentes pequenos no raciocínio multi-hop não é o tamanho do modelo sozinho, mas a falta de sinais de treinamento densos e no nível da evidência sob restrições de recursos. Ao introduzir o DAVID-GRPO, os autores demonstram que:

• Agentes pequenos podem aprender estratégias eficazes de recuperação multi-hop sem orçamentos densos de rollout.
• Combinar algumas trajetórias de especialista off-policy com reutilização on-policy guiada por evidência pode estabilizar o treinamento e melhorar a eficiência de amostragem.
• Essa abordagem reduz a barreira computacional para pesquisa de agentes, tornando viável para laboratórios acadêmicos com hardware comercial reproduzir e expandir capacidades de agentes anteriormente limitadas a organizações bem-resourçadas.

Os autores concluem que seu trabalho fornece um caminho para treinar agentes de recuperação capazes em hardware comercial, embora observem que trabalhos futuros poderiam reduzir ainda mais a dependência da qualidade do recuperador e da cobertura do corpus.