Resumo Técnico: PAPERPILOT – Busca de Literatura Científica com Agente de Múltiplos Turnos via Indução de Fluxo de Trabalho

1. Formulação do Problema

A busca de literatura científica é cada vez mais complexa, muitas vezes exigindo mais do que uma única consulta de palavra-chave para satisfazer a intenção do usuário. Pesquisadores precisam navegar por vizinhanças de citações, comparar metodologias, filtrar distratores e refinar estratégias de busca com base em preferências evolutivas (ex: direções de citação específicas, recência ou domínios de aplicação).

Sistemas de busca agênticos existentes geralmente dependem de pipelines de recuperação fixos ou raciocínio implícito baseado apenas em linguagem. Essas abordagens sofrem de duas limitações principais:

1. Falta de Controle: As estratégias de busca são difíceis de inspecionar ou refinar quando os usuários fornecem feedback (ex: "foque em trabalhos mais recentes").
2. Tratamento de Intenção Estática: Necessidades de informação ambíguas muitas vezes requerem desambiguação interativa, o que pipelines fixos não conseguem abordar de forma eficaz. Os agentes atuais costumam tratar o feedback do usuário meramente como texto de consulta adicional, em vez de instruções para modificar o próprio comportamento de recuperação.

O artigo postula que a busca de literatura científica deve ser formulada como um problema de indução de fluxo de trabalho interativo de múltiplos turnos, onde o agente constrói e refina uma estratégia de busca executável baseada no feedback do usuário.

2. Metodologia: PAPERPILOT

Os autores introduzem o PAPERPILOT, um sistema agêntico de múltiplos turnos que trata a busca de literatura como a indução de um Grafo Acíclico Dirigido (DAG) executável de operadores de busca.

2.1 Estrutura de Indução de Fluxo de Trabalho

Em vez de um pipeline fixo, o PAPERPILOT constrói um DAG dinâmico para cada solicitação do usuário:

• Conjunto de Ferramentas (PAPERPILOT-TOOLSET): Uma biblioteca de operadores de busca de artigos tipados, incluindo busca por palavra-chave, expansão de citações (direta/reversa), filtragem, pontuação, reclassificação (reranking) e extração de evidências.
• Estrutura do DAG: Os nós representam operadores instanciados ($v_i = (o_i, \theta_i)$), e as arestas representam o fluxo de saídas intermediárias (conjuntos de artigos, pontuações, palavras-chave, evidências). O sistema impõe consistência de tipo entre os nós.
• Execução Adaptativa: O agente seleciona operadores relevantes e configura seus parâmetros (ex: palavras-chave de busca, direção de citação, predicados de filtro) com base na intenção de busca específica (ex: "baselines fortes" vs. "trabalhos de acompanhamento emergentes").

2.2 Ciclo de Interação

O sistema opera em um cenário de múltiplos turnos:

1. Inicialização: Dado um artigo âncora ($p_0$) e uma consulta do usuário ($q$), o agente induz um fluxo de trabalho inicial ($G_0$).
2. Execução: O fluxo de trabalho é executado nó a nó, fazendo o cache das saídas intermediárias.
3. Feedback e Refinamento: O usuário (ou um simulador) fornece feedback ($f_t$). O agente refina o fluxo de trabalho ($G_{t+1}$) editando a estrutura do DAG, modificando os parâmetros dos operadores ou ajustando os conjuntos de candidatos intermediários.
4. Finalização: Após um número finito de turnos, o agente fornece uma lista de artigos classificada com evidências.

2.3 Estratégia de Treinamento

O PAPERPILOT-9B é treinado usando um pipeline de supervisão de dois estágios para aprender a geração de DAGs válidos e a edição robusta:

1. Construção de Dados: Trajetórias de fluxo de trabalho de alta qualidade são geradas por um modelo professor forte através de cinco direções de busca (predecessor, sucessor, irmão, benchmark, survey).
2. Ajuste Fino Supervisionado (SFT): O modelo é treinado em 5.540 exemplos de supervisão de fluxo de trabalho onde o artigo "gold" aparece nos 5 primeiros resultados.
3. Otimização de Preferência (DPO): Para melhorar a estabilidade e o tratamento de erros, os autores constroem pares de preferência corrompendo fluxos de trabalho bem-sucedidos com erros estruturais e semânticos (ex: referências inválidas, entradas ausentes, nós removidos). O modelo é otimizado para preferir o fluxo de trabalho correto sobre o corrompido usando um objetivo DPO do tipo IPO.

3. Principais Contribuições

1. Formulação de Indução de Fluxo de Trabalho: O artigo formula a busca científica de múltiplos turnos como a indução de fluxos de trabalho executáveis estruturados em DAG, convertendo o feedback do usuário em edições concretas nas estratégias de busca, em vez de apenas texto de consulta.
2. Modelo PAPERPILOT-9B: Um agente de 9 bilhões de parâmetros treinado com imitação de fluxo de trabalho e otimização de preferência sobre fluxos de trabalho corrompidos, demonstrando melhoria na qualidade de recuperação e estabilidade do fluxo de trabalho.
3. Benchmark Reproduzível: Um conjunto de avaliação de retenção (hold-out) com protocolos de interação controlados (usando um simulador de usuário baseado em LLM) para permitir comparações justas entre configurações de turno único e múltiplos turnos.

4. Resultados Experimentais

O sistema foi avaliado em um benchmark cobrindo cinco direções de busca científica, comparando o PAPERPILOT-9B contra modelos base (Qwen3.5-9B, Qwen3.5-397B) e sistemas proprietários maiores (GPT-5.4, OpenAI DeepResearch).

4.1 Desempenho de Recuperação

No cenário de múltiplos turnos, o PAPERPILOT-9B superou significativamente o agente de conjunto de ferramentas base Qwen3.5-9B:

• Hit@5: Aumentou de 58,0 para 77,0.
• MRR: Aumentou de 47,5 para 59,4.
• nDCG@10: Aumentou de 26,8 para 32,5.
• Estabilidade do Fluxo de Trabalho: Erros de execução foram reduzidos de 9,5% para 0%.

Notavelmente, o PAPERPILOT-9B superou a linha de base de busca web de turno único do GPT-5.4 em Hit@5, Hit@10, Hit@15 e MRR, apesar de usar um modelo menor e custos de inferência mais baixos.

4.2 Custo-Efetividade

O PAPERPILOT oferece um tradeoff favorável entre custo e desempenho:

• OpenAI DeepResearch: Custa ~$6,09 por caso com 72,0 Hit@5.
• PAPERPILOT-9B: Custa ~$0,018 por caso enquanto alcança 77,0 Hit@5.
• GPT-5.4 com Toolset: Alcançou o maior desempenho absoluto (84,0 Hit@5) a $0,15 por caso.

4.3 Ablação e Análise

• Edição de Fluxo de Trabalho: O PAPERPILOT-9B mostrou consistência de edição local superior (adicionar, modificar, remover nós) em comparação com os modelos base, confirmando que o treinamento ajuda o modelo a tratar o feedback como instruções estruturais.
• Escala de Busca: Aumentar o tamanho do pool de candidatos além de $K=8$–$10$ geralmente degradou o desempenho, sugerindo que pools maiores introduzem distratores que enfraquecem a filtragem subsequente.
• Estudo Humano: Em um estudo com participantes humanos, o PAPERPILOT alcançou uma taxa de sucesso de 74,7% e uma Distância de Top-1 de 2,4, superando significativamente o GPT-5.4 (32,0% de sucesso) e o OpenAI DeepResearch (8,0% de sucesso).

5. Significância e Alegações

O artigo afirma que fluxos de trabalho de busca explícitos e editáveis fornecem uma interface eficaz e controlável para alinhar agentes de busca de literatura com intenções científicas complexas e evolutivas.

Principais pontos enfatizados pelos autores:

• Controle vs. Raciocínio Implícito: Mudar do raciocínio de linguagem implícito para a indução de DAG explícita permite que os usuários inspecionem e refinem diretamente a estratégia de busca.
• Estabilidade através de Treinamento: Treinar em fluxos de trabalho corrompidos é essencial para que modelos menores mantenam a estabilidade durante interações de múltiplos turnos, evitando a acumulação de erros observada em agentes não treinados.
• Praticidade: A abordagem demonstra que uma busca científica de alta qualidade não requer modelos proprietários massivos; o uso estruturado de ferramentas e o controle do fluxo de trabalho podem gerar resultados superiores com custos significativamente menores.

Os autores reconhecem limitações, incluindo a dependência de uma biblioteca de operadores predefinida, potenciais vieses de trajetórias de modelos professores e o uso de feedback de usuário simulado em vez de interação do mundo real. Eles sugerem que trabalhos futuros devem explorar domínios mais amplos e bibliotecas de operadores adaptativas.