Resumo Técnico: IterResearch

Declaração do Problema

Avanços recentes em agentes de pesquisa profunda (deep-research) demonstraram o potencial para a construção autônoma de conhecimento através do raciocínio dinâmico sobre fontes externas. No entanto, as abordagens existentes baseiam-se predominantemente em um paradigma de contexto mono-contextual, onde toda a informação recuperada e os passos intermediários de raciocínio são anexados a uma única janela de contexto em contínua expansão. Os autores identificam dois modos de falha críticos neste paradigma para tarefas de longo horizonte:

1. Sufocamento de Contexto: À medida que a janela de contexto se enche com interações anteriores, o espaço disponível para o raciocínio ativo diminui, forçando respostas limitadas que degradam para conclusões prematuras ou superficiais.
2. Contaminação por Ruído: Informações irrelevantes de buscas na web e erros de exploração inicial tornam-se permanentemente incorporadas no contexto, criando uma interferência em cascata que dilui a qualidade do sinal ao longo do processo de raciocínio.

Essas limitações impedem que os agentes existentes mantenham uma capacidade de raciocínio sustentada conforme a profundidade da exploração aumenta.

Metodologia

O artigo introduz o IterResearch, um novo paradigma de pesquisa profunda iterativa que reimagina a pesquisa de longo horizonte através da lente da Escala de Interação (Interaction Scaling). A metodologia é construída sobre dois componentes principais:

1. Paradigma de Pesquisa Profunda Iterativa (Arquitetura Inspirada em MDP)

Em vez da acumulação linear de contexto, o IterResearch adota uma formulação de Processo de Decisão de Markov (MDP) definida pela tupla $\langle S, D, E, T, R \rangle$.

• Espaço de Estados ($S$): Cada estado $s_t$ é um espaço de trabalho estrategicamente reconstruído contendo apenas elementos essenciais: a questão constante $q$, um relatório em evolução $M_t$ (servindo como memória comprimida de descobertas validadas) e o contexto imediato do passo anterior.
• Espaço de Decisão ($D$): A política $\pi$ gera uma decisão composta $d_t$ consistindo em pensamento interno ($Think_t$), um relatório atualizado ($M_{t+1}$) e uma ação externa ($a_t$).
• Função de Transição ($T$): Crucialmente, a função de transição reconstrói o espaço de trabalho em vez de anexar ao histórico. A trajetória histórica é deliberadamente descartada, com apenas o conhecimento sintetizado sendo preservado no relatório atualizado. Isso garante que o tamanho do espaço de trabalho permaneça constante ($O(1)$) independentemente do número de rodadas de interação, permitindo teoricamente uma exploração ilimitada.

2. Otimização de Política Consciente de Eficiência (EAPO)

Para treinar este paradigma iterativo de forma eficaz, os autores propõem o EAPO, uma estratégia de treinamento que aborda dois desafios:

• Desconto Geométrico de Recompensa: Reconhecendo que nem todas as trajetórias bem-sucedidas são igualmente valiosas, os autores adaptam o desconto geométrico padrão ($r_t = \gamma^{T-t} \cdot R_T$). Isso cria uma pressão implícita de eficiência, incentivando os agentes a alcançar conclusões corretas através de uma exploração concisa e focada, em vez de uma busca exaustiva.
• Subamostragem Adaptativa: Como o paradigma iterativo decompõe trajetórias em múltiplos exemplos de treinamento independentes (um por rodada), as contagens de amostras variam entre as questões. Os autores empregam subamostragem adaptativa para alinhar os lotes de treinamento ao tamanho de paralelismo de dados, garantindo um treinamento distribuído estável enquanto preservam mais de 99% dos dados.

Principais Contribuições

1. Novo Paradigma: A proposta do IterResearch, que elimina o sufocamento de contexto e a contaminação por ruído ao manter um relatório de memória em evolução e realizar a reconstrução estratégica do espaço de trabalho.
2. Estratégia de Treinamento: O desenvolvimento do EAPO, que combina o desconto geomético de recompensa para eficiência e a subamostragem adaptativa para um treinamento estável em trajetórias de comprimento variável.
3. Validação Empírica: Experimentos extensos demonstrando que o IterResearch alcança melhorias substanciais sobre os agentes de código aberto existentes e reduz a lacuna em relação aos sistemas proprietários de fronteira.

Resultados Experimentais

Os autores avaliaram o IterResearch (baseado em Qwen3-30B-A3B) em seis benchmarks desafiadores: Humanity's Last Exam (HLE), BrowseComp, BrowseComp-zh, GAIA, Xbench-DeepSearch e SEAL-0.

• Ganhos de Desempenho: O IterResearch alcançou uma melhoria média de +14,5 pontos percentuais (pp) sobre os agentes de código aberto existentes nos seis benchmarks. Superou todas as linhas de base de código aberto e demonstrou desempenho competitivo ou superior em comparação com sistemas proprietários (por exemplo, superando o DeepResearch da OpenAI no HLE e BrowseComp-zh).
• Escala de Interação: O paradigma exibiu capacidades de escala sem precedentes, estendendo-se a 2048 interações com apenas 40K de comprimento de contexto. O desempenho melhorou dramaticamente de 3,5% para 42,5% conforme o limite máximo de interação aumentava de 2 para 2048, um feito estruturalmente inviável para abordagens mono-contextuais devido ao transbordamento de contexto.
• Transferência entre Paradigmas: Descobriu-se que as trajetórias geradas pelo IterResearch melhoram significativamente os agentes mono-contextuais quando usadas como dados de treinamento, sugerindo que o paradigma induz comportamentos de exploração superiores transferíveis para diferentes arquiteturas.
• Estratégia de Prompting: Sem qualquer treinamento, aplicar a estrutura de prompting do IterResearch a modelos de fronteira (ex: o3, DeepSeek-V3.1) rendeu melhorias substanciais sobre o prompting ReAct padrão, particularmente em tarefas de longo horizonte (até +19,2pp no BrowseComp).

Significância e Alegações

O artigo posiciona o IterResearch como uma solução versátil para o raciocínio de longo horizonte, sendo eficaz tanto como um agente treinado quanto como um paradigma de prompting agnóstico ao modelo. Os autores alegam três insights fundamentais:

1. Escala de Interação: O paradigma iterativo desbloqueia uma escala de interação extrema, sugerindo que a dificuldade percebida de tarefas de longo horizonte pode advir de uma capacidade de exploração insuficiente, em vez de limites inerentes de raciocínio.
2. Comportamentos de Exploração Superiores: O paradigma induz comportamentos de exploração de alta qualidade que criam sinais de treinamento transferíveis, mesmo para agentes que utilizam diferentes paradigmas arquiteturais.
3. Eficácia Agnóstica ao Modelo: A estrutura iterativa com reconstrução de espaço de trabalho fornece uma vantagem cognitiva fundamental para o raciocínio de longo horizonte, melhorando o desempenho em diversas arquiteturas de modelos sem exigir ajuste fino específico.

O trabalho conclui que a iteração com síntese estratégica, em vez da acumulação linear, é fundamental para conquistar os desafios do raciocínio de longo horizonte.