Resumo Técnico: Hybrid Open-Ended Tri-Evolution (HOTE)

Definição do Problema

Agentes de pesquisa profunda são cada vez mais críticos para aplicações do mundo real visando a Inteligência Artificial Geral (AGI), sendo incumbidos de recuperar e integrar informações de forma autônoma em ambientes de ciclo longo e de natureza aberta. No entanto, os sistemas de pesquisa profunda atuais enfrentam duas limitações primárias:

1. Capacidades Estáticas: Os agentes existentes dependem de conjuntos de treinamento e estratégias fixas, limitando suas capacidades de pesquisa paramétrica.
2. Lacuna de Verificação: Embora a evolução de agentes via auto-jogo (self-play) tenha mostrado promessa em domínios com respostas verificáveis e padronizadas (ex: matemática, programação), ela enfrenta dificuldades em tarefas de pesquisa de código aberto (ex: geração de relatórios de formato longo) onde respostas determinísticas estão ausentes. Tentativas anteriores de preencher essa lacuna (ex: SPICE, Dr. Zero) permanecem limitadas a tarefas com resultados verificáveis ou falham em abordar os desafios específicos de ambientes abertos.

Existe uma necessidade crítica de um framework que permita a evolução autônoma de agentes especificamente para tarefas de pesquisa abertas, sem depender de respostas padrão de verdade fundamental (ground-truth).

Metodologia: Hybrid Open-Ended Tri-Evolution (HOTE)

Os autores propõem o HOTE, um framework projetado para facilitar a evolução colaborativa de três módulos distintos: um Propositor (Proposer), um Solucionador (Solver) e um Juiz (Judge). O sistema utiliza aprendizado por reforço (RL) de modo híbrido e conhecimento em escala web para impulsionar a melhoria autônoma.

Componentes Principais

1. Solucionador ($\pi_{\theta_s}$):

   • Papel: Recebe uma consulta de pesquisa, gera um plano, realiza a busca de informações em múltiplas etapas (usando ferramentas como mecanismos de busca) e produz um relatório de pesquisa de formato longo referenciado.
   • Evolução: Otimizado usando Otimização de Política Relativa de Grupo (GRPO). O solucionador visa alinhar suas saídas com os requisitos de relatórios de pesquisa definidos pelas rubricas do Juiz.
   • Modos: Opera tanto no modo de uso de ferramentas (utilizando ferramentas de busca) quanto no modo sem ferramentas (baseando-se em conhecimento paramétrico).

2. Juiz ($\pi_{\theta_j}$):

   • Papel: Gera e atualiza dinamicamente rubricas de avaliação para avaliar as respostas do Solucionador. Ele compara múltiplas respostas para a mesma consulta para identificar pontos fortes e fracos.
   • Mecanismo: Em vez de depender de respostas fixas, o Juiz atribui recompensas (0 ou $\pm1$) baseadas em um conjunto de rubricas ($R_{s_0}$). Crucialmente, o Juiz evolui o próprio conjunto de rubricas ao identificar rubricas ativas (novas forças ou modos comuns de falha, como o reward hacking) e rubricas persistentes.
   • Meta-rubricas: Para lidar com a complexidade de avaliar o Propositor, o Juiz resume as avaliações em "meta-rubricas" que capturam fraquezas comuns do modelo entre as respostas.

3. Propositor ($\pi_{\theta_p}$):

   • Papel: Gera tarefas de pesquisa desafiadoras, porém aprendíveis, baseadas nas fraquezas identificadas pelo Juiz. Ele atua como um adversário para expandir os limites do Solucionador.
   • Evolução: Também otimizado via GRPO. A recompensa do Propositor é calculada com base na eficácia com que suas tarefas geradas expõem as fraquezas do Solucionador (ou seja, tarefas onde o Solucionador falha em atender às meta-rubricas).
   • Diversidade: O framework emprega "Proposição Diversa", onde o Propositor gera tarefas baseadas em várias combinações de tarefas e avaliações anteriores para evitar a concentração de tópicos e garantir a diversidade de dados.

Estratégia de Treinamento: Treinamento Híbrido de Modo Duplo

O HOTE introduz uma Estratégia de Treinamento Híbrida de Modo Duplo para equilibrar eficiência e capacidade:

• Dados Híbridos: Cada lote de treinamento consiste em 50% de tarefas reais do conjunto de dados original e 50% de tarefas sintéticas geradas pelo Propositor.
• Modos Híbridos: As tarefas são atribuídas aleatoriamente a modos de uso de ferramenta ou sem ferramenta (divisão de 50/50).
  • Racional: Treinar apenas no modo sem ferramentas melhora as técnicas de geração de relatórios, mas leva à dependência excessiva do conhecimento paramétrico. Treinar apenas no modo de uso de ferramentas introduz ruído. A abordagem híbrida permite que o modelo aprenda a geração de relatórios sem ferramentas enquanto domina simultaneamente o uso de ferramentas, evitando a dependência excessiva de qualquer um dos dois.
• Eficiência: O framework prova teoricamente que o modo híbrido resulta em um tempo esperado de geração máxima menor em comparação com estratégias puras de uso de ferramentas.

Principais Contribuições

1. Primeiro Framework de Evolução Aberta: O HOTE é o primeiro framework de evolução de pesquisa profunda explicitamente projetado para ambientes e tarefas abertas, preenchendo a lacuna entre pesquisa profunda e agentes.
2. Co-evolução de Tri-módulos: O artigo projeta uma estratégia de co-evolução onde o Propositor, o Solucionador e o Juiz se reforçam mutuamente. O Juiz evita o reward hacking ao evoluir as rubricas, o Propositor garante que a dificuldade da tarefa permaneça alta e o Solucionador melhora a qualidade da resposta.
3. Eficiência de Modo Duplo: A introdução de uma estratégia de treinamento híbrido (misturando modos de uso de ferramenta e sem ferramenta) melhora significamente a eficiência do treinamento e a robustez do modelo em comparação com abordagens de modo único.

Resultados Experimentais

Os autores avaliaram o HOTE em três benchmarks de pesquisa profunda de formato longo: HealthBench (saúde), ResearchQA (síntese de literatura científica) e DeepResearchBench (DRB) (domínio geral).

• Desempenho: Um modelo de 8B treinado com HOTE superou os modelos de código aberto de 8-32B mais fortes (incluindo Qwen3-32B, WebThinker-32B) e métodos de treinamento de pesquisa profunda de última geração (ex: DR Tulu-8B-RL, GRPO, GSPO).
• Eficiência: O HOTE alcançou esses resultados com menos sobrecarga de tempo. Especificamente, o modo híbrido reduziu o número total de operações de uso de ferramenta necessárias durante o treinamento em comparação com baselines como o DR Tulu.
• Estudos de Ablação:
  • Remover qualquer um dos três módulos (evolução do Propositor, do Solucionador ou do Juiz) resultou em degradação do desempenho, confirmando sua indispensabilidade.
  • Modelos treinados com HOTE mostraram uma tendência de ascensão sustentada de desempenho ao longo de 1500 passos de treinamento, enquanto os baselines convergiram mais cedo.
  • O modo híbrido facilitou com sucesso o progresso colaborativo tanto nas capacidades de uso de ferramenta quanto sem ferramenta, evitando a queda de desempenho em tarefas de uso de ferramenta frequentemente observada em modelos treinados exclusivamente no modo sem ferramenta.
• Generalização: O framework demonstrou eficácia através de diferentes modelos base (Qwen3-8B e Llama3.1-8B).

Significância e Alegações

O artigo afirma que o HOTE representa um passo significativo em direção a agentes de evolução autônoma capazes de lidar com tarefas abertas sem intervenção humana ou respostas padrão. Ao integrar com sucesso um ciclo Propositor-Solucionador-Juiz com treinamento híbrido, o HOTE aborda a "lacuna de verificação" que anteriormente limitava a evolução de agentes a domínios determinísticos.

Os autores posicionam este trabalho como um movimento em direção à AGI, permitindo que os agentes interajam autonomamente com o ambiente, ganhem experiência e evoluam suas capacidades em cenários de pesquisa complexos e do mundo real. Eles reconhecem as limitações, observando que a evolução desacelera conforme o treinamento progride e que o limite superior ainda pode ser restringido pela escala do modelo, mas afirmam que transcender as limitações dos dados de treinamento iniciais através da evolução é inerentemente valioso. Trabalhos futuros são propostos para explorar a escala para modelos maiores de Mistura de Especialistas (MoE) e o tratamento de ruído em ferramentas de busca do mundo real.