Resumo Técnico: SearchSwarm – Rumo à Inteligência de Delegação em LLMs Agênticos para Pesquisa Profunda de Longo Horizonte

1. Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como agentes para tarefas complexas e de longo horizonte no mundo real, como a pesquisa profunda, onde o contexto necessário pode crescer sem limites. No entanto, as janelas de contexto dos modelos permanecem inerentemente finitas. As estratégias existentes de gestão de contexto são amplamente passivas: elas ou resumem o histórico de interação após um limite de comprimento excedido, ou descartam indiscriminadamente observações passadas com base em regras fixas. Esses métodos carecem de planejamento prévio e frequentemente falham em reter informações críticas necessárias para um raciocínio coerente.

Embora um paradigma onde um agente principal decompõe tarefas e delega sub-tarefas a subagentes ofereça uma solução mais ativa, executar isso de forma eficaz requer inteligência de delegação. Essa capacidade envolve:

1. Decompor tarefas complexas em sub-tarefas gerenciáveis.
2. Determinar quando e o quê delegar.
3. Integrar os resultados retornados ao fluxo de trabalho contínuo.

Dados de treinamento para essa capacidade específica são escassos em textos que ocorrem naturalmente, pois corpora naturais raramente exibem coordenação multi-agente explícita. Consequentemente, como sintetizar tais dados e treinar modelos para adquirir inteligência de delegação permanece amplamente inexplorado na comunidade de código aberto.

2. Metodologia

Os autores apresentam o SearchSwarm, um framework projetado para construir dados de treinamento para inteligência de delegação no contexto de pesquisa profunda. A abordagem segue um paradigma "principal-distribui, sub-executa" usando uma única instância de modelo invocada em contextos independentes.

2.1 Design do Harness

O núcleo da metodologia é um harness (uma combinação de interfaces de ferramentas e prompts de sistema) projetado para elicitar um comportamento de delegação de alta qualidade durante a inferência. O harness impõe quatro princípios fundamentais:

• Incentivo à Delegação: O agente principal é guiado para transferir tarefas custosas em termos de tokens e cognitivamente superficiais (como coleta de informações de múltiplos passos) para subagentes. Isso preserva o contexto limitado do agente principal para planejamento de alto nível, verificação e síntese.
• Briefing Abrangente: Os subagentes operam em contextos novos, sem memória de passos anteriores. O harness exige que o agente principal escreva briefings detalhados para cada subagente, incluindo a descrição da sub-tarefa, sua relevância para o objetivo geral, fatos estabelecidos, incertezas restantes e direções já exploradas. Isso alinha o subagente com o progresso do agente principal.
• Retenção do Julgamento Central: O agente principal permanece como a única entidade com uma visão completa da pesquisa. Ele é responsável por decisões direcionais (ex: qual hipótese perseguir, quando terminar) e deve verificar as descobertas do subagente em vez de confiar nelas cegamente.
• Relatórios Baseados em Citações: Para evitar alucinações e permitir a verificação, os subagentes são restringidos a anexar citações inline a cada conclusão importante em seus relatórios. Isso permite que o agente principal rastreie conclusões até URLs de fontes específicas.

2.2 Síntese de Dados e Treinamento

Usando o harness, os autores sintetizam dados de ajuste fino supervisionado (SFT):

1. Coleta de Trajetórias: O modelo executa tarefas de pesquisa profunda sob a orientação do harness. As trajetórias são coletadas de duas configurações: (a) um único modelo atuando como agente principal e subagente, e (b) um modelo mais forte como agente principal pareado com um subagente mais fraco (forçando o agente principal a exercer um controle mais rigoroso).
2. Filtragem: Apenas trajetórias com respostas finais corretas são retidas. As trajetórias dos subagentes são mantidas apenas se a trajetória correspondente do agente principal estiver correta. Comportamentos indesejáveis (ex: chamadas de ferramenta repetidas, citações alucinadas) são removidos.
3. Fine-Tuning: O modelo base é ajustado usando previsão do próximo token com mascaramento de ambiente. A perda é computada apenas sobre as saídas do modelo (pensamentos e chamadas de ferramenta), não sobre os retornos do ambiente, garantindo que o modelo aprenda a gerar raciocínio e invocações de ferramentas apropriadas com base no contexto observado.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Exploração da Inteligência de Delegação: Apresenta uma das primeiras explorações da inteligência de delegação para tarefas de agente de horizonte ultra-longo, fornecendo uma receita completa (harness, construção de dados, treinamento) para a comunidade de código aberto.
2. Modelo de Alto Desempenho: O modelo resultante, SearchSwarm-30B-A3B, alcança resultados de estado da arte entre todos os modelos de escala comparável (30 bilhões de parâmetros) em quatro benchmarks principais.
3. Lançamento Open-Source: Os autores liberam o harness, os pesos do modelo e os dados de treinamento para facilitar pesquisas futuras em inteligência de delegação e coordenação multi-agente.

4. Resultados Experimentais

O SearchSwarm-30B-A3B foi avaliado em quatro benchmarks: BrowseComp, BrowseComp-ZH, GAIA e xbench-DeepSearch-2505.

• Desempenho:
  • BrowseComp: 68.1 (Melhor entre modelos de 30B; supera o MiroThinker-1.7-mini com 67.9).
  • BrowseComp-ZH: 73.3 (Melhor entre modelos de 30B; supera o MiroThinker-1.7-mini com 72.3).
  • GAIA: 82.5 (Melhor entre modelos de 30B; supera o MiroThinker-1.7-mini com 80.3).
  • xbench-DeepSearch-2505: 80.8 (Melhor entre modelos de 30B; supera o LongSeeker com 78.0).
• Competitividade: O modelo permanece competitivo com modelos mais de 10× maiores (ex: DeepSeek V3.2, GPT-5.2-Thinking) e supera vários modelos fechados maiores em métricas específicas.
• Estudos de Ablação:
  • Eficácia do Harness: Simplesmente adicionar a ferramenta de delegação a um modelo base gerou uma melhoria modesta (+2.3 pontos), mas o design completo dos princípios do harness resultou em um ganho substancial (+10.0 pontos sobre o framework base).
  • Generalização: A inteligência de delegação aprendida generaliza para configurações de agente único (onde a ferramenta de subagente é desativada), melhorando o desempenho sobre o modelo base mesmo sem o uso explícito de subagentes. Ela também generaliza para tarefas de pesquisa profunda de final aberto, apesar de os dados de treinamento consistirem apenas em consultas de resposta curta.

5. Significância e Alegações

O artigo afirma que a inteligência de delegação é uma capacidade crítica para gerenciar o contexto em tarefas de longo horizonte. Ao treinar modelos para decompor tarefas inteligentemente, fornecer contexto abrangente aos subagentes e verificar resultados, um modelo leve (30B) pode alcançar desempenho comparável a sistemas de fronteira muito maiores.

Os autores enfatem que a delegação não é meramente o encaminhamento de tarefas, mas uma forma sofisticada de gestão de contexto, onde o modelo comprime ativamente seu próprio contexto usando briefings e relatórios gerados pelo modelo, em vez de depender de truncamento por regras fixas. O lançamento do pipeline completo (harness, dados, pesos) visa democratizar a pesquisa em coordenação multi-agente e estratégias de delegação.

O trabalho posiciona-se como uma exploração preliminar, reconhecendo que, embora os resultados sejam de estado da arte para a escala, o campo da inteligência de delegação ainda é nascente e requer investigação adicional sobre leis de escala e padrões de coordenação mais complexos.