Resumo Técnico: Harness de Agentes Recursivos

Declaração do Problema

Os agentes de codificação modernos operam dentro de um "harness de agente" — um sistema composto por ferramentas, acesso ao sistema de arquivos, engenharia de contexto e orquestração que transforma um Grande Modelo de Linguagem (LLM) em um agente funcional. Embora esses harnesses possam navegar por documentos que excedem uma única janela de contexto, eles falham em recursar efetivamente quando as tarefas exigem o raciocínio de LLM por entrada em milhares de entradas independentes. Os agentes de codificação atuais normalmente reduzem o raciocínio por entrada a heurísticas de regex dentro de uma única janela de contexto, pulando o raciocínio de LLM ao nível da entrada devido aos limites de contexto. Por outro lado, os Modelos de Linguagem Recursivos (RLMs) implementam chamadas de modelo recursivamente sobre subfatias de entradas longas, mas carecem de acesso a ferramentas, sistemas de arquivos ou execução de código.

O problema central abordado é a lacuna no raciocínio de contexto longo: as abordagens existentes ou carecem da capacidade recursiva para lidar com quantidades massivas de entradas (agentes de codificação) ou carecem do acesso a ferramentas necessário para o raciocínio complexo por entrada (RLMs). O artigo questiona se a unidade recursiva deve ser uma chamada de modelo sem ferramentas ou um harness de agente completo.

Metodologia: Harness de Agente Recursivo (RAH)

Os autores propõem e estudam o Harness de Agente Recursivo (RAH), um padrão onde a unidade recursiva é um harness de agente completo, em vez de uma simples chamada de modelo. Esta abordagem é enquadrada como "recursão de harness", uma extensão baseada em código para a recursão de modelo encontrada nos RLMs.

Arquitetura Central

1. Agente Pai: Recebe a tarefa completa e inspeciona o documento para determinar o tamanho da carga de trabalho.
2. Mecanismo de Spawn (Geração): O agente pai gera subagentes através de dois caminhos distintos:
   • Spawn por Execução de Código (Primário para grandes cargas de trabalho): O pai escreve um script executável autossuficiente (ex: Python) que instancia objetos Task() para cada entrada ou grupo de entradas. Este script roda assincronamente (ex: via asyncio.gather), gerando milhares de harnesses de subagentes em paralelo. Este caminho contorna os limites de chamadas de ferramentas da API por turno, permitindo escala determinada pela carga de trabalho, e não pelas restrições de protocolo.
   • Spawn por Chamada de Ferramenta JSON (Para pequenas cargas de trabalho): Para 1–5 entradas, o pai usa chamadas de função estruturadas padrão para gerar subagentes diretamente.
3. Capacidades do Subagente: Cada subagente gerado é um harness completo idêntico ao pai, equipado com:
   • Ferramentas de sistema de arquivos (read_file, write_file, ls, glob, grep).
   • Capacidades de execução de código.
   • Busca na web.
   • Uma etapa de planejamento antes da execução.
   • A capacidade de gerar harnesses "netos" recursivamente se uma entrada for complexa (limitado por um limite de profundidade configurável, padrão 3).
4. Isolamento e Agregação: Os subagentes operam em espaços de trabalho isolados, sem memória compartilhada ou comunicação entre pares. Eles escrevem resultados estruturados em JSON para um arquivo de saída compartilhado, que o script pai agrega em uma resposta final.

Configuração Experimental

A avaliação foi conduzida no Oolong-Synthetic, um benchmark projetado para testar o raciocínio de contexto longo (agregando informações através de milhões de tokens em vez de apenas recuperar um único trecho).

• Dataset: 199 instâncias amostradas aleatoriamente e estratificadas em 13 buckets de comprimento de contexto (1K a 4M de tokens).
• Controle de Backbone: Para isolar o impacto do harness, o modelo de base (backbone) foi mantido fixo em GPT-5 para a comparação primária, correspondendo à linha de base Codex publicada. Uma configuração secundária utilizou o Claude Sonnet 4.5.
• Linhas de Base (Baselines):
  • Contexto total (documento inteiro enviado ao modelo).
  • Configuração RLM (chamadas de modelo recursivas, sem ferramentas).
  • Linha de base do agente de codificação Codex (heurísticas de regex, sem recuperador).

Principais Contribuições

1. Definição de Recursão de Harness: O artigo nomeia e define o padrão de recursar sobre um harness de agente completo (com ferramentas e execução de código) em vez de uma chamada de modelo. Posiciona isso como o complemento natural aos RLMs, estendendo o eixo de recursão para incluir o acesso a ferramentas.
2. Avaliação Controlada: O estudo fornece uma comparação de benchmark controlada onde o modelo de base é fixo. Isso garante que os ganhos de desempenho sejam atribuíveis à arquitetura do harness, e não a melhorias no modelo.
3. Validação Empírica: O artigo reporta resultados através de tipos de resposta e comprimentos de contexto, demonstrando que o padrão se alinha com sistemas de produção como os fluxos de trabalho dinâmicos da Anthropic, que utilizam processos de geração semelhantes baseados em código.

Resultados

Usando o GPT-5 como backbone, o RAH superou significativamente os resultados anteriores mais fortes:

• Desempenho Geral: O RAH melhorou o Score Oolong de 71,75% (linha de base Codex) para 81,36%. Este ganho é atribuído inteiramente ao harness, uma vez que o modelo permaneceu constante.
• Comparação com RLM: O RAH superou a linha de base RLM (64,38%), demonstrando que o acesso a ferramentas e a navegação no sistema de arquivos complementam a invocação recursiva de LLM.
• Escalabilidade: Com um backbone mais forte (Claude Sonnet 4.5), o mesmo design atingiu 89,77%, sugerindo que a recursão de harness se potencializa com a qualidade do modelo.
• Comprimento de Contexto: Os ganhos foram consistentes em todos os buckets de comprimento de contexto, incluindo o bucket de 4M de tokens.
• Tipos de Resposta: Tipos semânticos (USER, COMPARISON, LABEL) alcançaram pontuações acima de 86%. O desempenho numérico foi menor (69,33%) devido à penalidade cumulativa da função de pontuação para erros de diferença de um (off-by-one), não necessariamente uma falha de raciocínio.

Significância e Alegações

O artigo afirma que os Harnesses de Agentes Recursivos representam uma evolução crítica no raciocínio de contexto longo. Ao tratar o harness de agente completo como a unidade recursiva, o sistema supera os pontos cegos tanto dos agentes de codificação (que pulam o raciocência de LLM para ganhar escala) quanto dos RLMs (que carecem de ferramentas).

Os autores enfatizam que isto não é a invenção de novas primitivas (execução de código e geração de subagentes são conceitos estabelecidos), mas sim a nomeação e avaliação de um padrão específico que já está emergindo em sistemas de produção. A significância reside em demonstrar que, para tarefas que exigem raciocínio por entrada em corpora massivos, a unidade recursiva deve ser atualizada de uma "chamada de modelo sem ferramentas" para um "harness completo com ferramentas". Esta abordagem permite agregação determinística, processamento paralelo de milhares de entradas e a aplicação de raciocínio complexo a pontos de dados individuais dentro de um contexto que seria incontrolável para um único agente.

O artigo mantém-se modesto quanto ao seu escopo, observando limitações como a restrição ao Oolong-Synthetic, a falta de estudos de ablação sobre escolhas de design específicas (ex: profundidade de recursão) e os perfis de custo/latência não instrumentados para a configuração do GPT-5. Ele enquadra a contribuição como a identificação e medição de um padrão que faz a ponte entre a recursão de modelo e os fluxos de trabalho de agentes aumentados por ferramentas.