Resumo Técnico: Harnesses de Agentes de Baixo Custo para Raciocínio Abstrato e Generalização no ARC-AGI-1

Declaração do Problema

O artigo aborda o alto custo e a intensidade computacional associados ao alcance de um desempenho forte no Abstraction and Reasoning Corpus (ARC-AGI-1). As abordagens de estado da arte atuais geralmente se enquadram em dois regimes:

1. Computação de Tempo de Teste Pesada: Uso de modelos de linguagem de fronteira (LLMs) com busca evolutiva extensiva, amostragem exaustiva ou raciocínio de cadeia de pensamento (chain-of-thought) estendido, muitas vezes custando de dezenas a centenas de dólares por tarefa.
2. Treinamento Específico para o Benchmark: Ajuste fino (fine-tuning) de modelos pequenos ou treinamento do zero diretamente nos dados do ARC, frequentemente combinado com aumento agressivo de tempo de teste.

Os autores investigam um terceiro regime, pouco explorado: alcançar ganhos de desempenho significativos no ARC-AGI-1 usando um modelo de pesos abertos em modo não-pensante (DeepSeek V3.2) com nenhum ajuste fino específico para o benchmark e um orçamento rigoroso (menos de US$ 1 por tarefa). A hipótese central é que a lacuna entre chamadas de LLM de um único passo baratas (~16% de precisão) e sistemas de alto desempenho (≥50%) não é apenas uma função da capacidade ou escala do modelo, mas pode ser recuperada através de engenharia arquitetônica específica.

Metodologia

O estudo avalia quatro arquiteturas no conjunto de avaliação público de 400 tarefas do ARC-AGI-1, todas rodando no mesmo modelo (DeepSeek V3.2) com protocolos idênticos de renderização de grade e pontuação.

1. Baselines (Linhas de Base)

• Baseline de Um Único Passo (One-Shot): Uma única chamada de LLM sem andaime (scaffolding) de raciocínio, retornando uma saída JSON estruturada.
• Baseline de Cadeia de Pensamento Estruturada (CoT): Uma única chamada exigindo que o modelo produza um campo de raciocínio em linguagem natural antes da grade, forçando a deliberação externalizada.

2. O Pipeline Explorador-Definidor (Explorer-Definer)

Esta arquitetura decompõe a tarefa em duas fases sequenciais mediadas por artefatos de linguagem natural comprimidos:

• Fase 1 (Exploração Paralela): Uma frota de $N$ agentes PatternExplorer analisa pares de treinamento de forma independente. Cada agente usa uma ferramenta de think privada para deliberação interna e uma ferramenta note_pattern para registrar observações. Suas saídas são comprimidas em um resumo denso.
• Fface 2 (Definição de Transformação): Um agente TransformationDefiner recebe os pares de treinamento e os resumos de exploração comprimidos. Ele usa uma ferramenta think e gera código Python executável para implementar a transformação.
• Seleção e Refinamento: Os candidatos são classificados pela precisão de correspondência exata nos pares de treinamento. Um mecanismo de dedup-by-test-prediction funde candidatos que produzem saídas de teste idênticas. Se um candidato passa em ≥50% dos pares de treinamento, mas falha em outros, o definidor é invocado novamente com feedback de falha estruturado para refinar o código.

3. O Orquestrador Reflexivo (Reflective Orchestrator)

Motivado pela descoberta de que o pipeline é "limitado pela geração" (a precisão é limitada pela diversidade das transformações candidatas, não pelo mecanismo de seleção), o Orquestrador estende o definidor do Pipeline com capacidades adaptativas:

• Reexploração de Meio de Ciclo: Se a hipótese de transformação atual falhar significativamente nos pares de treinamento, o Orquestrador pode gerar uma frota focada de $K=2$ novos agentes PatternExplorer.
• Orientação de Viés Negativo: Esses novos exploradores são condicionados a um resumo estruturado de "becos sem saída" e famílias de regras descartadas, direcionando-os para regiões não examinadas do espaço de transformação.
• Terminação: O loop encerra ao atingir 100% de precisão no treinamento, uma chamada done mediada pelo agente ou ao atingir fusíveis de segurança (iterações máximas, erros consecutivos ou limites de geração).

Principais Contribuições

1. Nova Fronteira Custo-Precisão: O artigo introduz duas arquiteturas de agentes operando na região de sub-US$ 1 por tarefa:
   • Pipeline Explorador-Definidor: Alcança 57,50% de pass@2 a US$ 0,25/tarefa.
   • Orquestrador Reflexivo: Alcança 67,25% de pass@2 a US$ 0,62/tarefa.
   • Estes representam aumentos de ~42 e ~52 pontos percentuais, respectivamente, sobre o baseline de um único passo, sem treinamento específico para o benchmark.
2. Metodologia Diagnóstico-Depois-Teste: Os autores estabelecem um diagnóstico falsificável: o pipeline é limitado pela geração, não pela seleção. A análise mostra que a seleção de pares de treinamento captura ~95% do teto alcançável de candidatos. Isso prevê que ganhos futuros exigem uma geração de candidatos mais ampla, em vez de um melhor ranking. O Orquestrador é explicitamente desenhado como um teste arquitetônico desta previsão, confirmando-a via um aumento quase idêntico tanto no pass@2 ingênuo quanto no pass@1 não enviesado.
3. Robustez e Análise de Ablação:
   • Contagem de Exploradores ($N$): Identificada como a alavanca dominante de custo-precisão; a precisão satura conforme $N$ aumenta, enquanto a amostragem do definidor ($M$) mostra retornos decrescentes.
   • Ferramenta think: Remover o scratchpad de pensamento privado do definidor reduz o pass@2 em 5,75 pontos percentuais, confirmando seu papel crítico na deliberação.
   • Refinamento: Desativar o refinamento por feedback de treinamento resulta em uma queda negligível (-0,75 pp), sugerindo que a camada de seleção absorve a maior parte do benefício.
   • Validação Cross-Model: A trajetória de aumento mantém-se no Qwen3-235B, indicando que a arquitetura do harness, e não o modelo específico, impulsiona os ganhos.
4. Disciplina Metodológica: O artigo defende a relatoria de custo normalizado por token, definições explícitas de pass@k e intervalos de confiança bootstrap para tornar as reivindicações arquitetônicas auditáveis.

Resultados

• Desempenho: O Orquestrador Reflexivo alcança 67,25% de pass@2 no conjunto público de 400 tarefas. Isso é um aumento de +9,75 pontos percentuais sobre o Pipeline (57,50%) e um aumento de +51,75 pontos sobre o baseline de um único passo (15,50%).
• Eficiência de Custo: O Orquestrador opera a US$ 0,62 por tarefa, uma fração do custo dos regimes de busca de modelos de fronteira (frequentemente US$ 2–400/tarefa).
• Significância Estatística: Todas as transições arquitetônicas (Baseline → CoT → Pipeline → Orquestrador) mostram aumentos estatisticamente significativos (o IC de 95% exclui zero) via análise bootstrap pareada.
• Insights Comportamentais: A análise de traço revela que ~75% das soluções únicas do Orquestrador (onde o Pipeline falhou) utilizaram o mecanismo de reexploração adaptativa (spawn), validando a hipótesagem de que falhas de "transformação errada" são o modo de erro residual dominante.

Significância e Alegações

O artigo alega que uma fração substancial do desempenho do ARC-AGI-1 é acessível através da engenharia de harness de agentes sozinha, sem exigir treinamento especializado ou orçamentos massivos de computação.

• Alavancas Arquitetônicas: O trabalho demonstra que a lacuna entre o prompting simples e o alto desempenho pode ser preenchida por três alavancas arquitetônicas distintas:
  1. Deliberação dentro da chamada (CoT estruturado).
  2. Decomposição entre chamadas (separação da descoberta de padrões da síntese de programas).
  3. Reexploração adaptativa (permitindo que a síntese dispare uma nova exploração após a falha).
• Geração vs. Seleção: O estudo fornece evidência empírica de que, para esta classe de problemas, a precisão é limitada pela diversidade dos candidatos gerados (exploração) e não pela qualidade da seleção.
• Modéstia: Os autores declaram explicitamente que não reivindicam um novo estado da arte (SOTA) para o leaderboard oficial, observando que seus resultados são no conjunto público de 400 tarefas, e não no holdout semi-privado. No entanto, argumentam que sua abordagem ocupa uma região esparsa e valiosa no plano custo-precisão, provando que o alto desempenho não é domínio exclusivo de sistemas caros e especializados.