Resumo Técnico: Efeitos de Scaffold no GAIA

Declaração do Problema

As pontuações de capacidade de agentes publicadas frequentemente confundem a habilidade intrínseca de um modelo com o desempenho possibilitado pelo seu "scaffold" (o loop do agente, a orquestração de ferramentas e a estratégia de prompting). Embora o "gap de elicitação" — a diferença entre o que um modelo pode fazer e o que seu scaffold permite que ele faça — seja reconhecido na literatura (ex: o framework de horizonte temporal da METR), sua magnitude não foi rigorosamente caracterizada sob condições controladas em uma linha de frente de modelos. Este estudo aborda a falta de comparação controlada para determinar o quanto a escolha do scaffold altera a precisão medida, se essa sensibilidade escala com a capacidade do modelo e como ela interage com a dificuldade da tarefa.

Metodologia

O estudo executa uma comparação controlada pré-registrada usando o benchmark GAIA (níveis de validação 1 e 2), que exige multimodalidade, navegação na web, leitura de arquivos e raciocínio de múltiplos passos.

• Design Experimental: Um design fatorial $3 \times 5$ testando três scaffolds em cinco modelos.
  • Scaffolds:
    1. S1 (ReAct): O padrão de loop alternado razão-ação de agente único (baseline).
    2. S2 (Planner-Actor-Rater / PAR): Um design multi-agente onde um Planejador decompõe tarefas, um Ator executa ferramentas e um Avaliador revisa o progresso.
    3. S3 (Planner-then-Executor): Uma abordagem de duas fases onde um modelo gera um plano escrito sem ferramentas, seguido por uma fase de execução separada.
  • Modelos: Cinco modelos de três provedores:
    • Anthropic: Claude Opus 4.7, Sonnet 4.6, Haiku 4.5.
    • Google: Gemini 3.1 Pro Preview.
    • OpenAI: GPT-5.5.
  • Condições: As tarefas e condições foram mantidas fixas. Cada célula foi executada com três tentativas por questão.
• Implementação: As avaliações foram conduzidas usando o Inspect AI. Um patch local foi aplicado ao provedor Google para permitir o uso simultâneo de busca nativa e ferramentas de função.
• Análise: O estudo emprega intervalos de confiança de bootstrap por célula (95%), regressão logística de efeitos mistos para testar interações scaffold-modelo e análise de custo-por-acerto. Três fatias de dados foram analisadas:
  1. Primária: Todas as unidades de tentativa (erros contados como incorretos).
  2. Robusta: Exclui unidades sinalizadas por um erro de serialização do lado do provedor que afeta modelos Anthropic.
  3. Interseção: Retém apenas IDs de amostra onde cada célula (modelo, scaffold) teve pelo menos uma conclusão limpa.

Contribuições Principais

1. Isolamento dos Efeitos de Scaffold: Uma comparação controlada isolando o impacto da escolha do scaffold na precisão do GAIA, mantendo modelo e tarefa fixos.
2. Quantificação do Impacto de Elicitação: Alegações estatísticas sobre a magnitude do gap de elicitação, indo além de estimativas pontuais para incluir intervalos de confiança e efeitos de interação.
3. Reprodutibilidade: Liberação pública de código, arquivos de configuração, logs por tentativa e o snapshot pré-registrado de IDs de amostra.

Resultados

1. Magnitude dos Gaps de Scaffold (H1 Suportada)

A escolha do scaffold, por si só, move a precisão medida em até 28 pontos percentuais dentro de um único modelo (Opus, Nível 2, fatia robusta). A hipótese pré-registrada de que a variação de scaffold produz um gap de pelo menos 10 pontos para pelo menos um modelo é suportada, particularmente para Haiku em todas as fatias e para Opus/Sonnet no Nível 2 sob a fatia robusta.

2. Sensibilidade de Scaffold e Capacidade do Modelo (H2 Rejeitada em Direção)

A hipótese de que modelos mais capazes seriam menos sensíveis ao scaffold é rejeitada.

• Achado Estatístico: Um modelo de efeitos mistos confirma que os efeitos de scaffold variam significativamente por modelo ($p < 0,0001$).
• Achado Direcional: Contrariamente à previsão, o modelo mais capaz da Anthropic (Opus) ganha mais com scaffolds estruturados (S2/S3) no nível mais difícil (Nível 2), mostrando o maior gap (0,28). A afirmação de "escala de tier" (que os gaps diminuem conforme os modelos melhoram) mantém-se apenas para o Nível 1 sob a fatia robusta, mas falha no Nível 2.

3. Vantagem Multi-Agente (H3 Condicionalmente Suportada)

A hipótese de que scaffolds multi-agentes (S2) superam o ReAct (S1) no Nível 2, mas não no Nível 1, é condicionalmente suportada.

• Família vs. Tier: A vantagem é observada dentro da família Anthropic (Haiku, Sonce, Opus) no Nível 2, com melhorias estatisticamente significativas.
• Cross-Provider: A vantagem não é observada para modelos de diferentes provedores (Gemini, GPT-5.5), onde os gaps são indistinguíveis de zero. Isso sugere que a família do modelo, e não o tier de capacidade, é a variável condicionante.

4. Planner-Executor em Tarefas de Arquivo (H4 Falsificada)

A hipótese de que o Planner-then-Executor (S3) supera em tarefas de leitura de arquivos é falsificada.

• Apenas uma célula (Opus, Nível 1) mostrou uma diferença de diferenças de suporte sob a fatia primária, e isso desapareceu sob a fatia robusta.
• O resultado é limitado por efeitos de "piso" (a má manipulação de documentos do Haiku) e efeitos de "teto" (Gemini/GPT-5 resolvendo tarefas de arquivo de forma reativa a 100%).

5. Assinaturas Comportamentais e Custo

• Eficiência: Scaffolds estruturados (S2, S3) fazem significativamente menos chamadas de ferramenta e emitem menos tokens do que o ReAct (S1).
• Recuperação: No Nível 2, scaffolds estruturados recuperam-se de erros de trajetória média com mais frequência do que o ReAct, apesar de fazerem menos chamadas.
• Custo: Gemini com S3 é a célula mais barata em ambos os níveis e a mais precisa no Nível 2. A família Anthropic exibe uma dispersão de custo-por-acerto mais ampla no Nível 2, indicando que a escolha do scaffold é uma decisão de orçamento significativa para esses modelos.

Significância e Alegações

O artigo conclui que números de capacidade de scaffold único são estimativas condicionais ao scaffold, não propriedades intrínsecas do modelo.

• O Gap de Elicitação é Grande e Persistente: O gap é mensurável sob condições controladas e não é garantido que diminua conforme os modelos melhoram; de fato, pode crescer para modelos capazes em tarefas difíceis.
• Problemas de Comparabilidade: Comparar dois modelos avaliados sob scaffolds diferentes é "próximo de ininterpretável" como uma comparação de modelos, pois a diferença pode ser inteiramente atribuível ao ajuste do loop do agente.
• Implicações de Aquisição: Para avaliadores com orçamentos fixos, escolher um scaffold ruim resulta em medir menos capacidade enquanto se paga mais por unidade de capacidade medida.
• Mudança Metodológica: O estudo argumenta que as avaliações de capacidade devem ir além de estimativas pontuais de scaffold único para considerar a interação entre modelo, scaffold e dificuldade da tarefa.

Os autores mantêm-se modestos quanto ao escopo, observando que a vantagem multi-agente é específica da família Anthropic e que a hipótese de leitura de arquivos requer um conjunto de tarefas maior e modelos posicionados entre o piso e o teto para um re-teste justo. O estudo não alega ter resolvido o problema da elicitação, mas fornece a primeira quantificação controlada de sua magnitude em um benchmark de assistente geral.