Resumo Técnico: Agents' Last Exam (ALE)

Declaração do Problema

Apesar de sistemas de IA recentes alcançarem resultados de estado da arte em diversos benchmarks (ex: matemática de olimpíada, programação competitiva), esses ganhos não se traduziram em implantação economicamente significativa em domínios profissionais. Os autores argumentam que essa lacuna é primariamente um problema de avaliação: os benchmarks amplamente utilizados carecem de medição de desempenho sustentada em fluxos de trabalho reais e economicamente valiosos. As avaliações existentes frequentemente sacrificam realismo, amplitude ou verificabilidade, baseando-se em ambientes sintéticos, tarefas de curto horizonte ou julgamento humano. Consequentemente, as vitórias em benchmarks acumulam-se mais rapidamente do que a transformação mensurável em setores centrais como finanças, direito, engenharia e saúde.

Metodologia

Design e Taxonomia do Benchmark

O Agents' Last Exam (ALE) é um benchmark projetado para avaliar Agentes Generalistas de Uso de Computador (GCUA) em tarefas de longo horizonte, economicamente valiosas e com resultados verificáveis.

• Fundamentação da Taxonomia: Diferente de benchmarks que selecionam domínios de forma ad hoc, o ALE ancora sua taxonomia no O*NET / SOC 2018 (taxonomia ocupacional federal dos EUA). Ele agrupa ocupações com fluxos de trabalho mediados por software semelhantes em 13 clusters industriais abrangendo 55 subcampos (ex: Estrutura Biomolecular, Geração de Trajetória de Ferramenta CNC, Diagnóstico Clínico).
• Construção de Tarefas: As tarefas não são sintéticas; elas são extraídas de mais de 250 especialistas da indústria que contribuem com projetos que já completaram. O pipeline de construção envolve:
  1. Captação e Submissão de Especialistas: Especialistas fazem o upload de projetos passados via portal web.
  2. Revisão Inicial: Triagem estilo conferência (Revisão Maior/Menor, Aceite, Aceite Forte).
  3. Implementação: Engenheiros convertem especificações em ativos executáveis (containers VM, lógica de avaliação codificada) e realizam testes de execução (dry-runs).
  4. Controle de Qualidade Final: Comitês de especialistas verificam os outputs de referência e os limites de avaliação.
• Escala: O conjunto de dados compreende 1.490 instâncias de tarefas (960 submissões externas, 530 encomendadas). Para evitar contaminação, apenas 150 tarefas (~10%) são públicas, com o restante mantido em um pool privado para avaliação contínua.

Arquitetura do Agente e Ambiente

O ALE visa o Agente Generalista de Uso de Computador (GCUA), definido como um agente que possui capacidade total através de cinco camadas funcionais:

1. Cérebro (Brain): Raciocínio e planejamento de LLM.
2. Olhos (Eyes): Percepção de GUI (screenshots).
3. Corpo (Body): Orquestração e fluxo de controle.
4. Mãos (Hands): Invocação estruturada de ferramentas (APIs, operações de arquivos).
5. Pés (Feet): Substrato de tempo de execução (VMs, Docker).

• Pipeline de Avaliação: As tarefas rodam em máquinas virtuais remotas (Linux/Windows) com um layout de diretório padronizado (input/, software/, output/, reference/).
• Interação: Os agentes interagem via um loop de ação unificado combinando GUI-como-Ferramenta (ações de desktop como clicar, digitar, rolar) e operações de CLI.
• Verificação: A avaliação é determinística e baseada em artefatos. O sistema evita o uso de "LLM-as-judge" a menos que seja inevitável (ex: para estética visual). Em vez disso, utiliza:
  • Correspondência de valor exata/por hash.
  • Verificações numéricas/tabulares estruturadas com tolerâncias.
  • Distância geométrica/espacial (ex: comparação de malha STL).
  • Verificações de estado de mundo comportamental.
  • Probes de sim/não estreitos e ancorados em evidências por vision-LLMs apenas quando necessário.

Níveis de Dificuldade

As tarefas são organizadas em três níveis para acomodar diferentes orçamentos de avaliação:

1. Curto Prazo (Near-Term) (59 tarefas): Fluxos de trabalho que agentes de fronteira atuais podem completar parcialmente.
2. Espectro Total (Full-Spectrum) (55 tarefas): Uma tarefa por subdomínio para ampla cobertura.
3. Último Exame (Last-Exam) (35 tarefas): Os fluxos de trabalho mais difíceis, onde a maioria dos agentes atuais atinge 0% de taxa de aprovação.

Resultados Principais

Visão Geral de Desempenho

Os principais agentes e configurações de backbone atuais estão longe de saturar o ALE.

• Taxa de Aprovação Geral: A taxa média de aprovação total entre as principais configurações de harness e backbone é de 2,6%.
• Melhores Performers: A configuração mais forte (Codex com GPT-5.5) atinge uma taxa de aprovação total de 26,2%. Mesmo esta configuração de topo pontua abaixo de 50% no nível "Near-Term" e abaixo de 10% no nível "Last-Exam".
• Comparação com Benchmarks de CLI: No ALE-CLI (um subconjunto exclusivo de Linux), a mesma configuração de topo (Codex + GPT-5.5) atinge apenas 25,2% de taxa de aprovação total, comparado a 82% no Terminal-Bench, destacando a dificuldade aumentada dos fluxos de trabalho de longo horizonte e múltiplos passos do ALE.

Análise de Falhas

A análise das execuções falhas (especificamente Claude Code + Opus 4.7) revela os gargalos dominantes:

• Compreensão e Abordagem (74%): A maioria das falhas provém de Lacunas de Conhecimento de Domínio (25%) e Estratégias Erradas (30%), em vez de erros de execução. Agentes frequentemente recorrem a scripts ad-hoc em vez de usar softwares especializados do domínio.
• Execução (22%): Inclui erros de formato de saída, bugs de implementação e falhas de GUI.
• Uso de Ferramentas: Agentes subutilizam ferramentas de GUI (34% das tarefas exigem GUI como ferramenta primária), substituindo-as frequentemente por comandos Bash/CLI, o que leva a soluções incompletas.

Impacto do Modelo vs. Harness

• Dominância do Modelo: Variar o modelo de fundação (sob um harness fixo) produz uma dispersão de 18,0 pontos percentuais nas taxas de aprovação.
• Impacto do Harness: Variar o harness (sob um modelo fixo) produz uma dispersão muito mais estreita (5,3–6,0 pontos percentuais).
• Conclusão: A escolha do modelo de fundação responde por aproximadamente 3× a variância de desempenho em comparação à escolha do harness do agente.

Significância e Alegações

O artigo posiciona o ALE não meramente como um leaderboard, mas como um instrumento para fechar a lacuna entre o sucesso em benchmarks e o impacto relevante no PIB.

• Fechando a Lacuna de Avaliação: O ALE é o primeiro benchmark que cobre todos os 55 setores da SOC/O*NET com tarefas autênticas escritas por especialistas, indo além do escopo limitado de benchmarks anteriores (ex: SWE-bench, OSWorld, GDPval).
• Padrão de Verificação: Ao substituir a graduação humana por verificação automatizada determinística e baseada em rubricas, o ALE visa fornecer uma métrica escalável e reproduzível de capacidade profissional.
• Limiar de Prontidão: O nome "Last Exam" (Último Exame) significa uma aspiração dupla:
  1. Limiar de Competência: Passar nestes exames indica prontidão para realizar trabalho sustentado e economicamente valioso em uma profissão.
  2. Fronteira de Dificuldade: O benchmark situa-se na fronteira do que os sistemas atuais conseguem realizar de forma confiável.
• Benchmark Vivo: O ALE é projetado como um benchmark "vivo", onde o pool de tarefas cresce continuamente à medida que novos fluxos de trabalho e indústrias são integrados, garantindo que permaneça uma medida relevante do progresso em direção à adoção industrial real.

Os autores concluem que, embora os agentes de fronteira atualmente superem apenas uma pequena fração dessas tarefas, a saturação do ALE sinalizaria que os sistemas de IA tornaram-se capazes de realizar os fluxos de trabalho profissionais subjacentes em um nível suficiente para a real adoção industrial.