Resumo Técnico: APEX–Accounting

Declaração do Problema

Embora os grandes modelos de linguagem (LLMs) tenham demonstrado proficiência em passar em exames de certificação profissional (ex: CPA, CMA) e melhorar a qualidade geral do trabalho, há uma carência de benchmarks que avaliem sua capacidade de realizar o trabalho real e cotidiano dos contadores. Benchmarks existentes como AuditBench, FinMaster e AccountingBench frequentemente dependem de transações sintéticas, simuladores apenas de texto ou estudos de caso de uma única empresa, o que falha em capturar a natureza repetitiva, procedimental e densa em documentos do fechamento de final de mês e da escrituração contábil. Os autores argumentam que as avaliações atuais não testam suficientemente o "trabalho real" dos contadores, que envolve reconciliar contas, provisionar despesas, lançar transações e produzir relatórios em diversos e complexos contextos de negócios.

Metodologia

Design do Benchmark (APEX–Accounting)

O APEX–Accounting é um benchmark fechado desenvolvido pela Mercor em parceria com a Ramp, composto por 160 tarefas distribuídas em 10 mundos de empresas gerados sinteticamente.

• Construção dos Mundos: Cada mundo representa uma empresa autossuficiente congelada no fechamento do mês, aderindo ao regime de competência (accrual-basis) sob as normas US GAAP. Os mundos foram construídos em quatro estágios: escopo, especificação detalhada (incluindo "registros de armadilhas" para contradições plantadas), derivação de guia de estilo e geração de arquivos. Todos os arquivos (planilhas, PDFs, exportações de softwares contábeis) são inéditos e foram filtrados contra fontes públicas para evitar memorização.
• Categorias de Tarefas: As 160 tarefas são divididas em quatro categorias:
  1. Reconciliação (61 tarefas): Vincular duas fontes, identificar discrepâncias e explicá-las/corrigi-las.
  2. Entrada de Dados (26 tarefas): Lançar transações, lançamentos contábeis e faturas.
  3. Análise de Variação (28 tarefas): Comparar valores reais contra orçamentos ou expectativas.
  4. Cronogramas e Provisões (45 tarefas): Construir cronogramas, calcular provisões e carregar saldos.
• Envolvimento de Especialistas: 42 especialistas em contabilidade (mediana de 11 anos de experiência, 52% vindos de firmas Big Four) elaboraram as tarefas, resolveram-nas para criar as "respostas padrão" (golden responses) e escreveram rubricas binárias baseadas em resultados. Cada tarefa inclui um prompt, arquivos de entrada necessários, uma resposta padrão e uma rubrica com uma média de 13,7 critérios.

Configuração Experimental

• Modelos Avaliados: Nove modelos de fronteira foram testados, incluindo Claude-Fable-5, Muse-Spark-1.1, GPT-5.6-Sol e outros. Cada modelo executou cada tarefa 8 vezes, gerando 11.520 trajetórias.
• Harnesses (Estruturas de Execução): Dois harnesses de agentes foram utilizados:
  • Loop Harness: Uma arquitetura padrão de loop canonical com ferramentas (while-loop-with-tools).
  • Ramp Harness: Um harness especializado construído com a Ramp, apresentando consciência de tentativa de reprocessamento (retry-awareness), listas brancas de ferramentas, validação e delegação de subagentes para espelhar as restrições do mundo real da contabilidade.
• Graduação: Um modelo DeepSeek-v4-Flash, otimizado com um prompt GEPA, serviu como o juiz. Ele foi validado contra o ground truth de especialistas humanos (1.687 critérios), alcançando 97,1% de precisão (F1 = 0,970). O juiz avalia o output final contra os critérios binários da rubrica sem acesso ao log da trajetória intermediária.
• Métricas:
  • Mean Criteria@3: A métrica primária, que faz a média da porcentagem de critérios da rubrica atendidos ao longo de 3 execuções selecionadas aleatoriamente por tarefa.
  • Pass@k / Pass^k: Mede o teto de capacidade (Pass@8: passar pelo menos uma vez em 8 tentativas) e a consistência (Pass^8: passar em todas as 8 tentativas).
  • Ablação de Custo: Experimentos variando o orçamento de tokens de $1 a$50 por tarefa para analisar a relação entre o gasto e o desempenho.

Principais Resultados

Desempenho do Leaderboard

• Melhor Desempenho: O Claude-Fable-5 (Max) alcançou o maior Mean Criteria@3 de 56,4%, seguido pelo Muse-Spark-1.1 (52,6%) e GPT-5.6-Sol (51,5%).
• Lacuna de Consistência: Apesar dos altos escores de Mean Criteria@3, a consistência permanece extremamente baixa. Nenhum modelo alcançou um escore Pass^8 superior a 2,6% (GPT-5.6-Sol). O maior Pass@8 foi de 21,5% (Muse-Spark-1.1), indicando que, embora os modelos possam ocasionalmente resolver uma tarefa, eles não conseguem fazê-lo de forma confiável de ponta a ponta.
• Dificuldade por Categoria: "Schedules & Accruals" (Cronogramas e Provisões) provou ser a categoria mais difícil, com todos os modelos pontuando entre 7 a 21 pontos percentuais abaixo das outras categorias, refletindo sua natureza de múltiplas etapas e dependente de julgamento.

Análise de Custo e Orçamento

• Impacto do Orçamento de Tokens: Aumentar o orçamento de $1 para $50 melhorou significativamente os escores para modelos caros (ex: o Claude-Fable-5 ganhou +43,4 pontos percentuais), enquanto modelos mais baratos (ex: Muse-Spark-1.1) tiveram ganhos mínimos.
• Paradoxo de Simpson: O estudo observou um caso de Paradoxo de Simpson: embora o aumento do orçamento total tenha elevado os escores, dentro de um orçamento fixo, as tarefas onde os modelos gastaram mais tokens correlacionaram-se com escores menores. Isso é atribuído à dificuldade da tarefa: tarefas mais difíceis consomem mais tokens, mas permanecem mais difíceis de resolver.
• Impacto do Harness: A mudança do Loop Harness padrão para o Ramp Harness especializado resultou em um desloco médio insignificante (+1,2 pontos percentuais), sugerindo que a capacidade do modelo é um driver de desempenho mais forte do que a arquitetura específica do agente para essas tarefas.

Análise de Falhas

A análise das trajetórias de baixo escore dos três principais modelos revelou um perfil de falha strikingmente semelhante:

• Predomínio do Raciocínio: Falhas de raciocínio representaram 59–79% de todos os erros anotados.
• Modos de Falha Específicos: As subfalhas mais comuns foram raciocínio não numérico (aplicar lógica falha a dados não numéricos) e erros de manipulação de dados (filtragem, junção ou agregação incorretas).
• Informação vs. Lógica: Os modelos encontraram os arquivos de entrada corretamente (falhas de coleta de informação foram raras). O principal modo de falha foi o mau manejo do raciocínio de múltiplas etapas sobre esses inputs: substituir a lógica de autorização correta, descartar resultados intermediários corretos ou falhar em carregar conclusões até a resposta final.
• Uso de Ferramentas: Nenhuma falha anotada envolveu erros de uso de ferramentas, sugerindo que as arquiteturas de agentes atuais são suficientes para a interação com ferramentas, mas a capacidade de raciocínio subjacente é o gargalo.

Significância e Alegações

O artigo alega que o APEX–Accounting fornece a primeira avaliação rigorosa de modelos de fronteira em fluxos de trabalho contábeis do mundo real, indo além dos exames de certificação para a aplicação prática.

• Limitações Atuais: Os resultados indicam que, embora os modelos de fronteira possam recuperar informações e realizar etapas isoladas, eles ainda não são capazes de fechar os livros de forma supervisionada e confiável. Os baixos escores de Pass^8 (máximo de 2,6%) destacam uma lacuna significativa entre o "teto de capacidade" e a "implantação confiável".
• Direção Futura: Os autores argumentam que o progresso virá menos da melhoria dos harnesses de agentes (que mostraram impacto mínimo) e mais da melhoria dos próprios modelos. Especificamente, eles sugerem a necessidade de treinamento específico para contabilidade para instilar a disciplina necessária para carregar resultados de múltiplas etapas, detectar contradições em documentos e recusar o lançamento de entradas sem evidências suficientes.
• Utilidade do Benchmark: Como um benchmark fechado, o APEX–Accounting permite a avaliação de qualquer modelo de fronteira mediante solicitação, oferecendo uma métrica padronizada para a indústria acompanhar o progresso na automação do trabalho intelectual especializado.