Resumo Técnico: WorkstreamBench

Declaração do Problema

Acredita-se cada vez mais que agentes de Modelos de Linguagem de Grande Escala (LLM) executem fluxos de trabalho de ponta a ponta, produzindo artefatos completos a partir de instruções de alto nível. No setor financeiro, fluxos de trabalho essenciais, como modelagem, previsão e análise de cenários, são predominantemente conduzidos por meio de planilhas. Embora laboratórios de IA de ponta tenham desenvolvido agentes capazes de construir planilhas do zero, as avaliações existentes falham em avaliar essa capacidade avançada. As avaliações atuais (por exemplo, SpreadsheetBench) concentram-se em tarefas estreitas e atômicas, como edições de célula única, respostas a perguntas sobre dados tabulares ou a geração de uma única fórmula correta. Essas avaliações dependem de verificação por correspondência exata, o que é insuficiente para entregas financeiras profissionais.

Na realidade financeira, uma planilha não é um cálculo isolado, mas um artefato colaborativo revisado por múltiplas partes interessadas (analistas, gerentes, vice-presidentes, clientes). Consequentemente, a qualidade de uma entrega estende-se além da correção numérica para incluir legibilidade, clareza estrutural e flexibilidade para modificação. A comunidade carece de uma avaliação transparente e holística para avaliar agentes na construção de ponta a ponta de planilhas financeiras de nível profissional.

Metodologia

1. Construção da Avaliação (WorkstreamBench)

Os autores curaram um conjunto diversificado de tarefas de planilhas de ponta a ponta a partir de três fontes principais: a Copa Mundial de Modelagem Financeira (FMWC), ModelOff e o currículo de treinamento da Wall Street Prep (WSP). Essas tarefas refletem expectativas reais do local de trabalho, exigindo a construção de pastas de trabalho com múltiplas planilhas.

• Escala: Em comparação com o SpreadsheetBench, as tarefas do WorkstreamBench contêm aproximadamente 33× mais células (média) e 93× mais chamadas de função (mediana).
• Dificuldade e Tipos: As tarefas são anotadas em seis níveis de dificuldade (1–5) e categorizadas por tipo (por exemplo, Modelos de 3 Demonstrações, Valoração DCF, Programação de Dívidas). As tarefas de Nível 2 são viáveis sem profundo conhecimento financeiro, enquanto as tarefas de Nível 4+ exigem assistência de modeladores experientes.

2. Taxonomia de Avaliação

Para capturar a natureza multidimensional da qualidade profissional de planilhas, os autores propõem uma taxonomia composta por três dimensões principais, cada uma decomposta em subdimensões detalhadas:

• Precisão (peso de 50%): Avalia se o agente realiza a tarefa desejada (por exemplo, análise de cenários) e se os cálculos subjacentes são sólidos. As subdimensões incluem Cálculos Finais, Valores Iniciais, Tarefa Concluída e Consistência de Sinal.
• Fórmula (peso de 35%): Avalia a robustez e a interpretabilidade dos cálculos em nível de célula. As subdimensões incluem Legibilidade e Tamanho da Lógica (evitando "mega-fórmulas" monolíticas), Tratamento de Casos Limite (por exemplo, #DIV/0!), Evitar Codificação Rígida, Higiene de Intervalos e Referências Absolutas.
• Formato (peso de 15%): Mede clareza e profissionalismo. As subdimensões incluem Estrutura da Pasta de Trabalho e da Planilha, Notação Numérica (por exemplo, parênteses para negativos), Legibilidade, Padrões de Cor e Bordas e Sombreamento.

3. Coleta e Execução de Agentes

O estudo avalia uma ampla gama de agentes:

• Agentes de GUI: Produtos proprietários como Claude for Excel e ChatGPT for Excel, acessados por meio de um pipeline personalizado do Playwright que automatiza interações com o navegador.
• Agentes de API: Modelos de ponta (por exemplo, Claude Opus, GPT-5, Gemini, Grok, OLMo) integrados a um framework agênico personalizado usando o Protocolo de Contexto do Modelo (MCP) e OpenPyXL para manipulação direta de arquivos.

4. Avaliação LLM como Juiz

Dado que muitos critérios de qualidade (por exemplo, legibilidade da lógica, formatação) não podem ser verificados por correspondência exata de strings, os autores empregam um pipeline de LLM como Juiz.

• Processo: O juiz recebe a rubrica de avaliação, a solução de referência e a saída do agente. Ele emite um veredito estruturado em JSON (Aprovado/Reprovado) com explicações detalhadas para falhas.
• Validação: A confiabilidade do juiz foi validada contra 408 anotações de especialistas (por 2 MBAs e 3 profissionais de finanças, totalizando mais de 700 horas). O juiz alcançou 0,92 de precisão, 0,88 de precisão balanceada e 0,85 de pontuação F1 em comparação com especialistas humanos. Ele detectou com sucesso erros sutis ignorados por verificadores de correspondência exata, como erros de um em intervalos que acidentalmente produziram resultados numéricos corretos, e valores codificados rigidamente que contornaram a lógica da fórmula.

Principais Resultados

• Lacunas de Desempenho: Mesmo os agentes mais fortes ficam aquém dos padrões profissionais de finanças. O agente de melhor desempenho, Claude (Web), alcançou uma pontuação composta de 69,1/100.
• Análise por Dimensão: O Claude (Web) superou todos os outros em Precisão, Fórmula e Formato. No entanto, lacunas significativas permanecem; por exemplo, muitos agentes lutam com Legibilidade da Lógica, frequentemente produzindo fórmulas monolíticas difíceis de auditar.
• Degradação por Dificuldade: O desempenho degrada-se drasticamente à medida que a dificuldade da tarefa aumenta. Embora os agentes se saiam razoavelmente bem em tarefas de Nível 2, as pontuações caem significativamente para tarefas de Nível 4 e 5 (por exemplo, o Claude (Web) cai para 53,4/100 no Nível 4).
• GUI vs. API: Agentes de GUI proprietários (por exemplo, Claude for Excel) geralmente têm desempenho inferior às suas contrapartes baseadas na web (por exemplo, Claude Web), sugerindo que a estrutura agênica e a interface desempenham um papel crítico no desempenho.
• Modos de Falha Comuns:
  • Codificação Rígida: Agentes frequentemente codificam valores rigidamente em vez de usar fórmulas, tornando os modelos ineditáveis.
  • Inconsistências de Formatação: Problemas com cores de fonte, rótulos de unidades e notação numérica (por exemplo, usar sinais de menos em vez de parênteses para negativos).
  • Saídas Incompletas: Em tarefas mais difíceis, os agentes frequentemente deixam planilhas em branco ou falham em construir a estrutura completa de múltiplas planilhas.
  • Erros Estruturais: Falha em usar referências absolutas ou lidar com casos limite como divisão por zero.

Significado e Alegações

O artigo afirma ser uma das primeiras avaliações de agentes LLM em tarefas de planilhas de ponta a ponta em um domínio crítico (finanças). Suas principais contribuições são:

1. WorkstreamBench: Uma avaliação que vai além de tarefas atômicas para avaliar a construção de modelos financeiros completos e com múltiplas planilhas.
2. Taxonomia Holística: Um framework de qualidade que operacionaliza padrões profissionais (Precisão, Fórmula, Formato) essenciais para trabalho financeiro colaborativo e de alto risco, mas anteriormente não medido em avaliações de IA.
3. Pipeline de Avaliação Validado: Um sistema escalável e transparente de LLM como juiz que se alinha estreitamente ao julgamento de especialistas humanos, capaz de avaliar critérios sutis como "Legibilidade da Lógica" que são difíceis de verificar programaticamente.

Os autores concluem que, embora modelos de última geração possam lidar com tarefas financeiras mais simples de ponta a ponta, agentes atuais ainda não são capazes de produzir consistentemente planilhas de qualidade profissional nos níveis de complexidade exigidos por fluxos de trabalho do mundo real. A degradação significativa de desempenho em tarefas mais difíceis e a prevalência de não conformidade com padrões profissionais de formatação e engenharia indicam um espaço substancial para melhoria antes que esses agentes possam ser confiados para modelagem financeira de nível empresarial.