Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows

Título: FINCH: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows

1. O Problema

Os sistemas de IA de ponta (Frontier AI) estão sendo cada vez mais integrados a ambientes de trabalho corporativos, auxiliando na redação de documentos, análise de dados e geração de relatórios. No entanto, o trabalho real em Finanças e Contabilidade (F&A) apresenta desafios únicos que os benchmarks atuais não capturam adequadamente:

• Complexidade Contextual: O trabalho envolve artefatos heterogêneos e interconectados (planilhas complexas, PDFs, imagens, emails), muitas vezes com versões colaborativas e edições contínuas.
• "Bagunça" (Messiness): As planilhas reais contêm estruturas irregulares, formatação inconsistente, fórmulas errôneas, referências cruzadas complexas e artefatos multimodais (gráficos, tabelas dinâmicas).
• Horizonte Longo (Long-Horizon): Os fluxos de trabalho exigem raciocínio multi-etapa que intercala entrada de dados, estruturação, cálculo, modelagem, validação e relatórios, muitas vezes envolvendo dezenas de chamadas de ferramentas.
• Falha dos Benchmarks Atuais: A maioria dos benchmarks existentes foca em tarefas isoladas, tabelas limpas ou QA (pergunta e resposta) simples, não refletindo a natureza composicional, colaborativa e "suja" do trabalho corporativo real.

A questão central é: Os agentes de IA atuais conseguem realmente lidar com fluxos de trabalho complexos, de longo prazo e baseados em conhecimento que os profissionais enfrentam diariamente?

2. Metodologia e Construção do Dataset

O paper introduz o FINCH (FinWorkBench), um benchmark de nível empresarial derivado de ambientes corporativos autênticos.

Fontes de Dados

O dataset é composto por artefatos reais de:

• Corpus de Emails Enron: 15.000 arquivos de planilhas e 500.000 emails de executivos e funcionários.
• EUSES e Instituições Financeiras: Planilhas de diversas instituições financeiras, relatórios do Banco Mundial, governos (Canadá, Reino Unido) e empresas (Adidas, etc.), cobrindo o período de 2000 a 2025.

Processo de Construção de Fluxos de Trabalho

Os autores propõem um pipeline inovador que combina mineração assistida por LLM e anotação de especialistas:

1. Mineração de Emails: Identificação de threads de email que descrevem objetivos de negócios e referenciam anexos de planilhas.
2. Derivação de Versões: Análise de históricos de versões de planilhas para inferir fluxos de trabalho implícitos (mudanças de dados, correções de erros, atualizações de premissas).
3. Anotação Humana Rigorosa: Especialistas (com backgrounds em finanças e CS) validam e refinam os fluxos, criando instruções de tarefas, arquivos de entrada e soluções de referência.
   • Esforço: Mais de 700 horas de esforço de especialistas.
   • Escala: 172 fluxos de trabalho compostos, 384 tarefas, 1.710 planilhas (27 milhões de células) e outros artefatos (PDFs, imagens).

Características do Dataset

• Composicionalidade: 78,5% dos fluxos envolvem múltiplas tarefas intercaladas (ex: entrada de dados + busca cruzada + modelagem).
• Multimodalidade: Inclui PDFs, Word, imagens e gráficos dentro das planilhas.
• Complexidade Estrutural: Planilhas com até 91 abas, células mescladas, cabeçalhos aninhados e fórmulas densas.

3. Avaliação

O paper utiliza duas abordagens de avaliação:

1. Avaliação Humana (Padrão Ouro): Especialistas verificam se o fluxo foi concluído satisfatoriamente, focando na fidelidade semântica e estrutural, não apenas em correspondência exata.
2. Avaliação Automatizada (LLM-as-Judge): Um pipeline escalável que compara entradas, saídas do modelo e referências usando diffs estruturados, snapshots compactos e renderização multimodal para julgar completude, correção, evitar edições excessivas e legibilidade.

4. Resultados Experimentais

Foram avaliados sistemas de IA de ponta, incluindo GPT-5.1 Pro, Claude Sonnet/Opus 4.5, Gemini 3 Pro, Grok 4 e Qwen 3 Max.

• Desempenho Geral: Mesmo os agentes mais fortes falham na maioria dos fluxos. O GPT-5.1 Pro, o melhor performer, alcançou apenas 38,4% de taxa de sucesso (pass rate) sob avaliação humana, gastando uma média de 16,8 minutos por fluxo.
• Gargalo de Composição: A taxa de sucesso cai drasticamente à medida que o número de tarefas aumenta. Para fluxos com >2 tarefas, a taxa do GPT-5.1 Pro cai de 44,3% para 23,5%, indicando acúmulo de erros.
• Desafios Específicos:
  • Entrada de Dados/Estruturação: Altamente desafiador devido a layouts irregulares.
  • Tradução: Surpreendentemente ruim em contextos financeiros, onde a estrutura e o layout são críticos.
  • Artefatos Multimodais: A presença de PDFs e imagens reduz ainda mais a taxa de sucesso.
• Agentes de Produto vs. API: Agentes de produto (com interação iterativa e ferramentas nativas) superaram os modelos baseados em API (que geram código em uma única chamada), mas ambos falharam em mais de 50% dos casos.

5. Análise de Erros

A análise qualitativa identificou cinco categorias principais de falhas:

1. Mal-entendido da Tarefa (10%): Falha em capturar contexto implícito dos artefatos corporativos.
2. Erros de Recuperação de Dados (25%): Seleção incorreta de intervalos de células, abas ou arquivos.
3. Erros de Raciocínio de Fórmulas (35%): Falha em reconstruir a lógica de negócios latente nas fórmulas ou derivar novas fórmulas corretas.
4. Erros de Geração de Código (25%): Scripts inválidos ou desalinhados com o layout da planilha.
5. Erros de Renderização (5%): Formatação incorreta ou relatórios que desviam do solicitado.

O paper conclui que o fracasso não é devido à falta de uma habilidade fundamental, mas à combinação de inputs "bagunçados", dependências de longo prazo, conhecimento de domínio e formatos heterogêneos.

6. Contribuições e Significância

• Novo Benchmark Realista: O FINCH é o primeiro benchmark focado em fluxos de trabalho completos de F&A, capturando a complexidade, a multimodalidade e a colaboração do mundo real.
• Método de Construção: O pipeline de derivação de fluxos a partir de emails e históricos de versão oferece uma nova metodologia para criar benchmarks baseados em dados reais.
• Diagnóstico de Limitações: O estudo revela que, apesar dos avanços, a IA atual ainda não é confiável para tarefas críticas de finanças e contabilidade sem supervisão humana, especialmente em cenários de múltiplas etapas.
• Direção Futura: O trabalho sugere que o progresso requer treinamento e avaliação em fluxos de trabalho de longo prazo, computacionalmente intensivos e baseados em artefatos empresariais complexos, em vez de tarefas isoladas.

Conclusão: O FINCH estabelece um novo padrão para avaliar agentes de IA em ambientes corporativos reais, demonstrando que há um "abismo" significativo entre as capacidades atuais dos modelos e as demandas práticas das finanças e contabilidade empresariais.