FinSheet-Bench: From Simple Lookups to Complex Reasoning, Where LLMs Break on Financial Spreadsheets

O artigo apresenta o FinSheet-Bench, um benchmark de dados financeiros sintéticos que demonstra que os atuais Grandes Modelos de Linguagem (LLMs) ainda não atingem a precisão necessária para uso não supervisionado em aplicações financeiras profissionais devido a erros significativos em spreadsheets complexos, sugerindo que soluções confiáveis exigirão abordagens arquitetônicas que separem a compreensão de documentos da computação determinística.

O essencial

Imagine que você é um detetive financeiro. Sua missão é analisar uma pilha gigantesca de planilhas de Excel, cheias de números, nomes de empresas e fundos de investimento, para responder a perguntas como: "Qual foi o lucro total deste fundo?" ou "Quais empresas ainda não foram vendidas?".

No passado, apenas humanos conseguiam fazer isso com cuidado. Mas, recentemente, surgiram os LLMs (Modelos de Linguagem de Grande Porte), que são como "cérebros digitais" superinteligentes capazes de ler e entender textos incrivelmente bem. A grande pergunta era: Esses cérebros digitais conseguem ler planilhas financeiras complexas sem errar?

O artigo "FinSheet-Bench" é o resultado de um teste rigoroso para responder a essa pergunta. Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Tradutor" Perdeu a Forma

Os pesquisadores criaram um banco de dados chamado FinSheet-Bench. Eles pegaram a estrutura de planilhas reais de fundos de investimento (que são confusas, cheias de células mescladas, títulos estranhos e várias abas) e criaram versões sintéticas (fakes, mas com a mesma "arquitetura" real) para testar os modelos.

A analogia do "Livro de Receitas Desmontado":
Imagine que você tem um livro de receitas de um chef de cozinha famoso. O livro é organizado: ingredientes estão em uma coluna, medidas em outra, e o passo a passo em linhas claras.
Agora, imagine que alguém rasgou todas as páginas, misturou os pedaços e escreveu tudo em uma única lista de texto corrido, sem negrito, sem linhas de separação e sem dizer onde começa a receita de bolo e onde termina a de sopa.
É assim que os modelos de IA "enxergam" as planilhas hoje. O Excel é visual (tem cores, bordas, células), mas para o computador, vira apenas um monte de texto separado por vírgulas. O modelo perde as pistas visuais que um humano usaria para não se perder.

2. O Teste: Quem é o Melhor Aluno?

Os pesquisadores testaram 10 modelos diferentes (da OpenAI, Google e Anthropic), incluindo os mais novos e "pensantes" (como o GPT-5.2 e o Gemini 3.1 Pro). Eles fizeram perguntas de três níveis de dificuldade:

• Fácil: "Quantos fundos existem?" (Como contar quantos alunos têm uma camisa vermelha).
• Médio: "Liste as empresas do fundo X." (Como fazer uma lista de compras).
• Difícil: "Calcule a média de dívidas por empresa, excluindo as que não foram vendidas." (Como fazer uma conta de matemática complexa enquanto lê um livro).

3. Os Resultados: Inteligentes, mas Não Perfeitos

Aqui está a grande descoberta, que é um pouco decepcionante para quem espera automatizar tudo amanhã:

• Nenhum modelo é "à prova de falhas" para uso profissional.
  O melhor modelo (Gemini 3.1 Pro) acertou 82,4% das perguntas.

  • Tradução: Se você tiver 100 perguntas, ele vai errar cerca de 18. Em finanças, onde um erro pode custar milhões, errar 1 em cada 6 vezes é inaceitável para trabalhar sozinho. É como ter um assistente que acerta a maioria das contas, mas às vezes esquece de somar um zero.

• O "Efeito Montanha-Russa":
  Nos testes fáceis (apenas procurar um número), os modelos acertam quase tudo (perto de 90%). Mas, assim que a tarefa exige cálculo, soma, média ou ordenação de muitos dados, a performance cai drasticamente.

  • Analogia: É como um aluno que decora perfeitamente a tabela periódica (memória), mas quando você pede para ele resolver uma equação química complexa usando esses dados, ele trava e começa a inventar números.

• O Tamanho Importa:
  Em planilhas gigantes (com 152 empresas), a precisão caiu para menos de 50% em alguns casos. O modelo se perde no "mar de dados".

4. Por que eles falham?

O artigo explica que o problema não é apenas "falta de inteligência" do modelo, mas sim como o problema é apresentado:

1. Perda de Estrutura: O modelo não vê a "grade" do Excel. Ele vê apenas texto. Para ele, é difícil entender que o número na linha 50 pertence à coluna "Lucro" e não à coluna "Data".
2. Matemática vs. Texto: Os LLMs são mestres em linguagem, mas não são calculadoras. Eles tentam "adivinhar" o próximo número baseado em padrões de texto, em vez de fazer a conta matemática exata.

5. A Solução Proposta: Não confie apenas no "Cérebro"

Os autores sugerem que a solução não é esperar por um modelo ainda mais inteligente, mas mudar a arquitetura (o método de trabalho).

A Analogia do "Escritório Ideal":
Em vez de pedir para um único gênio (o LLM) ler a planilha, encontrar os dados, fazer as contas e escrever o relatório (tudo de uma vez), o ideal é dividir o trabalho:

1. O Tradutor (IA): Usa a IA apenas para "ler" a planilha e extrair os dados brutos para uma tabela limpa (como transformar o livro rasgado em uma lista organizada). A IA é ótima nisso.
2. O Calculista (Código): Passa essa lista limpa para um programa de computador (Python, Excel) que faz as somas, médias e cálculos. O computador nunca erra uma conta matemática simples.
3. O Chefe (Humano): O humano revisa o resultado final.

Conclusão

O papel nos diz: Os modelos de IA estão ficando muito bons, mas ainda não estão prontos para trabalhar sozinhos em finanças. Eles são como estagiários brilhantes que precisam de supervisão constante. Se você tentar usá-los sem revisão humana, vai perder dinheiro.

O futuro não é um robô que faz tudo sozinho, mas uma equipe onde a IA faz a parte chata de "encontrar os dados" e o computador faz a parte precisa de "fazer as contas", deixando o humano focado na decisão final.

Resumo técnico

1. Problema e Contexto

O artigo aborda uma lacuna crítica na aplicação de Modelos de Linguagem de Grande Escala (LLMs) no setor financeiro: a incapacidade de extrair e raciocinar com precisão sobre dados tabulares estruturados em planilhas financeiras complexas.

• O Desafio: Embora os LLMs sejam eficazes em tarefas baseadas em texto (como análise de contratos e resumos), a diligência devida em investimentos alternativos (Private Equity, Venture Capital) depende fortemente de planilhas Excel não padronizadas.
• Complexidade: Essas planilhas possuem estruturas multi-folha, células mescladas, cabeçalhos hierárquicos, fórmulas embutidas e convenções de formatação visual que carregam significado semântico.
• Tolerância a Erros: O setor financeiro exige uma precisão extremamente alta (aproximadamente 97%+), pois erros numéricos podem levar a decisões de investimento catastróficas.
• Falta de Dados: A ausência de conjuntos de dados públicos e reais (devido à confidencialidade das salas de dados de Private Equity) impediu o desenvolvimento de benchmarks padronizados para avaliar sistemas de extração.

2. Metodologia: O FinSheet-Bench

Os autores introduzem o FinSheet-Bench, um benchmark sintético projetado para simular dados reais de portfólios de fundos de Private Equity.

• Construção do Dataset:

  • Baseado em 8 planilhas reais enviadas por General Partners (GPs) a Family Offices.
  • Geração Sintética: Os valores das células foram totalmente regenerados (não são dados anonimizados, mas sintéticos) usando transformações de escala e perturbação para preservar a estrutura sem revelar dados reais.
  • Variações: Foram criadas 24 versões de arquivos (8 originais "Versão A", mais 8 "Versão B" e 8 "Versão C" com modificações estruturais como remoção de colunas, divisão de células e alteração de separadores).
  • Escala: Os arquivos variam de ~30 a 152 empresas e de 3 a 9 fundos.

• Formato de Entrada:

  • As planilhas foram convertidas para texto serializado (CSV) para consumo do LLM. Isso reflete o uso industrial atual (pipelines RAG), mas remove informações visuais (cores, bordas, células mescladas), representando um desafio adicional de perda de estrutura 2D.

• Configuração Experimental:

  • Modelos Avaliados: 10 configurações de modelos de três provedores principais: OpenAI (GPT-3.5 a GPT-5.2), Google (Gemini 2.0 a 3.1 Pro) e Anthropic (Claude Opus 4.6).
  • Tarefas: 16 categorias de perguntas variando de "Lookup Simples" (busca de valor) a "Agregação Complexa" (mediana, percentis, cálculos multi-etapa).
  • Protocolo de Avaliação: Um sistema de verificação em três níveis (Tier 1: correspondência exata; Tier 2: correspondência fuzzy; Tier 3: arbitragem por outro LLM) para avaliar as respostas de texto livre.

3. Principais Resultados

• Desempenho Geral:

  • Nenhum modelo alcançou uma taxa de erro baixa o suficiente para uso não supervisionado em produção.
  • O melhor modelo, Gemini 3.1 Pro, atingiu 82,4% de precisão global (aproximadamente 1 erro a cada 6 perguntas).
  • Seguem-se o GPT-5.2 com raciocínio (80,4%) e o Claude Opus 4.6 com "thinking" (80,2%).
  • Modelos mais antigos ou sem recursos de raciocínio (como GPT-3.5-Turbo) tiveram desempenho muito inferior (24,8% de precisão efetiva, limitados também pelo contexto de 16K tokens).

• Degradação por Complexidade:

  • Existe uma queda acentuada na precisão conforme a complexidade da tarefa aumenta:
    • Lookup Simples: ~89-94% de precisão.
    • Agregação Complexa (ex: mediana, ordenação): ~20-33% de precisão.
  • A tarefa de "Contagem" (ex: quantas empresas por fundo) foi surpreendentemente difícil (41,7% em média), indicando falhas na detecção de limites de fundos no texto serializado.

• Impacto do Tamanho do Arquivo:

  • A precisão degrada-se substancialmente em planilhas maiores e mais complexas. O arquivo mais difícil (152 empresas, 8 fundos) resultou em uma precisão média de apenas 48,6% em todos os modelos, comparado a 86,2% no arquivo mais fácil.

• Raciocínio e Tokens:

  • A ativação de modos de "raciocínio" (Chain-of-Thought, Thinking) trouxe ganhos significativos de precisão (ex: +22,8 pontos percentuais para o GPT-5.2), mas aumentou drasticamente o consumo de tokens de saída (até 11x) e o tempo de resposta.

4. Contribuições Chave

1. FinSheet-Bench: O primeiro benchmark público focado especificamente em planilhas financeiras de Private Equity, preenchendo uma lacuna crítica de dados sintéticos baseados em estruturas reais.
2. Diagnóstico de Limitações: Evidência empírica de que os LLMs atuais, mesmo os mais avançados, falham em raciocínio numérico multi-etapa sobre dados tabulares complexos, independentemente do provedor.
3. Análise de Serialização: Demonstração de que a conversão de Excel para texto (CSV) remove pistas visuais críticas, contribuindo para falhas de identificação de linhas e colunas.
4. Proposta Arquitetônica: Sugestão de que a solução não reside apenas em modelos mais potentes, mas em arquiteturas híbridas que separam a compreensão do documento (extração de valores individuais) da computação determinística (cálculos, ordenação, agregação).

5. Significado e Conclusão

O estudo conclui que, embora os LLMs tenham evoluído rapidamente (de ~33% de precisão há dois anos para ~82% hoje), eles ainda não estão prontos para uso autônomo em fluxos de trabalho financeiros críticos devido à alta taxa de erro em tarefas complexas.

A implicação prática é que a extração confiável de planilhas financeiras exigirá uma mudança de paradigma: em vez de confiar em um único modelo para "ler e calcular", os sistemas devem adotar pipelines em etapas onde o LLM é usado para identificar a estrutura e extrair valores brutos (onde é altamente preciso), e cálculos matemáticos e lógicos são delegados a motores determinísticos (código Python, SQL). Isso reduziria o risco de alucinações numéricas e tornaria o processo auditável e seguro para a indústria de investimentos alternativos.