🤖 machine learning

V-FiLLM: Verified Financial LLM Reasoning Benchmark

O artigo apresenta o V-FiLLM, um framework de benchmark escalável que gera tarefas de raciocínio financeiro verificadas a partir de árvores de computação executáveis para avaliar e melhorar a robustez e a precisão dos LLMs ao lidar com dados financeiros complexos e estruturados.

Autores originais: Alicia Larsen, Victoire Laurent, Aulia Kharis Rakhamsari, Lara Turgut, Nino Antulov-Fantulin

Publicado 2026-08-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alicia Larsen, Victoire Laurent, Aulia Kharis Rakhamsari, Lara Turgut, Nino Antulov-Fantulin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a ser um analista financeiro. Você quer que ele olhe para uma planilha bagunçada, encontre os números certos e faça contas para dizer quanto dinheiro uma empresa ganhou. Este é o mundo dos "Large Language Models" (LLMs) — cérebros de computador que são ótimos para escrever histórias e responder perguntas, mas que às vezes tropeçam quando precisam fazer matemática precisa ou ler tabelas complexas. Pense nesses modelos como um aluno brilhante que consegue escrever um belo ensaio sobre dinheiro, mas pode acabar somando os números errado se você pedir para ele calcular uma margem de lucro. A grande questão que os pesquisadores estão fazendo é: Podemos construir um teste justo que mostre exatamente onde esse aluno se confunde, sem que o próprio teste seja bagunçado ou injusto?

É aqui que entra o artigo "V-FiLLM". Os pesquisadores criaram um teste especial, super organizado, chamado "benchmark". Em vez de pedir ao robô para ler relatórios bancários reais e bagunçados (que podem ter erros de digitação ou páginas faltando), eles construíram uma fábrica que gera planilhas financeiras falsas e perfeitas. Eles então usam uma "árvore de computação" — imagine uma árvore genealógica, mas em vez de ancestrais, é um mapa de passos matemáticos — para criar perguntas. Como a matemática é construída dentro da árvore, a resposta é garantida como correta antes mesmo da pergunta ser escrita. Isso permite que eles testem o cérebro do robô na lógica pura, sem que o robô seja derrubado por caligrafia ruim ou layouts confusos. Eles descobriram que, conforme a matemática fica mais profunda (mais passos), o robô fica muito pior em responder e até pequenas mudanças nos números (como transformar um "0" em um "O") podem fazê-lo falhar. No entanto, eles também mostraram que, se você der ao robô um pouco de treinamento extra sobre como mostrar seu raciocínio passo a passo, ele melhora significativamente.

O Artigo Explicado

**O Problema: A "Mesa Bagunçada" vs. O "Laboratório Limpo"
Imagine que você está tentando ensinar uma criança a fazer matemática. Se você entregar a ela um recibo amassado de um supermercado com tinta borrada e cantos rasgados, e ela errar a resposta, você não saberá se ela falhou na matemática ou se apenas não conseguiu ler o recibo. Este é o problema dos testes existentes para IA financeira. A maioria dos testes anteriores usava documentos reais, que são cheios de "ruído" — números ausentes, formatação estranha e texto confuso. Isso torna difícil dizer se a IA é ruim em raciocínio ou apenas ruim em leitura.

Os autores deste artigo decidiram construir um "laboratório limpo" em vez disso. Eles criaram o V-FiLLM, um sistema que gera suas próprias perguntas financeiras do zero. Eles começam com uma planilha sintética perfeita (como uma tela de inventário de um videogame) e constroem uma "árvore de computação" para cada pergunta.

A Analogia da Árvore: Pense em uma pergunta como uma receita. Uma pergunta simples é apenas "Qual é o preço da maçã?" (Profundidade 0). Uma pergunta mais difícil é "Qual é o preço da maçã mais o preço da banana?" (Profundidade 1). As perguntas mais difíceis são como uma receita de bolo complexa que requer misturar três tigelas diferentes, assá-las e depois combinar os resultados (Profundidade 4 ou superior).
A Magia: Como o computador constrói a árvore primeiro, ele sabe a resposta antes mesmo de escrever a pergunta. Isso significa que cada item de teste possui uma "verdade fundamental" (ground truth) que é matematicamente garantida como correta. Não há suposição humana envolvida, e não há "custo de rotulagem" (ninguém precisa sentar ali para verificar as respostas).

**A Descoberta: A Armadilha da "Profundidade"
Os pesquisadores usaram este laboratório limpo para testar vários modelos de IA diferentes, incluindo alguns muito famosos como Gemma, Lima e Qwen. Eles fizeram uma pergunta simples: O que acontece quando a matemática fica mais difícil?

Eles descobriram que o desempenho da IA cai drasticamente à medida que a "profundidade" do raciocínio aumenta.

A Queda: Em perguntas simples (apenas procurar um número), os melhores modelos acertaram quase tudo (cerca de 98%). Mas assim que a pergunta exigia 8 passos de raciocínio (como uma receita de bolo complexa), a precisão de alguns modelos despencou para tão baixo quanto 26%.
A Reviravolta Adversária: Eles também tentaram "enganar" os modelos alterando os dados de maneiras que não deveriam importar. Por exemplo, eles substituíram números por valores "lixo" ou mudaram as unidades (como trocar dólares por centavos). Eles descobriram que a corrupção de caracteres do tipo OCR (mudar um "0" para uma letra "O" ou um "1" para um "l") era a maneira mais eficaz de quebrar os modelos. Quando mexeram nas unidades de documentos que pareciam reais, a pontuação do melhor modelo caiu de quase 100% para apenas 3,0%. Isso sugere que os modelos estão lendo os números, mas frequentemente ignoram os rótulos que dizem o que esses números significam.

**A Solução: Ensinar a IA a "Mostrar seu Trabalho"
O artigo também testou uma maneira de corrigir esses problemas. Eles usaram uma técnica chamada LoRA (Low-Rank Adaptation), que é como dar à IA um manual de treinamento específico e leve em vez de retreinar todo o seu cérebro.

O Método: Eles pegaram as "árvores de computação" e as transformaram em explicações passo a passo de "Cadeia de Pensamento" (Chain-of-Thought). Eles usaram apenas os exemplos onde o raciocínio da IA foi verificado como correto.
O Resultado: Após esse treinamento direcionado, um modelo menor (Qwen3-4B) melhorou sua precisão de 81,1% para 85,6% em novos problemas não vistos. Ele também teve um desempenho melhor em um conjunto de dados real diferente chamado FinQA, superando sua versão original em 5 pontos percentuais. Isso sugere que ensinar a IA a decompor problemas em pequenos passos verificados é uma maneira promissora de torná-la mais inteligente, sem a necessidade de enormes quantidades de poder computacional.

**O Veredito
O artigo conclui que, embora a IA esteja ficando melhor no raciocínio financeiro, ela ainda tem dificuldades significativas quando a lógica se torna profunda ou os dados ficam bagunçados. A "profundidade" do raciocínio é o maior obstáculo. No entanto, o novo benchmark que eles construíram (V-FiLLM) oferece aos pesquisadores uma maneira confiável de medir esse progresso sem a confusão do ruído do mundo real. Os autores sugerem que, com mais treinamento sobre como mostrar seu trabalho passo a passo, esses modelos podem se tornar assistentes financeiros muito mais confiáveis, mas, por enquanto, eles ainda estão propensos a cometer erros bobos quando a matemática fica complicada ou os números parecem um pouco estranhos.

Resumo Técnico: V-FiLLM: Um Benchmark de Raciocínio de LLM Financeiro Verificado

Declaração do Problema

Embora os benchmarks existentes tenham avançado na avaliação de Grandes Modelos de Linguagem (LLMs) em STEM e raciocínio numérico geral, o raciocínio financeiro sobre dados tabulares estruturados permanece subexplorado. Os atuais conjuntos de dados de QA financeira (ex: FinQA, TAT-QA) dependem fortemente de anotação humana ou extração assistida por modelos de documentos do mundo real. Essa abordagem introduz limitações significativas:

Conflito de Ruído: É difícil distinguir entre falhas genuínas de raciocínio e erros causados por ruído no nível da fonte (irregularidades de formatação, valores ausentes, frases ambíguas).
Escalabilidade e Controle: Benchmarks anotados manualmente são caros para escalar e carecem de eixos de dificuldade explícitos e controláveis, tornando difícil isolar modos de falha específicos, como profundidade de raciocínio ou complexidade composicional.
Confiabilidade da Verdade Fundamental (Ground Truth): A extração heurística ou a rotulagem manual podem introduzir erros na verdade fundamental, complicando a avaliação do desempenho do modelo.

Metodologia

Os autores apresentam o V-FiLLM, um framework determinístico para gerar benchmarks de raciocínio financeiro a partir de árvores de computação sintéticas e executáveis, fundamentadas em estruturas de tabelas reais. O pipeline garante que as respostas sejam corretas por construção, eliminando a necessidade de anotação manual e eliminando a taxa de erro do gerador.

1. Geração de Dados

Dados Financeiros Sintéticos: O framework constrói duas fontes de dados: (a) relatórios 10-Q sintéticos que mimetizam relatórios reais de empresas, e (b) folhas financeiras regularizadas com nomes de colunas e unidades consistentes para isolar o raciocínio do ruído de formatação.
Átomos Tipados: As células de planilhas são decompostas em "átomos financeiros tipados" contendo valores numéricos e metadados semânticos (conceito, empresa, ano, unidade).
Árvores de Computação: As perguntas são geradas amostrando árvores binárias tipadas onde as folhas são átomos financeiros e os nós internos são operações (adição, subtração, multiplicação, razões, min/max/média).
- Complexidade Controlável: O framework controla explicitamente quatro eixos:
  - Profundidade (Depth): O número de etapas de raciocínio (profundidade da árvore).
  - Amplitude (Breadth): O número de subresultados paralelos necessários (árvores balanceadas).
  - Complexidade de Conceito: Inclusão de conceitos financeiros derivados (ex: Lucro Bruto, Lucro Líquido) armazenados como átomos especiais com fórmulas executáveis ocultas.
  - Tamanho do Contexto: O número de entradas de tabela relevantes.
Renderização: As árvores são renderizadas em perguntas de linguagem natural usando um procedimento semântico de baixo para cima (bottom-up). Para testar a robustez, o pipeline aplica aumento de dados linguísticos leves (erros de digitação, mudanças de capitalização, variações de fraseologia) enquanto preserva o grafo de computação subjacente.

2. Extensões do Benchmark

Avaliação Multi-Turn (Múltiplas Etapas): Problemas complexos de etapa única são decompostos em turnos conversacionais, onde cada turno resolve um nó da árvore de expressão. Isso permite o isolamento de erros aritméticos intermediários versus falhas de planejamento composicional.
Robustez Adversária: O framework perturba as tabelas de entrada (deixando a pergunta/resposta inalteradas) para simular falhas de pipeline do mundo real:
- Valores ausentes (células vazias).
- Valores lixo (outliers como -10^7 ou "ERROR").
- Semelhanças de OCR (substituição de dígitos, ex: 0→O).
- Contaminação entre planilhas (troca de linhas entre empresas).
- Informação distratora (texto irrelevante anexado às perguntas).

3. Estratégia de Fine-Tuning

Os autores utilizam Adaptação de Baixo Posto (LoRA) para realizar o ajuste fino de modelos de código aberto (especificamente Qwen3.5-4B) em traços de Cadeia de Pensamento (CoT) verificados. Apenas exemplos onde o CoT gerado corresponde ao valor da verdade fundamental derivado da árvore de expressão são retidos para treinamento (taxa de retenção de 88%).

Resultados Principais

1. Desempenho do Modelo e Profundidade de Raciocínio

Sensibilidade à Profundidade: A precisão cai drasticamente conforme a profundidade do raciocínio aumenta. Em afirmações simplificadas, a precisão de modelos como DeepSeek-v4-Flash cai de ~84% em 6 etapas para ~26% em 8 etapas. O Gemma-31B mostra maior resiliência, mas ainda cai de 85% para 55% no mesmo intervalo.
Real vs. Simplificado: Relatórios 10-Q reais são aproximadamente 20 pontos percentuais mais difíceis que afirmações simplificadas nas profundidades 3–4, atribuído a layouts desorganizados e unidades mistas.
Ranking de Modelos: O Gemma-31B supera consistentemente modelos maiores (ex: GPT-OSS-120B, Llama-3.3-70B) e iguala ou excede o Qwen3.7-Plus, sugerindo que dados de treinamento especializados e mecanismos de parsing de tabelas são mais críticos do que a escala de parâmetros.

2. Avaliação Multi-Turn

A decomposição de prompts complexos em subconsultas sequenciais mitiga significativamente a degradação de desempenho.

O Qwen3.5-9B melhorou de 55,2% (single-turn) para 86,8% (multi-turn).
O Llama-3.3-70B melhorou de 80,8% para 86,8%.
Isso sugere que a decomposição de consultas reduz a carga de contexto necessária para o raciocínio de etapa única.

3. Robustez Adversária

Impacto Geral: Todos os modelos sofrem quedas significativas de precisão sob perturbações. O Gemma-31B cai cerca de 27 pontos em arquivos 10-Q, e o DeepSeek-v4-Flash cerca de 30 pontos.
Mudanças de Unidade/Escala: Esta é a perturbação mais destrutiva. Alterar unidades ou escalas faz com que a precisão do Gemma-31B desabe para 3,0% em arquivos 10-Q, indicando que os modelos frequentemente leem números sem verificar os rótulos de unidade.
Ruído Combinado: Quando todos os tipos de ruído são combinados, a precisão em documentos reais cai para 17–26%, sugerindo que o acúmulo de erros degrada severamente o desempenho.

4. Fine-Tuning LoRA

O ajuste fino do Qwen3.5-4B em traços de CoT verificados melhorou a precisão em problemas não vistos de 81,1% para 85,6%.
A melhor configuração (Rank $r=8$ , Scaling $\alpha=8$ , Dropout 0.10) mostrou que a razão $\alpha/r$ é crítica; configurações onde $\alpha/r \neq 1$ não melhoraram em relação ao baseline.
No dataset externo FinQA, o modelo ajustado via LoRA melhorou de 27/100 para 32/100 respostas corretas, sugerindo que os ganhos não são puramente devidos ao overfitting.

Significância e Alegações

O artigo afirma fornecer um benchmark reproduzível e livre de anotação que permite a avaliação sistemática do raciocínio financeiro composicional. Suas principais contribuições são:

Isolamento de Modos de Falha: Ao desacoplar profundidade de raciocínio, amplitude e complexidade de domínio, o V-FiLLM permite que pesquisadores identifiquem exatamente onde e por que os modelos falham (ex: distinguindo entre erros aritméticos e falhas de planejamento).
Escalabilidade: O framework gera itens em qualquer escala sem custos de anotação, abordando o custo proibitivo de escalar os benchmarks existentes.
Insights de Robustez: O estudo destaca que a corrupção de caracteres estilo OCR e as mudanças de unidade/escala representam desafios maiores do que dados ausentes ou distratores, enfatizando a necessidade de extração numérica robusta em aplicações financeiras.
Adaptação Direcionada: Os resultados sugerem que a adaptação leve e direcionada (LoRA em traços verificados) é uma direção promissora para melhorar o raciocínio composicional em QA financeira, embora haja margem significativa para tarefas de raciocínio mais profundas.

Os autores mantêm uma postura modesta, reconhecendo limitações como os recursos computacionais restritos (limitando o número de modelos testados e o tamanho do conjunto de avaliação de fine-tuning) e o potencial de ambiguidade linguística nas perguntas geradas, apesar da correção matemática das respostas. Eles posicionam o V-FiLLM como uma ferramenta fundamental para trabalhos futuros em treinamento guiado por verificadores e raciocínio entre múltiplos documentos.