FinCriticalED: A Visual Benchmark for Financial Fact-Level OCR

1. O Problema

O avanço recente nos Modelos de Linguagem Multimodais Grandes (MLLMs) melhorou significativamente a compreensão de documentos. No entanto, existe uma lacuna crítica: um alto desempenho em métricas superficiais de Reconhecimento Óptico de Caracteres (OCR) não garante a preservação fiel de evidências críticas para a tomada de decisões, especialmente em documentos financeiros.

Em finanças, pequenos erros visuais (como um ponto decimal deslocado, um sinal de negativo ausente, uma unidade monetária errada ou um alinhamento de tabela incorreto) podem causar mudanças discretas, mas catastróficas, no significado e no valor dos dados. Benchmarks existentes focam em:

• Fidelidade de transcrição: Medida por sobreposição de strings (ex: ROUGE, distância de edição), que ignora erros factuais sutis.
• Raciocínio de alto nível: Focam em QA aberto ou compreensão de layout, mas não isolam a preservação de evidências locais e visualmente fundamentadas.

Isso cria um risco de "alucinação" ou distorção factual em cenários de alto risco, onde a precisão exata de números e entidades é fundamental.

2. Metodologia e Contribuições Principais

Os autores introduzem o FinCriticalED (Financial Critical Error Detection), um benchmark visual centrado em fatos para avaliar se sistemas de OCR e visão-linguagem preservam evidências financeiras críticas.

A. Construção do Dataset

• Escala e Origem: O dataset contém 859 páginas de documentos financeiros reais (extraídos do SEC EDGAR e bancos de dados de organizações sem fins lucrativos), abrangendo relatórios 10-K, 10-Q, contratos de fusão e aquisição, e formulários fiscais.
• Anotação de Fatos: Foram anotados 9.481 fatos financeiros por especialistas (com 150+ horas de anotação e concordância inter-anotador de 0,88).
• Categorias de Fatos Críticos: Os fatos são divididos em cinco tipos, onde erros são mais perigosos:
  1. Numéricos: Valores quantitativos (ex: 2,345, -2.3, 25.63%).
  2. Temporais: Datas e períodos (ex: March 24, 2025, Q2 2025).
  3. Unidades Monetárias: Símbolos e escalas (ex: $, million, thousand).
  4. Entidades de Relato: Nomes de empresas ou sujeitos (ex: JPMorgan Chase & Co.).
  5. Conceitos Financeiros: Termos contábeis específicos (ex: net income, EPS).

B. Definição da Tarefa e Avaliação

• Tarefa: Dada uma imagem de documento, o modelo deve gerar uma saída HTML estruturada que preserve o texto e o layout.
• Métrica Principal (FFA - Financial Fact Accuracy): Diferente de métricas de similaridade de strings, a FFA verifica se cada fato anotado foi preservado semanticamente e factualmente no contexto.
  • Um fato é considerado correto apenas se o valor extraído for semanticamente equivalente e visualmente preciso (ex: (1,200) indicando negativo não pode ser convertido para 1,200).
• Protocolo de Avaliação (LLM-as-Judge Guiado por Regas Determinísticas):
  • Como fatos financeiros podem ter múltiplas expressões válidas (ex: $1.2B vs 1,200 million), a comparação de strings simples é insuficiente.
  • Utiliza-se um pipeline onde um LLM (GPT-4o) atua como juiz, mas com regras determinísticas estritas:
    1. Extração de entidades do ground-truth com contexto.
    2. Verificação semântica pelo LLM.
    3. Sobrescrita Determinística: Se a correspondência exata (normalizada) for encontrada, o fato é forçado como "correto", evitando falsos negativos do LLM.
  • O protocolo atingiu 95% de alinhamento com especialistas humanos após iterações.

3. Resultados Experimentais

O benchmark avaliou 13 sistemas de ponta, incluindo pipelines de OCR, VLMs especializados em OCR, MLLMs de código aberto e MLLMs proprietários.

Principais Descobertas:

1. Gap entre Métricas Superficiais e Fielidade Financeira:

   • Há uma desconexão clara entre pontuações de ROUGE (similaridade lexical) e a precisão factual.
   • Exemplo: O modelo MinerU2.5 atingiu 95,71% no ROUGE-1, mas apenas 54,05% na precisão de Unidades Monetárias (MU-FFA). O Claude-Sonnet-4.6 teve 98,84% no ROUGE-1, mas 94,02% na precisão de Entidades de Relato.
   • Uma diferença mínima de 0,12 pontos no ROUGE-1 pode corresponder a uma queda de 7,22 pontos na FFA.

2. Tipos de Fatos Mais Vulneráveis:

   • Valores Numéricos e Unidades Monetárias são consistentemente os mais propensos a erros em todos os modelos.
   • Fatos temporais e conceitos financeiros performaram melhor, mas ainda não atingiram níveis de confiabilidade para uso em alto risco.
   • Erros críticos concentram-se em documentos com layouts mistos e visualmente complexos.

3. Comparação de Modelos:

   • Sistemas Especializados em OCR: (ex: GLM-OCR, PP-OCRv5) mostraram-se robustos e estáveis, com o GLM-OCR alcançando 96,92% de FFA geral. Eles tendem a cometer erros de reconhecimento repetitivos e fixos.
   • MLLMs Proprietários: O Claude-Sonnet-4.6 foi o melhor geral (97,23% FFA), seguido pelo Gemini-2.5-Pro.
   • MLLMs de Código Aberto: Desempenho variado. O Qwen3-VL-8B e Llama-4-Maverick foram competitivos, mas modelos como Gemma-3n-E4B-it e GPT-4o tiveram desempenho significativamente inferior na preservação de fatos (FFA de 65,68% e 71,68%, respectivamente).
   • Padrões de Falha: Modelos generativos tendem a "alucinar" continuações de texto ou distorcer contextos, enquanto sistemas de OCR tradicionais falham mais em artefatos de reconhecimento e formatação.

4. Significado e Conclusão

O FinCriticalED redefine o problema do OCR financeiro, deslocando o foco da transcrição superficial para a preservação de fatos.

• Implicação Prática: O benchmark demonstra que a alta precisão lexical não é suficiente para aplicações financeiras. A confiabilidade depende da capacidade do modelo de preservar "pistas locais" visuais sutis (sinais, casas decimais, unidades).
• Avanço na Pesquisa: O trabalho fornece uma ferramenta rigorosa para avaliar a fidelidade de evidências em documentos multimodais, destacando que, embora os MLLMs mais fortes estejam começando a igualar ou superar os sistemas especializados, a consistência em layouts complexos ainda é um desafio.
• Disponibilidade: O dataset e o código estão disponíveis publicamente para fomentar pesquisas em OCR confiável e compreensão de documentos em domínios críticos.

Em resumo, o FinCriticalED expõe que, para finanças, a "verdade" de um documento reside na precisão exata de seus dados estruturados, e os modelos atuais ainda falham em garantir essa fidelidade de forma consistente, especialmente em cenários complexos.