Resumo Técnico: Os Grandes Modelos de Linguagem são Revisores Confiáveis? Um Benchmark para Detecção de Erros em Documentos Financeiros

Declaração do Problema

Garantir a precisão dos documentos financeiros é crítico para a análise econômica, conformidade regulatória e tomada de decisões corporativas. Apesar da prevalência de erros humanos em fluxos de trabalho financeiros (com pesquisas indicando que 1^{\text{o}}} 18% dos profissionais cometem erros diariamente), a capacidade dos Grandes Modelos de Linguagem (LLMs) de identificar erros sutis e complexos em textos financeiros permanece inexplorada. Os benchmarks existentes focam primariamente em erros gramaticais de domínio geral, detecção de alucinação em textos curtos ou tarefas financeiras padrão, como análise de sentimento e resposta a perguntas. Eles carecem da capacidade de avaliar o raciocínio de múltiplos passos (multi-hop reasoning) e a compreensão de contexto longo exigidos para detectar inconsistências semânticas, específicas do domínio e lógicas em documentos financeiros extensos.

Metodologia

1. Construção do FinED-Bench

Os autores introduzem o FinED-Bench, o primeiro benchmark disponível publicamente projetado especificamente para a detecção de erros financeiros. O processo de construção envolve um pipeline semiautomático para garantir o frescor dos dados e evitar a contaminação dos dados de treinamento:

• Coleta de Dados: Foram coletados documentos financeiros publicados após fevereiro de 2025 para postergar os cortes de conhecimento (knowledge cutoffs) dos modelos avaliados. Os documentos foram convertidos para texto puro, com as tabelas preservadas em formato Markdown.
• Taxonomia de Erros: Uma taxonomia de dois níveis foi desenvolvida, categorizando os erros em três níveis cognitivos:
  1. Erros de Conhecimento Geral (GKEs): Problemas superficiais como datas ilegais (ex: "30 de fevereiro"), declarações redundantes ou valores ausentes.
  2. Erros de Conhecimento de Domínio Financeiro (FKEs): Uso incorreto de terminologia (ex: confundir "preço/lucro" com "preço/valor patrimonial"), referências legais incorretas ou expressões ambíguas.
  3. Erros de Raciocínio Financeiro (FREs): Inconsistências lógicas complexas que exigem verificação entre documentos, como dados numéricos conflitantes entre texto e tabelas, contradições temporais ou conflitos de cláusulas.
• Injeção de Erros: Os documentos foram segmentados em fragmentos semanticamente completos. Especialistas do domínio forneceram sementes de erro, que foram então usadas para orientar os LLMs (GPT-4o) a injetar erros contextualmente.
• Filtragem: Um processo de filtragem de dois estágios foi aplicado:
  • Baseado em modelo: O GPT-4o reavaliou a adequação contextual dos erros injetados.
  • Verificação Manual: Cinco especialistas financeiros verificaram manualmente os erros restantes para eliminar o viés e garantir o realismo.
• Composição do Dataset: O benchmark compreende 973 documentos (comprimento médio de ~3.784 palavras) com 4.123 instâncias de erros anotadas. Um subconjunto "Difícil" (FinED-Bench-Hard) inclui 24 documentos variando de 32K a 120K palavras para testar capacidades de contexto longo.

2. Configuração Experimental

O estudo avaliou um conjunto diversificado de LLMs, incluindo:

• Modelos de propósito geral: GPT-4o, GPT-4o-mini, GPT-3.5-turbo, série Qwen3 (8B, 14B) e derivados do DeepSeek-R1.
• Modelos específicos do domínio: Fin-R1 e Dianjin-R1-7B.
• Métricas de Avaliação: Precisão, Recall e F1-score. Uma previsão foi considerada correta apenas se o intervalo do erro (error span) correspondesse à verdade fundamental (ground truth) e o tipo de erro fosse classificado corretamente.
• Ajuste Fino (Fine-tuning): Um dataset de ajuste fino supervisionado (SFT) foi construído usando o mesmo pipeline de injeção (sem verificação humana) para testar se a adaptação específica à tarefa melhora o desempenho.

Principais Resultados

1. Desempenho Atual dos LLMs

Os resultados experimentais indicam que mesmo os modelos de última geração lutam significativamente com a detecção de erros financeiros:

• Desempenho Geral: O melhor modelo, o GPT-4o, alcançou um F1 score geral de 48,34%.
• Disparidade de Tipo de Erro: O desempenho degrada conforme a complexidade cognitiva aumenta. O GPT-4o pontuou 52,33% em Erros de Conhecimento Geral, mas caiu para 38,00% em Erros de Raciocínio Financeiro. Tendências semelhantes foram observadas no Qwen3-14B (caindo de 51,41% para 29,10%) e outros modelos.
• Degradação de Contexto Longo: O comprimento do documento impacta severamente o desempenho. Os F1 scores declinaram de 40,16% para documentos abaixo de 2,5K palavras para 16,66% para documentos que excedem 50K palavras.
• Limitações de Domínio Específico: Modelos financeiros especializados (Fin-R1, Dianjin-R1-7B) não superaram significativamente seus contrapartes de propósito geral. Em alguns casos, o desempenho até declinou, sugerindo que o ajuste fino para tarefas como previsão de ações ou QA não se transfere para a detecção de erros.

2. Impacto do Raciocínio e Ajuste Fino

• Capacidades de Raciocínio: Modelos com capacidades de raciocínio explícito (ex: Qwen3-14B com "pensamento" habilitado) superaram significativamente suas variantes "sem pensamento". Por exemplo, o F1 do Qwen3-14B em Erros de Conhecimento Geral melhorou de 33,72% para 51,41% quando o raciocínio foi habilitado.
• Ajuste Fino Supervisionado (SFT): O ajuste fino nos dados de detecção de erros financeiros impulsionou substancialmente o desempenho. O Qwen3-14B viu um aumento de 10,70% no F1 geral (de 43,15% para 53,85%) após o SFT, com ganhos notáveis na detecção de expressões conflitantes e termos ambíguos. Crucialmente, esse aumento não degradou o desempenho do modelo em outras tarefas financeiras (ex: classificação de texto, tradução), indicando preservação da generalização.

3. Baseline Humano

Mesmo anotadores humanos com formação em finanças alcançaram um F1 score de 63,63%, destacando que a tarefa continua sendo altamente desafiadora até para especialistas, particularmente em documentos longos.

Significância e Alegações

O artigo posiciona o FinED-Bench como uma ferramenta crítica para avaliar a confiabilidade de LLMs em contextos financeiros profissionais. Suas principais contribuições são:

1. Lacuna de Benchmarking: Ele preenche o vazio na pesquisa sistemática sobre detecção de erros em documentos financeiros extensos e complexos, indo além das avaliações de textos curtos ou de domínio geral.
2. Avaliação Realista: Ao utilizar dados pós-corte e um rigoroso pipeline de injeção/verificação, ele fornece uma avaliação realista das capacidades atuais dos modelos sem contaminação de dados.
3. Insights Diagnósticos: Os resultados revelam que, embora os LLMs possuam uma forte compreensão contextual, eles carecem do raciocínio robusto e da lógica específica do domínio necessária para revisões financeiras de alto risco. O estudo demonstra que as capacidades de raciocínio e o ajuste fino específico do domínio são essenciais para melhorar a detecção de erros, enquanto a adaptação de domínio genérica (ex: para previsão de ações) é insuficiente.

Os autores concluem que, embora os LLMs mostrem promessa, eles ainda não são revisores totalmente confiáveis para documentos financeiros, particularmente em cenários de contexto longo e alta complexidade. O benchmark serve como uma fundação para pesquisas futuras no desenvolvimento de modelos mais robustos e potencializados pelo raciocínio para conformidade e análise financeira.