EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements

O artigo apresenta o EDINET-Bench, um novo benchmark de código aberto baseado em relatórios anuais japoneses para avaliar LLMs em tarefas financeiras complexas, demonstrando que os modelos atuais têm desempenho limitado e destacando a necessidade de ambientes de teste mais realistas e estruturados para superar essas deficiências.

O essencial

Imagine que você é um detetive tentando descobrir se uma empresa está mentindo sobre suas finanças, ou um astrólogo tentando prever se a sorte de uma empresa vai melhorar no ano que vem. Normalmente, você teria que ler centenas de páginas de relatórios, checar tabelas complexas e cruzar informações.

É exatamente isso que os pesquisadores da Sakana AI e da Universidade de Kyoto fizeram com o EDINET-Bench.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A "Festa" vs. O "Trabalho Real"

Até agora, os modelos de Inteligência Artificial (como o ChatGPT) foram treinados em "festas" de matemática e programação. Eles são ótimos resolvendo equações ou escrevendo código. Mas, quando o assunto é finanças, eles ainda são como crianças em um escritório de contabilidade: sabem o básico, mas não entendem a complexidade do trabalho real.

Os benchmarks (testes) atuais de finanças são como perguntas de múltipla escolha simples: "Qual é o lucro da empresa X?". É fácil para um robô achar esse número. Mas no mundo real, um analista financeiro precisa ler o relatório inteiro, entender o contexto, ver se os números batem com o texto e detectar mentiras sutis.

2. A Solução: O "EDINET-Bench" (O Exame de Admissão Difícil)

Os autores criaram um novo teste chamado EDINET-Bench. Eles pegaram 10 anos de relatórios financeiros reais de empresas japonesas (o sistema deles se chama EDINET, parecido com o EDGAR dos EUA) e transformaram isso em três desafios difíceis:

• Detectar Fraude Contábil: É como procurar uma agulha em um palheiro, mas a agulha é uma mentira contábil escondida entre milhares de páginas. O robô precisa ler o relatório inteiro e dizer: "Ei, essa empresa parece estar escondendo algo!".
• Prever Lucros: É como tentar adivinhar se a empresa vai ter um ano de "sorte" ou "azar" no próximo ano, apenas olhando para o relatório do ano atual.
• Classificar a Indústria: É como olhar para a casa de uma pessoa e dizer em que bairro ela mora, apenas analisando o que está dentro da casa (se tem máquinas pesadas, se é um banco, se vende comida, etc.).

3. O Resultado: Os Robôs "Travaram"

Aqui vem a parte surpreendente. Os autores jogaram os melhores robôs do mundo (como o GPT-4o, Claude 3.7, etc.) contra esse teste.

O que aconteceu?
Os robôs mais avançados do mundo tiveram um desempenho apenas ligeiramente melhor do que um chute aleatório ou do que uma calculadora simples (regressão logística).

• Analogia: Imagine colocar um professor de física quântica (o LLM) para tentar resolver um problema de matemática do ensino fundamental, mas o problema tem uma pegadinha escondida no texto. O professor tenta usar fórmulas complexas, mas falha porque não consegue "ler entre as linhas" da mesma forma que um humano experiente faria.
• O que os robôs fizeram de errado? Eles muitas vezes se deixaram enganar por números grandes ou nomes famosos de empresas de auditoria, em vez de analisar a lógica real dos dados. Eles não conseguiram integrar bem o texto (o que a empresa diz) com as tabelas (o que a empresa realmente tem).

4. A Lição: Não basta apenas "ler" o livro

O estudo conclui que apenas dar o relatório para o robô ler não é suficiente.

É como dar um livro de receitas para alguém que nunca cozinhou e pedir para ele criar um banquete. O robô tem as palavras, mas falta a "intuição" e a experiência de um profissional que sabe onde os cozinheiros costumam trapacear.

Para os robôs realmente ajudarem no mundo financeiro, eles precisam de:

• Mais contexto: Não apenas o relatório, mas notícias, dados em tempo real e comparações com concorrentes.
• Ferramentas de raciocínio: Eles precisam de ajuda para pensar passo a passo, como um analista humano faria, e não apenas tentar adivinhar a resposta final.

Resumo Final

O EDINET-Bench é um "exame de qualificação" muito difícil para Inteligência Artificial no mundo das finanças. O resultado foi um alerta: nossos robôs ainda não são contadores ou analistas financeiros prontos para o trabalho real. Eles precisam evoluir muito mais para entender a complexidade e as nuances dos relatórios financeiros, especialmente no mercado japonês, que é rico em dados mas difícil de interpretar.

Os autores liberaram o teste e os dados para que todos possam ajudar a treinar os robôs para que, um dia, eles possam realmente nos ajudar a detectar fraudes e prever o futuro das empresas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo EDINET-BENCH: EVALUATING LLMS ON COMPLEX FINANCIAL TASKS USING JAPANESE FINANCIAL STATEMENTS, apresentado na conferência ICLR 2026.

1. Problema e Contexto

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado desempenho superior ao humano em benchmarks de matemática e codificação, o domínio financeiro permanece subdesenvolvido em termos de avaliação.

• Limitações Atuais: Os benchmarks financeiros existentes (como FinQA, FinanceBench) focam predominantemente em tarefas simples, como extração de dados de tabelas ou perguntas de conhecimento básico (QA). Eles não exigem raciocínio de nível especializado.
• A Lacuna: Tarefas financeiras do mundo real, como detecção de fraude contábil e previsão de lucros, exigem a integração de informações complexas entre múltiplas tabelas financeiras (Balanço Patrimonial, DRE, Fluxo de Caixa) e seções textuais narrativas de relatórios anuais completos.
• Objetivo: Criar um benchmark que simule o ambiente de trabalho de profissionais financeiros, exigindo raciocínio profundo sobre documentos inteiros, e não apenas fragmentos de dados.

2. Metodologia e Construção do Dataset

O trabalho introduz o EDINET-Bench, um benchmark de código aberto baseado em relatórios financeiros japoneses.

• Fonte de Dados: Os dados foram extraídos do EDINET (Electronic Disclosure for Investors' NETwork), gerido pela Agência de Serviços Financeiros do Japão (FSA), cobrindo 10 anos de relatórios anuais (2014–2024) de empresas listadas.
• Ferramenta de Extração (edinet2dataset): Os autores desenvolveram uma ferramenta para baixar e parsear relatórios do EDINET, convertendo arquivos TSV estruturados e PDFs em dados utilizáveis. O processo extrai metadados, resumos financeiros, Balanço Patrimonial (BS), Demonstração de Resultados (PL), Fluxo de Caixa (CF) e blocos de texto.
• Corpus: O dataset base (EDINET-Corpus) contém aproximadamente 40.000 documentos.
• Tarefas do Benchmark: O benchmark define três tarefas desafiadoras:
  1. Detecção de Fraude Contábil (Classificação Binária): Identificar relatórios que sofreram alterações devido a fraudes ou irregularidades.
     • Construção: Utilizaram relatórios alterados (amendados) do EDINET. Um LLM (Claude 3.7 Sonnet) analisou os motivos das correções para rotular fraudes, seguido de revisão manual. O dataset final possui ~1.089 amostras (534 fraudes, 555 não fraudes).
  2. Previsão de Lucros (Classificação Binária): Prever se os lucros da empresa aumentarão ou diminuirão no próximo ano fiscal com base no relatório atual.
     • Construção: Pares de relatórios consecutivos de 1.000 empresas. O rótulo é derivado da comparação do "Lucro Líquido Atribuído aos Acionistas da Controladora" entre os dois anos.
  3. Predição de Indústria (Classificação Multiclasse): Classificar a empresa em uma das 16 categorias industriais amplas (baseadas na TOPIX-33, consolidada para maior interpretabilidade).
     • Construção: Amostragem aleatória de empresas por setor, totalizando 496 amostras no conjunto de teste.

3. Configuração de Avaliação

• Modelos Testados:
  • LLMs Proprietários: GPT-4o, o4-mini, GPT-5, Claude 3.5/3.7 Sonnet/Haiku.
  • LLMs Open-Weight: Kimi-K2, DeepSeek-V3/R1, Llama 3.3 70B.
  • Baselines Clássicos: Regressão Logística, Random Forest, XGBoost (treinados no conjunto de treino).
• Configuração: Zero-shot (sem fine-tuning para os LLMs).
• Formatos de Entrada: Testaram três configurações: apenas Resumo (Summary), Resumo + Tabelas Financeiras (BS+CF+PL), e todos os itens (incluindo Texto não estruturado).
• Métricas: ROC-AUC e MCC para tarefas binárias; Acurácia para multiclasse.

4. Resultados Principais

Os resultados revelam que os LLMs de ponta têm desempenho marginalmente superior a modelos estatísticos simples em tarefas complexas de finanças.

• Detecção de Fraude:
  • O Random Forest (modelo clássico) obteve o melhor desempenho (ROC-AUC de 0.75).
  • O melhor LLM (Claude 3.5 Sonnet) alcançou apenas 0.73 de ROC-AUC, superando a Regressão Logística (0.68) apenas marginalmente.
  • Insight: A inclusão de texto narrativo melhorou significativamente o desempenho dos LLMs, sugerindo que as divulgações textuais contêm sinais úteis de fraude que as tabelas sozinhas não capturam. No entanto, os modelos ainda demonstram viés (ex: associar auditoras renomadas à não-fraude).
• Previsão de Lucros:
  • O desempenho foi muito baixo. O GPT-5 atingiu apenas 0.65 de ROC-AUC.
  • Diferente da detecção de fraude, a adição de texto não melhorou a previsão de lucros, indicando que a tarefa depende fortemente de dados numéricos históricos e tendências que os modelos atuais não conseguem extrapolar com precisão apenas com o relatório atual.
• Predição de Indústria:
  • Esta foi a tarefa mais fácil. O Claude 3.5 Sonnet alcançou 41% de acurácia (vs. 1/16 aleatório).
  • A performance melhorou com a adição de tabelas financeiras, sugerindo que a composição de ativos (caixa, empréstimos, etc.) é um forte indicador do setor.

5. Contribuições Chave

1. Novo Benchmark de Nível Especialista: EDINET-Bench é o primeiro dataset aberto focado em detecção de fraude contábil e previsão de lucros baseada em relatórios anuais completos, exigindo raciocínio multimodal (texto + tabelas).
2. Ferramentas de Reprodutibilidade: Lançamento público do edinet2dataset (ferramenta de extração), do corpus EDINET e do código de avaliação.
3. Evidência de Limitações dos LLMs: Demonstra que simplesmente fornecer relatórios financeiros completos aos LLMs em um cenário "zero-shot" é insuficiente para tarefas de alta complexidade, onde modelos clássicos treinados ainda superam ou empatam com os SOTA.
4. Análise de Contaminação: Os autores realizaram testes rigorosos (predição de nome da empresa e análise por ano fiscal) para garantir que os resultados não foram inflados por contaminação do conjunto de teste, concluindo que o impacto de contaminação é mínimo.

6. Significado e Conclusão

O trabalho conclui que o campo de IA financeira precisa evoluir além de benchmarks de QA simples. Os resultados indicam que:

• Raciocínio Especializado: As tarefas financeiras atuais exigem um nível de raciocínio que os LLMs ainda não dominam nativamente.
• Necessidade de Novos Paradigmas: Para que os LLMs sejam úteis na prática financeira, os frameworks de benchmark devem refletir melhor o ambiente real dos profissionais. Isso inclui o uso de simulações realistas, scaffolding (suporte) específico para tarefas e a capacidade de integrar informações externas (notícias, registros internos) além do relatório anual.
• Futuro: O benchmark serve como base para desenvolver métodos mais poderosos que possam eventualmente suportar aplicações financeiras do mundo real, como auditoria automatizada e análise de risco.

Em suma, o EDINET-Bench estabelece um novo patamar de dificuldade para a avaliação de LLMs em finanças, revelando uma lacuna significativa entre o desempenho atual dos modelos e as necessidades do setor financeiro real.