FCMBench: The First Large-scale Financial Credit Multimodal Benchmark for Real-world Applications

O FCMBench é o primeiro benchmark multimodal em larga escala e compatível com privacidade para aplicações reais de crédito financeiro, avaliando modelos de linguagem e visão em tarefas de percepção e raciocínio sob desafios de robustez, com resultados que demonstram a necessidade de avanços significativos nessa área.

O essencial

Imagine que você é um gerente de banco. Antes de emprestar dinheiro para alguém, você precisa verificar uma pilha enorme de papéis: identidade, comprovantes de renda, extratos bancários, certidões de casamento, etc. Antigamente, você lia tudo isso manualmente, o que era cansativo e propenso a erros.

Hoje, a Inteligência Artificial (IA) promete fazer esse trabalho por nós. Mas existe um problema: como sabemos se a IA é realmente boa nisso?

A maioria dos testes de IA atuais é como um "simulado de vestibular" muito genérico. Eles perguntam coisas como "qual é a cor deste gato?" ou "resuma este texto". Mas no mundo real dos empréstimos, a IA precisa lidar com fotos tremidas, documentos dobrados, luz ruim, e precisa cruzar informações de vários papéis ao mesmo tempo para detectar fraudes.

É aqui que entra o FCMBench.

O Que é o FCMBench? (A "Prova Real" do Banco)

Pense no FCMBench como o primeiro "simulado de direção" específico para quem vai trabalhar em um banco.

Em vez de testar a IA em situações perfeitas (como um carro novo em uma pista de corrida), o FCMBench joga a IA em uma "estrada de terra" cheia de buracos, neblina e placas de trânsito meio apagadas.

Aqui estão os pontos principais, explicados de forma simples:

1. O "Zoológico" de Documentos Falsos (Mas Reais)

Para testar a IA, os pesquisadores precisavam de milhares de documentos. Mas eles não podiam usar documentos reais de pessoas (seria um pesadelo de privacidade e vazamento de dados).

• A Solução Criativa: Eles criaram um "universo paralelo". Eles inventaram personagens fictícios (com nomes, endereços e histórias de vida), criaram documentos físicos reais (imprimindo em papel, fazendo cartões) e depois tiraram fotos desses papéis.
• O Resultado: Um banco de dados gigante com 26 tipos de documentos (como CNH, comprovante de luz, declaração de imposto) e mais de 5.000 fotos. Nada disso existe na vida real, então ninguém tem seus dados vazados, mas a IA acha que está lidando com a realidade.

2. Os Três Desafios da Prova

O teste não é apenas "ler o texto". É dividido em três níveis de dificuldade, como um jogo de videogame:

• Nível 1: Percepção (Olhar e Ver)

  • A Analogia: É como um guarda de trânsito olhando para um carro.
  • O Teste: A IA precisa dizer: "Essa foto está borrada?", "Esse documento é um extrato bancário ou uma conta de luz?", "O que está escrito aqui?".
  • O Desafio: Muitas fotos têm reflexos de luz, estão tortas ou cortadas. A IA precisa ser "teimosamente" boa em enxergar mesmo com defeitos.

• Nível 2: Raciocínio (Pensar e Conectar)

  • A Analogia: É como um detetive.
  • O Teste: A IA não pode apenas ler; ela precisa cruzar informações. Exemplo: "O documento diz que a pessoa ganha R$ 5.000, mas o extrato bancário mostra que ela só depositou R$ 2.000. Isso faz sentido?" ou "O nome no passaporte é igual ao da conta bancária?".
  • O Desafio: Aqui é onde a maioria das IAs falha. Elas conseguem ler, mas não conseguem "pensar" como um analista de crédito humano.

• Nível 3: Robustez (Resistir ao Caos)

  • A Analogia: É como tentar ler um jornal em um dia de tempestade, com vento forte e chuva.
  • O Teste: Eles pegam as mesmas fotos e as "estragam" propositalmente: borrão, sombra, fundo bagunçado, fotos tiradas de telas de computador.
  • O Resultado: Mesmo as IAs mais inteligentes do mundo tiveram um desempenho muito pior nessas condições. Isso mostra que, na vida real, elas ainda não são confiáveis o suficiente para trabalhar sozinhas.

3. Quem Passou na Prova?

Os pesquisadores testaram 28 das IAs mais famosas do mundo (como Gemini, GPT, Kimi, Qwen, etc.).

• O Campeão: O modelo Gemini 3 Pro (da Google) foi o melhor, mas mesmo ele acertou apenas cerca de 65% das questões difíceis.
• A Realidade: A média geral foi de apenas 45%. Isso significa que, hoje em dia, se você deixar uma IA tentar aprovar empréstimos sozinha, ela vai errar quase na metade das vezes.

Por que isso importa para você?

Este trabalho é como um aviso de segurança. Ele diz para as empresas de tecnologia e bancos: "Ei, vocês estão vendendo essas IAs como se fossem perfeitas, mas elas ainda tropeçam em situações simples do dia a dia."

O FCMBench é uma ferramenta aberta para que cientistas e empresas trabalhem juntos para consertar esses erros. O objetivo não é apenas ter uma IA que "leia" bem, mas ter uma IA que seja confiável para tomar decisões financeiras que afetam a vida das pessoas.

Em resumo: O FCMBench é o primeiro teste de "estrada real" para IAs financeiras, mostrando que, embora elas sejam inteligentes, ainda precisam de muito treino para lidar com a bagunça do mundo real antes de poderem assinar cheques sozinhas.

Resumo técnico

Resumo Técnico: FCMBench

1. O Problema

O setor de crédito financeiro depende criticamente da análise de documentos físicos e digitais (como extratos bancários, comprovantes de renda e documentos de identidade) para tomar decisões de aprovação de empréstimos. Embora a Inteligência Artificial Multimodal (MLLMs) tenha avançado, existe uma lacuna crítica na avaliação prática desses modelos para este domínio específico:

• Falta de Benchmarks Específicos: Benchmarks gerais (ex: MME) ou de compreensão de documentos (ex: OCRBench) não capturam os fluxos de trabalho complexos de revisão de crédito.
• Restrições de Privacidade: Dados reais de crédito são altamente sensíveis e protegidos por regulamentações, tornando impossível a criação de conjuntos de dados públicos e compartilháveis que reflitam a realidade.
• Desconexão com o Mundo Real: Os benchmarks existentes frequentemente ignoram desafios de robustez do mundo real (como iluminação irregular, reflexos, documentos parciais ou múltiplos documentos em uma única imagem) e não avaliam adequadamente o raciocínio lógico necessário para validação de risco.

2. Metodologia

O FCMBench foi construído para preencher essas lacunas através de uma abordagem rigorosa de geração de dados sintéticos-físicos e design de tarefas alinhado ao fluxo de trabalho real.

A. Construção de Dados (Fluxo Sintético-Físico)
Para garantir privacidade total e autenticidade, os autores desenvolveram um pipeline de três etapas:

1. Construção de Modelos Sintéticos: Criação de identidades fictícias com atributos demográficos e econômicos variados. Geração de templates de documentos de alta fidelidade (cartões, certificados, formulários) usando ferramentas de renderização (LaTeX, renderizadores de cartões).
2. Integração de Conformidade: Substituição de logotipos, selos e retratos por alternativas geradas por IA (AIGC) ou sintéticas, garantindo que nenhum dado real seja utilizado.
3. Fabricação Física e Captura: Os documentos digitais foram impressos fisicamente (em papel A4 ou como réplicas de cartões) e fotografados por uma equipe humana em condições ecológicas válidas. Isso introduz ruídos reais (desfoque, sombras, reflexos especulares) que benchmarks puramente digitais não conseguem simular.

B. Escopo e Estatísticas

• Cobertura: 26 tipos de certificados (em Chinês e Inglês), incluindo documentos governamentais, bancários e fiscais.
• Volume: 5.198 imagens de certificados e 13.806 pares de perguntas e respostas (VQA).
• Privacidade: Todos os dados são 100% fictícios e nunca foram publicados anteriormente.

C. Taxonomia de Tarefas
O benchmark avalia os modelos em três dimensões principais, mapeadas para o fluxo de revisão de crédito:

1. Percepção (3 tarefas):
   • Avaliação de Qualidade de Imagem (IQE): Detecção de defeitos de captura.
   • Reconhecimento de Tipo de Documento (DTR): Identificação e verificação de completude.
   • Extração de Informação Chave (KIE): Extração de campos e valores específicos.
2. Raciocínio (4 tarefas):
   • Verificação de Consistência (CC): Cruzamento de dados entre múltiplos documentos (ex: ID vs. Registro Familiar).
   • Verificação de Validade (VC): Checagem de datas de validade e formatos.
   • Cálculo Numérico (NC): Agregação e transformação de dados financeiros.
   • Revisão de Racionalidade (RR): Avaliação de plausibilidade econômica (ex: renda vs. imposto).
3. Robustez (10 desafios):
   • Os modelos são testados sob interferências do mundo real, como ângulos fora do eixo, iluminação desigual, reflexos, documentos pequenos na imagem, fundos bagunçados, marcas d'água e capturas de tela (fotos de telas).

D. Métricas de Avaliação
Utiliza-se uma métrica baseada em correspondência exata (exact-match) para valores atômicos, pois paráfrases semânticas não são aceitáveis em processos de conformidade financeira. A pontuação final é o F1-score macro-médio.

3. Contribuições Principais

1. Primeiro Benchmark Multimodal de Crédito em Larga Escala: Preenche a lacuna de dados públicos para avaliação de IA no setor de crédito, superando as barreiras de privacidade através de dados sintéticos-físicos realistas.
2. Sistema de Avaliação Orientado à Aplicação: Introduz um framework que avalia não apenas a extração de texto, mas a capacidade de tomada de decisão baseada em evidências visuais e raciocínio lógico, sob condições de ruído real.
3. Colaboração Academia-Indústria: Ao open-sourcar o benchmark, fornece um padrão para instituições financeiras compararem modelos e permite que pesquisadores acessem dados de alta qualidade para estudos aprofundados, promovendo inovação colaborativa.

4. Resultados Experimentais

Os autores avaliaram 28 modelos de Visão-Linguagem (VLMs) de ponta (SOTA), incluindo modelos comerciais (ex: Gemini 3 Pro, GPT-5, Claude Opus) e open-source (ex: Kimi-K2.5, Qwen3.5, LLaVA), de 14 empresas e institutos de pesquisa.

• Desempenho Geral: A distribuição de pontuações F1 foi de 44.8 ± 10.3, indicando que o benchmark é não trivial e capaz de distinguir bem as capacidades dos modelos.
  • Melhor Modelo Comercial: Gemini 3 Pro (65.16 F1).
  • Melhor Modelo Open-Source: Kimi-K2.5 (60.58 F1).
• Percepção vs. Raciocínio:
  • Os modelos performaram bem em reconhecimento de tipo de documento (DTR), mas tiveram dificuldades significativas na extração de informações chave (KIE) e, especialmente, nas tarefas de raciocínio (CC, NC, RR).
  • Existe uma grande variância no desempenho de raciocínio, sugerindo que a capacidade de "ler" o documento não garante a capacidade de "entender" e validar o risco.
• Robustez:
  • Todos os modelos sofreram degradação de desempenho sob desafios de robustez.
  • Modelos que performam bem em condições normais podem falhar sistematicamente em cenários específicos (ex: documentos recortados ou com desfoque severo).
  • O pipeline de OCR + VLM (DeepSeek) mostrou-se inferior aos modelos VLMs end-to-end, destacando a fragilidade de abordagens de duas etapas.

5. Significado e Impacto

O FCMBench representa um marco para a IA no setor financeiro:

• Padrão de Ouro: Estabelece a primeira referência padronizada e privada-compliance para avaliar sistemas de IA em revisão de crédito.
• Foco na Robustez: Demonstra que a precisão em condições ideais é insuficiente; a robustez contra ruídos de captura é um requisito crítico para implantação em produção.
• Direcionamento Futuro: Os resultados indicam que, embora a extração de dados esteja amadurecendo, o raciocínio financeiro e a resiliência a interferências visuais são as fronteiras atuais para o desenvolvimento de IA confiável no crédito. O benchmark incentiva o desenvolvimento de estratégias de mitigação (como diretrizes de captura e fine-tuning em modos de falha) antes da implantação.

Em suma, o FCMBench move a avaliação de IA financeira de testes teóricos para cenários práticos e desafiadores, fornecendo uma ferramenta essencial para a evolução de sistemas de crédito automatizados, seguros e precisos.