OCR or Not? Rethinking Document Information Extraction in the MLLMs Era with Real-World Large-Scale Datasets

Este artigo apresenta um estudo de benchmark em larga escala que demonstra que modelos de linguagem multimodal (MLLMs) podem realizar extração de informações de documentos com desempenho comparável às abordagens tradicionais que utilizam OCR, sugerindo que a entrada apenas em imagem é suficiente quando combinada com instruções e exemplos bem projetados.

O essencial

Imagine que você tem uma pilha gigante de recibos, faturas e contratos de empresas ao redor do mundo. O objetivo é ler tudo isso e transformar aquelas informações bagunçadas em uma planilha organizada e limpa.

Antigamente, para fazer isso, as empresas usavam um processo de duas etapas, como se fosse uma linha de montagem com dois trabalhadores:

1. O "Escriturário" (OCR): Ele olhava para a foto do documento e tentava transcrever tudo o que via em texto digital.
2. O "Analista" (Modelo de IA): Ele pegava esse texto transcrito e tentava entender onde estava o valor total, a data e o nome do cliente para preencher a planilha.

O problema? O "Escriturário" às vezes errava a transcrição (confundia um "O" com um "0", ou perdia uma linha). Quando ele errava, o "Analista" também errava, porque estava trabalhando com informações ruins. Além disso, esse processo era caro, lento e difícil de adaptar para novos tipos de documentos.

A Grande Pergunta:
Com o surgimento de Modelos de Linguagem Multimodais (MLLMs) — que são super-inteligentes e conseguem "ver" imagens e "ler" ao mesmo tempo — será que ainda precisamos desse "Escriturário" intermediário? Será que o "Analista" moderno consegue olhar direto para a foto do documento e fazer tudo sozinho?

O que os autores descobriram:

Os pesquisadores da SAP e da Universidade Stanford fizeram um teste gigante (um "batalha de gigantes") com os modelos de IA mais modernos do mundo. Eles compararam três cenários:

1. Dar apenas o texto transcrito (o jeito antigo).
2. Dar apenas a imagem do documento (o jeito novo).
3. Dar a imagem E o texto juntos.

As Surpresas (Analogias):

• O "Escriturário" pode ser desnecessário: Para os modelos de IA mais poderosos (como o Gemini da Google), dar apenas a imagem funcionou tão bem, ou até melhor, do que dar o texto transcrito. É como se o "Analista" tivesse olhos tão aguçados que ele consegue ler a foto diretamente, entendendo o layout, as fontes e a estrutura sem precisar de alguém para digitar o texto antes. Na verdade, às vezes, passar pelo "Escriturário" (OCR) até atrapalhava, porque ele introduzia erros que o "Analista" acabava repetindo.
• Quanto maior, melhor (mas com ressalvas): Geralmente, modelos maiores funcionam melhor. Mas os autores notaram algo curioso: em alguns casos, modelos menores e mais rápidos conseguiam ler a imagem diretamente com tanta eficiência que não precisavam de ajuda externa.
• O segredo não é só a máquina, é o "Manual de Instruções": Eles descobriram que a IA precisa de um "manual" muito bem escrito (instruções claras, exemplos e regras). Se você der um manual confuso, mesmo a IA mais inteligente vai errar. Com um manual melhor, o desempenho saltou.

A Ferramenta de Detetive (Análise de Erros):
Para entender por que as IAs erravam, os autores criaram um sistema automatizado que age como um detetive. Em vez de humanos olhando erro por erro, a própria IA analisa os erros, classifica-os (ex: "leu o número errado", "confundiu o layout", "não entendeu a abreviação") e diz exatamente onde o processo falhou. Isso ajudou a refinar o sistema e melhorar os resultados.

Conclusão Simples:
Este estudo diz que, para documentos complexos, o futuro pode ser olhar direto para a foto e deixar a IA inteligente fazer o trabalho de leitura e organização sozinha. Isso simplifica o processo, reduz custos e evita erros de transcrição.

Resumo em uma frase:
Não precisamos mais de um "tradutor" intermediário para ler documentos; as novas IAs são tão espertas que conseguem ler a foto diretamente, desde que a gente lhes dê instruções claras sobre o que procurar.

Resumo técnico

Título: OCR ou Não? Repensando a Extração de Informação de Documentos na Era dos MLLMs com Conjuntos de Dados em Grande Escala do Mundo Real

1. Problema e Motivação

A extração de informação de documentos (DIE - Document Information Extraction) é crucial para automatizar fluxos de trabalho em setores como finanças e cadeia de suprimentos. Tradicionalmente, a indústria utiliza um pipeline de duas etapas:

1. OCR (Reconhecimento Óptico de Caracteres): Extrai texto bruto da imagem.
2. Modelo Especializado: Converte o texto extraído em informações estruturadas seguindo um esquema.

Desafios do Abordagem Tradicional:

• Complexidade: Requer a manutenção de dois sistemas distintos.
• Propagação de Erros: Erros no OCR (ex: confusão entre caracteres) são transmitidos diretamente para a etapa de extração, degradando o desempenho final.
• Generalização: Dificuldade em adaptar o pipeline para novos domínios ou idiomas sem retreinamento extensivo.

Com o avanço dos Modelos de Linguagem Multimodais (MLLMs), surge a questão central: É necessário o OCR como etapa intermediária? Os MLLMs modernos, treinados em grandes volumes de dados estruturados e imagens, poderiam extrair informações diretamente das imagens (abordagem end-to-end), eliminando a dependência do OCR.

2. Metodologia

2.1. Conjunto de Dados (Dataset)

Os autores utilizaram dois conjuntos de dados internos da SAP, provenientes de domínios reais e complexos:

• C1: Documentos da cadeia de suprimentos.
• C2: Documentos financeiros.
• Características: Alto nível de desafio devido à multilinguagem (inglês, alemão, espanhol, etc.), complexidade estrutural (células empilhadas, cabeçalhos heterogêneos) e densidade de informação.
• Anotação: Dados com ground truth (rótulos manuais estruturados) e resultados de OCR de alta precisão (acurácia >90% em múltiplos idiomas).

2.2. Pipeline de Avaliação

O estudo comparou três modalidades de entrada para diversos MLLMs de última geração (ex: GPT-4o, Gemini 2.5, Claude 3.5, Llama 4, Nova Pro):

1. Apenas Imagem (Image-only): O modelo recebe a imagem bruta do documento.
2. Apenas Texto OCR (OCR-only): O modelo recebe apenas o texto extraído pelo OCR.
3. Híbrido (Image + OCR): Combinação de imagem e texto extraído.

A métrica principal foi o F1-Score calculado sobre pares chave-valor extraídos.

2.3. Framework de Análise de Erros Hierárquica

Para diagnosticar falhas, os autores propuseram um framework automatizado que utiliza LLMs para:

1. Handler: Detectar discrepâncias entre previsões e ground truth (nível de caractere e semântico).
2. Raciocínio LLM: Classificar os erros em categorias pré-definidas e identificar causas raiz, utilizando a imagem original quando o texto não é suficiente para explicar a falha.
3. Atribuição: Agrupar erros por similaridade (usando clustering BERT) para identificar padrões como "má interpretação de texto", "problemas de extração imagem-para-texto" ou "ambiguidade de esquema".

3. Principais Contribuições

1. Reavaliação da Necessidade do OCR: Demonstram que, para MLLMs poderosos, o OCR não é apenas desnecessário, mas pode ser prejudicial em alguns casos. A entrada apenas com imagem (Image-only) alcança desempenho comparável ou superior ao OCR+MLLM.
2. Escalabilidade de Desempenho: Confirmam que o desempenho de extração de informação escala com o tamanho do modelo, mesmo em modalidades de entrada puramente visuais.
3. Framework de Análise de Erros Automatizado: Apresentam uma metodologia escalável para diagnosticar falhas em pipelines de documentos usando LLMs, categorizando erros de forma hierárquica.
4. Otimização de Prompt e Esquema: Identificam que MLLMs de propósito geral carecem de conhecimento específico de tarefas e demonstram que o refinamento de prompts, exemplos (exemplars) e instruções de esquema pode melhorar significativamente os resultados, superando abordagens tradicionais.

4. Resultados Chave

• Desempenho por Modalidade:

  • Modelos como Gemini 2.0/2.5 e Amazon Nova Pro obtiveram resultados excelentes com apenas imagem, muitas vezes superando ou igualando a configuração com OCR.
  • A adição de texto OCR a esses modelos não trouxe ganhos significativos e, em alguns casos (ex: Pixtral, Claude 3.5 Sonnet), reduziu o desempenho, possivelmente devido a dificuldades na fusão de características multimodais ou ruído introduzido pelo OCR.
  • A variância de desempenho entre modelos diminuiu quando se usou a entrada híbrida, mas a entrada apenas com imagem mostrou-se mais robusta para os modelos mais avançados.

• Análise de Erros:

  • Entrada Apenas Imagem: Apresentou a menor taxa total de erros. Reduziu significativamente erros de "ambiguidade de esquema" (causados por OCR que perde a estrutura visual).
  • Entrada Apenas OCR: Sofreu mais com erros de alinhamento de esquema e perda de contexto visual (layout).
  • Tipos de Erro Comuns:
    • A (Má interpretação de texto): Erros na leitura de formatos ou abreviações.
    • B (Extração Imagem-para-Texto): Confusão visual (ex: 'I' vs '1').
    • C (Ambiguidade de Esquema OCR): Erros onde o OCR quebra a estrutura lógica do documento, confundindo colunas adjacentes.

• Otimização:

  • Ao refinar o prompt (adicionando ênfase na precisão, instruções de formato e validação de JSON) para a entrada apenas com imagem, o desempenho médio do Gemini 1.5 Pro aumentou de 76,8% para 78,9%, superando tanto a entrada apenas OCR quanto a híbrida.

• Custo e Latência:

  • A abordagem Image-only simplifica o pipeline, reduzindo a latência de inferência e os custos operacionais ao eliminar a etapa de OCR e a necessidade de manutenção de modelos de OCR.

5. Significância e Conclusão

O artigo oferece uma mudança de paradigma para a indústria de processamento de documentos:

• Fim da Dependência do OCR: Para MLLMs de alta capacidade, o OCR pode ser removido do pipeline, simplificando a arquitetura e eliminando um ponto crítico de falha.
• Importância do Design de Prompt: O sucesso não depende apenas do modelo, mas de como o esquema, os exemplos e as instruções são apresentados ao modelo.
• Direção Futura: Sugere que o foco deve migrar para o desenvolvimento de prompts robustos e a exploração de modelos de raciocínio (como o O1 ou DeepSeek R1) para lidar com a complexidade de documentos do mundo real, em vez de depender de pré-processamento OCR tradicional.

Em suma, a pesquisa conclui que MLLMs puramente visuais são uma direção promissora e viável para a extração de informação de documentos, oferecendo desempenho competitivo, maior robustez e simplificação operacional.