Resumo Técnico: Avaliando a Robustez de Raciocínio de OCR de Modelos de Visão-Linguagem sob Perturbações Visuais

Declaração do Problema

Embora os Modelos de Visão-Linguagem (VLMs) tenham demonstrado um forte desempenho em benchmarks baseados em OCR e tarefas de compreensão ricas em texto, sua robustez sob degradação visual controlada permanece insuficientemente compreendida. Esta lacuna é particularmente crítica para o raciocínio de OCR, onde a corrupção visual não apenas embaça o conteúdo semântico, mas pode induzir erros simbólicos discretos. Esses erros são subsequentemente amplificados por tarefas de raciocínio subsequentes, introduzindo incerteza significativa. Os benchmarks existentes focam majoritariamente em imagens limpas ou no reconhecimento geral de objetos (ex: ImageNet-C), falhando em isolar o fenômeno específico onde a corrupção visual interrompe a extração de texto e o raciocínio estruturado. Além disso, os recentes benchmarks de robustez de OCR avaliam primariamente tarefas gerais de OCR, em vez do raciocínio complexo exigido para imagens ricas em texto.

Metodologia

Construção do Benchmark: OCR-Robust

Para estudar sistematicamente este problema, os autores introduzem o OCR-Robust, um benchmark projetado para avaliar a robustez do raciocínio de OCR sob perturbações visuais. O conjunto de dados compreende 812 amostras divididas em dois subconjuntos complementares:

• OCR1.0 (482 amostras): Abrange percepção de texto natural, incluindo documentos, texto de cena, recibos, caligrafia, capturas de tela e conteúdo matemático.
• OCR2.0 (330 amostras): Foca em raciocínio visual estruturado, visando gráficos, diagramas geométricos e tabelas.

A construção utiliza datasets de alta qualidade existentes (ex: DocVQA, ChartVQA, GSM8K) e emprega anotação assistida por VLM com verificação humana para gerar questões de raciocínio. Um pipeline de geração sintética é utilizado para o subconjunto matemático para garantir a disponibilidade da verdade fundamental (ground-truth).

Pipeline de Seleção de Perturbação

Em vez de aplicar perturbações de forma ad hoc, os autores conduziram um estudo piloto sobre 18 tipos de perturbação candidatos através de 6 modelos. Eles utilizaram três métricas para selecionar as perturbações mais informativas:

1. Queda Relativa Média (MRD): Mede a degradação média de desempenho.
2. Separabilidade (SEP): Quantifica a capacidade de diferenciar modelos com perfis de robustez distintos.
3. Monotonicidade (MON): Garante que o desempenho degrade consistentemente conforme a severidade aumenta.

Com base nessas métricas, 5 perturbações representativas foram selecionadas, cada uma aplicada em 3 níveis de severidade, resultando em 15 condições de avaliação:

• Desfoque de Vidro (Glass Blur)
• Desfoque de Movimento (Motion Blur)
• Deformação Elástica (Elastic Deformation)
• Deslocamento de Cor (Color Shift)
• Neve (Snow)

Métricas de Avaliação

Os autores propõem um conjunto de métricas para avaliar a robustez além da simples acurácia limpa:

• Acurácia Limpa (Clean Accuracy): Desempenho basal em imagens não corrompidas.
• Retenção de Corrupção Relativa (RCR): A razão média entre a acurácia corrompida e a acurácia limpa, normalizando pela capacidade basal.
• Retenção de Pior Caso (WCR): A razão de retenção mínima entre todas as perturbações, capturando os modos de falha mais severos.
• Índice de Robustez de Corrupção (CRI): Uma métrica composta usando a média geométrica da Acurácia Limpa, RCR e WCR para penalizar o desequilíbrio e evitar que uma alta acurácia basal mascare uma baixa robustez.

Configuração Experimental

O estudo avalia 18 modelos, incluindo:

• VLMs de código fechado: GPT-5.2, GPT-5.1, Gemini-3-Flash (com e sem modo de pensamento/thinking mode).
• VLMs de código aberto: Qwen3-VL (vários tamanhos e modos de pensamento), InternVL3.5, Llama-4-Scout, e outros.
• Pipelines de OCR + LLM: Sistemas de dois estágios onde o PaddleOCR-VL-1.5 extrai o texto, que é então alimentado a um LLM para raciocínio.

Os experimentos foram conduzidos utilizando um protocolo zero-shot sem ajuste fino (fine-tuning).

Principais Resultados e Descobertas

1. Dominância de Código Fechado: Modelos de código fechado geralmente lideram na robustez geral. Os modelos de código fechado de alto desempenho alcançaram pontuações CRI acima de 0,90 no OCR1.0 e 0,84 no OCR2.0, mantendo uma retenção média quase perfeita e forte resiliência no pior caso.
2. Capacidade Não Garante Robustez: Uma maior acurácia limpa não implica necessariamente uma maior robustez. Modelos com "modo de pensamento" (thinking mode) alcançaram a maior acurácia limpa, mas exibiram quedas significativas na retenção do pior caso em conteúdo estruturado (ex: o Qwen3-VL-8B-Thinking teve um WCR de 0,624 no OCR2.0). Além disso, dentro da família InternVL3.5, o modelo de 14B superou o de 38B em retenção do pior caso, apesar da menor acurácia limpa.
3. Fragilidade de Conteúdo Estruturado: Conteúdo visual estruturado (gráficos, tabelas, geometria) é substancialmente mais frágil do que entradas do tipo documento. O WCR médio declinou de 0,826 no OCR1.0 para 0,676 no OCR2.0 (uma queda relativa de 18%), sendo o deslocamento de cor e a neve os principais impulsionadores deste hiato.
4. Sensibilidade de Pipeline: Pipelines de OCR+LLM são altamente sensíveis à qualidade da extração OCR inicial. Embora tenham mostrado altas razões de retenção (RCR), sua baixa acurácia limpa resultou nos menores escores CRI globais.
5. Limitações do CoT Induzido por Prompt: O Chain-of-Thought (CoT) induzido por prompt melhorou significativamente a acurácia limpa, mas não impediu de forma confiável as falhas do pior caso. Em alguns casos, o WCR de fato declinou para conteúdo estruturado, sugerindo que o raciocínio estendido não mitiga inerentemente a fragilidade simbólica sob corrupção.

Significância e Contribuições

O artigo apresenta três contribuições principais:

1. Um Benchmark Diverso: O OCR-Robust fornece um cenário de diagnóstico controlado cobrindo todo o espectro, desde a percepção de texto natural até o raciocínio visual estruturado, abordando uma lacuna nas avaliações existentes.
2. Um Método de Seleção Principiado: O estudo piloto e a seleção de perturbações baseada em métricas oferecem um framework reproduzível para identificar corrupções visuais informativas para o raciocínio de OCR.
3. Um Conjunto de Métricas de Robustez: A introdução de RCR, WCR e CRI proporciona uma visão mais matizada da estabilidade do modelo do que a acurácia limpa isolada.

Os autores concluem que a robustez do raciocínio de OCR deve ser tratada como um problema de avaliação distinto. Seus resultados sugerem que os modelos atuais, mesmo aqueles com alta acurácia limpa ou capacidades avançadas de raciocínio, permanecem vulneráveis a perturbações visuais, particularmente ao lidar com conteúdo visual estruturado. Futuros VLMs capazes de OCR requerem mecanismos de raciocínio mais robustos que possam resistir à amplificação de erros simbólicos causados pela degradação visual.

Limitações

Os autores reconhecem diversas limitações:

• O tamanho do dataset (812 amostras) e a cobertura linguística são moderados.
• A seleção de perturbações baseou-se em um estudo piloto com uma base estreita (100 questões, 6 modelos).
• A avaliação foca em perturbações únicas, enquanto degradações do mundo real frequentemente ocorrem de forma conjunta (embora um piloto de perturbação composta em pequena escala tenha sido realizado).
• O protocolo zero-shot pode subestimar a robustez sob prompts otimizados.
• A avaliação de pipeline é limitada a um único motor de OCR (PaddleOCR-VL-1.5).
• A cobertura de código fechado é limitada a versões específicas de GPT e Gemini devido a restrições orçamentárias.