🤖 AI

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

Este artigo apresenta o benchmark FaithC4 para demonstrar que os Modelos de Visão-Linguagem frequentemente reescrevem textos imperfeitos em formas plausíveis em vez de transcrevê-los fielmente, revelando padrões de degradação distintos entre tipos de modelos e identificando representações de camadas e comprimentos de palavras específicos que desencadeiam esse comportamento de reescrita.

Autores originais: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Publicado 2026-07-27

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ler uma nota escrita à mão de sua avó. Você espera que o robô aja como uma fotocopiadora superprecisa, capturando cada rabisco, mancha ou palavra escrita incorretamente exatamente como aparece. Este é o trabalho do Reconhecimento Óptico de Caracteres (OCR), uma tecnologia que existe há décadas para transformar imagens de texto em palavras digitais. Mas recentemente, um novo tipo de robô chegou: o Modelo de Visão-Linguagem (VLM). Pense neles não apenas como robôs que "veem" as letras, mas também como robôs que "pensam" sobre o que a frase deveria significar, combinando uma câmera com um cérebro muito inteligente treinado em toda a internet.

A grande questão é: quando esses novos robôs inteligentes veem uma palavra bagunçada, eles a copiam fielmente ou tentam "corrigi-la"? É um pouco como o efeito de "tipoglicemia" que os humanos experimentam, onde ainda conseguimos ler uma frase mesmo se as letras do meio das palavras estiverem embaralhadas, porque nossos cérebros adivinham a palavra pretendida. Embora isso seja útil para os humanos, pode ser um desastre para um robô se você precisar de uma cópia perfeita e literal de um contrato jurídico ou de uma carta histórica. Se o robô decidir "corrigir" um erro de digitação que era parte integrante do documento original, ele terá reescrito a história em vez de registrá-la. Este artigo mergulha no questionamento de se esses novos robôs de IA são escribas fiéis ou editores excessivamente empenhados.

Os VLMs Leem ou Reescrevem?

Neste estudo, pesquisadores da Amazon buscaram testar um hábito específico desses Modelos de Visão-Linguagem (VLMs): quando eles veem uma palavra que parece um pouco estranha, eles a leem exatamente como ela é ou a reescrevem secretamente para algo que faça mais sentido?

Para descobrir, a equipe criou um playground especial chamado FaithC4. Imagine que eles pegaram milhares de páginas de texto limpas e normais em inglês, chinês e coreano. Em seguida, jogaram um jogo de "telefone sem fio" com as palavras antes de transformá-las em imagens. Eles pegaram 8% das palavras elegíveis e as bagunçaram de três maneiras criativas:

Embaralhar (Scramble): Eles embaralharam as letras internas (como transformar "standard" em "sdanartd").
Aleatório (Random): Eles trocaram letras por outras completamente aleatórias (como "xkpmewqi").
Visual: Eles trocaram letras por outras que parecem quase idênticas (como transformar um 'a' em um 'c' ou um 'o' em um '0').

Depois, mostraram essas imagens "quebradas" a 15 sistemas diferentes. Esses sistemas foram divididos em três grupos:

A Velha Guarda: Ferramentas de OCR tradicionais (como o Tesseract) que apenas olham para os pixels e dizem "isso parece um 'a'".
Os Especialistas: VLMs treinados especificamente para ler documentos.
Os Generalistas: Os grandes e poderosos VLMs (como Qwen, GPT-4V e Gemini) que são bons em tudo, desde matemática até poesia.

Os Resultados: Os Robôs "Inteligentes" São Inteligentes Demais

As descobertas foram surpreendentes e um pouco preocupantes para quem precisa de cópias perfeitas. Os pesquisadores descobriram que, quanto mais "inteligente" o robô, mais propenso ele era de reescrever o texto.

A Velha Guarda (OCR Tradicional): Estes foram os mais fiéis. Quando o texto foi bagunçado, eles mal mudaram sua resposta. Sua taxa de erro aumentou menos de 0,6 ponto percentual. Eles apenas viram a bagunça e copiaram a bagunça.
Os Especialistas: Eles foram um pouco melhores que os generalistas, mas ainda assim fizeram algumas alterações. Seus erros aumentaram entre 0,2 e 2 pontos percentuais.
Os Generalistas: Estes foram os piores em serem fiéis. Quando o texto estava embaralhado ou visualmente alterado, suas taxas de erro saltaram em até 4,5 pontos percentuais.

Por quê? Porque esses modelos de uso geral são tão bons em prever como uma frase deveria parecer que muitas vezes ignoram o que está realmente escrito. Se eles veem "prbolem", eles exibem com confiança "problem", mesmo que a imagem diga claramente "prbolem". É como um aluno que conhece tão bem a resposta de um problema matemático que ignora o erro que o professor escreveu no quadro e apenas escreve a resposta correta.

O Mecanismo Oculto: Quando o Erro de Reescrita Acontece?

Para entender por que isso acontece, os pesquisadores olharam dentro do cérebro de um desses modelos, o Qwen3-VL-4B, camada por camada. Eles queriam ver se o robô era "cego" ao erro ou se ele apenas escolhia ignorá-lo.

Eles descobriram uma regra fascinante: O robô reescreve a palavra apenas quando ele ainda "acha" que a palavra parece familiar.

Se a representação interna do robô para a palavra embaralhada permanece muito próxima da palavra original (como uma foto borrada que ainda parece um gato), o robô diz: "Ah, isso é definitivamente um 'gato'!" e a reescreve.
Mas se o embaralhamento for tão ruim que a representação interna se afasta muito da original (a foto agora é apenas um borrão), o robô para de adivinhar e finalmente lê o que vê.

Isso explica por que o comprimento da palavra importa tanto. Palavras curtas (4 a 6 letras) são reescritas até 10% das vezes porque é fácil para o robô adivinhar a original. Mas assim que uma palavra chega a 8 caracteres ou mais, a reescrita cai para 0%. O embaralhamento é grande demais para o "cérebro de adivinhação" do robô recuperar a original, então ele desiste e transcreve fielmente.

O Efeito Cascata

Aqui está a parte mais surpreendente: bagunçar apenas algumas palavras não prejudica apenas aquelas palavras específicas. Os pesquisadores descobriram que corromper apenas 5% das palavras de um documento fez com que os erros nas palavras perfeitas e intocadas saltassem de 5 a 10 vezes para os modelos de uso geral.

É como se o robô ficasse tão confuso com um único erro de digitação que começa a ler errado todo o parágrafo ao redor. Os sistemas de OCR tradicionais não tinham esse problema; eles permaneciam calmos e precisos mesmo cercados pelo caos.

O Que Isso Significa

O artigo conclui que, embora esses novos modelos de IA sejam incríveis para entender documentos e responder perguntas, eles não são confiáveis para tarefas que exigem uma cópia literal e perfeita do texto. Se você estiver digitalizando um manuscrito histórico, verificando um contrato jurídico ou analisando registros médicos onde cada erro de digitação importa, deve manter o OCR tradicional ou ferramentas especializadas. Os VLMs de uso geral são prestativos demais ao tentar "ajudar" corrigindo coisas que não deveriam ser corrigidas.

Os pesquisadores sugerem que precisamos ter cuidado com a forma como usamos esses modelos. Só porque um modelo consegue ler um documento, não significa que ele o lerá de forma fiel. Por enquanto, se você precisa da verdade exatamente como foi escrita, os robôs da velha guarda ainda são os escribas mais honestos.

Resumo Técnico: Os VLMs Leem ou Reescrevem? Sobre a Fidelidade de Transcrição em Modelos de Visão-Linguagem

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) estão substituindo progressivamente os pipelines tradicionais de Reconhecimento Óptico de Caracteres (OCR) para a compreensão de documentos devido à sua capacidade de lidar com reconhecimento de texto, análise de layout e tarefas subsequentes dentro de um único modelo. No entanto, os benchmarks padrão de OCR, que dependem de textos limpos, falham em capturar uma falha comportamental crítica: os VLMs frequentemente atuam como "reescritores silenciosos" em vez de transcritores fiéis. Quando apresentados com entradas imperfeitas (erros de digitação, artefatos visuais ou caracteres obscuros), os VLMs tendem a produzir o que eles esperam ver com base em priors de linguagem, em vez do que está realmente escrito. Esse comportamento, reminiscente do efeito de tipoglicemia na leitura humana, apresenta riscos significativos para domínios que exigem transcrição literal, como documentos jurídicos, registros médicos e manuscritos históricos. A pesquisa existente não investigou sistematicamente esse comportamento de reescrita, pois os benchmarks atuais focam no reconhecimento de texto limpo.

Metodologia

Para abordar essa lacuna, os autores introduzem o FaithC4, um benchmark de perturbação multilíngue projetado para medir a fidelidade da transcrição sob entradas imperfeitas.

Construção do Conjunto de Dados: Os autores extraíram texto bruto do Colossal Clean Crawled Corpus (C4) e o renderizaram em imagens de página única. Eles aplicaram perturbações controladas a 8% das palavras elegíveis (aquelas com $\ge$ 4 caracteres) em três idiomas: Inglês (EN), Chinês (ZH) e Coreano (KO). As famílias de perturbação incluem:
- Embaralhamento (Scramble): Caracteres internos são embaralhados enquanto preservam a primeira e a última letra (ex: "standard" $\to$ "sdanartd").
- Substituição Aleatória (Random Substitution): Caracteres são substituídos por letras aleatórias do mesmo alfabeto.
- Substituição Visual (Visual Substitution): Caracteres são substituídos por alternativas visualmente semelhantes (ex: "standard" $\to$ "stsndord").
- O texto perturbado serve como o ground truth; a saída do modelo é comparada contra este para determinar se ele transcreveu fielmente o erro ou se "reescreveu" de volta para o original.
Sistemas Avaliados: O estudo avalia 15 sistemas em três categorias:
1. VLMs de propósito geral: Pesos abertos (ex: Qwen3-VL, InternVL, Gemma) e pesos fechados (ex: GPT-5.4-mini, Gemini).
2. VLMs especializados em OCR: Modelos ajustados para extração de documentos (ex: MinerU, DeepSeek-OCR).
3. OCR Tradicional: Pipelines de nível de caractere (Tesseract, docTR).
Métricas de Avaliação:
- Taxa de Erro de Palavra (WER): Mede a precisão ao nível de palavra sensível à ordem (ou Taxa de Erro de Caractere, CER, para o Chinês).
- Similaridade de Distância de Edição (EDS): Mede a similaridade ao nível de caractere.
- Classificação de Erros: Erros em palavras perturbadas são categorizados como Reescrito (correspondendo à palavra original não perturbada), Próximo (edições menores), Moderado ou Errado.
Sondagem Mecanística: Os autores realizam sondagem camada por camada no Qwen3-VL-4B para identificar a origem da reescrita. Eles analisam a similaridade de cosseno das saídas da Rede de Feed-Forward (FFN) entre entradas originais e perturbadas e medem os pesos de atenção em patches de palavras destacados.

Resultados Principais

1. Degradação de Desempenho e Hierarquia de Robustez

O estudo revela uma ordenação consistente de três níveis de robustez em todos os três idiomas, correlacionando-se com a força do prior de linguagem de um modelo:

OCR Tradicional: Mais robusto, com degradação $< 0,6$ pontos percentuais (pp) em WER/CER. Eles transcrevem caractere por caractere sem sobrepor evidências visuais.
VLMs especializados em OCR: Mostram degradação moderada (0,2–2,0 pp), retendo alguns priors de linguagem, mas menos que os modelos gerais.
VLMs de propósito geral: Sofrem a maior degradação (até 4,5 pp). Por exemplo, o InternVL3.5-4B degradou 4,45 pp sob perturbação visual em inglês, enquanto o Gemini-3-Flash foi uma exceção com menor degradação (0,23–0,60 pp).

2. Comportamento de Reescrita

Taxas de Reescrita: VLMs de propósito geral reescrevem uma fração substancial de palavras perturbadas. Por exemplo, sob perturbação de embaralhamento, o Gemini-2.5-Flash reescreveu 64,6% dos erros, enquanto o Qwen3-VL reescreveu 29,2%. O OCR tradicional reescreveu 0%.
Propagação de Erro Não Local: Perturbar apenas ~4,7% das palavras causou um aumento de 5 a 10 vezes nas taxas de erro no restante do texto não perturbado para VLMs de propósito geral, enquanto o OCR tradicional mostrou apenas uma amplificação de 1,7–3,1 vezes. Isso sugere que a reescrita é um modo de falha não local.
Consistência Cross-Lingual: A hierarquia de degradação mantém-se para Inglês, Chinês e Coreano, embora o tipo de perturbação mais danoso varie por alfabeto (ex: substituição aleatória é mais danosa para VLMs de propósito geral em Chinês).

3. Insights Mecanísticos (Qwen3-VL-4B)

A sondagem das camadas internas do Qwen3-VL-4B revelou que a reescrita não é causada por uma falha em notar a perturbação:

Atenção vs. Representação: O modelo aloca mais atenção aos patches de imagem da palavra perturbada nas camadas iniciais e finais, indicando que ele "vê" a corrupção.
O Mecanismo de Portão (Gating): A reescrita ocorre apenas quando a representação interna da FFN da palavra perturbada na camada final permanece próxima da codificação original.
- Se a representação divergir suficientemente (baixa similaridade de cosseno), o modelo transcreve fielmente.
- Se a representação permanecer próxima (alta similaridade), o prior de linguagem sobrepõe a evidência visual para "corrigir" a palavra.
Efeito do Comprimento da Palavra: A reescrita é altamente dependente do comprimento da palavra. Palavras curtas (4–6 caracteres) são reescritas até 10% das vezes. Há um corte abrupto em 8 caracteres, onde a taxa de reescrita cai para 0%. Palavras mais curtas causam menos interrupção na representação interna, permitindo que o prior de linguagem as reconheça e as "corrija".

Significância e Alegações

O artigo afirma que o FaithC4 expõe uma limitação sistemática nos VLMs que benchmarks de texto limpo não conseguem detectar: a tendência de reescrever silenciosamente textos imperfeitos com base em priors de linguagem. Os autores argumentam que, para aplicações que exigem transcrição literal (jurídica, médica, histórica), o OCR tradicional ou VLMs cuidadosamente selecionados e especializados em OCR continuam sendo a escolha mais segura, já que os VLMs de propósito geral introduzem erros de reescrita sistemáticos.

O estudo estabelece que o comportamento de "reescrita" não é uma alucinação no sentido tradicional de gerar objetos inexistentes, mas um modo de falha específico onde o prior de linguagem do modelo sobrepõe a evidência visual quando a perturbação é sutil o suficiente para deixar a representação interna reconhecível. Este comportamento é controlado pela magnitude do deslocamento na representação interna do modelo, não pela quantidade de atenção alocada ao input.