💬 NLP

Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions

Este artigo demonstra que os Modelos Visão-Linguagem (VLMs) que realizam OCR em textos do grego antigo frequentemente recorrem a priores linguísticos para gerar erros fluentes, mas visualmente desconectados, um modo de falha que persiste mesmo com intervenções no momento da decodificação e difere significativamente dos padrões de ruído dos sistemas tradicionais de OCR.

Autores originais: Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ler uma carta muito antiga, manuscrita em Grego Antigo. A tinta está desbotada, as letras são estranhas e a página está coberta por anotações desordenadas nas margens. Você tem dois ajudantes para lê-la para você:

O "Scanner Antigo" (OCR Tradicional): Este é como um robô estrito e literal. Ele olha para a tinta na página e diz: "Vejo um rabisco que parece um 'A', então vou escrever um 'A'." Se a tinta estiver muito borrada, ele pode escrever um símbolo aleatório ou um erro de digitação. Ele não adivinha; apenas relata o que vê, mesmo que o resultado pareça desordenado.
O "Assistente Inteligente de IA" (Modelo Visão-Linguagem): Este é como um aluno brilhante que conhece perfeitamente o Grego Antigo, mas é um pouco preguiçoso em olhar de perto o papel. Quando vê uma mancha borrada, pensa: "Hmm, com base na frase até agora, a próxima palavra deveria ser 'rei'." Então, escreve "rei", mesmo que a tinta na página realmente parecesse mais com "cão".

Este artigo, intitulado "Ler ou Adivinhar? Falhas de Ancoragem Visual de Modelos Visão-Linguagem para OCR em Edições de Grego Antigo", investiga o que acontece quando esses dois ajudantes tentam ler textos difíceis e de recursos limitados em Grego Antigo.

Aqui está o que os pesquisadores descobriram, usando analogias simples:

1. A "Mentira Fluente" vs. A "Verdade Desordenada"

Quando o Scanner Antigo comete um erro, geralmente parece um erro de digitação ou um amontoado de letras (por exemplo, "kng"). É óbvio que algo deu errado.

No entanto, quando o Assistente Inteligente de IA comete um erro, frequentemente escreve uma palavra grega antiga perfeitamente real e fluente que simplesmente não é o que estava escrito na página.

A Analogia: Imagine que a IA está lendo uma receita. Se a lista de ingredientes estiver manchada e disser "farinha", mas a IA sabe que esta receita geralmente pede "açúcar", ela pode escrever com confiança "açúcar". Para um olhar rápido, a frase parece perfeita. Mas é, na verdade, uma mentira. A IA está confiando em sua memória de como as receitas geralmente são (seu "prior linguístico") em vez de olhar para o papel específico à sua frente.

2. O Teste da "Tinta Mágica"

Para provar isso, os pesquisadores fizeram uma brincadeira. Eles pegaram o texto, embaralharam as letras dentro das palavras (transformando palavras reais em nonsense sem sentido) e, em seguida, mostraram esse nonsense aos ajudantes.

O Scanner Antigo: Olhou para o nonsense e escreveu o nonsense. Permaneceu fiel à evidência visual, mesmo que o resultado fosse lixo.
O Assistente Inteligente de IA: Olhou para o nonsense, ficou confuso e, em seguida, "consertou-o". Reescreveu o nonsense de volta em palavras gregas reais e fluentes. Ignorou a evidência visual (as letras embaralhadas) e confiaram inteiramente em seu conhecimento interno da linguagem.

3. Nem Todas as IAs "Inteligentes" São Iguais

Os pesquisadores encontraram uma reviravolta surpreendente. Nem todos os assistentes de IA se comportam da mesma maneira.

A IA Generalista: Estes são os grandes modelos famosos usados para muitas tarefas. Mesmo quando estavam errados, ainda estavam "olhando" para a imagem. Estavam tentando ler a tinta, mas seu cérebro estava apenas muito ansioso para adivinhar a palavra certa.
A IA Especialista: Havia um modelo construído especificamente para ler documentos (chamado OlmOCR). Este foi o pior infrator. Quando cometia um erro, era quase como se não tivesse olhado para a imagem de forma alguma. Era puramente um palpite baseado no que pensava que o texto deveria dizer. Era como um aluno que fecha os olhos e recita o livro didático de memória, ignorando o papel de exame real.

4. Podemos Consertar a IA?

Os pesquisadores tentaram vários "corretivos" para forçar a IA a olhar para a imagem em vez de adivinhar:

A "Cerca de Vocabulário": Tentaram dizer à IA: "Você só pode escrever letras gregas." Resultado: Isso tornou as coisas muito piores. A IA ficou confusa e começou a escrever nonsense porque não podia usar seus truques habituais.
O "Teste de Contraste": Tentaram mostrar à IA a imagem e uma versão borrada da imagem ao mesmo tempo para forçá-la a focar nos detalhes. Resultado: Isso ajudou um pouco para alguns modelos, mas não para o especialista.
A "Edição Pós-Jogo": Deixaram a IA escrever sua resposta primeiro e, em seguida, tiveram uma segunda IA (um editor apenas de texto) corrigir os erros. Resultado: Isso funcionou bem para limpar o texto, mas não corrigiu o problema fundamental. A primeira IA ainda ignorava a imagem; a segunda IA apenas consertava a mentira depois que ela foi contada.

A Grande Lição

A lição principal é que apenas porque a resposta de uma IA soa perfeita e fluente, não significa que ela realmente leu o documento.

No mundo da história antiga e de documentos raros, isso é perigoso. Se uma biblioteca digital usar esses modelos de IA para digitalizar livros gregos antigos, a IA pode silenciosamente substituir uma palavra rara e obscura por uma comum e "plausível". Um historiador lendo a versão digital nunca saberia que a mudança ocorreu porque a frase ainda parece gramaticalmente perfeita.

O artigo conclui que precisamos de novas maneiras de testar a IA, não apenas verificando se a pontuação final é alta, mas verificando se a IA está realmente "ancorada" na evidência visual, ou se está apenas adivinhando com base no que acha que deveria estar lá.

Resumo Técnico: Ler ou Adivinhar? Falhas de Ancoragem Visual de Modelos Visão-Linguagem para OCR em Edições Críticas do Grego Antigo

Declaração do Problema

Modelos Visão-Linguagem (VLMs) recentes alcançaram desempenho próximo ao humano no Reconhecimento Óptico de Caracteres (OCR) em benchmarks padrão. No entanto, evidências emergentes sugerem que esses modelos podem depender pesadamente de priors linguísticos em vez de evidências visuais, gerando texto semanticamente plausível, mas visualmente não suportado, quando o contexto linguístico é perturbado. Embora esse fenômeno tenha sido estudado em ambientes de alto recurso, seu comportamento em documentos históricos de baixo recurso permanece pouco explorado.

Este artigo investiga essa questão utilizando edições críticas do Grego Antigo, um domínio desafiador caracterizado por:

Priors de baixo recurso: Suporte limitado para os padrões lexicais e de formatação aprendidos durante o pré-treinamento geral.
Layouts complexos: Texto denso, scripts poliotônicos (acentos e aspirações), anotações marginais e numerais alfabéticos.
Altas consequências: Erros na digitalização de edições acadêmicas podem corromper silenciosamente pesquisas subsequentes.

As principais questões de pesquisa são:

VLMs e sistemas tradicionais de OCR falham de maneira diferente?
Em que medida os VLMs dependem de priors linguísticos versus evidências visuais?
Intervenções no momento da inferência podem restaurar a ancoragem visual?

Metodologia

Os autores avaliaram cinco VLMs de pesos abertos (incluindo especialistas em OCR como OlmOCR-2-7B e DeepSeek-OCR, e modelos de propósito geral como Qwen3-VL-2B/8B) contra duas bases tradicionais de OCR (Tesseract-grc e Kraken-CLLG) em um conjunto de dados de 90 páginas digitalizadas de edições críticas do Grego Antigo.

O estudo emprega um quadro analítico multifacetado:

1. Análise da Distribuição de Erros

Os autores estabeleceram uma taxonomia de erros em nível de palavra (oito categorias mutuamente exclusivas), incluindo erros de acento/diacrítico, confusão de caracteres, substituição entre scripts, substituição de palavras, sobregeração e omissão. Eles analisaram a Taxa de Erro de Caracteres (CER) e a Taxa de Erro de Palavras (WER) para distinguir entre erros de reconhecimento "ruidosos" e "fluídos" (alucinações).

2. Experimentos de Perturbação Contrafactual

Para isolar a dependência de priors linguísticos, os autores geraram estímulos sintéticos onde o texto na página foi corrompido antes da renderização. A verdade fundamental foi a string perturbada.

Lógica: Um sistema ancorado visualmente deve transcrever os glifos corrompidos mesmo que formem nonsense. Um sistema que depende de priors deve "reparar" o texto em direção a um Grego plausível, aumentando sua taxa de erro contra a verdade fundamental perturbada.
Perturbações: Incluíram reordenação em nível de palavra (sintática) e embaralhamento em nível de caractere (lexical/ortográfico).

3. Análise de Ganho de Imagem em Nível de Token

Para medir a ancoragem mecanicamente, os autores calcularam o ganho de imagem para cada token:
$\text{ganho}(t) = \log p(t \mid \text{imagem}, \text{prompt}) - \log p(t \mid \text{prompt})$
Esta métrica quantifica o quanto a imagem aumenta a probabilidade de um token em comparação com uma base apenas de texto. Eles compararam isso entre classes de tokens: tokens corretos, erros perceptivos (confusão de glifos), erros entre scripts e erros lexicais (substituições fluentes de palavras).

4. Intervenções no Momento da Inferência

O estudo testou três famílias de intervenções para restaurar a ancoragem:

Restrições de Saída: Mascaramento de script (restringindo a saída para caracteres gregos) e abstenção de comprimento (suprimindo saídas com comprimentos incorretos).
Decodificação Contrastiva: Decodificação Contrastiva Visual (VCD) e Decodificação Contrastiva sem Imagem (M3ID) para penalizar tokens que permanecem prováveis sem entrada visual.
Correção Pós-OCR: Uso de um modelo de linguagem apenas de texto para reescrever o texto reconhecido após a geração.

Principais Resultados

1. Modos de Falha Divergentes

OCR Tradicional: Os erros são principalmente ruído local de reconhecimento (por exemplo, pontuação, elementos de página, confusão de caracteres) e permanecem estritamente ligados aos glifos visíveis.
VLMs: Os erros são dominados por erros de ortografia superficial perceptiva (acentos/diacríticos) e substituições lexicais fluentes. Os VLMs frequentemente substituem palavras incorretas por palavras válidas e dentro do vocabulário do Grego Antigo, levando a uma razão WER/CER significativamente maior do que os sistemas tradicionais.

2. Evidência de Dependência de Priors

Resposta à Perturbação: Sob perturbações em nível de caractere, as taxas de erro dos VLMs aumentaram abruptamente (divergindo da verdade fundamental perturbada), enquanto o OCR tradicional permaneceu comparativamente fiel.
Ancoragem Específica do Modelo: A análise em nível de token revelou que a dependência de priors não é universal:
- OlmOCR (Especialista em OCR): Exibiu uma assinatura de "baixo ganho de imagem" para erros lexicais fluentes (ganho mediano de 0,17), indicando que esses erros foram produzidos com pouca dependência da imagem (substituição de prior).
- Qwen3-VL (Propósito Geral): Permaneceu engajado com a imagem mesmo quando errado. Seus erros lexicais tiveram alto ganho de imagem (por exemplo, 1,97 para Qwen3-VL-8B), sugerindo que foram condicionados à entrada visual, mas interpretaram-na erroneamente, em vez de ignorar a imagem para adivinhar.
- Erros entre scripts: Em todos os modelos, erros de mistura de scripts (Grego $\to$ Latim) mostraram o maior ganho de imagem, confirmando que foram desencadeados visualmente.

3. Ineficácia das Intervenções

Restrições de Saída: A mascaramento de script causou degradação catastrófica de desempenho (CER aumentou 7–10 vezes), e a abstenção de comprimento não ofereceu ganho enquanto reduzia a cobertura.
Decodificação Contrastiva: O VCD não teve efeito significativo. O M3ID melhorou os VLMs de propósito geral (Qwen), mas falhou em ajudar o especialista em OCR (OlmOCR), indicando que não existe uma correção agnóstica ao modelo.
Correção Pós-OCR: Isso proporcionou os ganhos mais amplos, reduzindo significativamente os erros em cinco dos sete sistemas. No entanto, essa melhoria ocorreu após a geração, reparando o texto em vez de prevenir a perda de ancoragem visual durante a decodificação.

Significado e Afirmações

O artigo afirma que saídas de OCR fluentes não garantem ancoragem visual. A capacidade dos VLMs de produzir Grego Antigo gramatical e lexicalmente correto pode mascarar uma desconexão fundamental da evidência visual, particularmente em ambientes históricos complexos e de baixo recurso.

As principais contribuições incluem:

Extensão do Trabalho Anterior: Demonstrar que a dependência de priors linguísticos se estende além de ambientes de alto recurso para documentos históricos de baixo recurso e um conjunto mais amplo de modelos.
Análise Nuanceada de Ancoragem: Mostrar que a "substituição de prior" é específica do modelo. É um modo de falha distinto em modelos especialistas em OCR (ignorando a imagem para adivinhar), mas não necessariamente em VLMs de propósito geral (que podem ainda atender à imagem, mas falhar em interpretá-la corretamente).
Limitações das Correções Atuais: Estabelecer que restrições simples de decodificação e métodos contrastivos são insuficientes para restaurar a ancoragem, sugerindo um desajuste mais profundo entre a evidência visual e a decodificação generativa nessas arquiteturas.

Os autores concluem que a avaliação de modelos multimodais em domínios históricos deve ir além das métricas agregadas de precisão (CER/WER) em direção a avaliações orientadas à interpretabilidade que testam se as saídas do modelo são genuinamente ancoradas na evidência de entrada relevante. Eles alertam contra a implantação de VLMs em material de patrimônio cultural sub-resourced sem verificação humana, pois erros fluentes, mas não ancorados, podem corromper silenciosamente corpora digitalizados.