Resumen Técnico: ¿Lectura o Adivinanza? Fallos de Anclaje Visual en Modelos Visuales-Lingüísticos para OCR en Ediciones del Griego Antiguo

Enunciado del Problema

Recientes Modelos Visuales-Lingüísticos (VLM) han alcanzado un rendimiento cercano al humano en Reconocimiento Óptico de Caracteres (OCR) en benchmarks estándar. Sin embargo, evidencia emergente sugiere que estos modelos pueden depender en gran medida de priors lingüísticos en lugar de evidencia visual, generando texto semánticamente plausible pero visualmente no respaldado cuando el contexto lingüístico se perturba. Aunque este fenómeno se ha estudiado en entornos de alto recurso, su comportamiento en documentos históricos de bajo recurso permanece poco explorado.

Este artículo investiga este problema utilizando ediciones críticas del griego antiguo, un dominio desafiante caracterizado por:

• Priors de bajo recurso: Soporte limitado para los patrones léxicos y de formato aprendidos durante el preentrenamiento general.
• Diseños complejos: Texto denso, scripts polítonos (acentos y respiraciones), anotaciones marginales y numerales alfabéticos.
• Altas consecuencias: Los errores en la digitalización de ediciones académicas pueden corromper silenciosamente la investigación posterior.

Las preguntas de investigación centrales son:

1. ¿Fallan los VLM y los sistemas OCR tradicionales de manera diferente?
2. ¿En qué medida dependen los VLM de priors lingüísticos frente a la evidencia visual?
3. ¿Pueden las intervenciones en tiempo de inferencia restaurar el anclaje visual?

Metodología

Los autores evaluaron cinco VLM de pesos abiertos (incluyendo especialistas en OCR como OlmOCR-2-7B y DeepSeek-OCR, y modelos de propósito general como Qwen3-VL-2B/8B) frente a dos líneas base OCR tradicionales (Tesseract-grc y Kraken-CLLG) en un conjunto de datos de 90 páginas escaneadas de ediciones críticas del griego antiguo.

El estudio emplea un marco analítico multifacético:

1. Análisis de Distribución de Errores

Los autores establecieron una taxonomía de errores a nivel de palabra (ocho categorías mutuamente excluyentes) que incluye errores de acento/diacríticos, confusión de caracteres, sustitución entre scripts, sustitución de palabras, sobre-generación y omisión. Analizaron la Tasa de Error de Caracteres (CER) y la Tasa de Error de Palabras (WER) para distinguir entre errores de reconocimiento "ruidosos" y "fluentes" alucinaciones.

2. Experimentos de Perturbación Contrafáctica

Para aislar la dependencia de priors lingüísticos, los autores generaron estímulos sintéticos donde el texto en la página se corrompió antes de la renderización. La verdad fundamental fue la cadena perturbada.

• Lógica: Un sistema anclado visualmente debería transcribir los glifos corruptos incluso si forman sinsentido. Un sistema que depende de priors debería "reparar" el texto hacia un griego plausible, aumentando su tasa de error frente a la verdad fundamental perturbada.
• Perturbaciones: Incluyeron reordenamiento a nivel de palabra (sintáctico) y desordenamiento a nivel de carácter (léxico/ortográfico).

3. Análisis de Ganancia de Imagen a Nivel de Token

Para medir el anclaje mecánicamente, los autores calcularon la ganancia de imagen para cada token:
$$\text{ganancia}(t) = \log p(t \mid \text{imagen}, \text{prompt}) - \log p(t \mid \text{prompt})$$
Esta métrica cuantifica cuánto aumenta la imagen la probabilidad de un token en comparación con una línea base solo de texto. Compararon esto entre clases de tokens: tokens correctos, errores perceptuales (confusión de glifos), errores entre scripts y errores léxicos (sustituciones de palabras fluidas).

4. Intervenciones en Tiempo de Inferencia

El estudio probó tres familias de intervenciones para restaurar el anclaje:

• Restricciones de Salida: Enmascaramiento de scripts (restringir la salida a caracteres griegos) y abstención de longitud (suprimir salidas con longitudes incorrectas).
• Decodificación Contrastiva: Decodificación Contrastiva Visual (VCD) y Decodificación Contrastiva sin Imagen (M3ID) para penalizar tokens que permanecen probables sin entrada visual.
• Corrección Post-OCR: Utilizar un modelo de lenguaje solo de texto para reescribir el texto reconocido después de la generación.

Resultados Clave

1. Modos de Fallo Divergentes

• OCR Tradicional: Los errores son principalmente ruido de reconocimiento local (por ejemplo, puntuación, elementos de página, confusión de caracteres) y permanecen estrechamente ligados a los glifos visibles.
• VLM: Los errores están dominados por errores de ortografía superficial perceptuales (acentos/diacríticos) y sustituciones léxicas fluidas. Los VLM reemplazan frecuentemente palabras incorrectas con palabras válidas, dentro del vocabulario, del griego antiguo, lo que conduce a una relación WER/CER significativamente mayor que en los sistemas tradicionales.

2. Evidencia de Dependencia de Priors

• Respuesta a Perturbaciones: Bajo perturbaciones a nivel de carácter, las tasas de error de los VLM aumentaron bruscamente (desviándose de la verdad fundamental perturbada), mientras que el OCR tradicional permaneció comparativamente fiel.
• Anclaje Específico del Modelo: El análisis a nivel de token reveló que la dependencia de priors no es universal:
  • OlmOCR (Especialista en OCR): Exhibió una firma de "baja ganancia de imagen" para errores léxicos fluidos (ganancia mediana 0.17), indicando que estos errores se produjeron con poca dependencia de la imagen (anulación de prior).
  • Qwen3-VL (Propósito general): Permaneció enganchado a la imagen incluso cuando estaba equivocado. Sus errores léxicos tuvieron una alta ganancia de imagen (por ejemplo, 1.97 para Qwen3-VL-8B), lo que sugiere que se condicionaron a la entrada visual pero la interpretaron mal, en lugar de ignorar la imagen para adivinar.
  • Errores entre scripts: En todos los modelos, los errores de mezcla de scripts (griego $\to$ latín) mostraron la mayor ganancia de imagen, confirmando que fueron desencadenados visualmente.

3. Ineficacia de las Intervenciones

• Restricciones de Salida: El enmascaramiento de scripts causó una degradación catastrófica del rendimiento (CER aumentó 7–10 veces), y la abstención de longitud no ofreció ninguna ganancia mientras reducía la cobertura.
• Decodificación Contrastiva: VCD no tuvo un efecto significativo. M3ID mejoró los VLM de propósito general (Qwen) pero no logró ayudar al especialista en OCR (OlmOCR), indicando que no existe una solución agnóstica al modelo.
• Corrección Post-OCR: Esto proporcionó las ganancias más amplias, reduciendo significativamente los errores en cinco de los siete sistemas. Sin embargo, esta mejora ocurrió después de la generación, reparando el texto en lugar de prevenir la pérdida de anclaje visual durante la decodificación.

Significado y Afirmaciones

El artículo afirma que las salidas de OCR fluidas no garantizan el anclaje visual. La capacidad de los VLM para producir griego antiguo gramatical y léxicamente correcto puede enmascarar una desconexión fundamental con la evidencia visual, particularmente en entornos históricos complejos de bajo recurso.

Las contribuciones clave incluyen:

1. Extensión del Trabajo Previo: Demostrar que la dependencia de priors lingüísticos se extiende más allá de los entornos de alto recurso hacia documentos históricos de bajo recurso y un conjunto más amplio de modelos.
2. Análisis de Anclaje Matizado: Mostrar que la "anulación de prior" es específica del modelo. Es un modo de fallo distinto en modelos especialistas en OCR (ignorar la imagen para adivinar) pero no necesariamente en VLM de propósito general (que pueden seguir prestando atención a la imagen pero fallar en interpretarla correctamente).
3. Limitaciones de las Soluciones Actuales: Establecer que las restricciones de decodificación simples y los métodos contrastivos son insuficientes para restaurar el anclaje, sugiriendo una incompatibilidad más profunda entre la evidencia visual y la decodificación generativa en estas arquitecturas.

Los autores concluyen que la evaluación de modelos multimodales en dominios históricos debe ir más allá de las métricas agregadas de precisión (CER/WER) hacia evaluaciones impulsadas por la interpretabilidad que prueben si las salidas del modelo están genuinamente ancladas en la evidencia de entrada relevante. Advierten contra el despliegue de VLM en material del patrimonio cultural con recursos insuficientes sin verificación humana, ya que errores fluidos pero no anclados podrían corromper silenciosamente los corpus digitalizados.