🤖 AI

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

Este artículo presenta el benchmark FaithC4 para demostrar que los modelos de visión y lenguaje a menudo reescriben el texto imperfecto en formas plausibles en lugar de transcribirlo fielmente, revelando distintos patrones de degradación a través de los tipos de modelos e identificando representaciones de capas y longitudes de palabras específicas que desencadenan este comportamiento de reescritura.

Autores originales: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Publicado 2026-07-27

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a leer una nota manuscrita de tu abuela. Esperas que el robot actúe como una fotocopiadora súper precisa, capturando cada garabato, mancha y palabra mal escrita exactamente como aparece. Este es el trabajo del Reconocimiento Óptico de Caracteres (OCR), una tecnología que ha existido durante décadas para convertir imágenes de texto en palabras digitales. Pero recientemente, ha llegado un nuevo tipo de robot: el Modelo de Visión-Lenguaje (VLM). Piensa en estos como robots que no solo "ven" las letras, sino que también "piensan" en lo que la oración debería significar, combinando una cámara con un cerebro muy inteligente entrenado con todo el internet.

La gran pregunta es: cuando estos robots inteligentes ven una palabra desordenada, ¿copian fielmente o intentan "corregirla"? Es un poco como el efecto de la "tipoglicemia" que experimentamos los humanos, donde aún podemos leer una oración incluso si las letras de las palabras están desordenadas, porque nuestros cerebros adivinan la palabra pretendida. Si bien esto es útil para los humanos, puede ser un desastre para un robot si necesitas una copia perfecta y literal de un contrato legal o una carta histórica. Si el robot decide "corregir" un error tipográfico que era parte del documento original, está reescribiendo la historia en lugar de registrarla. Este artículo profundiza en si estos nuevos robots de IA son escribas fieles o editores demasiado entusiastas.

¿Los VLM Leen o Reescriben?

En este estudio, investigadores de Amazon se propusieron probar un hábito específico de estos Modelos de Visión-Lenguaje (VLM): cuando ven una palabra que se ve un poco extraña, ¿la leen exactamente como es, o la reescriben secretamente en algo que tenga más sentido?

Para averiguarlo, el equipo creó un patio de juegos especial llamado FaithC4. Imagina que tomaron miles de páginas de texto limpias y normales en inglés, chino y coreano. Luego, jugaron al juego del "teléfono descompuesto" con las palabras antes de convertirlas en imágenes. Tomaron el 8% de las palabras elegibles y las desordenaron de tres maneras creativas:

Mezclar (Scramble): Desordenaron las letras internas (como convertir "standard" en "sdanartd").
Aleatorio (Random): Intercambiaron letras por otras completamente aleatorias (como "xkpmewqi").
Visual: Intercambiaron letras por otras que se ven casi idénticas (como convertir una 'a' en una 'c' o una 'o' en un '0').

Luego, mostraron estas imágenes "rotas" a 15 sistemas diferentes. Estos sistemas se dividieron en tres grupos:

La Vieja Guardia: Herramientas de OCR tradicionales (como Tesseract) que solo miran los píxeles y dicen "eso parece una 'a'".
Los Especialistas: VLMs entrenados específicamente para leer documentos.
Los Generalistas: Los grandes y poderosos VLMs (como Qwen, GPT-4V y Gemini) que son buenos en todo, desde matemáticas hasta poesía.

Los Resultados: Los Robots "Inteligentes" Son Demasiado Inteligentes

Los hallazgos fueron sorprendentes y un poco preocupantes para cualquiera que necesite copias perfectas. Los investigadores descubrieron que cuanto más "inteligente" era el robot, más propenso era a reescribir el texto.

La Vieja Guardia (OCR Tradicional): Fueron los más fieles. Cuando el texto se desordenó, apenas cambiaron su respuesta. Su tasa de error aumentó menos de un 0.6 por ciento. Simplemente vieron el desorden y copiaron el desorden.
Los Especialistas: Hicieron un poco mejor que los generalistas, pero aun así realizaron algunos cambios. Sus errores aumentaron entre un 0.2 y un 2 por ciento.
Los Generalistas: Fueron los peores en ser fieles. Cuando el texto fue mezclado o alterado visualmente, sus tasas de error saltaron hasta un 4.5 por ciento.

¿Por qué? Porque estos modelos de propósito general son tan buenos prediciendo cómo debería verse una oración, que a menudo ignoran lo que realmente está escrito. Si ven "prbolem", con confianza outputean "problem", incluso si la imagen claramente decía "prbolem". Es como un estudiante que conoce tan bien la respuesta a un problema matemático que ignora el error garabateado por el profesor en la pizarra y simplemente escribe la respuesta correcta.

El Mecanismo Oculto: ¿Cuándo Ocurre la Reescritura?

Para entender por qué sucede esto, los investigadores miraron dentro del cerebro de uno de estos modelos, Qwen3-VL-4B, capa por capa. Querían ver si el robot era "ciego" al error o si simplemente elegía ignorarlo.

Descubrieron una regla fascinante: el robot reescribe la palabra solo cuando todavía "piensa" que la palabra le resulta familiar.

Si la representación interna del robot de la palabra desordenada permanece muy cerca de la palabra original (como una foto borrosa que todavía parece un gato), el robot dice: "¡Oh, eso es definitivamente un 'gato'!" y lo reescribe.
Pero si el desorden es tan malo que la representación interna se aleja mucho de la original (la foto es ahora solo una mancha), el robot deja de adivinar y finalmente lee lo que ve.

Esto explica por qué la longitud de la palabra importa tanto. Las palabras cortas (de 4 a 6 letras) se reescriben hasta un 10% de las veces porque es fácil para el robot adivinar la original. Pero una vez que una palabra llega a los 8 caracteres o más, la reescritura cae al 0%. El desorden es demasiado grande para que el "cerebro de adivinación" del robot recupere la original, así que se rinde y transcribe fielmente.

El Efecto Dominó

Aquí está la parte más sorprendente: arruinar solo algunas palabras no solo afecta a esas palabras específicas. Los investigadores descubrieron que corromper solo el 5% de las palabras en un documento causó que los errores en las palabras perfectas y no tocadas saltaran de 5 a 10 veces para los modelos de propósito general.

Es como si el robot se confundiera tanto por un solo error tipográfico que comenzara a leer mal todo el párrafo que lo rodea. Los sistemas de OCR tradicionales no tenían este problema; se mantenían tranquilos y precisos incluso cuando estaban rodeados de caos.

Qué Significa Esto

El artículo concluye que, si bien estos sofisticados nuevos modelos de IA son increíえbles para comprender documentos y responder preguntas, no son confiables para tareas que requieren una copia literal y perfecta del texto. Si estás digitalizando un manuscrito histórico, revisando un contrato legal o analizando registros médicos donde cada error tipográfico importa, deberías quedarte con el OCR tradicional o con herramientas especializadas. Los VLMs de propósito general están demasiado ansiosos por "ayudar" corrigiendo cosas que no deberían corregirse.

Los investigadores sugieren que debemos ser cuidadosos con la forma en que usamos estos modelos. Solo porque un modelo pueda leer un documento no significa que lo leerá de manera fiel. Por ahora, si necesitas la verdad exactamente como fue escrita, los robots de la vieja escuela siguen siendo los escribas más honestos.

Resumen Técnico: ¿Los VLMs leen o reescriben? Sobre la fidelidad de la transcripción en los modelos de visión y lenguaje

Planteamiento del problema

Los modelos de visión y lenguaje (VLM, por sus siglas en inglés) están reemplazando cada vez más a las canalizaciones tradicionales de Reconocimiento Óptico de Caracteres (OCR) para la comprensión de documentos debido a su capacidad para manejar el reconocimiento de texto, el análisis de diseño y tareas posteriores dentro de un solo modelo. Sin embargo, los benchmarks de OCR estándar, que dependen de texto limpio, no logran capturar un fallo de comportamiento crítico: los VLM suelen actuar como "reescritores silenciosos" en lugar de transcriptores fieles. Cuando se presentan con entradas imperfectas (errores tipográficos, artefactos visuales o caracteres poco claros), los VLM tienden a producir lo que esperan ver basándose en sus priors de lenguaje, en lugar de lo que realmente está escrito. Este comportamiento, que recuerda al efecto de la tipoglicemia en la lectura humana, plantea riesgos significativos para dominios que requieren transcripción literal, como documentos legales, registros médicos y manuscritos históricos. La investigación existente no ha investigado sistemáticamente este comportamiento de reescritura, ya que los benchmarks actuales se centran en el reconocimiento de texto limpio.

Metodología

Para abordar esta brecha, los autores introducen FaithC4, un benchmark de perturbación multilingüe diseñado para medir la fidelidad de la transcripción bajo entradas imperfectas.

Construcción del conjunto de datos: Los autores obtuvieron texto bruto del Colossal Clean Crawled Corpus (C4) y lo renderizaron en imágenes de páginas únicas. Aplicaron perturbaciones controladas al 8% de las palabras elegibles (aquellas con $\ge$ 4 caracteres) en tres idiomas: inglés (EN), chino (ZH) y coreano (KO). Las familias de perturbación incluyen:
- Scramble (Mezcla): Los caracteres internos se desordenan preservando la primera y la última letra (p. ej., "standard" $\to$ "sdanartd").
- Sustitución aleatoria: Los caracteres son reemplazados por letras aleatorias del mismo alfabeto.
- Sustitución visual: Los caracteres son reemplazados por alternativas visualmente similares (p. ej., "standard" $\to$ "stsndord").
- El texto perturbado sirve como la verdad de campo (ground truth); la salida del modelo se compara contra esto para determinar si transcribió fielmente el error o si lo "reescribió" de vuelta al original.
Sistemas evaluados: El estudio evalúa 15 sistemas a través de tres categorías:
1. VLM de propósito general: Modelos de pesos abiertos (p. ej., Qwen3-VL, InternVL, Gemma) y de pesos cerrados (p. ej., GPT-5.4-mini, Gemini).
2. VLM especializados en OCR: Modelos ajustados para la extracción de documentos (p. ej., MinerU, DeepSeek-OCR).
3. OCR tradicional: Canalizaciones a nivel de carácter (Tesseract, docTR).
Métricas de evaluación:
- Tasa de Error de Palabra (WER): Mide la precisión a nivel de palabra sensible al orden (o Tasa de Error de Carácter, CER, para el chino).
- Similitud de Distancia de Edición (EDS): Mide la similitidad a nivel de carácter.
- Clasificación de Errores: Los errores en palabras perturbadas se categorizan como Reescrito (coincide con la palabra original no perturbada), Cercano (ediciones menores), Moderado o Incorrecto.
Sondeo Mecanístico: Los autores realizan un sondeo capa por capa en Qwen3-VL-4B para identificar el origen de la reescritura. Analizan la similitud de coseno de las salidas de la Red de Alimentación hacia Adelante (FFN) entre las entradas originales y perturbadas, y miden los pesos de atención en los parches de palabras resaltados.

Resultados Clave

1. Degradación del rendimiento y jerarquía de robustez

El estudio revela un orden consistente de tres niveles de robustez en los tres idiomas, que correlaciona con la fuerza del prior de lenguaje de un modelo:

OCR tradicional: Más robusto, con una degradación $< 0.6$ puntos porcentuales (pp) en WER/CER. Transcriben carácter por carácter sin invalidar la evidencia visual.
VLM especializados en OCR: Muestran una degradación moderada (0.2–2.0 pp), reteniendo algunos priors de lenguaje pero menos que los modelos generales.
VLM de propósito general: Sufren la mayor degradidad (hasta 4.5 pp). Por ejemplo, InternVL3.5-4B degradó 4.45 pp bajo perturbación visual en inglés, mientras que Gemini-3-Flash fue una excepción con menor degradación (0.23–0.60 pp).

2. Comportamiento de reescritura

Tasas de reescritura: Los VLM de propósito general reescriben una fracción sustancial de las palabras perturbadas. Por ejemplo, bajo la perturbación de mezcla (scramble), Gemini-2.5-Flash reescribió el 64.6% de los errores, mientras que Qwen3-VL reescribió el 29.2%. El OCR tradicional reescribió el 0%.
Propagación de errores no locales: Perturbar solo ~4.7% de las palabras causó que las tasas de error en el resto del texto no perturbado aumentaran de 5 a 10 veces para los VLM de propósito general, mientras que el OCR tradicional mostró una amplificación de solo 1.7–3.1 veces. Esto sugiere que la reescritura es un modo de fallo no local.
Consistencia translingüística: La jerarquía de degradación se mantiene para el inglés, chino y coreano, aunque el tipo de perturbación más dañino varía según el alfabeto (p. ej., la sustitución aleatoria es la más dañina para los VLM generales en chino).

3. Perspectivas mecanísticas (Qwen3-VL-4B)

El sondeo de las capas internas de Qwen3-VL-4B reveló que la reescritura no es causada por un fallo al notar la perturbación:

Atención vs. Representación: El modelo asigna más atención a los parches de imagen de la palabra perturbada en las capas iniciales y finales, indicando que "ve" la corrupción.
El mecanismo de compuerta (Gating): La reescritura ocurre solo cuando la representación interna de la FFN de la palabra perturbada en la capa final permanece cercana a la codificación original.
- Si la representación diverge lo suficiente (baja similitud de coseno), el modelo transcribe fielmente.
- Si la representación permanece cerca (alta similitud), el prior de lenguaje anula la evidencia visual para "corregir" la palabra.
Efecto de la longitud de la palabra: La reescritura depende altamente de la longitud de la palabra. Las palabras cortas (4–6 caracteres) se reescriben hasta el 10% de las veces. Hay un corte brusco en las 8 caracteres, donde la tasa de reescritura cae a 0%. Las palabras más cortas causan menos disrupción en la representación interna, permitiendo que el prior de lenguaje las reconozca y las "corrija".

Significado y Reivindicaciones

El artículo afirma que FaithC4 expone una limitación sistemática en los VLM que los benchmarks de texto limpio no pueden detectar: la tendencia a reescribir silenciosamente el texto imperfecto basándose en los priors de lenguaje. Los autores argumentan que para aplicaciones que requieren transcripción literal (legal, médica, histórica), el OCR tradicional o los VLM especializados en OCR cuidadosamente seleccionados siguen siendo la opción más segura, ya que los VLM de propósito general introducen errores de reescritura sistemáticos.

El estudio establece que el comportamiento de "reescritura" no es una alucinación en el sentido tradicional de generar objetos inexistentes, sino un modo de fallo específico donde el prior de lenguaje del modelo anula la evidencia visual cuando la perturbación es lo suficientemente sutil como para dejar la representación interna reconocible. Este comportamiento está regulado por la magnitud del cambio en la representación interna del modelo, no por la cantidad de atención asignada a la entrada.