A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents

Este estudio revela que las actuales métricas de evaluación de OCR, centradas en documentos modernos y occidentales, ignoran sistemáticamente los desafíos de los periódicos históricos negros, lo que perpetúa su invisibilidad estructural y el daño representativo debido a sesgos institucionales y de gobernanza de datos.

Lo esencial

Imagina que tienes una máquina increíble capaz de leer cualquier documento escrito en el mundo. Es como un super-lector robot que puede ver una foto de un periódico antiguo y decirte exactamente qué dice. Suena genial, ¿verdad?

Pero, según este estudio, hay un gran problema: este robot está ciego para ciertas historias.

Aquí te explico la idea principal del artículo usando una analogía sencilla:

1. El Robot y sus "Gafas" (Los Datos de Entrenamiento)

Imagina que para enseñar a este robot a leer, le mostramos millones de libros modernos, facturas de empresas y artículos científicos. Le damos "gafas" especiales diseñadas para ver documentos limpios, con letras perfectas y organizados en una sola columna.

El robot aprende muy bien con estas gafas. Si le das un documento moderno, lo lee perfecto. Pero, si le pones un periódico histórico negro de los años 1800 (como The North Star o Freedom's Journal), las cosas se ponen feas.

¿Por qué? Porque esos periódicos antiguos tienen:

• Letras muy extrañas (como las góticas).
• Manchas, arrugas y fotos borrosas (porque fueron guardados en microfilm durante décadas).
• Muchas columnas de texto que se entrelazan de formas complejas para contar historias políticas y sociales.

El robot, con sus "gafas modernas", intenta leer ese periódico antiguo como si fuera un documento moderno. Resultado: Lee las letras sueltas, pero pierde el orden de las columnas, mezcla párrafos que no deberían ir juntos y, a veces, inventa palabras que nunca existieron (alucinaciones).

2. La Prueba de Fuego: ¿Qué mide el examen?

El artículo dice que el problema no es solo que el robot se equivoque, sino cómo le estamos dando la nota.

Actualmente, los científicos le ponen al robot un examen que solo cuenta cuántas letras acertó.

• Ejemplo: Si el robot lee 100 letras y se equivoca en 2, le ponen un 98%. ¡Excelente nota!

Pero, imagina que ese robot leyó un periódico antiguo y, aunque acertó las 100 letras, cambió el orden de las columnas. Ahora, la noticia sobre la esclavitud aparece mezclada con un anuncio de zapatos.

• El problema: El examen actual le pone un 98% porque las letras están bien, pero ignora que el significado del documento se ha destruido. Es como si alguien te diera un rompecabezas completo, pero con las piezas en el orden incorrecto; las piezas son correctas, pero la imagen final no tiene sentido.

3. La "Invisibilidad" de las Historias Negras

El estudio se centra en los periódicos históricos de la comunidad negra en EE. UU. Estos documentos son vitales para entender la historia política y social, pero los sistemas de lectura automática (OCR) los tratan como si fueran "ruidosos" o "difíciles".

• La metáfora: Es como tener una biblioteca donde el bibliotecario (el robot) solo sabe organizar libros de ciencia ficción moderna. Si le das un libro de historia antigua con tapas gastadas y letra difícil, el bibliotecario lo guarda en una caja de "basura" o lo reorganiza de tal manera que ya no se puede entender la historia que cuenta.
• La consecuencia: Al no poder leer bien estos documentos, las historias de la comunidad negra se vuelven "invisibles" para la inteligencia artificial. La tecnología decide qué historia es legible y cuál no, y actualmente está eligiendo ignorar estas voces importantes.

4. ¿Qué propone el estudio?

Los autores dicen que necesitamos cambiar las reglas del juego:

1. Entrenar al robot con más variedad: No solo con documentos modernos, sino con esos periódicos antiguos, sucios y complejos.
2. Cambiar el examen: Ya no basta con contar letras correctas. Necesitamos un examen que pregunte: "¿Entendiste el orden de las columnas? ¿Mantuviste la estructura original? ¿No inventaste nada?".
3. Reconocer el valor cultural: Entender que leer un documento histórico no es solo transcribir letras, es respetar la cultura y la política que hay detrás de cómo está escrito.

En resumen

Este artículo es una llamada de atención para los creadores de Inteligencia Artificial. Nos dicen: "No basta con que el robot sea rápido y preciso con documentos modernos; si queremos una historia completa, el robot también debe aprender a leer y respetar los documentos antiguos y marginados, incluso si son difíciles de entender."

Si no hacemos esto, corremos el riesgo de que la tecnología borre accidentalmente partes cruciales de nuestra historia humana.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Una Encuesta sobre Métodos y Métricas de Evaluación de OCR y la Invisibilidad de Documentos Históricos

Autores: Fitsum Sileshi Beyene y Christopher L. Dancy (Universidad Estatal de Pensilvania).
Contexto: FAccT '26 (Conferencia sobre Equidad, Responsabilidad y Transparencia).

---

1. El Problema

El campo de la Reconocimiento Óptico de Caracteres (OCR) y la comprensión de documentos ha avanzado significativamente hacia el uso de modelos de visión y lenguaje (VLM) y arquitecturas basadas en transformadores. Sin embargo, existe una brecha crítica en la evaluación:

• Sesgo en los Datos de Entrenamiento y Benchmarks: Los sistemas actuales se evalúan predominantemente en documentos modernos, occidentales e institucionales (p. ej., artículos científicos, formularios corporativos, PDFs digitales).
• Invisibilidad Histórica: Los documentos históricos, especialmente aquellos producidos por comunidades marginadas como la prensa negra histórica de EE. UU., carecen de representación en los conjuntos de datos de entrenamiento y en las pruebas de referencia (benchmarks).
• Limitaciones de las Métricas Actuales: Las métricas estándar, como la Tasa de Error de Caracteres (CER) y la Tasa de Error de Palabras (WER), se basan en la distancia de edición (Levenshtein). Estas métricas tratan el documento como una secuencia lineal de texto, ignorando la estructura del diseño (layout). En periódicos históricos con múltiples columnas, tipografías complejas (góticas, victorianas) y degradación física, un modelo puede lograr un CER bajo al transcribir caracteres correctamente, pero fallar catastróficamente al mantener el orden de lectura, colapsar columnas o alucinar texto, borrando así el significado retórico y político del documento.

2. Metodología

Los autores realizaron una encuesta sistemática siguiendo el marco PRISMA 2020 para analizar la literatura sobre evaluación de OCR y comprensión de documentos publicada entre 2006 y 2025.

• Fuentes de Datos: Se revisaron 80 artículos de bases de datos como ACM Digital Library, IEEE Xplore, arXiv y ACL Anthology.
• Criterios de Inclusión: Se seleccionaron estudios que presentaran o evaluaran sistemas OCR con métricas cuantitativas, introdujeran benchmarks o analizaran procesos de evaluación.
• Análisis de Datos: Se extrajo información sobre arquitecturas de modelos, fuentes de datos de entrenamiento, transparencia de los datos, cobertura de idiomas y, crucialmente, la cobertura de documentos históricos.
• Estudio de Caso: Se realizó una prueba empírica comparando tres sistemas (Tesseract v5, Surya y olmOCR 2) contra una página del periódico histórico The Weekly Advocate (1837), uno de los primeros periódicos afroamericanos, para observar patrones de fallo específicos que las métricas agregadas no capturan.

3. Contribuciones Clave

El artículo ofrece tres contribuciones principales al estudio de la equidad y la transparencia en la comprensión de documentos:

1. Análisis Sistemático: Una revisión exhaustiva de cómo se presentan e implementan los datos de entrenamiento, los benchmarks y las métricas en los sistemas de OCR actuales.
2. Argumento sobre Fallos Estructurales: La demostración de que los sistemas de evaluación actuales, a pesar de reportar alta precisión a nivel de caracteres, no detectan errores estructurales y de diseño comunes en periódicos históricos (colapso de columnas, errores tipográficos, alucinaciones de texto).
3. Estudio de Caso sobre la Prensa Negra: Una evidencia empírica de cómo las "puntos ciegos" en la evaluación conducen a errores estructuralmente significativos en documentos de la prensa negra, que permanecen sin reportar bajo las técnicas de evaluación aceptadas comúnmente.

4. Resultados Principales

• Falta de Diversidad en Benchmarks: De los benchmarks analizados (como OCRBench, OmniDocBench, DocVQA), la gran mayoría carece de documentos históricos o de comunidades marginadas. Por ejemplo, IIT-CDIP (usado para entrenar muchos modelos) consiste en documentos de litigios de tabaco de mediados del siglo XX, no en archivos comunitarios históricos.
• Discrepancia en el Rendimiento:
  • Los modelos SOTA (State-of-the-Art) como olmOCR 2 o GOT-OCR 2.0 muestran un rendimiento variable. Mientras que olmOCR 2 alcanza un 82.3% en escaneos matemáticos antiguos, su precisión cae al 47.7% en escaneos históricos generales.
  • En el estudio de caso con The Weekly Advocate, se observaron fallos específicos:
    • Tesseract v5: Colapso geométrico; interpretó las reglas verticales de las columnas como texto y fusionó contenido editorial con reportes cívicos debido a un orden de lectura incorrecto (patrón "Z").
    • Surya: Inestabilidad de decodificación; las fuentes de alto contraste del siglo XIX provocaron colapso de tokens y repetición generativa ("tokens basura").
    • olmOCR 2 (VLM): Alucinación correctiva; sobrescribió evidencia visual con tokens de alta probabilidad basados en su conocimiento previo, reemplazando entidades reales con texto fabricado ("sangrado de conocimiento").
• Métricas Insuficientes: La dependencia exclusiva de CER/WER permite que un modelo sea calificado como "exitoso" mientras destruye la integridad semántica del documento al ignorar la estructura de múltiples columnas y el orden de lectura retórico.

5. Significancia e Implicaciones

• Invisibilidad Epistemológica: El problema no es solo técnico, sino epistemológico. Al no evaluar adecuadamente estos documentos, los sistemas de IA hacen "invisibles" a grandes clases de textos históricos, impidiendo que sus historias sean computacionalmente legibles.
• Daño Representacional: La falta de evaluación adecuada perpetúa el daño representacional. Los errores de OCR en la prensa negra no son simples fallos de transcripción; borran la identidad política, la cohesión social y la retórica editorial que los editores originales diseñaron intencionalmente a través de la disposición del texto.
• Necesidad de Nuevos Paradigmas: El artículo aboga por un cambio en la asignación de recursos y la diversidad de conjuntos de datos. Se propone que los archivos digitales negros y otras comunidades marginadas no deben tratarse como "casos extremos" (edge cases), sino como parte fundamental de los conjuntos de datos de prueba para desarrollar sistemas de OCR culturalmente responsables.
• Hacia una Evaluación Estructural: Se requiere el desarrollo de métricas que vayan más allá de la distancia de edición, incorporando la preservación del diseño (layout preservation), la fidelidad estructural y la comprensión del contexto sociocultural para evitar la "sobrehistorización" (generar textos históricamente plausibles pero falsos).

En conclusión, el paper argumenta que la evaluación es un acto de ingeniería social que define qué historias son legibles. Sin una reforma en las métricas y los benchmarks, la IA seguirá siendo ciega a la riqueza y complejidad de los archivos históricos de comunidades marginadas.