🤖 machine learning

A Benchmark of State-Space Models vs. Transformers and BiLSTM-based Models for Historical Newspaper OCR

Este artículo presenta el primer modelo de OCR basado en Modelos de Espacio de Estados (Mamba) para periódicos históricos, demostrando que, aunque su precisión es comparable a la de los Transformers y BiLSTM, ofrece una eficiencia computacional superior con tiempos de inferencia reducidos y una mejor escalabilidad de memoria.

Autores originales: Merveilles Agbeti-messan, Thierry Paquet, Clément Chatelain, Pierrick Tranouez, Stéphane Nicolas

Publicado 2026-04-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Merveilles Agbeti-messan, Thierry Paquet, Clément Chatelain, Pierrick Tranouez, Stéphane Nicolas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes una biblioteca antigua llena de periódicos de hace 100 años. Estos periódicos están muy viejos: el papel está manchado, la tinta se ha corrido, las letras son raras (como las góticas alemanas) y a veces están escritos en varios idiomas mezclados.

Tu trabajo es convertir todo ese papel viejo en texto digital para que la gente pueda buscarlo en Google. Esto se llama OCR (Reconocimiento Óptico de Caracteres).

El problema es que hacerlo a mano es imposible (tardarías siglos), y las máquinas actuales a veces se vuelven locas con tanto texto y tanta suciedad.

Aquí es donde entra este artículo. Los autores compararon tres tipos de "cerebros" de computadora para ver cuál es el mejor para leer estos periódicos antiguos:

Los Transformers (Los "Genios Obsesivos"): Son los modelos más famosos hoy en día (como los que usan ChatGPT). Son muy inteligentes y leen todo el texto de una vez para entender el contexto. Pero tienen un defecto: son muy lentos y gastan mucha memoria cuando el texto es largo. Es como un estudiante brillante que, para hacer una tarea larga, necesita escribir cada palabra en una hoja nueva, duplicando su libreta cada vez que añade una frase. Si la tarea es un libro entero, se queda sin espacio en la mesa.
Los BiLSTM (Los "Trabajadores Clásicos"): Son la tecnología anterior. Son rápidos y eficientes, pero a veces pierden el hilo de la historia si el texto es muy largo. Son como un lector que va línea por línea, pero si se distrae, olvida lo que leyó al principio.
Los State-Space Models o "Mamba" (Los "Nuevos Superhéroes"): ¡Esta es la novedad del artículo! Mamba es una nueva tecnología que combina lo mejor de los dos mundos. Es tan inteligente como el "Genio Obsesivo" (Transformer) pero tan eficiente y rápido como el "Trabajador Clásico".

La Analogía de la Biblioteca

Imagina que tienes que leer un periódico antiguo de 10 páginas:

El Transformer (DAN): Lee la página 1, luego la 2, y cada vez que pasa a la siguiente, relee todas las anteriores para asegurarse de no olvidar nada. Si el periódico es muy largo, se vuelve lento y agota la memoria de la computadora. Es como si tuvieras que releer todo el libro cada vez que lees una nueva página.
El Mamba: Lee la página 1, guarda lo importante en su "memoria a corto plazo" y pasa a la página 2 sin necesidad de releer todo. Es como un lector que tiene una memoria fotográfica perfecta pero que no necesita reescribir todo el libro para entender el siguiente capítulo. Caminan a paso lineal: si el texto se duplica, el tiempo se duplica, pero no se cuadruplica como el Transformer.

¿Qué descubrieron?

Los autores probaron estos modelos en una colección real de periódicos del Banco Nacional de Luxemburgo. Aquí están sus hallazgos principales, explicados de forma sencilla:

En líneas cortas (una frase): Todos los modelos modernos (Mamba, Transformers y los clásicos) son excelentes. Todos aciertan casi el 98% de las letras. Es como si todos fueran buenos estudiantes en un examen corto.
En párrafos largos (todo el artículo): Aquí es donde Mamba brilla.
- El modelo Mamba fue dos veces más rápido que el modelo Transformer más famoso (DAN) para leer párrafos largos.
- Además, Mamba no se agotó con textos muy largos. Mientras que el Transformer necesitaba el doble de memoria para textos largos, Mamba mantuvo su consumo de memoria estable.
- Resultado: Mamba es tan preciso como el mejor modelo actual, pero gasta la mitad de tiempo y energía.

¿Por qué es importante esto?

Piensa en las bibliotecas nacionales que quieren digitalizar millones de páginas de historia.

Si usan los modelos antiguos (Transformers), tardarían años y necesitarían superordenadores carísimos.
Si usan Mamba, pueden hacerlo mucho más rápido y barato, sin perder precisión.

En resumen

Este artículo nos dice que no necesitamos seguir usando solo a los "genios obsesivos" (Transformers) para leer documentos viejos. Hemos encontrado un nuevo tipo de cerebro (Mamba) que es igual de inteligente, pero que es un maratónero eficiente: puede correr largas distancias (leer textos largos) sin cansarse ni gastar demasiada energía.

Es como si hubieran encontrado una llave maestra que permite a las bibliotecas del mundo digitalizar su historia mucho más rápido, ahorrando dinero y tiempo, para que todos podamos leer y buscar en esos tesoros del pasado.

Lo mejor de todo: Los autores han liberado el código y los modelos para que cualquiera pueda usarlos. ¡Es como si te dieran las llaves de la biblioteca para que tú también puedas empezar a leer!

Resumen Técnico: Benchmark de Modelos de Espacio de Estados vs. Transformers y BiLSTM para OCR de Periódicos Históricos

1. Planteamiento del Problema

La digitalización de millones de documentos históricos, específicamente periódicos antiguos, representa un desafío monumental para las instituciones de patrimonio cultural. Estos documentos presentan dificultades únicas: degradación física (manchas, sangrado de tinta), tipografía no estandarizada (como las fuentes Fraktur y Antiqua), diseños complejos de múltiples columnas y diversidad lingüística.

Aunque los modelos basados en Transformers dominan la investigación actual de OCR (Reconocimiento Óptico de Caracteres) debido a su capacidad para capturar dependencias de largo alcance, sufren de una complejidad computacional cuadrática ( $O(n^2)$ ). Esto genera costos de memoria prohibitivos y alta latencia de inferencia al procesar secuencias largas (párrafos completos o páginas), lo cual es crítico para el procesamiento por lotes a gran escala. Por otro lado, los modelos recurrentes (BiLSTM) y los enfoques no autoregresivos (CTC) ofrecen eficiencia pero a menudo sacrifican precisión contextual.

El artículo busca llenar esta brecha evaluando una nueva familia de modelos: los Modelos de Espacio de Estados (SSM), específicamente la arquitectura Mamba, que promete una complejidad lineal ( $O(n)$ ) manteniendo la capacidad de modelado de secuencias largas.

2. Metodología

Los autores proponen y evalúan la primera arquitectura de OCR basada en SSMs, comparándola sistemáticamente con modelos basados en Transformers y BiLSTM.

Arquitectura Propuesta (Mamba-based):
- Codificador Visual: Utilizan un codificador CNN compartido (basado en DAN) que extrae características visuales de la imagen.
- Modelado de Contexto: Un conector bidireccional Mamba procesa la secuencia de características para capturar contexto global.
- Estrategias de Decodificación: Se implementan tres variantes de decodificación para evaluar diferentes paradigmas:
  1. CTC (Clasificación Temporal Conectista): Predicción paralela de caracteres.
  2. Autoregresiva (AR): Generación secuencial de tokens (similar a los Transformers).
  3. No Autoregresiva (NAR): Predicción paralela usando consultas aprendidas.
Benchmarks y Baselines:
- Se comparan seis arquitecturas neuronales (Mamba-CTC, Mamba-AR, Mamba-NAR, VAN, DAN, DANIEL) bajo condiciones idénticas.
- Se incluyen sistemas de producción "fuera de la caja": PERO-OCR, Tesseract v5, TrOCR (zero-shot y fine-tuned) y Gemini.
Dataset:
- Se utiliza el corpus de la Bibliothèque nationale du Luxembourg (BnL), que contiene periódicos históricos en alemán, francés y luxemburgués.
- Nivel de Línea: 33,000 líneas (Fraktur y Antiqua) con anotaciones de oro verificadas (>99.95% de precisión).
- Nivel de Párrafo: 976 párrafos degradados (1-10 líneas) para evaluar la escalabilidad en secuencias largas.
Entrenamiento: Se emplea aprendizaje por currículo (pre-entrenamiento en líneas sintéticas) y aumentación de datos para simular la degradación histórica.

3. Contribuciones Clave

Primera aplicación de SSMs en OCR de documentos: Introducen una arquitectura basada en Mamba para reconocimiento de texto histórico, demostrando su viabilidad como alternativa a los Transformers.
Comparación sistemática de paradigmas: Evalúan por primera vez de manera controlada las estrategias CTC, Autoregresiva y No Autoregresiva dentro de las familias SSM, Transformer y BiLSTM en el mismo dataset histórico.
Evaluación dual (Línea y Párrafo): Analizan cómo escalan las arquitecturas al pasar de líneas cortas a párrafos largos, un aspecto crucial para la digitalización masiva.
Análisis de eficiencia y robustez: Van más allá de la precisión (CER) para reportar métricas de despliegue: latencia, throughput (imágenes/segundo) y uso de memoria GPU.
Reproducibilidad: Liberan el código, los modelos entrenados y particiones de datos estandarizadas con anotaciones de oro corregidas manualmente.

4. Resultados Principales

Precisión (Nivel de Línea): Todos los modelos neuronales entrenados alcanzan tasas de error de caracteres (CER) muy bajas (~1.8% - 3.2%).
- Mamba-AR y DAN empatan en la mejor precisión para texto Antiqua (1.83% CER).
- VAN (CTC) logra el mejor equilibrio velocidad-precisión.
- Los modelos comerciales (TrOCR zero-shot, Gemini) tienen un rendimiento inferior en comparación con modelos especializados fine-tuned.
Eficiencia y Latencia:
- Mamba-AR es 2.9 veces más rápido que DAN en la inferencia de líneas (53.3 ms vs 156.5 ms) manteniendo la misma precisión.
- En el nivel de Párrafo, Mamba-AR es 2.05 veces más rápido que DAN (195.6 ms vs 401.2 ms) con una penalización de precisión mínima (6.07% CER vs 5.24% CER).
- VAN emerge como la opción más práctica para producción, siendo 23 veces más rápido que DAN con una pérdida de precisión de solo ~1.2%.
Escalabilidad de Memoria (Hallazgo Crítico):
- Los modelos basados en Transformers (DAN) muestran un crecimiento cuadrático de la memoria ( $O(n^2)$ ) debido a las cachés de llave-valor. Al pasar de 100 a 1000 caracteres, el uso de memoria de DAN aumenta 2.30 veces.
- Los modelos Mamba muestran un crecimiento casi lineal ( $O(n)$ ), aumentando solo 1.26 veces en el mismo rango. Esto permite procesar secuencias mucho más largas sin agotar la memoria de la GPU.
Tokenización: El uso de subpalabras (BPE) en DANIEL mejoró la eficiencia pero causó un colapso en el rendimiento para la fuente Fraktur (6.18% CER) debido a la incompatibilidad del vocabulario, sugiriendo que la tokenización a nivel de carácter es más robusta para textos históricos.

5. Significado e Impacto

Este trabajo es fundamental para el campo de la digitalización del patrimonio cultural por varias razones:

Viabilidad Operativa: Demuestra que los modelos SSM (Mamba) no solo son teóricamente eficientes, sino que ofrecen ventajas prácticas reales (menor latencia y uso de memoria) para el procesamiento de documentos largos y degradados, resolviendo el cuello de botella de los Transformers.
Guía para la Industria: Proporciona a las instituciones de patrimonio (como bibliotecas nacionales) una base empírica para elegir arquitecturas que equilibren la precisión con la factibilidad de despliegue a gran escala.
Nueva Dirección de Investigación: Abre una nueva línea de investigación en el uso de modelos de espacio de estados para la comprensión de documentos, alejándose de la dependencia exclusiva de los Transformers.
Estándar de Evaluación: Establece un nuevo benchmark riguroso y reproducible para el OCR de periódicos históricos, facilitando futuros avances en el campo.

En conclusión, el artículo valida que Mamba es una alternativa superior a los Transformers para tareas de OCR de documentos históricos largos, ofreciendo una escalabilidad de memoria lineal y una inferencia significativamente más rápida sin sacrificar la precisión.