💻 computer science

Scaling State-Space Models from Lines to Paragraphs: An Ablation of Mamba-based OCR

Este artículo investiga la escalabilidad del OCR basado en Mamba desde líneas cortas hasta párrafos completos, revelando que, si bien los Modelos de Espacio de Estados ofrecen ventajas significativas de velocidad sobre los Transformers en datos sintéticos, actualmente rinden por debajo de lo esperado en escritura manual real debido a la escasez de datos más que a limitaciones arquitectónicas inherentes.

Autores originales: Merveilles Agbeti-Messan, Pierrick Tranouez, Stéphane Nicolas, Clément Chatelain, Thierry Paquet

Publicado 2026-06-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Merveilles Agbeti-Messan, Pierrick Tranouez, Stéphane Nicolas, Clément Chatelain, Thierry Paquet

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir un robot que pueda leer documentos manuscritos e impresos, desde una sola línea de texto hasta una página completa de una novela. Durante mucho tiempo, los mejores robots utilizaron un cerebro "Transformer". Este cerebro es increíblemente inteligente y preciso, pero tiene un fallo importante: se vuelve cada vez más lento cuanto más largo es el texto. Leer un párrafo entero le toma mucho más tiempo que leer una sola palabra porque tiene que relecturar constantemente todo lo que acaba de ver para entender las nuevas palabras. Es como intentar resolver un rompecabezas mirando cada una de las piezas que ya has colocado cada vez que añades una nueva.

Este artículo presenta un nuevo tipo de cerebro para robots llamado Mamba (basado en Modelos de Espacio de Estados). La gran promesa de Mamba es que no vuelve a leer el pasado. En su lugar, mantiene un "resumen mental" de lo que ha visto hasta ahora. Esto significa que puede leer un párrafo completo tan rápido como puede leer una sola línea.

Los investigadores querían saber: ¿Está este nuevo cerebro Mamba realmente listo para reemplazar al antiguo cerebro Transformer para la lectura de documentos largos?

Aquí está lo que encontraron, desglosado de forma sencilla:

1. La prueba del "Mundo Perfecto" (Datos Sintéticos)

Primero, los investigadores probaron al robot en un "mundo perfecto". Les dieron texto limpio generado por computadora (como artículos de Wikipedia) que se veía perfecto, sin manchas ni escrituras extrañas.

El Resultado: Tanto el antiguo Transformer como el nuevo Mamba fueron increíblemente precisos (casi perfectos).
La Velocidad: Mamba fue el claro ganador. Fue de 1.4 a 4.5 veces más rápido que el Transformer. Cuanto más largo era el texto, mayor era la brecha de velocidad.
La Lección: En un entorno limpio, Mamba es una alternativa fantástica y ultrarrápida que no sacrifica la precisión.

2. La prueba del "Mundo Real" (Escritura a Mano)

Después, los investigadores probaron al robot con datos reales y desordenados: notas manuscritas reales de la base de datos IAM. Aquí es donde las cosas se complicaron.

El Resultado: Mamba tuvo dificultades significativas. En líneas manuscritas, cometió muchos más errores que el Transformer. En párrafos manuscritos completos, la brecha fue enorme: Mamba fue casi tres veces peor en acertar las palabras.
La Analogía: Imagina que el Transformer es un estudiante que puede volver a mirar su libro de texto (la imagen) cada vez que se queda atascado. Mamba es un estudiante que tiene que memorizar todo el libro de texto en su cabeza antes de empezar a escribir el ensayo. Si el libro de texto es desordenado (escritura a mano) y el ensayo es largo (párrafos), el estudiante que depende de la memoria (Mamba) se siente abrumado y comete errores.

3. El "Porqué" (El Hambre de Datos)

Los investigadores profundizaron para descubrir por qué Mamba falló con la escritura a mano. Descubrieron que no era necesariamente porque el cerebro de Mamba fuera "tonto". Era porque Mamba tiene un hambre extrema de datos.

El Experimento: Cuando intentaron entrenar a Mamba con una pequeña cantidad de datos (como los 8,000 párrafos disponibles en algunos conjuntos de datos), el robot simplemente memorizó las respuestas en lugar de aprender las reglas. No logró aprender a generalizar.
La Solución: Cuando le dieron a Mamba 1 millón de ejemplos para entrenar, de repente empezó a funcionar perfectamente, incluso en secuencias largas.
La Conclusión: El problema con la escritura a mano no era que Mamba no pudiera hacerlo; era que aún no le habíamos dado suficiente material de práctica. El Transformer es mejor aprendiendo de pequeñas cantidades de datos, mientras que Mamba necesita una biblioteca masiva de ejemplos para que su magia funcione.

4. El Veredicto Final

El artículo concluye con una guía clara sobre cuándo usar cada robot:

Usa Mamba para Texto Impreso: Si estás digitalizando millones de periódicos o libros históricos impresos, Mba es la mejor opción. Es rápido, preciso y ahorra mucha potencia de cómputo.
Ten Cuidado con la Escritura a Mano: Si estás intentando leer notas manuscritas desordenadas, Mamba actualmente se queda atrás respecto a los modelos Transformer más antiguos, especialmente si no tienes una cantidad masiva de datos de entrenamiento.
El Futuro: Para que Mamba funcione bien con la escritura a mano, necesitamos o bien alimentarlo con mucha más información (como 1 millón de ejemplos) o construir un robot "híbrido" que combine la velocidad de Mamba con la capacidad del Transformer para aprender con menos datos.

En resumen: Mamba es un demonio de la velocidad que funciona perfectamente en entornos limpios e impresos, pero actualmente necesita una biblioteca masiva de material de práctica para manejar el desorden de la escritura a mano real. No está roto; solo necesita más entrenamiento.

Resumen Técnico: Escalamiento de Modelos de Espacio de Estados de Líneas a Párrafos

Planteamiento del Problema
El Reconocimiento Óptico de Caracteres (OCR) de extremo a extremo para documentos históricos depende cada vez más de modelos de secuencias autorregresivos. Aunque las arquitecturas basadas en Transformers dominan la investigación actual, su complejidad de atención cuadrática ( $O(n^2)$ ) limita la transcripción eficiente de textos largos a nivel de párrafo. Los Modelos de Espacio de Estados (SSM), específicamente Mamba, ofrecen una decodificación de tiempo lineal y han demostrado una precisión equiparable a los Transformers en líneas históricas impresas. Sin embargo, persisten tres brechas críticas: la configuración arquitectónica óptima para el Mamba-OCR de nivel de párrafo no ha sido verificada; el comportamiento de escalamiento de Mamba-OCR desde líneas cortas hasta párrafos completos no ha sido caracterizado bajo condiciones controladas; y la generalización de los OCR basados en SSM del texto impreso a la escritura manual permanece inexplorada.

Metodología
Los autores se basan en una arquitectura Mamba-OCR (Mamba-AR) que comprende un codificador visual CNN compartido, un conector multimodal Mamba bidireccional y un decodificador Mamba autorregresivo. Para abordar las brechas de investigación, el estudio emplea una metodología de tres vertientes:

Exploración de Hiperparámetros: Se realizó un estudio de ablación sistemático sobre cuatro hiperparámetros centrales: profundidad del decodificador ( $L$ ), dimensión del estado ( $N$ ), factor de expansión ( $E$ ) y profundidad del conector ($MC$). Los experimentos utilizaron párrafos sintéticos derivados de Wikipedia en inglés, que oscilan entre 100 y 1,000 caracteres (1 a 10 líneas).
Estudio de Escalamiento Controlado: Se comparó Mamba-OCR contra una línea base de Transformer (DAN) entrenada bajo un protocolo idéntico con los mismos datos sintéticos. Esto aisló los efectos de la longitud de la secuencia y la arquitectura de las variaciones en la calidad del documento.
Validación en el Mundo Real: Los modelos fueron evaluados en conjuntos de datos reales: líneas y párrafos históricos impresos (conjunto de datos BnL) y líneas y párrafos manuscritos (base de datos de escritura manual IAM).

Una observación metodológica crítica involucró el volumen de datos de entrenamiento. Experimentos preliminares revelaron que el decodificador Mamba autorregresivo no logró converger en secuencias largas con un conjunto fijo de 8,000 párrafos de entrenamiento, exhibiendo memorización. La convergencia estable requirió la generación de aproximadamente 1 millón de párrafos muestreados dinámicamente por configuración.

Contribuciones Clave

Optimización de Hiperparámetros: El estudio identifica la dimensión del estado ( $N$ ) y el factor de expansión ( $E$ ) como las palancas dominantes para la precisión en secuencias largas. La configuración recomendada ($L=4, N=256, E=6, MC=1$) coincide con los valores predeterminados utilizados en trabajos previos, pero es validada empíricamente como óptima para datos sintéticos de nivel de párrafo. Notablemente, la elección de $N=256$ está limitada por restricciones de implementación (tamaño de caché y rendimiento de escaneo paralelo) más que por una meseta de precisión.
Comportamiento de Escalamiento: En datos sintéticos limpios, Mamba-OCR mantiene una Tasa de Error de Caracteres (CER) inferior al 1% en todas las longitudes (hasta 1,000 caracteres), desempeñándose a la par con la línea base de Transformer. Sin embargo, Mamba-OCR demuestra una ventaja de eficiencia significativa, siendo de 1.4 a 4.5 veces más rápido que DAN, con una aceleración que aumenta linealmente con la longitud de la secuencia debido a su complejidad $O(n)$ frente a $O(n^2)$ .
Límites de Generalización y Escasez de Datos: En datos manuscritos reales (IAM), Mamba-OCR rinde significativamente por debajo de los modelos basados en Transformers y RetNet (por ejemplo, 10.02% de CER frente a 3.51% para DAN en párrafos de IAM). Los autores atribuyen esta brecha principalmente a la escasez de datos más que a un defecto arquitectónico intrínseco. El decodificador autorregresivo requiere comprimir todo el contexto visual en un único estado recurrente, un proceso que demanda mucha más diversidad de entrenamiento (léxica y sintáctica) para generalizar efectivamente que los modelos Transformer, que pueden volver a atender a la imagen.

Resultados

Datos Sintéticos: Ambos modelos alcanzaron un CER <1%. Mamba-OCR fue 1.4× más rápido en 1 línea y 4.5× más rápido en 10 líneas en comparación con DAN.
Texto Impreso (BnL): Mamba-OCR se mantuvo competitivo con los Transformers (6.07% CER frente a 5.24% para DAN en párrafos) ofreciendo una aceleración de 2.05×.
Texto Manuscrito (IAM):
- Líneas: Mamba-OCR alcanzó un 8.21% de CER, quedando rezagado frente a DAN (4.23%) y DRetHTR (2.26%).
- Párrafos: La brecha de rendimiento se amplió significativamente, con Mamba-OCR en 10.02% de CER frente al 3.51% de DAN.
Sensibilidad al Volumen de Datos: Los experimentos confirmaron que 8,000 párrafos fijos fueron insuficientes para que Mamba-OCR convergiera en secuencias largas, mientras que 1 millón de párrafos muestreados dinámicamente permitió un entrenamiento estable. El conjunto de datos IAM (747 párrafos de entrenamiento) se encuentra dentro del régimen de escasez de datos donde Mamba-OCR tiene dificultades.

Significancia
El artículo clarifica la aplicabilidad práctica de los SSM para la transcripción de documentos a gran escala. Establece que Mamba-OCR es una opción viable y de alto rendimiento para la digitalización de documentos impresos a escala, ofreciendo ganancias sustanciales de velocidad con una precisión comparable a la de los Transformers. Sin embargo, para el reconocimiento de escritura manual, particularmente a nivel de párrafo con datos de entrenamiento limitados, la arquitectura actual de SSM autorregresivo enfrenta desafíos significativos debido a su necesidad de grandes volúmenes de datos. Los autores concluyen que, si bien los SSM ofrecen una eficiencia convincente, su despliegue en nuevos dominios o estilos de escritura requiere ya sea corpora de entrenamiento sustancialmente mayores (mediante pre-entrenamiento sintético) o aumentos arquitectónicos (como diseños híbridos de SSM-atención) para superar la brecha de sesgo inductivo observada en regímenes de pocos datos.

1. La prueba del "Mundo Perfecto" (Datos Sintéticos)

2. La prueba del "Mundo Real" (Escritura a Mano)

3. El "Porqué" (El Hambre de Datos)

4. El Veredicto Final

Más como este