Resumen Técnico: Unlimited OCR

1. Planteamiento del Problema

Los modelos actuales de Reconocimiento Óptico de Caracteres (OCR) de extremo a extremo, incluso aquellos que utilizan Grandes Modelos de Lenguaje (LLM) como decodificadores, enfrentan limitaciones significativas en las tareas de análisis de largo horizonte (por ejemplo, transcribir docenas de páginas en una sola pasada hacia adelante).

• Cuello de botella de memoria y eficiencia: Los mecanismos de atención estándar requieren que el caché de Clave-Valor (KV) crezca linealmente con la longitud de la secuencia de salida. A medida que la secuencia se alarga, esto conduce a un consumo de memoria ilimitado y velocidades de generación progresivamente más lentas debido al aumento de los costos de computación de la atención.
• El "truco del bucle for": Los modelos existentes suelen procesar documentos página por página en un bucle, reiniciando la memoria en cada paso. Esto fragmenta la tarea en problemas aislados de corto horizonte gestionados por un programador externo, fallando en emular el estado cognitivo continuo que los humanos exhiben al transcribir textos largos.
• Fidelidad Visual vs. Transiciones de Estado: Aunque los mecanismos de atención lineal reducen la complejidad, a menudo aplican actualizaciones de estado recurrentes a los tokens visuales. Esto causa un "desenfoque progresivo" de las características visuales, degradando la precisión del reconocimiento.

2. Metodología

El artículo propone Unlimited OCR, un modelo diseñado para emular la memoria de trabajo humana durante tareas de copia de largo horizonte. Se basa en la línea base DeepSeek OCR, manteniendo su codificador de alta compresión pero alterando fundamentalmente el mecanismo de atención del decodificador.

Arquitectura Central

• Línea Base: Utiliza el DeepEncoder de DeepSeek OCR, que emplea una arquitectura de ViT en cascada (SAM-ViT + CLIP-ViT) para lograr una tasa de compresión de tokens de 16×. Esto asegura que los tokens visuales se codifiquen una vez y permanezcan estáticos, evitando la necesidad de transiciones de estado en el lado de la entrada.
• Decodificador: Un Modelo de Mezcla de Expertos (MoE) de LLM con 3 mil millones de parámetros totales y 500 millones de parámetros activados.
• Innovación Clave: Todas las capas de Atención de Cabezal Múltiple (MHA) estándar en el decodificador son reemplazadas por la Atención de Ventana Deslizante de Referencia (R-SWA).

Atención de Ventana Deslizante de Referencia (R-SWA)

R-SWA es un mecanismo de atención de propósito general para el análisis que restringe la atención dentro de una ventana de dos segmentos de tamaño $m + n$:

1. Segmento de Referencia ($P$): Incluye todos los tokens de prefijo (tokens visuales y el prompt). Este segmento tiene un tamaño fijo ($L_m$) y permanece globalmente visible para todos los tokens subsiguientes. Crucialmente, estos tokens no experimentan transiciones de estado, preservando la fidelidad visual.
2. Segmento de Decodificación ($D_n$): Una ventana deslizante causal de ancho fijo $n$ (predeterminado 128) sobre los tokens de salida generados previamente.

Mecanismo:

• Cada token generado atiende a todos los tokens de referencia (visuales + prompt) y solo a los $n$ anteriores tokens de salida.
• Gestión del Caché KV: A diferencia de la MHA estándar donde el tamaño del caché es $L_m + T$ (creciendo con la longitud de la secuencia $T$), R-SWA mantiene un tamaño de caché constante de $L_m + n$. El caché actúa como una cola donde el par KV del token generado más antiguo es desalojado a medida que se añade uno nuevo.
• Resultado: Este diseño desacopla el uso de memoria y el costo computacional de la longitud total de la salida, permitiendo una latencia y una huella de memoria constantes independientemente de cuántas páginas se procesen.

3. Contribuciones Clave

1. Algoritmo R-SWA: Introducción de un novedoso mecanismo de atención que combina la visibilidad total de los tokens de referencia (visuales) con una ventana causal acotada para los tokens generados. Esto logra una atención de complejidad lineal sin desenfocar las características visuales.
2. Modelo Unlimited OCR: Una implementación práctica basada en DeepSeek OCR que analiza con éxito docenas de páginas de documentos en una sola pasada hacia adelante bajo una restricción estándar de longitud máxima de 32K.
3. Ganancias de Rendimiento: Demostró que reemplazar la atención estándar con R-SWA produce no solo ganancias de eficiencia, sino también mejoras en la precisión en los benchmarks estándar, sugiriendo que el mecanismo de "olvido suave" se alinea bien con las tareas de OCR.
4. Generalizabilidad: El artículo postula que R-SWA es aplicable más allá del OCR a otras tareas de largo horizonte basadas en referencia, como el Reconocimiento Automático del Habla (ASR) y la traducción.

4. Resultados Experimentales

Benchmarks y Métricas

El modelo fue evaluado en OmniDocBench (v1.5 y v1.6) y un conjunto de pruebas de largo horizonte propio. Las métricas incluyeron Distancia de Edición de Texto, CDM de Fórmulas, TEDS de Tablas y Distancia de Edición de Orden de Lectura.

Hallazgos Principales

• OmniDocBench v1.5: Unlimited OCR logró una puntuación general del 93.23%, superando a la línea base de DeepSeek OCR (87.01%) por 6.22 puntos. También superó a la base DeepSeek OCR 2.
• OmniDocBench v1.6: Alcanzó un nuevo SOTA del 93.92% general, superando a otros modelos de extremo a extremo como FireRed-OCR y Qianfan-OCR.
• Análisis por Subcategoría: El modelo mostró mejoras consistentes en los nueve tipos de documentos (PPT, Artículos Académicos, Libros, etc.), sin que ninguna métrica mostrara una desventaja frente a las líneas base.
• Análisis de Largo Horizonte:
  • El modelo procesó con éxito entradas de más de 40 páginas en una sola pasada.
  • A más de 40 páginas, la Distancia de Edición se mantuvo por debajo de 0.11, y el Distinct-35 fue de 96.90%.
  • Los errores en longitudes extremas se atribuyeron principalmente a las limitaciones de resolución del modo de codificador "Base" (1024×1024) más que a la pérdida de dirección del mecanismo de atención.

Análisis de Eficiencia

• Rendimiento (TPS): Mientras que ambos modelos se comportan de manera similar en longitudes cortas (256 tokens), Unlimited OCR mantiene un rendimiento constante (~7,800 TPS) a medida que aumenta la longitud de la secuencia. En contraste, el rendimiento de DeepSeek OCR cae significativamente (un ~35% a los 6,000 tokens) debido al crecimiento del caché KV.
• Latencia: La duración por llamada del kernel de Flash Attention permanece constante para Unlimited OCR, mientras que crece linealmente para la línea base.

5. Significado y Reivindicaciones

El artículo afirma que Unlimited OCR representa un cambio hacia el análisis de largo horizonte de un solo paso, alejándose de los trucos de ingeniería (bucles página por página) hacia una arquitectura cognitiva más alineada con la AGI.

• Eficiencia Similar a la Humana: Al imitar la memoria de trabajo humana —reteniendo la fuente (visuales) y el contexto reciente mientras "olvida suavemente" las salidas distantes— el modelo logra una eficiencia que no se degrada con la longitud de la tarea.
• Optimización Sin Pérdidas: Los autores afirman que R-SWA es un "almuerzo gratis" para el OCR, mejorando la precisión y reduciendo drásticamente los costos de memoria y computación.
• Potencial Futuro: El trabajo sugiere que la computación de la atención y la huella de memoria ya no son los principales cuellos de botella para el análisis de largo horizonte. Los autores planean extender R-SWA a ASR y traducción, y explorar "pools de prefill" para simular el paso de páginas humano para longitudes de contexto verdaderamente ilimitadas en el futuro.

Limitaciones Reconocidas:
La implementación actual todavía está limitada por la longitud del prefill (limitada por la ventana de contexto de 32K y la compresión de DeepEncoder). El análisis "verdaderamente ilimitado" (por ejemplo, libros enteros sin límites de contexto) requiere trabajo futuro en entrenamiento de contexto más largo (128K+) y mecanismos dinámicos de obtención de prefill.