Resumen Técnico: LightOnOCR-2-1B

Planteamiento del Problema

A pesar de décadas de progreso en el Reconocimiento Óptico de Caracteres (OCR), el procesamiento de documentos en el mundo real sigue siendo un desafío debido a los órdenes de lectura ambiguos en diseños de múltiples columnas, las estructuras complejas de tablas y la densa tipografía mezclada con notación matemática presente en los PDFs científicos. Las estrategias de producción tradicionales dependen de pipelines multi-etapa frágiles (análisis de diseño, detección de texto, reconocimiento, extracción de tablas) que son costosos de adaptar a nuevas distribuciones de documentos y requieren cambios coordinados en múltiples componentes. Si bien los modelos de Visión-Lenguaje (VLM) de extremo a extremo ofrecen una alternativa unificada, los modelos de vanguardia existentes suelen ser grandes (por ejemplo, 9B de parámetros), lentos y carecen de robustez en dominios específicos como los documentos científicos o el procesamiento del idioma francés.

Metodología

Los autores presentan LightOnOCR-2-1B, un VLM multilingüe compacto de 1B de parámetros diseñado para convertir imágenes de documentos directamente en texto limpio y ordenado naturalmente sin pipelines frágiles.

Arquitectura

El modelo consta de tres componentes:

1. Codificador de Visión: Un Vision Transformer de resolución nativa inicializado con pesos preentrenados de Mistral-Small-3.1, capaz de manejar tamaños de imagen variables y preservar la estructura espacial.
2. Proyector Multimodal: Un MLP de dos capas con activación GELU que proyecta las características de visión al espacio de incrustación (embedding) del modelo de lenguaje. Emplea la fusión espacial (parches de 2×2) para reducir los tokens visuales en 4×, manteniendo la tratabilidad para entradas de alta resolución.
3. Decodificador de Lenguaje: Inicializado a partir de Qwen3, genera una representación linealizada de la página, emitiendo tokens estructurados para elementos no textuales (por ejemplo, ![image](image_N.png)).

Estrategia de Entrenamiento

La receta de entrenamiento para LightOnOCR-2 representa un escalamiento y refinamiento significativo sobre su predecesor (LightOnOCR-1):

• Curación de Datos: La mezcla de preentrenamiento se escaló de 17M a 43M de páginas (2.5× más grande). Incluye una cobertura más fuerte de documentos escaneados, textos en francés y contenido científico. La supervisión se genera mediante destilación utilizando un modelo profesor más fuerte (Qwen3-VL-235B-A22B-Instruct).
• Pipeline de Normalización: Un pipeline unificado limpia fuentes heterogéneas (PDFA, escaneos, arXiv) eliminando artefactos (marcas de agua, Markdown errante), homogeneizando casos especiales (páginas en blanco, imágenes incrustadas) y forzando invariantes de formato (compatibilidad con KaTeX, tablas estandarizadas).
• Curación de arXiv: Un nuevo pipeline utilizando nvpdftex (cadena de herramientas de NVIDIA) compila fuentes TEX para producir anotaciones alineadas con los píxeles, proporcionando una supervisión de alta calidad para documentos científicos y cuadros delimitadores (bounding boxes).
• Resolución y Aumentación: El entrenamiento ocurre a una resolución máxima más alta (1540px en el lado más largo frente a 1024px anteriormente) e incluye ejemplos explícitos de páginas vacías para prevenir comportamientos de bucle (looping). Las aumentaciones de datos incluyen corrupción de bitmap, cizallamiento afín y rotaciones.
• Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): El modelo se somete a RLVR usando GRPO para abordar modos de falla difíciles de corregir solo con aprendizaje supervisado.
  • Receta de OCR: Extiende las pruebas unitarias de OlmOCR para penalizar bucles de repetición, verificar la corrección matemática mediante el renderizado de KaTeX y forzar un formato limpio.
  • Receta de Localización: Introduce una variante que predice cuadros delimitadores normalizados para imágenes incrustadas. La supervisión de coordenadas se introduce durante una etapa de reanudación del preentrenamiento, seguida de un refinamiento usando recompensas basadas en IoU.
• Técnicas de Espacio de Pesos: Los autores emplean el promedio de checkpoints (haciendo "souping" de los últimos 5 checkpoints) y la fusión de aritmética de tareas para combinar ganancias complementarias y controlar el compromiso entre la calidad del OCR y la precisión de los cuadros delimitadores sin entrenamiento adicional.

Contribuciones Clave

1. Rendimiento de Vanguardia (SOTA): LightOnOCR-2-1B logra nuevos resultados de vanguardia en OlmOCR-Bench, superando sustancialmente a modelos mucho más grandes (por ejemplo, baselines de escala 9B) siendo 9× más pequeño y rápido.
2. Mejor Mezcla de Preentrenamiento: Un conjunto de datos 2.5× más grande y limpio con mejor cobertura de documentos en francés, PDFs científicos y entrenamiento de alta resolución (1540px).
3. Capacidades de Localización: Introducción de la predicción de cuadros delimitadores de imagen en variantes dedicadas, entrenadas mediante supervisión de coordenadas y RLVR, sin degradar el rendimiento central del OCR.
4. Nuevo Benchmark: Lanzamiento de LightOnOCR-bbox-bench, un nuevo benchmark para la localización de imágenes en documentos, que comprende subconjuntos revisados manualmente y anotados automáticamente.
5. Eficiencia y Robustez: Demostración de que técnicas ligeras de espacio de pesos (promedio y fusión) pueden mejorar el rendimiento y gestionar explícitamente el compromiso entre la extracción de texto y la precisión de localización.
6. Lanzamiento Abierto: Lanzamiento público de los checkpoints del modelo (Apache 2.0), el conjunto de datos (LightOnOCR-mix-0126) y el benchmark bajo sus respectivas licencias.

Resultados

• Precisión de OCR: En OlmOCR-Bench, LightOnOCR-2-1B logra una puntuación general de 83.2 ± 0.9, superando a modelos de extremo a extremo más grandes como olmOCR-2-8B (80.4) y Chandra-9B (81.7). Muestra una fuerza particular en documentos de ArXiv, escaneos antiguos con matemáticas y diseños con abundantes tablas.
• Localización: En LightOnOCR-bbox-bench, el modelo logra un F1@0.5 de 0.78 (subconjunto OlmOCR) y 0.83 (subconjunto arXiv), superando al baseline de 9B de Chandra en precisión de conteo y F1, a pesar de ser significativamente más pequeño.
• Eficiencia: LightOnOCR-2 logra un rendimiento de 5.71 páginas/seg en una sola NVIDIA H100, superando sustancialmente a los baselines más grandes (olmOCR-2 a 3.28 páginas/seg, Chandra a 1.70 páginas/seg).

Significado y Reivindicaciones

El artículo posiciona a LightOnOCR-2-1B como una solución práctica y de alta fidelidad para la comprensión de documentos que elimina la carga de ingeniería de los pipelines multi-etapa. Los autores afirman que un modelo compacto, totalmente diferenciable y de extremo a extremo puede manejar diseños complejos (tablas, formularios, notación científica) de manera más efectiva y eficiente que los sistemas más grandes y frágiles.

El trabajo enfatiza que la simplicidad y la calidad de los datos son impulsores críticos del rendimiento. Al aprovechar una mezcla de preentrenamiento más limpia y grande, un entrenamiento de mayor resolución y RLVR dirigido, los autores demuestran que un modelo de 1B de parámetros puede superar a los sistemas de 9B de parámetros. Además, el artículo sostiene que la localización puede integrarse en los modelos de OCR sin comprometer la calidad de la extracción de texto mediante estrategias de entrenamiento cuidadosas (reanudación de preentrenamiento y refinamiento RLVR). El lanzamiento del modelo, los datos y los benchmarks tiene como objetivo apoyar la investigación reproducible en la extracción y localización de alta fidelidad.

Limitaciones: Los autores señalan que el modelo está optimizado para documentos impresos y escrituras latinas/europeas; el rendimiento en escrituras no latinas (por ejemplo, CJK, árabe) y texto manuscrito no cuenta con soporte completo y puede exhibir una fidelidad degradada.