Resumen Técnico: Aprendizaje por Refuerzo de Formato Desacoplado para OCR de Documentos

1. Planteamiento del Problema

Aunque el Reconocimiento Óptico de Caracteres (OCR) ha sido durante mucho tiempo un foco de investigación, los modelos avanzados existentes todavía exhiben limitaciones significativas al procesar contenido de documentos sensibles al formato. Los autores observan que, si bien la lectura de texto suele percibirse como una tarea perceptiva, los modelos de OCR avanzados presentan dificultades con una alta incertidumbre de salida (entropía) al tratar con elementos estructurados como fórmulas y tablas en comparación con el texto plano.

El análisis empírico revela que las muestras de documentos con una mayor proporción de texto con formato exhiben una entropía de tokens sustancialmente más alta durante la inferencia. Esta alta entropía indica una menor certeza del modelo y sugiere que el texto con formato permite diversas rutas de lectura semánticamente equivalentes (por ejemplo, diferentes representaciones de LaTeX para la misma fórmula). Los intentos de Aprendizaje por Refuerzo (RL) existentes en OCR a menudo carecen de consideraciones de diseño específicas para estas regiones de alto nivel de entropía, fallando en avanzar más allá de la memorización a nivel de token hacia el razonamiento a nivel de formato.

2. Metodología

El artículo propone el Aprendizaje por Refuerzo de Formato Desacoplado (FD-RL), un marco diseñado para optimizar el rendimiento del OCR mediante el objetivo explícito del contenido sensible al formato a través de un paradigma de entrenamiento de dos etapas: Ajuste Fino Supervisado (SFT) seguido de RL.

2.1 Ingeniería de Datos

Para soportar un entrenamiento robusto, los autores construyeron un corpus de gran escala y rico en formatos integrando tres fuentes distintas:

• Mejora de Conjuntos de Datos de Código Abierto: Se verificó la calidad de los conjuntos de datos (ej. PDFA, DocGenome) para detectar contenido faltante, órdenes de lectura incorrectas y repeticiones. Se utilizó un modelo ligero (GOT) para la re-anotación, y un filtrado basado en similitud aseguró la retención de una verdad de campo (ground truth) de alta calidad.
• Construcción de PDF del Mundo Real: Se procesaron diversos PDFs para crear anotaciones conscientes del diseño (a nivel de página, de región y multipágina) y conscientes del contenido. Se utilizaron herramientas como MinerU y dots.ocr para generar salidas estructuradas en Markdown, LaTeX y HTML.
• Generación de Datos de OCR Sintéticos: Para abordar la escasez de datos educativos y académicos, se generaron muestras sintéticas a partir de recursos en línea (desde K12 hasta preguntas y respuestas STEM de posgrado). Estas fueron renderizadas en imágenes de alta resolución con parámetros visuales realistas (fuentes, espaciado) y emparejadas con etiquetas en Markdown.

2.2 Estrategia de Entrenamiento

El flujo de entrenamiento consiste en dos etapas distintas:

Etapa 1: Ajuste Fino Supervisado (SFT)
Un Modelo de Lenguaje-Visión pre-entrenado (Qwen3-VL-4B) es ajustado finamente sobre el conjunto de datos integral. Durante esta fase, el codificador visual y el proyector permanecen congelados, mientras que solo se actualizan los parámetros del Gran Modelo de Lenguaje (LLM). Esto establece una base sólida para las capacidades generales de OCR a través de diversos diseños y formatos.

Etapa 2: Aprendizaje por Refuerzo de Formato Desacoplado (FD-RL)
La etapa de RL introduce dos innovaciones centrales para desplazar la optimización de la precisión a nivel de token hacia la validez a nivel de formato:

1. Filtrado de Datos Basado en Entropía:
   En lugar de usar todos los datos de SFT, los autores filtran el conjunto de datos para retener muestras de alta entropía. El modelo SFT realiza la inferencia sobre muestras candidatas y se calcula la entropía promedio de los tokens. Las muestras que exceden un umbral de entropía específico ($\tau$) son seleccionadas para el entrenamiento de RL. Esta estrategia concentra el aprendizaje en instancias complejas e intensivas en formato donde el modelo exhibe la mayor incertidumbre.

2. Recompensa de Formato Desacoplado:
   En lugar de aplicar una señal de recompensa uniforme, el marco desacopla las recompensas según el tipo de contenido:

   • Texto Plano: Evaluado mediante coincidencia de cadenas normalizada (Distancia de Edición).
   • Fórmulas: Evaluadas mediante la corrección de la expresión (convirtiendo a LaTeX equivalente y aplicando puntuaciones BLEU).
   • Tablas: Evaluadas mediante la coherencia estructural (puntuación TEDS).

   La recompensa total $R$ es una suma ponderada de estas recompensas específicas, asegurando que los errores estructurales (ej. jerarquías de tablas rotas o LaTeX mal formado) no sean opacados por errores de contenido. El modelo se optimiza utilizando el algoritmo GRPO, que utiliza ventajas normalizadas por grupo sin requerir un modelo crítico separado.

3. Contribuciones Clave

• Marco FD-RL: Propone un nuevo paradigma de SFT-luego-RL diseñado específicamente para el "razonamiento después de la lectura" en OCR de documentos, abordando la naturaleza de alta entropía del texto con formato.
• Corpus de Gran Escala Rico en Formatos: Construye un conjunto de datos de entrenamiento robusto integrando datos de código abierto, del mundo real y sintéticos con proporciones de mezcla optimizadas.
• Curación Basada en Entropía y Recompensas Desacopladas: Introduce una estrategia de filtrado de datos que apunta a muestras de alta incertidumbre y un mecanismo de recompensa que adapta las métricas de evaluación a formatos de contenido específicos (texto, fórmula, tabla).
• Rendimiento de Vanguardia (State-of-the-Art): Alcanza un nuevo récord en el benchmark OmniDocBench, validando la efectividad del enfoque propuesto mediante estudios de ablación exhaustivos.

4. Resultados Experimentales

El método fue evaluado en OmniDocBench, un benchmark que contiene 1,355 páginas a través de nueve tipos de documentos (libros, notas, diapositivas, etc.).

• Rendimiento General: FD-RL logró una puntuación general de 90.41, estableciendo un nuevo récord para modelos end-to-end. Superó al mejor modelo end-to-end anterior (dots.ocr) por 2.0 puntos y al mejor modelo basado en pipelines (PaddleOCR-VL) por un margen significativo en métricas específicas, aunque PaddleOCR-VL obtuvo 92.56 en general (nota: PaddleOCR-VL figura como basado en pipeline en la Tabla 1, mientras que FD-RL es end-to-end).
• Métricas Específicas:
  • Reconocimiento de Fórmulas: Logró la mejor puntuación CDM de 88.67.
  • Parseo de Tablas: Logró una puntuación TEDS superior de 87.35 y una puntuación TEDS-S de 92.10.
  • Reconocimiento de Texto: Logró una distancia de edición de 0.049, situándose solo por detrás de dots.ocr (0.048).
• Generalización: FD-RL obtuvo el rendimiento superior en 4 de las 9 categorías de documentos (ej. Diapositivas, Exámenes) y ocupó el segundo lugar en las 5 restantes, demostrando una fuerte generalización de dominio cruzado.

Estudios de Ablación:

• Fuentes de Datos: La integración progresiva de datos de código abierto, del mundo real y sintéticos, seguida de RL, mostró ganancias de rendimiento consistentes, siendo el pipeline completo el que produjo la puntuación más alta.
• Estrategia de Entrenamiento: Aplicar RL directamente a un VLM general sin SFT produjo ganancias mínimas (49.37), mientras que el SFT por sí solo alcanzó 87.13. La combinación de SFT+RL fue necesaria para alcanzar 90.41.
• Filtrado: Una tasa de filtrado basada en entropía del 50% arrojó resultados óptimos; tanto el 0% (sin filtrado) como el 75% (filtrado excesivo) provocaron una degradación del rendimiento.
• Diseño de Recompensa: El esquema completo de recompensa de formato desacoplado superó a las recompensas de coincidencia de cadenas unificadas, confirmando que la evaluación especializada para fórmulas y tablas es crítica.

5. Significado y Afirmaciones

El artículo afirma que la principal significancia de este trabajo radica en identificar y aprovechar la naturaleza de alta entropía del texto con formato como una señal para la optimización dirigida. Al observar que los modelos avanzados tienen dificultades con el contenido sensible al formato debido a las diversas expresiones estructurales válidas, los autores argumentan que el razonamiento sobre diversas rutas de lectura es esencial para mejorar el OCR.

Los autores aseguran que FD-RL logra desplazar el objetivo de optimización de la simple memorización a nivel de token hacia la validez a nivel de formato. Esto se evidencia por la capacidad del modelo para generar estructuras HTML correctas para tablas y LaTeX válido para fórmulas, tareas en las que los modelos base suelen fallar al producir texto plano o errores de seguimiento de instrucciones. El trabajo valida que la curación de datos basada en la entropía y el diseño de recompensas específicas para el formato son estrategias efectivas para mejorar la robustez de los sistemas de parseo de documentos end-to-end.