Resumen Técnico: DocPO: Avance en la Optimización de Políticas de Documentos mediante Recompensas Adaptadas al Paso

1. Planteamiento del Problema

El análisis de documentos (document parsing), la tarea de decodificar diseños 2D heterogéneos (texto, tablas, fórmulas) en secuencias 1D, enfrenta desafíos significativos al aplicar el Aprendizaje por Refuerzo (RL). Aunque el Ajuste Fino Supervisado (SFT) es la tendencia principal actual, este sufre de sesgo de exposición. Aunque el RL ofrece un camino para la optimización a nivel de secuencia, su aplicación al análisis de documentos ha sido limitada en comparación con los Grandes Modelos de Lenguaje (LLMs) estándar.

El problema central identificado es la débil discriminabilidad de las recompensas basadas en referencias en el régimen de alta precisión. Los métodos existentes suelen depender de métricas de distancia de edición (por ejemplo, la distancia de edición de cadenas). A medida que los modelos se acercan a una alta precisión, las salidas casi correctas reciben puntuaciones casi idénticas a las de la verdad de campo (ground truth). Esto resulta en:

• Paisajes de recompensa planos: Las pequeñas diferencias de calidad entre candidatos de alta puntuación no se amplifican, proporcionando señales de aprendizaje limitadas para casos difíciles.
• Desalineación: Las distancias de edición de cadenas genéricas fallan al capturar la corrección estructural en tablas (recompensando un alto solapamiento léxico a pesar de una corrupción estructural) o la equivalencia semántica en fórmulas (penalizando variaciones de LaTeX válidas y sinónimas).
• Dependencia de recompensas complejas: Los enfoques alternativos, como los modelos de recompensa aprendidos mediante renderizado y comparación, requieren datos adicionales, cómputo y entrenamiento auxiliar, lo que reduce la simplicidad de implementación.

2. Metodología

Los autores proponen DocPO, un marco de optimización de políticas de documentos que conserva recompensas simples basadas en referencias específicas de cada elemento, pero mejora su poder de optimización mediante un nuevo mecanismo llamado Recocido Sensible al Paso (Step-Aware Annealing, SAA).

2.1 Instanciación de la Recompensa Base

DocPO utiliza distintas recompensas basadas en referencias normalizadas y adaptadas a elementos de documentos específicos, mapeadas a una escala de $[0, 1]$:

• Texto: Distancia de Edición Normalizada (NED).
• Tablas: Similitud de Distancia de Edición de Árbol Ponderada (TEDS) utilizando el algoritmo APTED. Esto diferencia los costos de las operaciones estructurales (por ejemplo, extensiones de fila/columna) frente a los desajustes de solo contenido, asegurando que los errores estructurales incurran en penalizaciones más pesadas que los errores tipográficos.
• Fórmulas: Una recompensa híbrida de Rúbrica + Edición. Esta combina:
  • Una puerta de sintaxis determinista ($v_{syn}$) que asigna recompensa cero a LaTeX inválido (validez sintáctica).
  • Una rúbrica binaria ($r_{sem}$) para la equivalencia semántica (manejo de notaciones alternativas válidas como \over frente a \frac).
  • Un componente NED denso ($r_{struct}$) para la supervisión estructural.

2.2 Recocido Sensible al Paso (Step-Aware Annealing - SAA)

SAA es un mecanismo de endurecimiento de recompensa (reward sharpening) plug-and-play diseñado para abordar la planitud de las recompensas en el régimen de alta precisión. Opera independientemente de la definición específica de la recompensa una vez normalizada.

• Modelado No Lineal de la Recompensa: SAA aplica una transformación de ley de potencia a la recompensa base $M$:
  $$f_\gamma(M) = M^\gamma$$
  donde $\gamma$ es un factor de curvatura. Cuando $\gamma > 1$, la brecha relativa entre muestras de alta puntuación se amplifica. Esto efectivamente reduce la "temperatura" del proceso de selección, haciendo que la señal de optimización sea más aguda para los candidatos mejor clasificados mientras preserva el ranking original.
• Programación Adaptativa: El factor de curvatura $\gamma$ no es fijo, sino que evoluciona durante el entrenamiento:
  $$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$$
  • Inicio del Entrenamiento: $\gamma$ comienza cerca de 1 (lineal), asegurando estabilidad y alineación con la recompensa base original.
  • Final del Entrenamiento: $\gamma$ aumenta (hasta un máximo de $\gamma_{init} + \Delta\gamma$), agudeciendo progresivamente la recompensa para distinguir diferencias sutiles entre salidas de alta calidad.
• Controlador de Dispersión Dinámica (DDC): Para adaptar la tasa de endurecimiento a la dificultad de la tarea, $\tau_{adaptive}$ es modulado por una puntuación de dispersión por tarea ($d_{DDC}$) calculada sobre una ventana rodante de recompensas recientes. Una alta dispersión (resultados heterogéneos) activa un endurecimiento más rápido, mientras que una baja dispersión mantiene un ritmo más constante.

3. Contribuciones Clave

1. Recocido Sensible al Paso (SAA): Un novedoso mecanismo de endurecimiento de recompensa que aumenta dinámicamente la curvatura de la recompensa a través de los pasos de entrenamiento. Mejora la optimización en el régimen de alta precisión sin requerir supervisión humana adicional o el entrenamiento de un modelo de recompensa auxiliar.
2. Marco DocPO: Un marco de RL de documentos unificado que integra recompensas basadas en referencias específicas de elementos (NED para texto, TEDS para tablas, Rúbrica+edición para fórmulas) con SAA.
3. Benchmark de Grano Fino: La construcción de DocElemHard, un conjunto de datos desafiante que cubre bloques de texto, tablas y fórmulas para la evaluación a nivel de elemento, junto con evaluaciones en OmniDocBench.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el backbone Qwen2.5-VL-3B sin ninguna modificación en el codificador visual, el pre-entrenamiento o los módulos de post-procesamiento.

• Ganancias de Rendimiento:
  • OmniDocBench: DocPO logró una puntuación general de 95.38, superando a VLMs especializados como PaddleOCR-VL (94.87) y DeepSeekOCR (90.63).
  • DocElemHard: DocPO logró el mejor rendimiento general (93.76), superando al baseline especializado más fuerte (PaddleOCR-VL con 91.47).
  • Por Elemento:
    • Texto: Redujo el error NED a 0.0125 (frente a 0.0358 para el baseline de SFT).
    • Fórmulas: Mejoró la puntuación CDM a 94.70 (frente a 92.61 para SFT).
    • Tablas: Logró un TEDS de 93.10 (frente a 89.30 para SFT).
• Estudios de Ablación:
  • SAA vs. Curvatura Fija: El SAA dinámico (93.10) superó a las transformaciones de potencia estáticas con $\gamma$ fijo (rango 91.9–92.3), demostrando la necesidad del esquema adaptativo.
  • Contribución del DDC: Eliminar el Controlador de Dispersión Dinámica redujo el rendimiento de 93.10 a 92.73, confirmando el valor de la adaptación de la dispersión específica de la tarea.
  • Eficiencia de Entrenamiento: SAA aceleró la convergencia, alcanzando el umbral de 91.0 TEDS 1.8× más rápido que el baseline sin recocido, logrando además un techo de rendimiento final más alto (+1.5 puntos).
• Comparación con Modelos Especializados: DocPO superó a modelos que dependen de la personalización arquitectónica (por ejemplo, codificadores de alta resolución dedicados, compresión de tokens visuales personalizada o pre-entrenamiento multimodal adicional) utilizando únicamente un backbone estándar de 3B y optimización a nivel de recompensa.

5. Significado y Afirmaciones

El artículo afirma que para el análisis de documentos, optimizar la señal de recompensa es un palanca más efectiva que escalar o rediseñar la arquitectura del modelo.

• Simplicidad y Capacidad de Implementación: A diferencia de las tendencias recientes que requieren modificaciones complejas del front-end visual o modelos de recompensa auxiliares, DocPO logra resultados de vanguardia utilizando un backbone de VLM estándar sin pre-procesamiento ni post-procesamiento adicional.
• Generalizabilidad: El mecanismo SAA es agnóstico a la definición específica de la recompensa, ofreciendo una estrategia de optimización unificada a través de diversos elementos de documentos (texto, tablas, fórmulas).
• Optimización de Alta Precisión: El trabajo demuestra que el cuello de botella principal en el análisis de documentos de alta precisión no es la capacidad del modelo, sino el poder discriminativo de la señal de recompensa en el régimen cercano al óptimo. SAA aborda esto efectivamente mediante el endurecimiento progresivo de la señal de aprendizaje.

Limitaciones: Los autores señalan que el entrenamiento de RL es computacionalmente más costoso que el SFT debido a múltiples rollouts y la puntuación por rúbrica. Además, las recompensas proxy pueden omitir matices semánticos sutiles, y el alcance actual se limita a texto, fórmulas y tablas, excluyendo gráficos y diagramas geométricos.