Resumen Técnico: Deja de Pensar, Empieza a Mirar

Declaración del Problema

La Respuesta a Preguntas en Documentos Multimodales (DocQA) requiere no solo generar texto correcto, sino también realizar la Localización Visual de Documentos (DVG): la localización precisa de la región visual que sustenta una respuesta. Los enfoques actuales enfrentan dos limitaciones principales:

1. Ajuste Fino Supervisado (SFT): Aunque es efectivo, el SFT suele alcanzar una meseta de optimización donde el aumento de los conjuntos de datos anotados produce rendimientos decrecientes en la precisión geométrica.
2. Aprendizaje por Refuerzo (RL) Centrado en el Razonamiento: Paradigmas recientes (por ejemplo, DocThinker) postulan que las trazas de razonamiento intermedio explícitas (Cadena de Pensamiento o Chain-of-Thought) son necesarias para cerrar la brecha entre la comprensión semántica y la localización espacial. Sin embargo, estas trazas verbosas inflan los costos de tokens de inferencia e introducen latencia sin un beneficio empírico claro para tareas inherentemente perceptivas.

Además, la dinámica del RL en entornos multimodales sigue siendo poco explorada, particularmente respecto a si el razonamiento es verdaderamente necesario para la localización o si introduce inestabilidad y una carga computacional innecesaria.

Metodología: Perception-RFT

Los autores introducen Perception-RFT, un marco de entrenamiento diseñado para alinear las características visuales directamente con salidas de localización estructuradas, omitiendo las trazas de razonamiento intermedias.

Marco Central

• Formulación de la Tarea: La tarea se define como un problema de VQA generativo donde la política $\pi_\theta$ produce un JSON estructurado que contiene la respuesta y un cuadro delimitador normalizado ($[x_1, y_1, x_2, y_2]$).
• Restricción de Percepción Directa: A diferencia de los enfoques estándar de RL que fomentan el razonamiento verboso, Perception-RFT impone un prompt de sistema que prohíbe explícitamente explicaciones o pasos intermedios ("NO incluya explicaciones... Entregue ÚNICAMENTE el JSON final válido"). Esto obliga al modelo a mapear las características visuales directamente a la regresión de coordenadas.
• Algoritmo de Optimización: El marco utiliza la Optimización de Política Relativa de Grupo (GRPO). En lugar de maximizar la consistencia lógica mediante cadenas de razonamiento, el objetivo maximiza la ventaja de las salidas válidas basándose en una señal de recompensa conjunta, limitando la deriva de la política mediante la divergencia KL.

Mecanismo de Recompensa Densa con Compuerta (Gated)

Para estabilizar el entrenamiento sin guía intermedia, los autores proponen una función de recompensa compuesta $R = R_{format} + R_{sem} + R_{loc}$:

1. Consistencia de Formato ($R_{format}$): Un interruptor binario (0 o 1) que asegura que la salida sea un JSON válido con el esquema correcto.
2. Precisión Semántica ($R_{sem}$): Utiliza la Similitud de Levenshtein Normalizada Promedio (ANLS) con escalado cuadrático para penalizar agresivamente los errores cercanos.
3. Recompensa de Localización con Compuerta ($R_{loc}$): Un mecanismo de "efecto de acantilado" (cliff-edge).
   • Estado de Modelado (Shaping State): Si el IoU es inferior a un umbral ($\tau=0.6$), la recompensa se reduce ($\lambda \cdot \text{IoU}$) para evitar la convergencia en solapamientos parciales subóptimos.
   • Estado de Éxito (Success State): Si el IoU $\geq 0.6$, la recompensa salta a 1.0, fomentando un margen de seguridad geométrica.

Diseño Experimental

El estudio emplea Qwen3-VL-4B y compara varias configuraciones:

• SFT: Ajuste fino supervisado estándar sobre ~23k muestras de documentos financieros.
• RFTs (SFT $\to$ RL): Perception-RFT aplicado tras la inicialización de SFT.
• RFTb (RL de Inicio en Frío): Perception-RFT aplicado directamente al modelo base sin SFT.
• Reasoning-RFTb: Una variante controlada que permite trazas de razonamiento intermedias bajo idénticas condiciones de RL para aislar el papel del razonamiento.
• Datasets: Entrenamiento en documentos financieros curados (DocILE, FormNLU) y evaluación en conjuntos In-Distribution (ID) y dos benchmarks Out-of-Distribution (OOD): DOGR-Bench (800 muestras) y MMDocBench (4,028 muestras).

Resultados Clave

1. El Razonamiento es Redundante y Perjudicial

El hallazgo más significativo es que el razonamiento explícito no mejora el rendimiento en tareas de DVG bajo RL.

• Brecha de Rendimiento: La variante sin razonamiento (RFTb) supera consistentemente a la variante con razonamiento (Reasoning-RFTb) tanto en conjuntos de datos ID como OOD. Por ejemplo, en datos OOD, RFTb logra un F1all de 0.600 frente al 0.382 de Reasoning-RFTb.
• Compresión de Trazas: Incluso cuando el razonamiento está habilitado, los modelos comprimen y eliminan progresivamente las trazas de razonamiento durante el entrenamiento. Al alcanzar la convergencia, la longitud promedio de los tokens de razonamiento cae un 62% (de ~191 a ~72 tokens), convergiendo efectivamente hacia una política de percepción directa.
• Estabilidad: El entrenamiento con razonamiento habilitado exhibe una mayor varianza y una convergencia menos estable en comparación con el enfoque de percepción directa.

2. El RL Supera la Saturación del SFT

• Rompiendo el Techo: En datos In-Distribution, el SFT alcanza una meseta de rendimiento (F1all = 0.668). Aplicar Perception-RFT (RFTs) rompe este techo, mejorando el F1all a 0.718, con ganancias significativas tanto en la extracción de texto como en la localización.
• Importancia de la Inicialización: El RL de inicio en frío (RFTb) mejora respecto al modelo base pero permanece sustancialmente por debajo de RFTs, confirmando que la inicialización supervisada proporciona una base estable para el aprendizaje geomético bajo RL.

3. El Fenómeno de la Divergencia de Localización (Grounding Divergence)

Los autores identifican un compromiso previamente no caracterizado denominado Divergencia de Localización. Bajo la optimización conjunta de RL en datos OOD:

• La Localización Mejora: La precisión geométrica se transfiere de forma robusta a dominios no vistos (por ejemplo, la localización en DOGR-Bench salta de 0.416 a 0.759).
• La Robustez Semántica se Degrada: Las capacidades de extracción semántica suelen fallar en la transferencia o se degradan en comparación con el modelo base zero-shot.
• Implicación: El RL induce una generalización asimétrica; destaca en el aprendizaje de patrones geométricos transferibles, pero puede sobre-especializarse en la extracción semántica, lo que conduce a un intercambio selectivo entre la precisión geométrica y la flexibilidad semántica.

4. Eficiencia de Datos

Una transición temprana de SFT a RL (RFTs-Early) logra una precisión comparable a la de SFT+RL completo utilizando un 65% menos de datos de entrenamiento. Esto sugiere que el aprendizaje supervisado prolongado no es estrictamente necesario para una localización de alta precisión si se introduce el RL tempranamente.

Significancia y Reivindicaciones

El artículo afirma establecer que la Localización Visual de Documentos es una tarea de predominancia perceptiva donde la alineación directa entre las características visuales y las salidas espaciales es más efectiva que la generación mediada por el razonamiento.

• Eficiencia: Al omitir los tokens de razonamiento, el enfoque reduce la longitud de los tokens de inferencia por consulta en más de un 60%, ofreciendo una estrategia de despliegue más rápida y rentable.
• Dinámica de Optimización: El trabajo extiende los hallazgos del post-entrenamiento en el dominio del texto (saturación de SFT e inestabilidad de RL en inicio en frío) al dominio multimodal e identifica el compromiso específico de la "Divergencia de Localización".
• Guía Práctica: Los autores argumentan que para DVG, los modelos deben "Dejar de Pensar, Empezar a Mirar". La política óptima depende de la percepción directa en lugar del razonamiento explícito, y las transiciones tempranas de SFT a RL ofrecen el mejor equilibrio entre eficiencia de datos y rendimiento.

El estudio es modesto en su alcance, señalando que estos hallazgos se establecen a la escala de 4B de parámetros y que el comportamiento de escalado hacia modelos más grandes sigue siendo un tema para trabajos futuros. Además, la falta de datos supervisados anotados con razonamiento limita la capacidad de construir un pipeline de SFT $\to$ RL basado en el razonamiento para comparaciones adicionales.