Resumen Técnico: Perceive-to-Reason (P2R)

Declaración del Problema

El razonamiento visual de grano fino sigue siendo un cuello de botella significativo para los Modelos de Lenguaje-Visión (VLMs), particularmente cuando las pistas visuales críticas son sutiles y están ocultas dentro de imágenes de alta resolución. Los enfoques existentes suelen depender de "Pensar con Imágenes" (intercalar la exploración de regiones con el razonamiento) o de "Búsqueda Visual" (búsqueda de regiones clave en tiempo de prueba). Sin embargo, estos métodos suelen entrelazar la percepción (localizar la evidencia) con el razonimiento (responder a la pregunta) o dependen de procesos externos complejos y difíciles de optimizar. Un estudio diagnóstico presentado en el artículo indica que una causa principal del fallo no es la falta de capacidad de razonamiento, sino la incapacidad de localizar correctamente la evidencia visual relevante en primer lugar. Además, entrenar etapas de percepción y razonamiento desacopladas es un desafío bajo la supervisión estándar de solo respuesta, ya que es difícil atribuir los errores al paso de localización o al paso de razonamiento.

Metodología

Los autores proponen Perceive-to-Reason (P2R), un marco unificado que desacopla explícitamente el razonamiento visual de grano fino en dos etapas distintas: Percepción y Razonamiento.

1. Pipeline de Inferencia de Dos Etapas

P2R utiliza un único VLM subyacente con parámetros compartidos, pero opera en dos roles consecutivos:

• Etapa de Perceptora (Perceiver Stage): Dada una imagen $I$ y una pregunta $Q$, el modelo actúa como un Perceptor para localizar explícitamente la evidencia relevante para la pregunta. Genera cajas delimitadoras (bounding boxes) $B$ que representan las regiones clave. Estas cajas se utilizan para generar una imagen anotada (con las cajas superpuestas) e imágenes de evidencia recortadas.
• Etapa de Razonadora (Reasoner Stage): El modelo actúa entonces como un Razonador, tomando la pregunta original, la imagen anotada y las regiones recortadas como entrada para generar la respuesta final.

Esta formulación transforma el razonamiento de grano fino en un proceso estructurado donde el modelo primero determina dónde mirar y luego determina cómo razonar basándose en esa evidencia.

2. Alternating GRPO de Percepción-Razonamiento (PRA-GRPO)

Para entrenar este marco desacoplado utilizando únicamente la supervisión de la respuesta final (sin anotaciones de cajas delimitadoras de verdad fundamental), los autores introducen PRA-GRPO, una estrategia de aprendizaje por refuerzo basada en el Grupo de Optimización de Política Relativa (GRPO) que es consciente del rol.

• Optimización Alternante: El proceso de entrenamiento alterna entre optimizar la Perceptora y la Razonadora. En la Fase de Percepción, la Perceptora se actualiza mientras la Razonadora permanece congelada; la recompensa se deriva de la corrección de la respuesta final generada por la Razonadora congelada. Por el contrario, en la Fase de Razonamiento, la Razonadora se actualiza mientras la Perceptora permanece congelada.
• Señales Atribuibles: Este enfoque convierte la recompensa binaria de la respuesta final en una señal de aprendizaje específica para cada rol. Permite que el modelo aprenda una localización de evidencia efectiva basada en los resultados del razonamiento posterior, resolviendo eficazmente el problema de la asignación de crédito en un pipeline desacoplado sin requerir una supervisión densa.
• Parámetros Compartidos: Ambos roles comparten los mismos parámetros $\theta$, lo que permite que las capacidades se integren dentro de una única instancia del modelo.

Contribuciones Clave

1. Marco P2R: Un marco unificado que formula el razonamiento visual de grano fino como un proceso de dos etapas de percepción-razonamiento, separando explícitamente la localización de la evidencia de la generación de la respuesta.
2. PRA-GRPO: Una estrategia de entrenamiento novedosa que alinea el aprendizaje por refuerzo con la formulación desacoplada. Permite el aprendizaje de capacidades de percepción utilizando solo la supervisión de la respuesta final, eliminando la necesidad de anotaciones de cajas delimitadoras de verdad fundamental.
3. Rendimiento de Vanguardia (State-of-the-Art): El método demuestra mejoras consistentes en diversas escalas de modelos (2B, 4B, 8B) y benchmarks, logrando nuevos resultados de vanguardia en tareas de razonamiento visual de grano fino de alta resolución.

Resultados Experimentales

Los autores evaluaron P2R en varios benchmarks, incluyendo V-Star, HR-Bench-4K/8K y MME-RealWorld-Lite.

• Benchmarks de Alta Resolución: P2R supera consistentemente a sus modelos base (Qwen3-VL-Instruct) y a los métodos existentes de búsqueda visual o de "Pensar con Imágenes".
  • P2R-4B alcanzó un 93.2% en V-Star, 81.9% en HR-Bench-4K y 80.5% en HR-Bench-8K.
  • Comparado con el backbone Qwen3-VL-Instruct-4B, P2R-4B mostró ganancias de +11.5% en V-Star, +8.1% en HR-Bench-4K y +13.5% en HR-Bench-8K.
• Generalización: Los beneficios de P2R se extienden más allá de las tareas de alta resolución. En el benchmark MME-RealWorld-Lite, P2R mejoró el rendimiento en diversas tareas de razonamiento multimodal del mundo real (OCR, teledetección, diagramas), lo que sugiere que la formulación de percepción-razonamiento ayuda a una comprensión multimodal más amplia.
• Estudios de Ablación:
  • Inferencia: Reemplazar la Cadena de Pensamiento (CoT) directa con el pipeline de inferencia P2R mejoró significativamente el rendimiento incluso en los modelos base.
  • Entrenamiento: Las actualizaciones alternantes entre roles (P $\to$ R) produjeron mejores resultados que entrenar los roles de forma aislada o en orden inverso, validando la importancia del esquema de entrenamiento desacoplado.
  • Compartición de Parámetros: Los experimentos mostraron que entrenar un rol (por ejemplo, Perceptor) y reutilizar esos pesos para el otro rol (Razonador) proporcionaba beneficios, aunque el entrenamiento completo de PRA-GRPO alternante produjo los mejores resultados.

Significancia y Reivindicaciones

El artículo afirma que el desacoplamiento explícito de la percepción del razonamiento proporciona un marco efectivo para el razonamiento visual de grano fino. Al tratar la localización de la evidencia como un paso intermedio explícito en lugar de un subproducto implícito de la generación de la respuesta, P2R aborda el cuello de botella principal de encontrar la evidencia visual correcta.

La importancia de PRA-GRPO radica en su capacidad para entrenar este proceso desacoplado utilizando únicamente la supervisión de la respuesta final. Esto elimina la dependencia de anotaciones de cajas delimitadoras costosas y específicas de la tarea, permitiendo al mismo tiempo que el modelo aprenda una localización precisa. Los autores concluyen que su enfoque ofrece una solución escalable y efectiva para el razonamiento visual de alta resolución, logrando ganancias sustanciales sobre las líneas base existentes y demostrando que los beneficios de esta formulación se extienden a escenarios de razonamiento multimodal más amplios.

Limitaciones Reconocidas por los Autores:

• El pipeline de dos etapas introduce latencia de inferencia adicional en comparación con el prompting directo.
• No se exploró el comportamiento de escalado completo de PRA-GRPO a escalas de entrenamiento mayores debido a restricciones computacionales.
• La dependencia de la supervisión de la respuesta final proporciona una señal de aprendizaje dispersa.
• La evaluación se centra actualmente en el razonamiento de grano fino y benchmarks relacionados; la generalización a entornos interactivos o de largo horizonte sigue siendo un trabajo para el futuro.