Resumen Técnico: PERIA – Construcción de Agentes Visuales Aumentados con Herramientas para el Razonamiento Espacial

Planteamiento del Problema

Los modelos de lenguaje-visión (VLM) recientes han demostrado una sólida comprensión multimodal, pero siguen siendo limitados en tareas de razonamiento espacial que requieren la adquisición activa de evidencia y la interacción visual de múltiples pasos. Estas tareas —como el razonamiento sobre mapas de metro, el sondeo visual y la reconstrucción visual— exigen más que el razonamiento sobre representaciones visuales estáticas. Requieren que los modelos fundamenten detalles finos, extraigan evidencia relevante para la tarea y razonen sobre relaciones espaciales a través de pasos intermedios.

Los VLM aumentados con herramientas existentes muestran potencial en tareas estructuradas (por ejemplo, la comprensión de gráficos) donde las respuestas derivan de evidencia explícita. Sin embargo, suelen fallar en tareas espaciales complejas porque:

1. Falta de Percepción Global: Pierden de vista detalles visuales locales o no logran recuperar la estructura espacial global.
2. Brecha en el Uso de Herramientas: El simple hecho de proporcionar acceso a herramientas visuales no garantiza un uso competente. Los VLM de código abierto suelen degradar su rendimiento cuando se les da acceso bruto a herramientas sin un entrenamiento dedicado, fallando al seleccionar las herramientas correctas, invocarlas correctamente o integrar la retroalimentación de manera efectiva.
3. Limitaciones de Entrenamiento: Los métodos existentes suelen utilizar espacios de herramientas limitados o datos de dominios específicos, careciendo de una política unificada para componer herramientas de percepción e interacción para el razonamiento espacial general.

Metodología: PERIA

Los autores presentan el Agente de Percepción-Interacción-Razonamiento (PERIA), un agente visual aumentado con herramientas diseñado para cerrar la brecha entre tener herramientas y usarlas de manera efectiva. PERIA organiza la resolución de problemas visuales en un proceso unificado de tres etapas: Percibir (recolectar evidencia espacial global), Interactuar (realizar análisis local detallado y verificación) y Razonar (sintetizar observaciones para producir una respuesta).

1. Sandbox de Herramientas

PERIA opera dentro de un sandbox de herramientas modular que contiene 18 herramientas divididas en dos familias complementarias:

• Herramientas de Percepción Visual: Diseñadas para exponer evidencia textual, simbólica y espacial. Ejemplos incluyen text_spotting, map_text_ocr, grounding_dino (para detección de objetos) y auto_segment. Estas herramientas transforman imágenes en observaciones estructuradas (coordenadas, texto, cuadros delimitadores).
• Herramientas de Interacción Visual: Diseñadas para manipular el contexto visual, trazar rutas y verificar relaciones espaciales. Ejemplos incluyen image_crop, draw_path, bounding_box e image_highlight. Estas herramientas permiten al agente hacer zoom, anotar o trazar rutas sobre la imagen.

2. Pipeline de Entrenamiento

El entrenamiento de PERIA involucra tres etapas distintas:

• Etapa A: Construcción del Sandbox de Herramientas: El entorno se construye con utilidades basadas en funciones y agentes de herramientas ligeros (por ejemplo, PaddleOCR-VL, Grounding DINO, SAM3) para soportar la invocación flexible de herramientas.
• Etapa B: Síntesis de Trayectorias de Ajuste Fino Supervisado (SFT):
  • Se utiliza un modelo propietario (GPT-5) para generar trayectorias de uso de herramientas de alta calidad y ejecutables mediante una estrategia de exploración y explotación (explore-and-exploit).
  • El proceso implica expandir los prefijos de razonamiento-acción hasta que se encuentra una respuesta correcta o se alcanza un presupuesto de turnos.
  • Un modelo experto de pesos abiertos (Qwen3-VL-235B) diversifica los estilos de razonamiento intermedio (pensamientos) mientras mantiene fijos los llamados a las herramientas y las observaciones, creando un conjunto de datos diverso para SFT.
• Etapa C: Aprendizaje por Refuerzo con OR-GIGPO:
  • Para optimizar el uso de herramientas de múltiples pasos, los autores proponen la Optimización de Política de Grupo en Grupo con Observación Relajada (OR-GIGPO).
  • Motivación: La Optimización de Política de Grupo en Grupo (GIGPO) estándar depende de la coincidencia exacta de estados. En el uso de herramientas visuales, las llamadas a herramientas semánticamente equivalentes pueden devolver observaciones ligeramente diferentes (por ejemplo, variaciones en el texto OCR), lo que hace que la coincidencia exacta sea demasiado restrictiva.
  • Mecanismo: OR-GIGPO reemplaza la coincidencia exacta por una coincidencia relajada de observaciones. Agrupa las ejecuciones por entrada de tarea y utiliza un grupo de anclaje relajado para el cálculo de la ventaja a nivel de paso, emparejando observaciones que son semánticamente similares (usando métricas de similitud de cadenas) en lugar de idénticas.
  • Asignación de Crédito: El algoritmo combina ventajas a nivel de episodio (calidad de la trayectoria) y ventajas a nivel de paso (calidad de la decisión de la herramienta local) para asignar crédito a través de trayectorias de múltiples pasos.
  • Diseño de Recompensa: Una función de recompensa compuesta incluye penalizaciones por repetición, recompensas de formato para etiquetas de uso de herramientas válidas y recompensas de corrección (binaria para QA, continua basada en NDTW para el trazado de rutas).

Contribuciones Clave

1. Marco Unificado: Introducción de PERIA, un marco general para agentes visuales aumentados con herramientas que integra herramientas de percepción e interacción para el razonamiento, la planificación y la verificación a través de diversas tareas espaciales.
2. Conjunto de Herramientas Diverso y Síntesis de Trayectorias: Desarrollo de un conjunto especializado de herramientas de percepción-interacción y la síntesis de un conjunto de datos de trayectorias diverso y de alta calidad para el ajuste fino supervisado, permitiendo una invocación de herramientas confiable.
3. Algoritmo OR-GIGPO: Propuesta de la Optimización de Política de Grupo en Grupo con Observación Relajada, un nuevo método de aprendizaje por refuerzo que maneja la variabilidad de las observaciones de las herramientas visuales, permitiendo una asignación de crédito de grano fino efectiva para el uso de herramientas de múltiples pasos.
4. Validación Empírica: Demostración de que PERIA-8B supera significativamente a los fuertes baselines y se acerca al rendimiento de modelos propietarios mucho más grandes.

Resultados Experimentales

Los autores evaluaron PERIA-8B en 13 benchmarks que abarcan 8 conjuntos de datos, cubriendo tanto tareas de distribución (MapTrace, ReasonMap, Visual Probing) como fuera de distribución (Ball Tracking, Paper Folding, Cube 3-View, etc.).

• Ganancias de Rendimiento: PERIA-8B mejora sobre el backbone Qwen3-8B en un 10.0% en benchmarks de distribución y un 4.4% en benchmarks fuera de distribución.
• Comparación con SOTA: Supera a los baselines previos de estado del arte de tamaño similar (por ejemplo, VTool-R1, Mini-o3) en un 7.0%–14.8%.
• Escalabilidad: PERIA-8B logra un rendimiento comparable al de modelos significativamente más grandes, como Qwen3-VL-235B-A22B-Thinking y GPT-5.
• Estudios de Ablación:
  • OR-GIGPO: Eliminar el RL (w/o RL) causa una caída sustancial (promedio -7.2% en distribución) y OR-GIGPO supera a otros algoritmos de RL (GRPO, DAPO) por márgenes significativos.
  • Acceso a Herramientas: Eliminar las herramientas (w/o Tool) conduce a un rendimiento desequilibrado y un olvido catastrófico en ciertos dominios espaciales.
  • SFT: Entrenar directamente con RL sin SFT (w/o SFT) resulta en un rendimiento pobre, resaltando la necesidad de la síntesis de trayectorias supervisadas.
  • Tipos de Herramientas: Tanto las herramientas de percepción como las de interacción son necesarias; eliminar cualquiera de las familias degrada el rendimiento.

Significado y Reivindicaciones

El artículo afirma que el uso de herramientas visuales entrenado es una dirección crítica para construir agentes de razonamiento espacial capaces. La idea clave es que la brecha entre "tener herramientas" y "usar herramientas" es un problema de aprendizaje de políticas. Al combinar un conjunto de herramientas diverso con una receta de entrenamiento unificada (SFT + OR-GIGPO), PERIA permite a los agentes:

• Adquirir evidencia espacial global.
• Realizar una verificación local detallada.
• Razonar sobre las observaciones acumuladas para resolver tareas espaciales complejas.

Los autores enfatizan que su enfoque permite que modelos más pequeños (8B) rivalicen con modelos propietarios mucho más grandes, sugiriendo que el entrenamiento efectivo del uso de herramientas puede proporcionar ganancias más allá del simple escalado del backbone. Reconocen limitaciones, como el enfoque en modelos de 8B debido a restricciones computacionales y el límite actual de interacción de 10 turnos, y sugieren trabajos futuros para extenderse al razonamiento 3D, tareas corporizadas y conjuntos de datos de trayectorias más grandes.