Vero: An Open RL Recipe for General Visual Reasoning

1. El Problema

Los modelos de visión-linguaje (VLM) actuales han demostrado capacidades notables en razonamiento visual, pero los enfoques más avanzados (como GPT-5 o Qwen3-VL) dependen de tuberías de Aprendizaje por Refuerzo (RL) propietarias con datos no públicos y diseños de recompensas oscuros. Esto impide que la comunidad científica comprenda qué factores impulsan realmente el rendimiento, dificulta la reproducibilidad y limita el desarrollo de modelos abiertos que puedan generalizar en una amplia gama de tareas visuales. Además, los esfuerzos abiertos existentes suelen centrarse en dominios estrechos (como matemáticas visuales), lo que resulta en una transferencia pobre de habilidades a otras categorías de tareas.

2. Metodología

El equipo propone Vero, una familia de modelos VLM totalmente abiertos entrenados mediante un único paso de RL sobre modelos base existentes. La metodología se centra en tres pilares fundamentales:

• Vero-600K (Conjunto de Datos):

  • Construcción de un dataset de 600.000 muestras extraídas de 59 conjuntos de datos diversos.
  • Clasificación en 6 categorías de tareas para cubrir un espectro amplio de capacidades de razonamiento:
    1. STEM: Razonamiento matemático, diagramas científicos y comprensión médica.
    2. Espacial y Acción: Navegación de UI, razonamiento 3D y secuencias de acciones.
    3. Conocimiento y Reconocimiento: VQA que combina reconocimiento de objetos con conocimiento externo.
    4. Gráficos y OCR: Extracción y razonamiento sobre información estructurada (tablas, infografías).
    5. Anclaje, Conteo y Búsqueda: Localización de objetos, conteo y búsqueda en distractores visuales.
    6. Descripción y Seguimiento de Instrucciones: Tareas abiertas y chat visual.
  • Proceso de Curación: Filtrado heurístico, control de calidad manual y filtrado basado en LLM para eliminar preguntas ambiguas, irrelevantes o no verificables. Se aplica una mezcla uniforme de las categorías para evitar desequilibrios.

• Diseño de Recompensas (Task-Routed Rewards):

  • Implementación de un sistema de recompensas enrutado por tarea. Dado que las respuestas varían enormemente (desde coordenadas de cuadros delimitadores hasta texto libre), se utilizan verificadoras específicas para cada tipo de respuesta:
    • Coincidencia de cadenas, opción múltiple, numérica (usando MATH-VERIFY).
    • Anclaje (IoU/F1), clics, acciones web (JSON).
    • Seguimiento de instrucciones (restricciones programáticas).
    • Juez LLM (LLM-as-a-Judge) para respuestas abiertas, con directrices estrictas para evitar el "hackeo de recompensas" (ej. autoevaluación).
  • La recompensa total combina precisión, formato y penalizaciones por respuestas excesivamente largas.

• Algoritmo de Entrenamiento:

  • Uso de GSPO (Group Sequence Policy Optimization), una variante que utiliza ratios a nivel de secuencia en lugar de token, lo que proporciona una mayor estabilidad y preserva la capacidad de exploración en comparación con GRPO o DAPO.
  • Entrenamiento en un solo paso (single-stage) sin necesidad de fases de calentamiento (warm-start) o datos propietarios adicionales.

3. Contribuciones Clave

1. Receta Abierta Completa: Liberación de todos los datos (Vero-600K), código y modelos, estableciendo un nuevo estándar de transparencia en el entrenamiento de VLMs.
2. Evaluación Exhaustiva (VeroEval): Creación de un suite de evaluación con 30 benchmarks que cubren las 6 categorías de tareas, permitiendo una medición granular del rendimiento.
3. Descubrimiento sobre la Diversidad de Tareas: Demostración de que la diversidad de datos es más crítica que la sofisticación algorítmica. El entrenamiento en una sola categoría genera patrones de razonamiento específicos que no se transfieren bien a otras (transferencia negativa), mientras que la mezcla uniforme produce un modelo generalista robusto.
4. Análisis de Comportamiento Cognitivo: Identificación de que diferentes tareas elicitan patrones de razonamiento cualitativamente distintos (ej. las tareas STEM fomentan el "backtracking" o retroceso, mientras que las de anclaje favorecen búsquedas visuales directas).

4. Resultados

• Rendimiento de Vanguardia (SOTA): Los modelos Vero (específicamente Vero-Qwen3T-8B y Vero-Qwen3I-8B) superan a los modelos base y a otros modelos abiertos en el promedio de los 30 benchmarks.
  • Vero-Qwen3T-8B supera a Qwen3-VL-8B-Thinking (un modelo con datos de razonamiento propietarios) en 24 de 30 benchmarks.
  • Vero-Qwen3I-8B supera a Qwen3-VL-8B-Thinking en 23 de 30 benchmarks, a pesar de no tener acceso a los datos de "pensamiento" propietarios.
• Mejoras Consistentes: Se observan mejoras de +3.7 a +5.5 puntos en promedio sobre cuatro modelos base diferentes (Qwen2.5-VL, Qwen3-VL, MiMo-VL).
• Superación de Recetas Propietarias: Vero-MiMo-7B, entrenado con la receta abierta, supera al modelo MiMo-VL-7B-RL (entrenado con una receta propietaria) en 3 de 6 categorías.
• Estabilidad en el Entrenamiento: El uso de GSPO y la mezcla uniforme de tareas resultó en una mayor estabilidad de la entropía y un rendimiento superior en comparación con algoritmos como GRPO o DAPO.

5. Significado e Impacto

El trabajo Vero demuestra que es posible construir modelos de razonamiento visual de vanguardia sin depender de datos o algoritmos secretos. Sus hallazgos sugieren que el futuro del desarrollo de VLMs no reside únicamente en escalar la capacidad de los modelos o en algoritmos de RL más complejos, sino en la diversidad y el equilibrio de los datos de entrenamiento.

Al revelar que diferentes tareas requieren "regímenes de comportamiento" cognitivos distintos, el paper argumenta que la mezcla equilibrada de tareas es esencial para evitar la especialización excesiva y lograr una inteligencia visual general. Esto proporciona una hoja de ruta clara para la investigación abierta, permitiendo a la comunidad diagnosticar fallos, verificar la seguridad de los entrenamientos y replicar los avances de los modelos propietarios.