VectorGym: A Multitask Benchmark for SVG Code Generation, Sketching, and Editing

1. El Problema

A pesar de los avances rápidos en los Modelos de Lenguaje Visuales (VLM), la evaluación de la generación y manipulación de Gráficos Vectoriales Escalables (SVG) sigue siendo limitada. Los desafíos principales identificados son:

• Falta de benchmarks realistas: Las evaluaciones anteriores se centraban en iconos simples o formas básicas, y a menudo dependían de ediciones sintéticas generadas por algoritmos en lugar de intervenciones humanas reales.
• Ausencia de anotaciones de calidad: No existían conjuntos de datos con "etiquetas de oro" (gold-standard) creadas por humanos expertos que capturaran la intención de diseño y la comprensión semántica necesaria para tareas complejas.
• Brecha en flujos de trabajo profesionales: Los modelos actuales no se evalúan adecuadamente en tareas que requieren razonamiento espacial, manipulación de código estructurado y comprensión de instrucciones de edición complejas (como cambiar tipos de gráficos o modificar expresiones faciales).

2. Metodología y Propuesta: VectorGym

Los autores introducen VectorGym, una suite de benchmarks integral que abarca cuatro tareas interconectadas, todas basadas en datos del mundo real extraídos de GitHub (a través del dataset SVG-Stack) y anotados manualmente por expertos.

Las Cuatro Tareas del Benchmark:

1. VG-Sketch (Sketch2SVG): Convertir bocetos dibujados a mano (rasterizados) en código SVG limpio y escalable. Evalúa la capacidad de abstracción de formas ruidosas a primitivas geométricas estructuradas.
2. VG-Edit (Edición de SVG): Dado un SVG existente y una instrucción en lenguaje natural, generar un nuevo SVG con la edición aplicada. Las instrucciones requieren comprensión semántica profunda (ej. "cambia el círculo por un triángulo y el texto 'SPHERE' por 'TRIANGLE'").
3. VG-Text (Text2SVG): Generar código SVG completo a partir de descripciones textuales, desde formas geométricas simples hasta ilustraciones complejas.
4. VG-Cap (SVG Captioning): La tarea inversa; generar descripciones textuales precisas a partir del código SVG, evaluando la comprensión visual y semántica del código.

Construcción del Dataset:

• Fuente de datos: 7,000 muestras seleccionadas de SVG-Stack (iconos, diagramas, emojis, fuentes), filtradas por complejidad (longitud de tokens, entropía de color).
• Annotación Humana: Se colaboró con expertos en diseño y gráficos vectoriales para crear bocetos, realizar ediciones complejas (múltiples pasos, primitivas de alto nivel como gradientes y animaciones) y escribir descripciones detalladas.
• Métrica de Evaluación (VLM-as-a-Judge): Dado que las métricas tradicionales (como MSE de píxeles) fallan en capturar la corrección semántica y la validez estructural del código, se propuso un protocolo donde un VLM actúa como juez. Este juez fue validado mediante estudios de correlación con evaluadores humanos para asegurar fiabilidad en las tareas de boceto, texto y edición.

Método de Entrenamiento (RL Multi-tarea):

Para superar las limitaciones de los modelos de código abierto, los autores propusieron un enfoque de Aprendizaje por Refuerzo (RL):

• Modelo Base: Qwen3-VL 8B Instruct.
• Algoritmo: GRPO (Group Relative Policy Optimization) con aprendizaje curricular.
• Recompensas: Se utiliza un sistema de recompensas basado en el renderizado (RLRF). Para tareas visuales (boceto, texto, edición), se renderizan tanto el SVG predicho como el real a imágenes rasterizadas y se comparan usando métricas de similitud perceptual (LPIPS, DINO) y distancia de píxeles (MSE). Para la tarea de captioning, se usa la similitud de embeddings (BGE-M3).
• Estrategia: Se entrena el modelo simultáneamente en las cuatro tareas, ordenando las muestras por dificultad (longitud de la respuesta) para facilitar el aprendizaje progresivo.

3. Contribuciones Clave

1. VectorGym Benchmark: El primer benchmark multi-tarea para generación de código SVG con anotaciones humanas de calidad de oro, cubriendo bocetos, edición compleja, generación desde texto y descripción.
2. Nuevas Tareas y Datos: Introducción de la tarea Sketch2SVG y el primer dataset de ediciones de SVG complejas creadas por humanos, que requieren razonamiento de múltiples pasos e intención de diseño.
3. Método de Entrenamiento: Un enfoque de RL multi-tarea que optimiza un modelo de 8B parámetros para superar a modelos mucho más grandes y a modelos propietarios en tareas específicas de SVG.
4. Métrica VLM-as-a-Judge: Una nueva suite de evaluación específica para SVG, validada con correlación humana, que supera a las métricas tradicionales de reconstrucción de imágenes.

4. Resultados

Se evaluaron modelos de vanguardia (proprietarios y de código abierto) en VectorGym:

• Rendimiento General: El modelo Gemini 3 Pro lideró el ranking general con una puntuación global de 73.17, seguido por GPT-5.1 (71.36).
• Éxito del Modelo Entrenado (Ours): El modelo Qwen3-VL 8B Gym (entrenado con RL) logró una puntuación global de 66.05.
  • Superó al modelo propietario GPT-4o (64.93).
  • Superó significativamente a su contraparte de código abierto mucho más grande, Qwen3-VL 235B (62.32).
  • En la tarea de Sketch2SVG, el modelo Gym alcanzó 70.72, superando a GPT-4o (69.55) y al modelo 235B (67.52).
  • En SVG Editing, alcanzó 82.81, superando a GPT-4o (82.35).
• Análisis de Dificultad: Se estableció una jerarquía de dificultad: Text2SVG (más fácil) > Edición > Sketch2SVG > Captioning (más difícil).
• Validación de RL: Los resultados demuestran que el aprendizaje curricular y el RL basado en renderizado pueden compensar la falta de parámetros en modelos pequeños, haciéndolos competitivos con modelos de frontera propietarios.

5. Significado e Impacto

• Estándar Riguroso: VectorGym establece un nuevo estándar para la evaluación de la generación de código visual, moviéndose más allá de la simple reconstrucción de píxeles hacia la comprensión semántica y la manipulación estructurada.
• Eficiencia de Modelos Pequeños: Demuestra que modelos de lenguaje visual más pequeños, cuando se entrenan con datos de alta calidad y estrategias de RL específicas, pueden igualar o superar a modelos masivos en dominios especializados como la generación de vectores.
• Avance en Flujos de Trabajo de Diseño: Al abordar tareas complejas de edición y bocetos, este trabajo acerca a la IA a la capacidad de asistir a diseñadores profesionales en flujos de trabajo reales, no solo en la generación de iconos simples.
• Recursos Abiertos: El benchmark y los datos están disponibles públicamente en HuggingFace, fomentando la investigación reproducible en la generación de gráficos vectoriales.

En resumen, el artículo presenta un avance significativo al proporcionar tanto el "gimnasio" (benchmark) para entrenar y evaluar modelos en tareas de SVG complejas, como la metodología (RL multi-tarea) para lograr un rendimiento de vanguardia en modelos de código abierto.