VisCoder2: Building Multi-Language Visualization Coding Agents

Resumen Técnico: VisCoder2

1. El Problema

Aunque los Modelos de Lenguaje Grandes (LLMs) han demostrado capacidades prometedoras para generar código de visualización, los enfoques actuales enfrentan limitaciones críticas en flujos de trabajo prácticos:

• Cobertura de idiomas limitada: La mayoría de los conjuntos de datos y modelos se centran exclusivamente en Python (con librerías como Matplotlib o Plotly) o en especificaciones declarativas como Vega-Lite, ignorando lenguajes simbólicos y específicos de dominio (ej. LaTeX, LilyPond, Asymptote).
• Falta de validación de ejecución: Muchos conjuntos de datos existentes contienen fragmentos de código que no son ejecutables o no producen salidas visuales válidas, lo que impide el entrenamiento robusto basado en la realidad.
• Ausencia de corrección iterativa: Los sistemas actuales suelen operar en un modo de "generación única" (one-shot). Sin embargo, en la práctica, la creación de visualizaciones es un proceso iterativo que requiere depuración basada en errores de ejecución y retroalimentación visual.
• Benchmarks insuficientes: Las evaluaciones existentes carecen de protocolos estandarizados para la depuración automática (self-debug) y no abarcan la diversidad de lenguajes y tipos de gráficos necesarios para aplicaciones del mundo real.

2. Metodología

Los autores proponen un enfoque integral que combina la creación de recursos de datos a gran escala, un nuevo benchmark de evaluación y el entrenamiento de una familia de modelos especializados.

A. VisCode-Multi-679K (Conjunto de Datos)
Es un conjunto de datos supervisado masivo diseñado para el ajuste fino (fine-tuning) de agentes de visualización.

• Escala y Diversidad: Contiene 679,000 muestras de código de visualización ejecutables y validadas, cubriendo 12 lenguajes de programación (Python, LaTeX, LilyPond, HTML, SVG, Asymptote, Mermaid, Vega-Lite, R, JavaScript, TypeScript, C++).
• Proceso de Construcción:
  1. Extracción: Se recopilaron datos de repositorios de código abierto (The-Stack-V2, svg-diagrams, CoSyn-400K).
  2. Validación en Tiempo de Ejecución: Cada bloque de código se ejecutó en entornos Jupyter aislados con restricciones estrictas (allow-errors=False). Solo se conservaron los scripts que se ejecutaron correctamente y generaron imágenes válidas (no monocromáticas, >10KB).
  3. Generación de Instrucciones: Se utilizaron LLMs para generar instrucciones naturales estructuradas que describen la configuración, los datos, el concepto de salida y el estilo visual.
  4. Diálogos Multi-turno: Se integraron 66,000 diálogos del conjunto Code-Feedback para enseñar al modelo a corregir código basado en mensajes de error y retroalimentación de ejecución.

B. VisPlotBench (Benchmark)
Un nuevo estándar de evaluación para agentes de codificación de visualización.

• Cobertura: 888 tareas ejecutables en 8 lenguajes y 13 categorías visuales (desde gráficos de barras y dispersión hasta diagramas de circuitos, partituras musicales y mapas de calor).
• Protocolo de Evaluación: Implementa un ciclo de Ejecutar-Renderizar-Puntuar.
  • Tasa de Éxito de Ejecución (Execution Pass Rate): ¿El código corre sin errores?
  • Puntuación de Tarea (Task Score): ¿El gráfico cumple con la instrucción semántica?
  • Puntuación Visual (Visual Score): ¿El gráfico se parece a la referencia visual?
• Modo de Auto-Depuración (Self-Debug): Permite hasta 3 rondas de corrección automática donde el modelo recibe el código fallido y el registro de errores para intentar repararlo.

C. VisCoder2 (Modelo)
Una familia de modelos de visualización multi-idioma entrenados sobre VisCode-Multi-679K.

• Arquitectura: Se basa en los modelos Qwen2.5-Coder-Instruct con escalas de parámetros de 3B, 7B, 14B y 32B.
• Entrenamiento: Se utilizó un ajuste fino completo (full-parameter tuning) con una tasa de aprendizaje de $5 \times 10^{-6}$ durante 3 épocas.

3. Contribuciones Clave

1. VisCode-Multi-679K: El primer conjunto de datos a gran escala que unifica código de visualización ejecutable y validado en 12 lenguajes, incluyendo diálogos de corrección multi-turno.
2. VisPlotBench: Un benchmark estandarizado que evalúa tanto la generación inicial como la capacidad de recuperación mediante auto-depuración en múltiples lenguajes, llenando el vacío de evaluaciones iterativas.
3. VisCoder2: Una familia de modelos de código abierto que cierra significativamente la brecha de rendimiento con los modelos propietarios (como GPT-4.1), especialmente en lenguajes simbólicos y dependientes de compiladores.

4. Resultados Principales

Los experimentos en VisPlotBench demuestran lo siguiente:

• Rendimiento General: VisCoder2 supera consistentemente a las líneas base de código abierto de tamaño similar (como DeepSeek-Coder y Qwen2.5-Coder base).
  • En la escala de 32B parámetros, VisCoder2 alcanza una tasa de éxito de ejecución global del 73.1% (sin depuración) y 82.4% con auto-depuración.
  • Este rendimiento es comparable a GPT-4.1 (que alcanza un 63.4% inicial y 82.4% con depuración) y supera a GPT-4.1-mini.
• Impacto del Auto-Depuración: La capacidad de iterar y corregir errores es crucial. El rendimiento mejora drásticamente en rondas posteriores, especialmente en lenguajes con sintaxis frágil como LilyPond (música), LaTeX (matemáticas) y Asymptote (gráficos vectoriales), donde los errores de compilación son comunes.
• Lenguajes Simbólicos: VisCoder2 muestra mejoras masivas en lenguajes simbólicos. Por ejemplo, en LilyPond, la tasa de ejecución salta del 5.5% (Qwen2.5-7B base) al 69.1% (VisCoder2-7B), y al 69.1% tras la depuración, superando a modelos propietarios en ciertos contextos.
• Análisis de Errores: El modelo es muy efectivo corrigiendo errores estructurales y de interfaz (sintaxis, argumentos inválidos), pero sigue enfrentando desafíos en errores semánticos profundos y problemas de entorno de ejecución que no se capturan claramente en los registros de error.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la creación de agentes de codificación para visualización de datos:

• Generalización Real: Demuestra que es posible construir agentes que funcionen de manera fiable más allá de Python, abarcando ecosistemas completos de visualización científica, musical y de diagramas.
• Importancia de la Iteración: Evidencia que la capacidad de "auto-depuración" basada en retroalimentación de ejecución no es solo un añadido, sino un mecanismo crítico para lograr la fiabilidad necesaria en flujos de trabajo reales.
• Marco de Referencia: Establece un nuevo estándar (VisPlotBench) para evaluar no solo si un modelo puede escribir código, sino si puede depurarlo y producir resultados visuales correctos en diversos entornos.
• Accesibilidad: Al ofrecer modelos de código abierto que rivalizan con soluciones propietarias, democratiza el acceso a herramientas avanzadas de análisis y reporte de datos automatizados.

En conclusión, VisCoder2 establece una base sólida para el desarrollo de asistentes de codificación que sean verdaderamente multi-idioma, iterativos y capaces de operar en escenarios complejos de visualización de datos del mundo real.