Resumen Técnico: Vision2Code

Enunciado del Problema

La generación de código a partir de imágenes evalúa si un Modelo Visión-Lenguaje (VLM) puede reconstruir la estructura de una imagen en código ejecutable. A diferencia de la generación basada en píxeles, la salida de código es editable, verificable y reutilizable. Sin embargo, los puntos de referencia existentes adolecen de tres limitaciones principales:

1. Alcance Limitado: La mayoría de los puntos de referencia se centran en dominios visuales únicos (por ejemplo, solo gráficos o solo interfaces de usuario web).
2. Dependencia de Código de Referencia: Muchos requieren código de referencia ejecutable emparejado para la evaluación, lo que limita su aplicabilidad a conjuntos de datos donde los programas fuente no están disponibles (por ejemplo, documentos escaneados, diagramas de libros de texto).
3. Evaluación Genérica: Las métricas existentes a menudo dependen de rúbricas genéricas o similitudes de incrustación que no capturan errores de reconstrucción específicos del dominio (por ejemplo, enlaces químicos incorrectos, profundidad 3D colapsada o topología de gráfico errónea).

Metodología

Los autores introducen Vision2Code, un punto de referencia y marco de evaluación sin código de referencia diseñado para evaluar la generación de código a partir de imágenes en 15 conjuntos de datos fuente que abarcan seis dominios visuales: gráficos/diagramas, geometría, grafos, imágenes científicas, documentos y escenas espaciales 3D.

Construcción del Punto de Referencia

• Escala: El punto de referencia contiene 2.169 ejemplos de prueba (más un subconjunto "test-mini" de 539 ejemplos para evaluación de menor costo).
• Dominios: Los seis dominios se seleccionan para exponer desafíos de reconstrucción distintos:
  • Gráficos/Diagramas: Escalas de ejes, espaciado de marcas y vinculación de leyendas.
  • Geometría: Etiquetado de vértices/ángulos y adyacencia espacial.
  • Grafos: Identidad de nodos, conectividad de aristas y direccionalidad.
  • Imágenes Científicas: Notación especializada (química, física, circuitos).
  • Documentos: OCR denso, estructura de columnas y orden de lectura.
  • Escenas Espaciales 3D: Identidad de objetos, ordenamiento de profundidad y relaciones espaciales.
• Fuente de Datos: Los ejemplos se extraen de conjuntos de datos públicos (por ejemplo, ChartQA, DocVQA, ChemVQA-2K) donde los programas de renderizado originales a menudo no están disponibles.

Marco de Evaluación

En lugar de comparar el código generado con un programa de referencia, Vision2Code evalúa la salida renderizada del código generado frente a la imagen fuente.

1. Ejecución: El código Python generado (utilizando Matplotlib/NumPy de forma predeterminada) se ejecuta en un entorno aislado. El código que no se ejecuta, agota el tiempo de espera o no produce una imagen válida recibe una puntuación de 0.0.
2. Evaluador VLM: Los renderizados exitosos se puntúan mediante un evaluador VLM (Qwen3.5-122B) utilizando rúbricas específicas del conjunto de datos.
   • Cada conjunto de datos tiene una rúbrica única con cuatro categorías ponderadas (que suman 1.0).
   • Las puntuaciones se asignan en una escala de 0 a 5.
   • Límites de Seguridad: Se aplican topes deterministas para evitar puntuaciones altas por fallos semánticos graves (por ejemplo, estructura molecular incorrecta, escenas 3D aplanadas u orientación de gráfico incorrecta).
3. Diagnósticos: El marco separa el "éxito del renderizado" (ejecución del código) de la "calidad de la reconstrucción" (fidelidad visual).

Validación

Los autores validan el protocolo de evaluación frente a juicios humanos y líneas base automáticas:

• Alineación Humana: La rúbrica específica del conjunto de datos logra una correlación de Pearson de 0.723 y una Spearman de 0.703 con las calificaciones humanas.
• Líneas Base: Esto supera a una rúbrica genérica (0.626/0.633) y a líneas base de similitud de incrustación (0.407/0.498), demostrando que los criterios específicos del dominio son esenciales para una evaluación precisa.

Resultados Clave

Los autores evaluaron nueve modelos (cinco de pesos abiertos, cuatro propietarios) en el punto de referencia.

• Rendimiento General: El mejor modelo, GPT-5.4 Mini con razonamiento, logró una puntuación promedio macro de 4.06/5.0 en el conjunto de pruebas completo. Incluso los modelos de primer nivel muestran un margen significativo de mejora.
• Dependencia del Dominio: El rendimiento varía drásticamente según el dominio.
  • Los modelos sobresalen en gráficos y grafos regulares (por ejemplo, GPT-5.4 obtiene ~4.7 en DVQA y GraphVQA).
  • Los modelos luchan con dominios espaciales y simbólicos. La mejor puntuación en el conjunto de datos 3D SpatialVLM-QA es solo 2.42/5.0, y las puntuaciones de química (ChemVQA-2K) caen a ~0.74 para algunos modelos.
• Razonamiento: Habilitar capacidades de razonamiento mejora las puntuaciones en todos los modelos (por ejemplo, Qwen3.5-397B mejora de 2.27 a 2.95), pero no resuelve completamente los fallos en los dominios más complejos (espacial, química).
• Análisis de Errores:
  • Fallos de Ejecución: Varían según el modelo; los modelos más pequeños a menudo fallan debido a sintaxis o truncamiento, mientras que los modelos más grandes fallan debido a APIs alucinadas o desajustes de forma.
  • Errores de Reconstrucción: Una vez que el código se ejecuta, los errores se desplazan al contenido semántico (por ejemplo, texto faltante, topología incorrecta).
• Autoentrenamiento: Utilizar el evaluador para filtrar las salidas del modelo para el autoentrenamiento mejora el rendimiento. El ajuste fino de Qwen3.5-9B en datos "filtrados por evaluador" (donde el modelo reconstruye bien una vez pero de forma inconsistente) mejoró su puntuación de 1.60 a 1.86 sin código fuente emparejado.
• Escalado en Tiempo de Prueba: La refinación repetida en el momento de la inferencia produce ganancias limitadas y puede introducir deriva semántica.

Significado y Afirmaciones

El artículo afirma que Vision2Code proporciona un entorno de pruebas reproducible para medir, diagnosticar y mejorar la generación de código a partir de imágenes en escenarios donde no hay código de referencia emparejado disponible. Sus contribuciones principales son:

1. Un Punto de Referencia Multi-Dominio: Permitir la evaluación a través de 15 conjuntos de datos y 6 dominios visuales, superando el alcance limitado de los puntos de referencia anteriores solo de gráficos o solo de interfaces de usuario.
2. Un Marco de Evaluación Consciente del Dominio: Demostrar que las rúbricas específicas del conjunto de datos y los límites de seguridad deterministas son necesarios para alinear la evaluación automática con el juicio humano, particularmente para detectar errores semánticos específicos del dominio.
3. Una Fuente de Señal de Entrenamiento: Mostrar que las salidas filtradas por el evaluador pueden servir como supervisión efectiva para mejorar las capacidades de los VLM sin requerir código de verdad fundamental.

Los autores concluyen que, aunque los VLM actuales pueden reconstruir primitivas visuales regulares, siguen siendo débiles en tareas que requieren la preservación precisa de estructuras específicas del dominio (relaciones espaciales, símbolos químicos, topología de circuitos). El punto de referencia destaca que las puntuaciones agregadas altas pueden ocultar fallos significativos en dominios específicos y críticos.