Resumen Técnico: VCG-Bench

Enunciado del Problema

A pesar de los rápidos avances en los Modelos Visión-Lenguaje (VLM), persiste una brecha crítica en la capacidad para manejar tareas diagramáticas estructuradas y controlables, esenciales para flujos de trabajo profesionales (por ejemplo, diagramas de flujo, arquitecturas de sistemas, maquetas de interfaz de usuario). Los enfoques existentes dependen predominantemente de paradigmas de "Diagrama como Píxeles", utilizando pipelines de generación y edición rasterizados (por ejemplo, modelos de difusión). Estos métodos operan en espacios probabilísticos de píxeles, lo que conduce a limitaciones inherentes:

• Falta de Editabilidad: Las modificaciones a menudo requieren regenerar la imagen completa, causando deriva estructural, líneas borrosas, distorsión de texto y elementos alucinados.
• Baja Fidelidad: Tienen dificultades para preservar semánticas precisas, topología lógica y salidas vectoriales exactas requeridas por herramientas profesionales como Draw.io.
• Estocasticidad: El proceso de generación es inherentemente estocástico, lo que dificulta garantizar el cumplimiento de instrucciones y resultados deterministas.

Las evaluaciones actuales se centran en gran medida en la generación de un solo dominio (por ejemplo, gráficos, plots científicos) o en la comprensión visual, sin abordar los requisitos duales de generar código estructurado editable a partir de imágenes y editar dicho código basándose en instrucciones en lenguaje natural.

Metodología

Los autores proponen un paradigma de "Diagrama como Código", que cambia de la manipulación de píxeles a la lógica simbólica utilizando el Lenguaje de Marcado Extensible (XML) mxGraph. Este formato representa los diagramas como entidades semánticas (nodos y aristas) con restricciones topológicas y geométricas explícitas, permitiendo modificaciones precisas, de bajo costo y deterministas.

Marco de VCG-Bench

VCG-Bench es una evaluación unificada diseñada en torno a un marco de "Datos-Tarea-Evaluación":

1. Construcción del Conjunto de Datos

• Escala y Diversidad: Un conjunto de datos taxonomizado de 1.449 diagramas diversos que abarcan 6 dominios principales (Académico, Software, Negocios, Gestión, UI/UX, General) y 15 subdominios.
• Fuentes: Los datos se curan a partir de repositorios de código abierto (40%), artículos académicos de acceso abierto (30%), diagramas corporativos anonimizados (20%) y diagramas web con licencia permisiva (10%).
• Garantía de Calidad: Un pipeline de "Generación por Máquina, Verificación Humana" asegura la integridad estructural, la precisión del texto (>95% de coincidencia OCR) y la fidelidad de renderizado (similitud coseno >0,85 mediante SigLIP2).
• Estratificación de Dificultad: Las muestras se estratifican por complejidad (Fácil, Medio, Difícil) basándose en la cantidad de tokens para la generación y el número de operaciones atómicas para la edición.

2. Definiciones de Tarea
La evaluación formaliza dos tareas complementarias que requieren una salida XML mxGraph válida y analizable:

• Tarea 1: Generación Visión-a-Código: Dada una imagen rasterizada y una descripción estructurada, el modelo genera una cadena XML mxGraph válida que aproxima la fuente en estructura, semántica y diseño.
• Tarea 2: Edición Instrucción-a-Parche: Dado un XML mxGraph fuente, su renderizado y una instrucción en lenguaje natural, el modelo predice un Parche Diferencial (una sustitución basada en JSON de fragmentos XML originales/modificados). Esto emplea una Estrategia de Modificación Incremental para evitar la regeneración completa costosa en tokens y la deriva estructural.

3. Protocolo de Evaluación
Los autores introducen una suite de evaluación multidimensional más allá de la simple coincidencia de texto:

• Ejecutabilidad: La Tasa de Éxito de Ejecución (ESR) mide la validez sintáctica y la capacidad de renderizado.
• Fidelidad Visual:
  • Puntuación de Consistencia de Estilo (SCS): Una métrica basada en VLM (escala 0-10) que evalúa el estilo visual, la consistencia del diseño y la calidad estética.
  • Similitud Visual SigLIP2: Similitud coseno entre las incrustaciones de las imágenes renderizadas para capturar la alineación estructural de alto nivel.
• Cumplimiento Semántico:
  • CodeXQA (Tarea 1): Evalúa la preservación topológica mediante preguntas y respuestas sobre el XML generado (Conteo, Identificación, Relación).
  • XDRFR (Tarea 2): Ratio de Seguimiento de Requisitos Descompuestos basado en XML. Las instrucciones se descomponen en preguntas de verificación Sí/No atómicas que se comprueban directamente contra la estructura XML modificada, evitando ambigüedades visuales.

Contribuciones Clave

1. VCG-Bench: La primera evaluación unificada que cierra la brecha entre la visión y la generación estructurada editable, dirigida específicamente al formato XML mxGraph utilizado en herramientas profesionales de diagramación.
2. Conjunto de Datos Taxonomizado de Alta Calidad: Una colección curada de 1.449 diagramas con procedencia, diversidad estructural y estratificación explícita de dificultad en múltiples dominios.
3. Protocolo de Evaluación Exhaustivo: Métricas novedosas (ESR, SCS, CodeXQA, XDRFR) que evalúan conjuntamente la ejecutabilidad, la consistencia de estilo y el seguimiento de instrucciones, permitiendo una evaluación rigurosa de los VLMs de última generación (SOTA).
4. Cambio de Paradigma: Demuestra la eficacia del enfoque "Diagrama como Código" sobre "Diagrama como Píxeles", mostrando que la representación simbólica permite ediciones precisas y localizadas que son inviables en el espacio de píxeles.

Resultados Experimentales

La evaluación evaluó modelos líderes de código cerrado (Gemini-3-Pro, GPT-5.2, Claude-4.5) y de código abierto (serie Qwen3-VL, GLM-4.6V, etc.).

• Visión-a-Código (Tarea 1):

  • Dominio de Código Cerrado: Los modelos de código cerrado (por ejemplo, Gemini-3-Pro) lograron una ESR alta (>0,96) y puntuaciones perceptuales sólidas.
  • Limitaciones de Código Abierto: Los modelos de código abierto fallaron frecuentemente en ejecutabilidad (ESR a menudo 0,00–0,35), a pesar de una comprensión semántica moderada (CodeXQA). El modo de fallo principal fue la anclaje de instancias (contar elementos), lo que llevó a grafos topológicamente incorrectos.
  • Sensibilidad a la Dificultad: El rendimiento de los modelos de código abierto se degradó bruscamente a medida que aumentaba la dificultad de la tarea, mientras que los modelos de código cerrado mostraron una degradación controlada.

• Edición Basada en Instrucciones (Tarea 2):

  • Alta Fidelidad: Cuando se proporcionó código estructurado, todos los modelos (tanto de código abierto como cerrado) lograron una ESR casi perfecta (>0,99) y un SCS alto.
  • Seguimiento de Instrucciones: XDRFR se convirtió en la métrica discriminativa clave. Gemini-3-Pro lideró con 0,9405, mientras que modelos de código abierto como Qwen3-VL-235B alcanzaron 0,9312, reduciendo la brecha observada en la Tarea 1.
  • Validación del Paradigma: Los resultados confirman que una vez que un diagrama se representa como código, la edición incremental restringida es un paradigma robusto y preciso, superando significativamente a las líneas base de edición basada en píxeles (que cayeron a 0,649 DRFR en tareas difíciles).

Significado y Afirmaciones

El artículo afirma que VCG-Bench expone limitaciones significativas en los VLMs SOTA actuales en cuanto al análisis visual de granularidad fina y la satisfacción de restricciones sintácticas en flujos de trabajo de ingeniería profesional.

• Separación de Capacidades: La evaluación revela una brecha aguda entre "visión-a-código" (generar estructura a partir de píxeles) y "código-a-código" (editar estructura). Los modelos a menudo fallan al inferir estructura a partir de imágenes, pero pueden editar eficazmente el código proporcionado.
• Preparación Profesional: Al cambiar el enfoque de la percepción pasiva a la generación activa de código editable, VCG-Bench proporciona un banco de pruebas reproducible para evaluar la preparación práctica de los agentes multimodales para tareas de diagramación del mundo real.
• Motor de Datos: Más allá de la evaluación, el marco sirve como un motor de datos escalable para generar pares visual-código de alta calidad y verificados, abordando la escasez de datos diagramáticos estructurados para entrenar VLMs.

Los autores enfatizan que, aunque el paradigma "Diagrama como Código" ofrece una mejor controlabilidad y editabilidad, los modelos actuales aún luchan con la traducción inicial de píxeles no estructurados a representaciones simbólicas estructuradas, particularmente en diagramas complejos e intensivos en lógica.