🤖 AI

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

El artículo presenta MoCA, un marco novedoso que emplea un Bloque de Arbitraje Cross-modal para separar y coordinar dinámicamente las distintas ramas visual y de código a nivel de token, superando así la interferencia inherente en los métodos actuales de gráfico-a-código y logrando un rendimiento superior mediante un arbitraje de modalidad estructurado.

Autores originales: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era digital, los datos se presentan a menudo en forma de gráficos: diagramas de barras, gráficos de líneas y gráficos de sectores que convierten los números en historias visuales. Durante décadas, las computadoras han sido excelentes leyendo estas imágenes para responder preguntas sencillas, como "¿cuál es el valor más alto?" o "¿de qué color es la porción más grande?". Sin embargo, ha surgido un desafío más difícil: pedirle a una computadora no solo que lea un gráfico, sino que lo reconstruya desde cero utilizando código. Esta tarea requiere que una máquina observe una imagen estática, comprenda los datos ocultos y las decisiones de diseño específicas detrás de ella, y luego escriba un conjunto de instrucciones que puedan dibujar una imagen idéntica en una pantalla. Es una prueba de dos habilidades muy diferentes a la vez. La máquina debe ser una observadora de vista aguda, capaz de notar detalles sutiles como el tono exacto de una línea o la posición precisa de una etiqueta, y también debe ser una arquitecta disciplinada, capaz de escribir código lógico y libre de errores para reproducir esos detalles.

Durante mucho tiempo, los investigadores intentaron enseñar a las computadoras a hacer ambas cosas a la vez, fusionando la comprensión visual y la capacidad de codificación en un único cerebro masivo. La suposición era que un modelo podía aprender a ver y a escribir código simultáneamente. Sin embargo, este enfoque a menudo conducía a la confusión. Cuando un gráfico era visualmente complejo, el modelo podía tener dificultades para escribir el código. Cuando el gráfico requería una lógica compleja, el modelo podía fallar en la percepción de los detalles. Las dos habilidades, aunque necesarias para el mismo trabajo, parecían estorbarse cuando se forzaban a compartir las mismas vías internas. Un nuevo estudio de investigadores de la Universidad de Zhejiang, Ant Group y otras instituciones sugiere que la solución no es mezclar estas capacidades, sino mantenerlas separadas y permitir que se turnen para liderar el trabajo.

Los investigadores, liderados por Qinghao Fu y Wei Zhou, desarrollaron un sistema que llaman MoCA. En lugar de obligar a un solo modelo a hacerlo todo, construyeron un marco con dos vías distintas: una dedicada a la comprensión visual y otra dedicada a la codificación. Imagine una cuadrilla de construcción donde un equipo se especializa en inspeccionar las materias primas y el otro en la construcción real. En MoCA, estos dos equipos trabajan codo con codo, pero no se fusionan en una única entidad confundida. En cambio, un decisor pequeño y ligero, al que los autores llaman árbitro, observa el trabajo en tiempo real. Con cada palabra de código que el sistema genera, este árbitro decide cuánto apoyo tomar del equipo visual y cuánto depender del equipo de codificación.

Esta toma de decisiones ocurre constantemente y cambia de un momento a otro. Cuando el sistema intenta determinar el color de una barra específica en un gráfico, el árbitro se inclina fuertemente hacia la vía visual. Cuando necesita decidir cómo apilar esas barras o calcular la altura total, el árbitro traslada su confianza a la vía de codificación. Los investigadores descubrieron que este cambio dinámico no es aleatorio; sigue un patrón estructurado. En las etapas iniciales de la generación de un gráfico, el sistema depende más del procesamiento visual para comprender la entrada. A medida que avanza hacia la mitad de la tarea, se desplaza hacia la generación de código para construir la estructura. Finalmente, al terminar, puede regresar al refinamiento visual para asegurar que los detalles coincidan con la imagen original. Esta coordinación fluida permite al sistema manejar gráficos que son visualmente desordenados así como aquellos que son lógicamente complejos, sin quedarse estancado.

Para enseñar a este sistema cómo trabajar, los investigadores utilizaron un proceso de entrenamiento de dos pasos. Primero, mostraron al modelo miles de ejemplos de gráficos y su código correspondiente, pero no solo pidieron el código final. También proporcionaron un "proceso de pensamiento", un desglose paso a paso de cómo observar el gráfico y traducirlo en instrucciones. Esto ayudó al modelo a aprender a conectar lo que veía con lo que necesitaba escribir. En la segunda etapa, el sistema se le permitió practicar por su cuenta. Generaba código y, si el código se ejecutaba con éxito y la imagen resultante se parecía a la original, recibía una recompensa. Si el código fallaba o la imagen era incorrecta, era corregido. Este ciclo de ensayo y error, guiado por recompensas específicas tanto para la lógica del código como para la precisión visual del resultado, refinó la capacidad del sistema para coordinar sus dos ramas.

Los resultados de este enfoque fueron probados contra varios otros modelos avanzados en tres bancos de pruebas diseñados para evaluar la generación de gráficos a código. El nuevo sistema, MoCA, superó a la competencia en áreas clave. En una prueba importante, generó con éxito código funcional para el 88,83 por ciento de los gráficos, una mejora significativa respecto a otros modelos especializados. También obtuvo puntuaciones más altas en métricas que medían qué tan bien el código generado coincidía con el texto y la estructura del gráfico original. Quizás lo más importante es que los investigadores demostraron que estas ganancias no se debieron simplemente a que el modelo fuera más grande o tuviera más datos de entrenamiento. Cuando probaron versiones del sistema que utilizaban la misma cantidad de potencia de cómputo pero carecían del mecanismo de cambio dinámico, el rendimiento cayó. Esto confirmó que el secreto del éxito no era solo tener más capacidad de procesamiento, sino tener una forma más inteligente de organizarla.

El estudio también reveló que el decisor del sistema aprendió a ser muy específico. No aplicó una regla fija, como "usar siempre un 50 por ciento de ayuda visual y un 50 por ciento de ayuda de código". En su lugar, ajustó su estrategia basándose en el gráfico específico que estaba mirando y en la parte específica del código que estaba escribiendo. Para algunos gráficos, la rama visual podría dominar todo el proceso. Para otros, la rama de codificación podría tomar el mando casi de inmediato. Esta flexibilidad permitió al sistema adaptarse a las demandas únicas de cada tarea, ya fuera un gráfico de líneas simple o un diagrama complejo de múltiples capas.

Al separar las habilidades de ver y escribir, y luego asignarles un gestor dedicado para coordinar sus esfuerzos, los investigadores resolvieron un problema que había desconcertado a intentos previos. Demostraron que para tareas complejas como reconstruir un gráfico a partir de una imagen, el todo es mayor que la suma de sus partes solo si se permite que las partes funcionen en sus propias fortalezas. El sistema no intenta ser un maestro de todo a la vez; en cambio, sabe exactamente cuándo mirar y cuándo escribir, produciendo resultados que son tanto visualmente fieles como lógicamente sólidos. Este enfoque ofrece un nuevo plano sobre cómo la inteligencia artificial podría manejar otras tareas que requieren una mezcla de tipos de inteligencia muy diferentes, yendo más allá de la idea de un modelo único y de propósito general hacia un futuro más coordinado y adaptable.

Resumen Técnico: MoCA – Arbitraje de Modalidad a Nivel de Token para la Generación de Gráficos a Código

Definición del Problema

La generación de gráficos a código requiere que un modelo interprete detalles visuales finos de una imagen de un gráfico y produzca código de trazado ejecutable que reproduzca fielmente el original. Esta tarea presenta un desafío único: los requisitos para el anclaje visual (reconocimiento de etiquetas, colores, diseños) y la generación de código (construcción de lógica, ejes y estructuras) no son uniformes en todas las entradas.

Gráficos Visualmente Complejos: Requieren un reconocimiento preciso de etiquetas densas y variaciones visuales sutiles, pero pueden tener una lógica de trazado más simple.
Gráficos con Alta Demanda de Código: Pueden tener visuales simples pero requieren estructuras lógicas complejas (por ejemplo, barras apiladas, ejes personalizados).

Los enfoques existentes suelen entrenar las capacidades visuales y de codificación por separado o realizar un ajuste fino de un único modelo donde estas capacidades están entrelazadas. Ninguna de estas estrategias modela explícitamente la interacción dinámica entre estas distintas capacidades, lo que a menudo conduce a fallos donde el modelo lee mal los detalles visuales o genera código sintácticamente incorrecto. Además, las técnicas de fusión de modelos existentes suelen depender de coeficientes de parámetros estáticos e independientes de la entrada, lo que impide adaptarse a las demandas variables de instancias de gráficos específicas.

Metodología: MoCA (Mezcla de Arbitraje Cross-modal)

Los autores proponen MoCA, un marco diseñado para separar las capacidades visuales y de código en rutas distintas, coordinando dinámicamente sus contribuciones durante la generación.

1. Arquitectura: Bloque de Arbitraje Cross-modal (CAB)

MoCA se basa en una arquitectura de doble rama donde una Rama Visual y una Rama de Código operan como transformaciones separadas dentro del modelo.

Inicialización: El marco utiliza Qwen2.5-VL-7B como columna vertebral multimodal y Qwen2.5-Coder-7B para inicializar la rama de código. Específicamente, la Rama Visual se inicializa desde los parámetros de la Red de Propagación hacia Adelante (FFN) del modelo de lenguaje-visión, mientras que la Rama de Código se inicializa desde los parámetros FFN correspondientes del modelo de código.
El Árbitro: En el núcleo de MoCA se encuentra un Árbitro ligero dentro de cada CAB. Para cada token $t$ en cada capa $l$ , el Árbitro toma la representación oculta intermedia $h_{i,l,t}$ y predice los pesos de las ramas $\alpha_{i,l,t} = (\alpha^{vis}, \alpha^{code})$ .
Coordinación Dinámica: La salida del CAB es una suma ponderada de las dos ramas:
$z_{i,l,t} = \alpha^{vis}_{i,l,t} B^{vis}(h_{i,l,t}) + \alpha^{code}_{i,l,t} B^{code}(h_{i,l,t})$
Esto permite al modelo asignar contribuciones basadas en la instancia de entrada específica, la profundidad de la capa de la red y el token de generación actual, en lugar de utilizar coeficientes globales fijos.

2. Marco de Entrenamiento

MoCA emplea una estrategia de entrenamiento de dos etapas para alinear el razonamiento estructurado con la generación de código ejecutable:

Etapa 1: Ajuste Fino Supervisado (SFT) con SoT Auto-destilado
- El modelo se entrena con datos emparejados de gráfico-código aumentados con trayectorias de Fragmentos de Pensamiento (SoT - Snippet-of-Thought).
- Estas trayectorias descomponen el mapeo de la entrada visual al código en pasos intermedios explícitos.
- Auto-destilación: En lugar de utilizar datos de SoT brutos generados por un profesor, los autores aplican auto-destilación para producir trayectorias que se alineen mejor con la propia distribución de generación de MoCA, reduciendo la discrepancia entre el entrenamiento y la inferencia.
- El modelo se optimiza utilizando una pérdida de entropía cruzada autorregresiva estándar sobre las secuencias combinadas de SoT y código.
Etapa 2: Aprendizaje por Refuerzo (RL)
- El modelo se optimiza adicionalmente utilizando Optimización de Política Relativa de Grupo (GRPO).
- Se emplea una función de recompensa multidimensional que agrega cinco señales:
  1. Consistencia de Formato ( $R_{fmt}$ ): Adherencia a la estructura de salida.
  2. Consistencia de Razonamiento ( $R_{con}$ ): Alineación entre el SoT y el código generado.
  3. Fidelidad Estructural ( $R_{str}$ ): Reconstrucción de atributos del gráfico mediante análisis AST.
  4. Validez de Ejecución ( $R_{exec}$ ): Si el código se ejecuta con éxito.
  5. Similitud Visual ( $R_{vis}$ ): Comparación entre el gráfico renderizado y la imagen de referencia.
- Estas recompensas proporcionan supervisión tanto a nivel de proceso (razonamiento) como de resultado (ejecución/visual).

Contribuciones Clave

Formulación de Coordinación Adaptativa: El artículo enmarca la generación de gráfico a código como un problema de coordinación de capacidades cross-modales, argumentando que el anclaje visual y la generación de código son capacidades complementarias pero heterogéneas que requieren una interacción dinámica y explícita.
Arquitectura MoCA: Introducción de una arquitectura de doble rama con el Bloque de Arbitraje Cross-modal (CAB). Esto preserva la experiencia visual y de código por separado mientras utiliza un Árbitro ligero, condicionado por la entrada, para asignar dinámicamente las contribuciones a nivel de token y de capa.
Marco de Entrenamiento y Análisis: Establecimiento de un flujo de entrenamiento que combina la supervisión de SoT auto-destilado con recompensas de RL multidimensionales. Los autores proporcionan evidencia empírica de que el Árbitro aprende patrones de asignación estructurados (que varían sistemáticamente a través de tokens, capas e instancias) en lugar de pesos arbitrarios o uniformes.

Resultados Experimentales

MoCA fue evaluado en tres bancos de pruebas: ChartMimic, Plot2Code y ChartX.

Rendimiento: MoCA logró resultados de vanguardia o competitivos en modelos de dominio general y especializados en gráficos.
- En ChartMimic, alcanzó el mejor rendimiento en los tres indicadores (Tasa de Ejecución: 88.83, Bajo Nivel: 75.13, Alto Nivel: 73.48), superando significativamente a las bases más fuertes.
- En Plot2Code, logró la mayor tasa de paso de código (87.88), superando al siguiente mejor modelo base por 2.27 puntos.
- Mantuvo un rendimiento competitivo en métricas semánticas (Coincidencia de Texto) y métricas perceptuales (Puntuación GPT), superando a menudo a modelos mucho más grandes (por ejemplo, Qwen2.5-VL-72B) en ejecución y fidelidad de reconstrucción.
Estudios de Ablación:
- Etapas de Entrenamiento: Se demostró que tanto SFT como RL son necesarios; SFT estableció un mapeo estable, mientras que RL mejoró la ejecutabilidad y la fidelidad visual.
- Inicialización de Ramas: Una variante con dos ramas visuales (Visual + Visual) funcionó peor que MoCA, confirmando que las ganancias provienen de la inicialización de experticia complementaria, no solo del recuento de parámetros.
- Arbitraje: Una variante con pesos de rama fijos (0.5/0.5) tuvo un rendimiento inferior a MoCA, demostrando la necesidad de un arbitraje condicionado por la entrada.
- Fusión Estática: MoCA superó significativamente a los enfoques de fusión de parámetros estáticos (como VisCodex), resaltando la limitación de los coeficientes fijos para tareas heterogéneas.

Significado y Reivindicaciones

El artículo afirma que las mejoras de rendimiento de MoCA no pueden atribuirse únicamente al tamaño del modelo o a la cantidad de datos de entrenamiento adicionales. En cambio, las mejoras surgen de las contribuciones conjuntas de:

Inicialización de Ramas Complementarias: Aprovechamiento de la experticia preentrenada tanto en visión como en código.
Arbitraje Condicionado por la Entrada: La capacidad de ajustar dinámicamente la dependencia de las ramas visual y de código según las necesidades específicas de la entrada y el contexto de generación.

Los autores concluyen que el modelado explícito de la interacción entre el anclaje visual y la síntesis de código mediante el arbitraje a nivel de token es un paso crítico hacia adelante para la generación de gráficos a código, permitiendo que los modelos se adapten a las diversas demandas de diferentes tipos de gráficos. Se sugiere como trabajo futuro explorar paradigios de fusión más eficientes en parámetros para lograr una integración similar sin aumentar los parámetros del modelo.