🤖 AI

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

O artigo apresenta o MoCA, um novo framework que utiliza um Bloco de Arbitragem Cross-modal para separar e coordenar dinamicamente ramos distintos de visão e código ao nível de token, superando assim a interferência inerente aos métodos existentes de chart-to-code e alcançando um desempenho superior por meio de uma arbitragem de modalidade estruturada.

Autores originais: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era digital, os dados são frequentemente apresentados como gráficos: gráficos de barras, diagramas de linha e gráficos de pizza que transformam números em histórias visuais. Durante décadas, os computadores têm sido excelentes em ler essas imagens para responder a perguntas simples, como "qual é o valor mais alto?" ou "qual é a cor da maior fatia?". No entanto, um desafio mais difícil surgiu: pedir a um computador não apenas para ler um gráfico, mas para reconstruí-lo do zero usando código. Esta tarefa exige que uma máquina olhe para uma imagem estática, compreenda os dados ocultos e as escolhas de design específicas por trás dela, e então escreva um conjunto de instruções que possa desenhar uma imagem idêntica em uma tela. É um teste de duas habilidades muito diferentes ao mesmo tempo. A máquina deve ser uma observadora de olhos aguçados, capaz de notar detalhes sutis como o tom exato de uma linha ou a posição precisa de um rótulo, e deve também ser uma arquiteta disciplinada, capaz de escrever um código lógico e livre de erros para reproduzir esses detalhes.

Por muito tempo, pesquisadores tentaram ensinar os computadores a fazer ambas as coisas ao mesmo tempo, fundindo a compreensão visual e a habilidade de codificação em um único cére-maior. A suposição era que um modelo poderia aprender a ver e a escrever código simultaneamente. No entanto, essa abordagem frequentemente levava à confusão. Quando um gráfico era visualmente complexo, o modelo podia ter dificuldade em escrever o código. Quando o gráfico exigia uma lógica complexa, o modelo podia falhar em ver os detalhes. As duas habilidades, embora necessárias para o mesmo trabalho, pareciam atrapalhar uma à outra quando forçadas a compartilhar os mesmos caminhos internos. Um novo estudo de pesquisadores da Universidade de Zhejiang, Ant Group e outras instituições sugere que a solução não é fundir essas capacidades, mas mantê-las separadas e deixá-las revezar a liderança do trabalho.

Os pesquisadores, liderados por Qinghao Fu e Wei Zhou, desenvolveram um sistema que chamam de MoCA. Em vez de forçar um único modelo a fazer tudo, eles construíram uma estrutura com dois caminhos distintos: um dedicado à compreensão visual e outro dedicado à codificação. Imagine uma equipe de construção onde um time se especializa em inspecionar os materiais brutos e o outro na construção propriamente dita. No MoCA, essas duas equipes trabalham lado a lado, mas não se fundem em uma única entidade confusa. Em vez disso, um decisor pequeno e leve, que os autores chamam de árbitro, observa o trabalho em tempo real. Com cada palavra de código que o sistema gera, este árbitro decide quanta ajuda deve tomar da equipe visual e quanto deve confiar na equipe de codificação.

Essa tomada de decisão acontece constantemente e muda de momento para momento. Quando o sistema está tentando descobrir a cor de uma barra específica em um gráfico, o árbitro inclina-se fortemente para o caminho visual. Quando precisa decidir como empilhar essas barras ou calcular a altura total, o árbitro desloca sua confiança para o caminho da codificação. Os pesquisadores descobriram que essa alternância dinâmica não é aleatória; ela segue um padrão estruturado. Nos estágios iniciais da geração de um gráfico, o sistema depende mais do processamento visual para entender a entrada. À medida que avança para o meio da tarefa, ele se desloca para a geração de código para construir a estrutura. Finalmente, ao terminar, pode retornar ao refinamento visual para garantir que os detalhes correspondam à imagem original. Essa coordenação fluida permite que o sistema lide com gráficos visualmente desordenados, bem como com aqueles que são logicamente complexos, sem ficar travado.

Para ensinar este sistema a trabalhar, os pesquisadores utilizaram um processo de treinamento de duas etapas. Primeiro, mostraram ao modelo milhares de exemplos de gráficos e seus códigos correspondentes, mas não pediram apenas o código final. Eles também forneceram um "processo de pensamento", um detalhamento passo a passo de como olhar para o gráfico e traduzi-lo em instruções. Isso ajudou o modelo a aprender a conectar o que via com o que precisava escrever. Na segunda etapa, o sistema teve a chance de praticar por conta própria. Ele gerava código e, se o código funcionasse com sucesso e a imagem resultante fosse semelhante à original, recebia uma recompensa. Se o código falhasse ou a imagem estivesse errada, ele era corrigido. Esse ciclo de tentativa e erro, guiado por recompensas específicas tanto para a lógica do código quanto para a precisão visual do resultado, refinou a habilidade do sistema de coordenar seus dois ramos.

Os resultados desta abordagem foram testados contra vários outros modelos avançados em três benchmarks projetados para avaliar a geração de gráfico-para-código. O novo sistema, MoCA, superou a concorrência em áreas chave. Em um teste importante, ele gerou com sucesso código funcional para 88,83 por cento dos gráficos, uma melhoria significativa em relação a outros modelos especializados. Também pontuou mais alto em métricas que mediam o quão bem o código gerado correspondia ao texto e à estrutura do gráfico original. Talvez o mais importante, os pesquisadores mostraram que esses ganhos não vieram simplesmente porque o modelo era maior ou tinha mais dados de treinamento. Quando testaram versões do sistema que usavam a mesma quantidade de poder computacional, mas careciam do mecanismo de alternância dinâmica, o desempenho caiu. Isso confirmou que o segredo do sucesso não era apenas ter mais poder cerebral, mas ter uma maneira mais inteligente de organizá-lo.

O estudo também revelou que o decisor do sistema aprendeu a ser muito específico. Ele não aplicou uma regra fixa, como "sempre usar 50 por cento de ajuda visual e 50 por cento de ajuda de código". Em vez disso, ajustou sua estratégia com base no gráfico específico que estava observando e na parte específica do código que estava escrevendo. Para alguns gráficos, o ramo visual pode dominar todo o processo. Para outros, o ramo de código pode assumir a liderança quase imediatamente. Essa flexibilidade permitiu que o sistema se adaptasse às demandas únicas de cada tarefa, fosse um gráfico de linha simples ou um diagrama complexo de múltiplas camadas.

Ao separar as habilidades de ver e escrever, e depois dar a elas um gerente dedicado para coordenar seus esforços, os pesquisadores resolveram um problema que havia confundido tentativas anteriores. Eles demonstraram que, para tarefas complexas como reconstruir um gráfico a partir de uma imagem, o todo é maior que a soma das partes apenas se as partes forem permitidas funcionar em seus próprios pontos fortes. O sistema não tenta ser um mestre de tudo ao mesmo tempo; em vez disso, sabe exatamente quando olhar e quando escrever, produzindo resultados que são tanto visualmente fiéis quanto logicamente sólidos. Esta abordagem oferece um novo roteiro para como a inteligência artificial pode lidar com outras tarefas que exigem uma mistura de tipos muito diferentes de inteligência, indo além da ideia de um único modelo de uso geral em direção a um futuro mais coordenado e adaptável.

Resumo Técnico: MoCA – Arbitragem de Modalidade ao Nível de Token para Geração de Gráfico-para-Código

Definição do Problema

A geração de gráfico-para-código exige que um modelo interprete detalhes visuais refinados de uma imagem de gráfico e produza um código de plotagem executável que reproduza fielmente o original. Esta tarefa apresenta um desafio único: os requisitos para fundamentação visual (reconhecimento de rótulos, cores, layouts) e geração de código (construção de lógica, eixos e estruturas) não são uniformes em todas as entradas.

Gráficos Visualmente Complexos: Exigem o reconhecimento preciso de rótulos densos e variações visuais sutis, mas podem ter uma lógica de plotagem mais simples.
Gráficos Exigentes em Código: Podem ter visuais simples, mas exigem estruturas lógicas complexas (ex: barras empilhadas, eixos customizados).

As abordagens existentes tipicamente treinam as habilidades visuais e de codificação separadamente ou realizam o ajuste fino (fine-tuning) de um único modelo onde essas habilidades estão emaranhadas. Nenhuma dessas estratégias modela explicitamente a interação dinâmica entre essas distintas capacidades, levando frequentemente a falhas onde o modelo lê incorretamente detalhes visuais ou gera código sintaticamente incorreto. Além disso, as técnicas de fusão de modelos (model-merging) existentes geralmente dependem de coeficientes de parâmetros estáticos e independentes da entrada, falhando em se adaptar às demandas variadas de instâncias específicas de gráficos.

Metodologia: MoCA (Mistura de Arbitragem Cross-modal)

Os autores propõem o MoCA, um framework projetado para separar as capacidades visuais e de código em caminhos distintos, coordenando dinamicamente suas contribuições durante a geração.

1. Arquitetura: Bloco de Arbitragem Cross-modal (CAB)

O MoCA é construído sobre uma arquitetura de dois ramos, onde um Ramo Visual e um Ramo de Código operam como transformações separadas dentro do modelo.

Inicialização: O framework utiliza o Qwen2.5-VL-7B como o backbone multimodal e o Qwen2.5-Coder-7B para inicializar o ramo de código. Especificamente, o Ramo Visual é inicializado a partir dos parâmetros da Rede Feed-Forward (FFN) do modelo de visão-linguagem, enquanto o Ramo de Código é inicializado a partir dos parâmetros FFN correspondentes do modelo de código.
O Árbitro: No núcleo do MoCA está um Árbitro leve dentro de cada CAB. Para cada token $t$ em cada camada $l$ , o Árbitro recebe a representação oculta intermediária $h_{i,l,t}$ e prevê os pesos dos ramos $\alpha_{i,l,t} = (\alpha^{vis}, \alpha^{code})$ .
Coordenação Dinâmica: A saída do CAB é uma soma ponderada dos dois ramos:
$z_{i,l,t} = \alpha^{vis}_{i,l,t} B^{vis}(h_{i,l,t}) + \alpha^{code}_{i,l,t} B^{code}(h_{i,l,t})$
Isso permite que o modelo aloque contribuições com base na instância específica da entrada, na profundidade da camada da rede e no token de geração atual, em vez de usar coeficientes globais fixos.

2. Framework de Treinamento

O MoCA emprega uma estratégia de treinamento em duas etapas para alinhar o raciocínio estruturado com a geração de código executável:

Etapa 1: Ajuste Fino Supervisionado (SFT) com SoT Auto-destilado
- O modelo é treinado em dados pareados de gráfico-código aumentados com trajetórias de Snippet-of-Thought (SoT).
- Essas trajetórias decompõem o mapeamento da entrada visual para o código em etapas intermediárias explícitas.
- Auto-destilação: Em vez de usar dados de SoT brutos gerados pelo professor, os autores aplicam a auto-destilação para produzir trajetórias que se alinhem melhor com a própria distribuição de geração do MoCA, reduzindo a discrepância entre o treinamento e a inferência.
- O modelo é otimizado usando a perda de entropia cruzada autorregressiva padrão sobre as sequências combinadas de SoT e código.
Etapa 2: Aprendizado por Reforço (RL)
- O modelo é otimizado adicionalmente usando Group Relative Policy Optimization (GRPO).
- Uma função de recompensa multidimensional é empregada, agregando cinco sinais:
  1. Consistência de Formato ( $R_{fmt}$ ): Adesão à estrutura de saída.
  2. Consistência de Raciocínio ( $R_{con}$ ): Alinhamento entre o SoT e o código gerado.
  3. Fidelidade Estrutural ( $R_{str}$ ): Reconstrução de atributos do gráfico via análise de AST.
  4. Validade de Execução ( $R_{exec}$ ): Se o código executa com sucesso.
  5. Similaridade Visual ( $R_{vis}$ ): Comparação entre o gráfico renderizado e a imagem de referência.
- Essas recompensas fornecem supervisão tanto de nível de processo (raciocínio) quanto de nível de resultado (execução/visual).

Principais Contribuições

Formulação de Coordenação Adaptativa: O artigo enquadra a geração de gráfico-para-código como um problema de coordenação de capacidades cross-modais, argumentando que a fundamentação visual e a geração de código são habilidades complementares, porém heterogêneas, que requerem interação dinâmica explícita.
Arquitetura MoCA: Introdução de uma arquitetura de dois ramos com o Bloco de Arbitragem Cross-modal (CAB). Isso preserva a expertise visual e de código separada enquanto utiliza um Árbitro leve, condicionado à entrada, para alocar contribuições dinamicamente ao nível de token e de camada.
Framework de Treinamento e Análise: Estabelecimento de um pipeline de treinamento que combina supervisão de SoT auto-destilado com recompensas de RL multidimensionais. Os autores fornecem evidência empírica de que o Árbitro aprende padrões de alocação estruturados (variando sistematicamente entre tokens, camadas e instâncias) em vez de pesos arbitrários ou uniformes.

Resultados Experimentais

O MoCA foi avaliado em três benchmarks: ChartMimic, Plot2Code e ChartX.

Desempenho: O MoCA alcançou resultados de estado da arte ou competitivos em modelos de domínio geral e especializados em gráficos.
- No ChartMimic, alcançou o melhor desempenho em todas as três métricas (Taxa de Execução: 88.83, Baixo Nível: 75.13, Alto Nível: 73.48), superando significativamente as bases mais fortes.
- No Plot2Code, alcançou a maior taxa de Passagem de Código (87.88), superando a segunda melhor base em 2.27 pontos.
- Manteve desempenho competitivo em métricas semânticas (Correspondência de Texto) e métricas perceptuais (Pontuação GPT), muitas vezes superando modelos muito maiores (ex: Qwen2.5-VL-72B) em execução e fidelidade de reconstrução.
Estudos de Ablação:
- Etapas de Treinamento: Tanto o SFT quanto o RL mostraram-se necessários; o SFT estabeleceu um mapeamento estável, enquanto o RL melhorou a executabilidade e a fidelidade visual.
- Inicialização de Ramos: Uma variante com dois ramos visuais (Visual + Visual) teve desempenho inferior ao MoCA, confirmando que os ganhos vêm da inicialização de expertises complementares, não apenas da contagem de parâmetros.
- Arbitragem: Uma variante com pesos de ramo fixos (0.5/0.5) teve desempenho inferior ao MoCA, demonstrando a necessidade de arbitragem condicionada à entrada.
- Fusão Estática: O MoCA superou significativamente as abordagens de fusão de parâmetros estáticos (como o VisCodex), destacando a limitação de coeficientes fixos para tarefas heterogêneas.

Significância e Alegações

O artigo alega que os ganhos de desempenho do MoCA não podem ser atribuídos apenas ao tamanho maior do modelo ou a dados de treinamento adicionais. Em vez disso, as melhorias derivam das contribuições conjuntas de:

Inicialização de Ramos Complementares: Aproveitando a expertise pré-treinada tanto em visão quanto em código.
Arbitragem Condicionada à Entrada: A capacidade de ajustar dinamicamente a dependência dos ramos visual versus de código com base nas necessidades específicas da entrada e no contexto de geração.

Os autores concluem que modelar explicitamente a interação entre fundamentação visual e síntese de código via arbitragem ao nível de token é um passo crítico à frente para a geração de gráfico-para-código, permitindo que os modelos se adaptem às diversas demandas de diferentes tipos de gráficos. Sugere-se que trabalhos futuros explorem paradigmas de fusão mais eficientes em termos de parâmetros para alcançar uma integração semelhante sem aumentar os parâmetros do modelo.