🤖 AI

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

Il documento introduce MoCA, un framework innovativo che impiega un Blocco di Arbitrato Cross-modale per separare e coordinare dinamicamente distinti rami visivi e di codice a livello di token, superando così l'interferenza inerente ai metodi esistenti di chart-to-code e ottenendo prestazioni superiori attraverso un arbitrato strutturato delle modalità.

Autori originali: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

Pubblicato 2026-08-18

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nell'era digitale, i dati vengono spesso presentati sotto forma di grafici: istogrammi, grafici a linee e grafici a torta che trasformano i numeri in storie visive. Per decenni, i computer sono stati eccellenti nel leggere queste immagini per rispondere a domande semplici, come "qual è il valore più alto?" o "di che colore è la fetta più grande?". Tuttavia, è emersa una sfida più difficile: chiedere a un computer non solo di leggere un grafico, ma di ricostruirlo da zero usando il codice. Questo compito richiede a una macchina di guardare un'immagine statica, comprendere i dati nascosti e le specifiche scelte di design che la sottendono, e poi scrivere un insieme di istruzioni che possano disegnare un'immagine identica su uno schermo. È una prova di due capacità molto diverse contemporaneamente. La macchina deve essere un osservatore acuto, capace di notare dettagli sottili come l'esatta tonalità di una linea o la posizione precisa di un'etichetta, e deve anche essere un architetto disciplinato, capace di scrivere un codice logico e privo di errori per riprodurre tali dettagli.

Per molto tempo, i ricercatori hanno cercato di insegnare ai computer di fare entrambe le cose contemporaneamente, fondendo la comprensione visiva e la capacità di programmazione in un unico, enorme cervello. L'assunto era che un modello potesse imparare a vedere e a scrivere codice simultaneamente. Eppure, questo approccio portava spesso alla confusione. Quando un grafico era visivamente complesso, il modello poteva faticare a scrivere il codice. Quando il grafico richiedeva una logica complessa, il modello poteva fallire nel vedere i dettagli. Le due abilità, pur essendo necessarie per lo stesso lavoro, sembravano ostacolarsi a vicenda quando costrette a condividere gli stessi percorsi interni. Un nuovo studio condotto da ricercatori della Zhejiang University, Ant Group e altre istituzioni suggerisce che la soluzione non sia fondere queste capacità, ma mantenerle separate e lasciare che si alternino nel guidare il lavoro.

I ricercatori, guidati da Qinghao Fu e Wei Zhou, hanno sviluppato un sistema che chiamano MoCA. Invece di costringere un singolo modello a fare tutto, hanno costruito un framework con due percorsi distinti: uno dedicato alla comprensione visiva e un altro dedicato al codice. Immaginate una squadra di costruzione dove un team si specializza nell'ispezione delle materie prime e l'altro nella costruzione vera e propria. In MoCA, questi due team lavorano fianco a fianco, ma non si fondono in un'unica entità confusa. Invece, un piccolo e leggero decisore, che gli autori chiamano arbitro, osserva il lavoro in tempo reale. Con ogni singola parola di codice che il sistema genera, questo arbitro decide quanto aiuto prendere dal team visivo e quanto affidarsi al team del codice.

Questo processo decisionale avviene costantemente e cambia da un momento all'altro. Quando il sistema sta cercando di capire il colore di una specifica barra in un grafico, l'arbitro si affida pesantemente al percorso visivo. Quando deve decidere come impilare quelle barre o calcolare l'altezza totale, l'arbitro sposta la sua fiducia verso il percorso del codice. I ricercatori hanno scoperto che questo passaggio dinamico non è casuale; segue uno schema strutturato. Nelle fasi iniziali della generazione di un grafico, il sistema si affida maggiormente all'elaborazione visiva per comprendere l'input. Man mano che avanza nel compito, si sposta verso la generazione di codice per costruire la struttura. Infine, mentre termina, può tornare alla raffinazione visiva per garantire che i dettagli corrispondano all'immagine originale. Questa coordinazione fluida permette al sistema di gestire grafici visivamente disordinati così come quelli logicamente complessi, senza bloccarsi.

Per insegnare a questo sistema come lavorare, i ricercatori hanno utilizzato un processo di addestramento in due fasi. In primo luogo, hanno mostrato al modello migliaia di esempi di grafici e del relativo codice, ma non hanno chiesto solo il codice finale. Hanno anche fornito un "processo di pensiero", una scomposizione passo dopo passo di come guardare il grafico e tradurlo in istruzioni. Ciò ha aiutato il modello a imparare a connettere ciò che vedeva con ciò che doveva scrivere. Nella seconda fase, il sistema è stato lasciato libero di esercitarsi da solo. Generava codice e, se il codice funzionava correttamente e l'immagine risultante somigliava all'originale, riceveva un premio. Se il codice falliva o l'immagine era errata, veniva corretto. Questo ciclo di tentativi ed errori, guidato da premi specifici sia per la logica del codice che per l'accuratezza visiva del risultato, ha perfezionato la capacità del sistema di coordinare i suoi due rami.

I risultati di questo approccio sono stati testati contro diversi altri modelli avanzati su tre benchmark progettati per valutare la generazione di codice da grafici. Il nuovo sistema, MoCA, ha superato la concorrenza in aree chiave. In un test principale, ha generato con successo codice funzionante per l'88,83 percento dei grafici, un miglioramento significativo rispetto ad altri modelli specializzati. Ha anche ottenuto punteggi più alti su metrici che misurano quanto bene il codice generato corrisponda al testo e alla struttura del grafico originale. Forse la cosa più importante, i ricercatori hanno dimostrato che questi guadagni non sono derivati semplicemente dal fatto che il modello fosse più grande o avesse più dati di addestramento. Quando hanno testato versioni del sistema che utilizzavano la stessa quantità di potenza di calcolo ma mancavano del meccanismo di commutazione dinamica, le prestazioni sono diminuite. Ciò ha confermato che il segreto del successo non era solo avere più potenza di calcolo, ma avere un modo più intelligente di organizzarla.

Lo studio ha anche rivelato che il decisore del sistema ha imparato a essere molto specifico. Non applicava una regola fissa, come "usa sempre il 50 percento di aiuto visivo e il 50 percento di aiuto del codice". Inveve, adattava la strategia in base al grafico specifico che stava osservando e alla parte specifica di codice che stava scrivendo. Per alcuni grafici, il ramo visivo potrebbe dominare l'intero processo. Per altri, il ramo del codice potrebbe prendere il comando quasi immediatamente. Questa flessibilità ha permesso al sistema di adattarsi alle richieste uniche di ogni compito, che si trattasse di un semplice grafico a linee o di un diagramma complesso a più livelli.

Separando le abilità di vedere e scrivere, e assegnando loro un manager dedicato per coordinare i loro sforzi, i ricercatori hanno risolto un problema che aveva bloccato i tentativi precedenti. Hanno dimostrato che per compiti complessi come la ricostruzione di un grafico da un'immagine, il tutto è maggiore della somma delle sue parti solo se le parti sono lasciate funzionare nei propri punti di forza. Il sistema non cerca di essere un maestro di tutto in una volta; invece, sa esattamente quando guardare e quando scrivere, producendo risultati che sono sia visivamente fedeli che logicamente solidi. Questo approccio offre un nuovo modello su come l'intelligenza artificiale possa gestire altri compiti che richiedono una miscela di tipi di intelligenza molto diversi, andando oltre l'idea di un singolo modello universale verso un futuro più coordinato e adattabile.

Riepilogo Tecnico: MoCA – Arbitrazione della Modalità a Livello di Token per la Generazione da Grafico a Codice

Definizione del Problema

La generazione da grafico a codice richiede che un modello interpreti dettagli visivi fini di un'immagine di un grafico e produca un codice di plotting eseguibile che riproduca fedelmente l'originale. Questo compito presenta una sfida unica: i requisiti per il grounding visivo (riconoscimento di etichette, colori, layout) e la generazione di codice (costruzione di logica, assi e strutture) non sono uniformi in tutti gli input.

Grafici Visivamente Complessi: Richiedono un riconoscimento preciso di etichette dense e sottili variazioni visive, ma possono avere una logica di plotting più semplice.
Grafici Esigenti dal Punto di Vista del Codice: Possono avere elementi visivi semplici ma richiedere strutture logiche complesse (ad esempio, barre sovrapposte, assi personalizzati).

Gli approcci esistenti tipicamente addestrano le capacità visive e di codifica separatamente o perfezionano un singolo modello in cui queste capacità sono intrecciate. Nessuna di queste strategie modella esplicitamente l'interazione dinamica tra queste distinte capacità, portando spesso a fallimenti in cui un modello legge erroneamente i dettagli visivi o genera codice sintatticamente errato. Inoltre, le tecniche di merging dei modelli esistenti spesso si affidano a coefficienti di parametri statici e indipendenti dall'input, fallendo nel adattarsi alle diverse richieste di specifici istanze di grafici.

Metodologia: MoCA (Mixture of Cross-modal Arbitration)

Gli autori propongono MoCA, un framework progettato per separare le capacità visive e di codifica in percorsi distinti, coordinando dinamicamente i loro contributi durante la generazione.

1. Architettura: Cross-modal Arbitration Block (CAB)

MoCA si basa su un'architettura a doppio ramo in cui un Ramo Visivo e un Ramo di Codice operano come trasformazioni separate all'interno del modello.

Inizializzazione: Il framework utilizza Qwen2.5-VL-7B come backbone multimodale e Qwen2.5-Coder-7B per inizializzare il ramo di codice. Nello specifico, il Ramo Visivo è inizializzato dai parametri della Feed-Forward Network (FFN) del modello visione-linguaggio, mentre il Ramo di Codice è inizializzato dai corrispondenti parametri FFN del modello di codice.
L'Arbitro: Al cuore di MoCA c'è un Arbitro leggero all'interno di ogni CAB. Per ogni token $t$ ad ogni livello $l$ , l'Arbitro prende la rappresentazione nascosta intermedia $h_{i,l,t}$ e predice i pesi dei rami $\alpha_{i,l,t} = (\alpha^{vis}, \alpha^{code})$ .
Coordinamento Dinamico: L'output del CAB è una somma pesata dei due rami:
$z_{i,l,t} = \alpha^{vis}_{i,l,t} B^{vis}(h_{i,l,t}) + \alpha^{code}_{i,l,t} B^{code}(h_{i,l,t})$
Ciò consente al modello di allocare i contributi in base all'istanza specifica dell'input, alla profondità del livello della rete e al token di generazione corrente, piuttosto che utilizzare coefficienti globali fissi.

2. Framework di Addestramento

MoCA impiega una strategia di addestramento in due fasi per allineare il ragionamento strutturato con la generazione di codice eseguibile:

Fase 1: Supervised Fine-Tuning (SFT) con SoT Auto-Distillato
- Il modello viene addestrato su dati accoppiati grafico-codice aumentati con traiettorie di Snippet-of-Thought (SoT).
- Queste traiettorie decompongono la mappatura dall'input visivo al codice in passaggi intermedi espliciti.
- Auto-distillazione: Invece di utilizzare dati SoT generati da un insegnante grezzo, gli autori applicano l'auto-distillazione per produrre traiettorie che si allineino meglio alla distribuzione di generazione di MoCA, riducendo la discrepanza tra addestramento e inferenza.
- Il modello è ottimizzato utilizzando la perdita cross-entropy autoregressiva standard sulle sequenze combinate di SoT e codice.
Fase 2: Reinforcement Learning (RL)
- Il modello è ulteriormente ottimizzato utilizzando la Group Relative Policy Optimization (GRPO).
- Viene impiegata una funzione di ricompensa multidimensionale, che aggrega cinque segnali:
  1. Consistenza del Formato ( $R_{fmt}$ ): Adesione alla struttura dell'output.
  2. Consistenza del Ragionamento ( $R_{con}$ ): Allineamento tra lo SoT e il codice generato.
  3. Fedeltà Strutturale ( $R_{str}$ ): Ricostruzione degli attributi del grafico tramite analisi AST.
  4. Validità di Esecuzione ( $R_{exec}$ ): Se il codice viene eseguito con successo.
  5. Similarità Visiva ( $R_{vis}$ ): Confronto tra il grafico renderizzato e l'immagine di riferimento.
- Queste ricompense forniscono supervisione sia a livello di processo (ragionamento) che a livello di esito (esecuzione/visivo).

Contributi Chiave

Formulazione della Coordinazione Adattiva: Il documento inquadra la generazione da grafico a codice come un problema di coordinazione delle capacità cross-modali, sostenendo che il grounding visivo e la generazione di codice sono capacità complementari ma eterogenee che richiedono un'interazione dinamica esplicita.
Architettura MoCA: Introduzione di un'architettura a doppio ramo con il Cross-modal Arbitration Block (CAB). Questo preserva l'expertise visiva e di codice separata utilizzando un Arbitro leggero, condizionato dall'input, per allocare dinamicamente i contributi a livello di token e di livello.
Framework di Addestramento e Analisi: Stabilimento di una pipeline di addestramento che combina la supervisione SoT auto-distillata con ricompense RL multidimensionali. Gli autori forniscono prove empiriche che l'Arbitro apprenda modelli di allocazione strutturata (che variano sistematicamente tra token, livelli e istanze) piuttosto che pesi arbitrari o uniformi.

Risultati Sperimentali

MoCA è stato valutato su tre benchmark: ChartMimic, Plot2Code e ChartX.

Performance: MoCA ha raggiunto risultati allo stato dell'arte o competitivi tra i modelli general-domain e specializzati in grafici.
- Su ChartMimic, ha ottenuto le migliori prestazioni in tutti e tre i parametri (Execution Rate: 88.83, Low-Level: 75.13, High-Level: 73.48), superando significativamente i baseline più forti.
- Su Plot2Code, ha ottenuto il tasso di passaggio del codice più alto (87.88), superando il secondo miglior baseline di 2.27 punti.
- Ha mantenuto prestazioni competitive sulle metriche semantiche (Text Match) e sulle metriche percettive (GPT Score), spesso superando modelli molto più grandi (ad esempio, Qwen2.5-VL-72B) in termini di esecuzione e fedeltà di ricostruzione.
Studi di Ablazione:
- Fasi di Addestramento: È stato dimostrato che sia l'SFT che l'RL sono necessari; l'SFT ha stabilito una mappatura stabile, mentre l'RL ha migliorato l'eseguibilità e la fedeltà visiva.
- Inizializzazione dei Rami: Una variante con due rami visivi (Visual + Visual) ha performato peggio di MoCA, confermando che i guadagni derivano dall'inizializzazione di expertise complementari, non solo dal numero di parametri.
- Arbitrazione: Una variante con pesi dei rami fissi (0.5/0.5) è stata inferiore a MoCA, dimostrando la necessità di un'arbitrazione condizionata dall'input.
- Merging Statico: MoCA ha superato significativamente gli approcci di merging dei parametri statici (come VisCodex), evidenziando il limite dei coefficienti fissi per compiti eterogenei.

Significato e Rivendicazioni

Il documento sostiene che i miglioramenti delle prestazioni di MoCA non possono essere attribuiti esclusivamente alla dimensione maggiore del modello o a dati di addestramento aggiuntivi. Inveve, i miglioramenti derivano dai contributi congiunti di:

Inizializzazione Complementare dei Rami: Sfruttando l'expertise pre-addestrata sia nella visione che nel codice.
Arbitrazione Condizionata dall'Input: La capacità di regolare dinamicamente la dipendenza dai rami visivi rispetto a quelli di codice in base alle esigenze specifiche dell'input e al contesto di generazione.

Gli autori concludono che modellare esplicitamente l'interazione tra il grounding visivo e la sintesi del codice tramite l'arbitrazione a livello di token è un passo critico in avanti per la generazione da grafico a codice, consentendo ai modelli di gestire adattivamente le diverse richieste di differenti tipi di grafici. Il lavoro futuro suggerisce di esplorare paradigmi di fusione più efficienti in termini di parametri per raggiungere un'integrazione simile senza aumentare i parametri del modello.