CharTide: Data-Centric Chart-to-Code Generation via Tri-Perspective Tuning and Inquiry-Driven Evolution

Riassunto Tecnico: CharTide

1. Il Problema: Il "Muro della Scalabilità" nel Chart-to-Code

La generazione di codice partendo da grafici (Chart-to-Code) è un compito estremamente complesso che richiede una precisione visiva millimetrica e una correttezza sintattica assoluta. Il paper identifica due colli di bottiglia fondamentali nei metodi attuali basati su Vision-Language Models (VLM):

• Omoeneità dei dati (SFT Plateau): L'attuale paradigma di Supervised Fine-Tuning (SFT) si limita ad accumulare coppie "grafico-codice". Tuttavia, il codice di plotting contiene molto "boilerplate" (sintassi ripetitiva) che non è legato alla visione. Questo crea un'asimmetria informativa: il modello impara a memorizzare template sintattici invece di allinearsi ai dettagli visivi fini (colori, marker, valori numerici), portando a allucinazioni visive e logiche.
• Inefficienza del Reinforcement Learning (RL): I metodi di allineamento esistenti usano punteggi soggettivi (VLM-as-a-Judge) o regole rigide (matching di attributi). Entrambi sono instabili: i primi sono "black-box" e rumorosi, i secondi sono troppo rigidi e non colgono la semantica globale.

2. Metodologia: Il Framework CharTide

CharTide propone un approccio "data-centric" strutturato in due fasi principali:

A. Tri-Perspective Decomposed SFT (SFT a tre prospettive)
Per rompere l'omogeneità dei dati, il framework scompone l'addestramento in tre flussi di dati ortogonali che isolano le capacità del modello:

1. Visual Perception Stream (Grafico $\rightarrow$ Didascalia): Allinea le caratteristiche visive a descrizioni testuali dense per potenziare la percezione fine.
2. Code Logic Stream (Didascalia $\rightarrow$ Codice): Utilizza solo testo (senza immagini) per addestrare il modello sulla logica pura del codice, eliminando il rumore visivo e migliorando la sintassi.
3. Modality Fusion Stream (Grafico $\rightarrow$ Codice): Integra i due flussi precedenti per la generazione end-to-end, utilizzando un filtro di similarità visiva per garantire che il codice generato produca immagini pixel-perfette rispetto all'originale.

B. Inquiry-Driven RL (RL guidato dall'indagine)
Invece di usare punteggi soggettivi, CharTide riformula l'allineamento come un problema di verifica dei fatti.

• L'Inspector: Viene utilizzato un modello "Inspector" congelato che esegue compiti di Question Answering (QA) atomici sul grafico generato.
• Reward Ibrido: Il modello riceve due segnali di ricompensa:
  • $r_{QA}$ (Reward Semantico): Basato sulla precisione delle risposte alle domande (es. "Qual è il valore massimo?", "Il titolo è corretto?").
  • $r_{vis}$ (Reward Visivo): Basato sulla similarità strutturale tramite l'encoder WebSSL-1B, per garantire la fedeltà a livello di pixel.
• Algoritmo: Utilizza GRPO (Group Relative Policy Optimization) per ottimizzare la policy basandosi su questi segnali deterministici e verificabili.

3. Contributi Chiave

• Strategia di SFT Decoupled: Dimostra che scomporre l'apprendimento in percezione, logica e fusione permette a un modello da 7B parametri di superare modelli molto più grandi (235B).
• Verificabilità tramite QA: Introduce un paradigma di RL dove la ricompensa non è un'opinione, ma un fatto verificabile tramite domande e risposte.
• Dataset Curato: Costruzione di un dataset di 2 milioni di campioni e un set di VQA specializzato per la verifica.

4. Risultati Sperimentali

I test su benchmark autorevoli (ChartMimic, Plot2Code, ChartX) mostrano risultati eccezionali:

• SOTA Open-Source: CharTide-7B/8B supera significativamente tutti i modelli open-source attuali (come MSRL o ChartMaster).
• Competitività con i modelli chiusi: Il modello supera GPT-4o in diversi parametri e raggiunge prestazioni comparabili a GPT-5 (secondo le metriche dei benchmark utilizzati).
• Robustezza: Gli esperimenti di ablation confermano che ogni componente (i tre flussi SFT e il reward ibrido) contribuisce in modo sinergico alla precisione visiva e alla correttezza del codice.

5. Significato e Impatto

CharTide segna un cambio di paradigma nel campo della generazione di codice multimodale. Dimostra che la qualità e la struttura dei dati (decoupling delle capacità) sono più importanti della semplice quantità di dati. Il framework fornisce una base solida per lo sviluppo di agenti AI capaci di manipolare dati visivi con precisione scientifica, aprendo la strada a strumenti di data visualization automatizzata estremamente affidabili.