CharTide: Data-Centric Chart-to-Code Generation via Tri-Perspective Tuning and Inquiry-Driven Evolution

Technische Samenvatting: CharTide

1. Het Probleem: De "Scaling Wall" in Chart-to-Code

Het genereren van programmeercode vanuit een grafiek (Chart-to-Code) is een complexe taak die zowel visuele precisie als syntactische correctheid vereist. Bestaande Vision-Language Models (VLM's) lopen tegen twee fundamentele barrières aan:

• Data-homogeniteit (SFT Plateau): Het simpelweg opschalen van standaard "grafiek-code paren" werkt niet efficiënt. Omdat programmeercode veel boilerplate-syntax bevat (die weinig visuele informatie draagt), worden modellen getraind om patronen te memoriseren in plaats van de diepe visuele details van de grafiek te begrijpen. Dit leidt tot een "plateau" in prestaties.
• Subjectieve Evaluatie (RL Bottleneck): Reinforcement Learning (RL) wordt vaak gebruikt om modellen te verfijnen, maar huidige methoden vertrouwen op ofwel rigide regelgebaseerde matching (die te beperkt is), ofwel op "VLM-as-a-Judge" (die subjectief, onstabiel en een 'black box' is). Hierdoor is de feedback voor het model niet betrouwbaar genoeg voor precisiewerk.

2. Methodologie: Het CharTide Framework

De auteurs introduceren CharTide, een data-centrisch framework dat bestaat uit twee hoofdfasen:

A. Tri-Perspective Decomposed SFT (Supervised Fine-Tuning)
Om de homogeniteit te doorbreken, wordt de training opgesplitst in drie orthogonale datastromen. Dit dwingt het model om verschillende vaardigheden apart te leren:

1. Visual Perception Stream (Grafiek $\rightarrow$ Bijschrift): Richt zich op het nauwkeurig koppelen van visuele kenmerken aan tekstuele beschrijvingen (dense captioning).
2. Code Logic Stream (Bijschrift $\rightarrow$ Code): Een puur tekstuele stroom waarbij het model leert om code te schrijven op basis van een beschrijving, zonder visuele ruis. Dit versterkt de logische en syntactische vaardigheden.
3. Modality Fusion Stream (Grafiek $\rightarrow$ Code): De uiteindelijke integratie waarbij het model leert de visuele signalen direct om te zetten in code, waarbij gebruik wordt gemaakt van gerenderde afbeeldingen om discrepanties tussen de bronafbeelding en de gegenereerde code te minimaliseren.

B. Inquiry-Driven RL (Reinforcement Learning)
In plaats van subjectieve scores, introduceert CharTide een objectief verificatiemechanisme gebaseerd op het principe van informatie-invariantie: een gegenereerde grafiek is correct als een model dezelfde antwoorden geeft op vragen over de originele grafiek én de gegenereerde grafiek.

• De Inspector: Een bevroren model dat de output controleert via een set van atomische VQA-taken (Visual Question Answering).
• Hybride Beloningsfunctie ($R_{total}$):
  • $r_{QA}$ (Semantische consistentie): Een beloning gebaseerd op de nauwkeurigheid van de antwoorden op de vragen (bijv. "Wat is de waarde van X?").
  • $r_{vis}$ (Visuele consistentie): Een beloning gebaseerd op de structurele gelijkenis tussen de originele en de gegenereerde afbeelding (gebruikmakend van de WebSSL-1B encoder).

3. Belangrijkste Bijdragen

• Tri-Perspective SFT: Een strategie die de koppeling tussen visuele perceptie en programmeerlogica ontkoppelt, waardoor een 7B-model beter presteert dan veel grotere (235B) baselines.
• Inquiry-Driven RL: Een nieuw paradigma voor alignment dat subjectieve voorkeuren vervangt door deterministische, feitelijke verificatie via QA-taken.
• Grootschalige Dataset: De constructie van een hoogwaardige dataset van 2 miljoen samples door middel van geavanceerde distillatie en filtering.

4. Resultaten

De experimenten op benchmarks zoals ChartMimic, Plot2Code en ChartX laten indrukwekkende resultaten zien:

• State-of-the-Art (SOTA): CharTide-7B/8B presteert significant beter dan alle open-source baselines (zoals MSRL en ChartMaster).
• Competitief met Closed-Source: Het model overtreft GPT-4o op bepaalde metrieken en presteert vergelijkbaar met GPT-5.
• Robuustheid: Ablatiestudies tonen aan dat de ontkoppeling van data (SFT) en de objectieve beloningen (RL) essentieel zijn voor het bereiken van zowel een hoge executie-rate (code die werkt) als een hoge visuele getrouwheid (code die er correct uitziet).

5. Betekenis en Impact

CharTide bewijst dat voor complexe taken zoals code-generatie, de kwaliteit en structuur van de data belangrijker zijn dan de pure omvang van de dataset of het aantal parameters van het model. Door training te ontleden in perceptie, logica en fusie, biedt dit werk een blauwdruk voor het trainen van gespecialiseerde multimodale agenten die extreme precisie vereisen in wetenschappelijke en technische domeinen.