Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) zoals GPT-4V en Qwen-VL hebben indrukwekkende prestaties geleverd in visuele taken, maar stuiten op aanzienlijke beperkingen bij Chart-to-Code generatie. Deze taak vereist dat het model een uitvoerbare code (bijv. Python/Matplotlib) genereert die een gegeven grafiek exact reproduceert.

De huidige uitdagingen zijn tweeledig:

1. Visueel Begrip: Grafieken hebben een hoge informatiedichtheid en complexe lay-outs. MLLM's halen vaak niet alle structurele elementen (tekst, kleuren, assen, type grafiek) correct uit de afbeelding.
2. Code Vertaling: Het vertalen van deze visuele informatie naar semantisch correcte en uitvoerbare code is complex. Directe prompting leidt vaak tot onnauwkeurige code of visuele afwijkingen.

Bestaande methoden zoals ChartCoder vereisen training (en werken dus niet op gesloten modellen zoals GPT-4o), terwijl METAL (een trainingsvrije multi-agent methode) tekortschiet omdat het code alleen optimaliseert op basis van één enkele, soms onbetrouwbare metric, wat leidt tot onevenwichtige verbeteringen.

Methodologie: ChartIR

Het paper introduceert ChartIR, een trainingsvrij, model-onafhankelijk iteratief raamwerk dat de generatie van grafiekcode verbetert via gestructureerde instructies. Het proces is opgedeeld in twee fasen:

Fase 1: Initiële Code Generatie

In plaats van direct code te genereren, voert het model eerst een gestructureerde beschrijving uit van de referentiegrafiek.

• Beschrijvingsinstructie: Het model genereert een tekstuele beschrijving ($\delta$) die visuele elementen vastlegt (aantal subplots, type grafiek, tekstlabels, kleuren, etc.).
• Implementatie: Voor gesloten modellen (GPT-4o) wordt dit direct gedaan. Voor open-source modellen (Qwen2-VL) wordt een gespecialiseerd model (Qwen2.5-VL) fijngefineerd op een dataset van 5.000 grafiek-beschrijving-paren om de kwaliteit van deze beschrijvingen te waarborgen.
• Code Generatie: De initiële code ($C_g$) wordt gegenereerd door het MLLM met als input zowel de originele afbeelding als de gegenereerde tekstuele beschrijving.

Fase 2: Iteratieve Verfijning

De initiële code wordt iteratief verbeterd totdat convergentie wordt bereikt.

1. Rendering: De gegenereerde code wordt uitgevoerd om een nieuwe grafiek ($I_g$) te renderen.
2. Verschil-analyse: Het MLLM vergelijkt de gegenereerde grafiek ($I_g$) met de referentiegrafiek ($I_r$) en genereert een verschilbeschrijving ($\mu$). Deze beschrijving identificeert expliciet discrepanties in tekst, kleur, lay-out en type.
3. Code Update: Op basis van de referentiegrafiek, de initiële code, de oorspronkelijke beschrijving en de nieuwe verschilbeschrijving, genereert het model een geüpdatete code ($C_{new}$).
4. Update-criterium: Een update wordt alleen geaccepteerd als de nieuwe grafiek kwantitatief dichter bij de referentie ligt dan de vorige, gemeten via een gewogen gemiddelde van meerdere metrics (CLIP, SSIM, PSNR, MSE, Hamming Distance).
5. Convergentie: Het proces stopt wanneer de foutscore niet langer daalt na een bepaald aantal iteraties.
6. Debugging: Een gespecialiseerde LLM wordt ingeschakeld om syntaxisfouten in de gegenereerde code automatisch te corrigeren.

Belangrijkste Bijdragen

1. ChartIR Framework: Een trainingsvrij, model-agnostisch raamwerk dat de kloof tussen visueel begrip en code-generatie overbrugt zonder extra training van de basis-MLLM's.
2. Gestructureerde Beschrijvingsmechanisme: De introductie van een tussenliggende tekstuele representatie die multi-dimensionale visuele kenmerken vastlegt, wat essentieel is voor nauwkeurige code-generatie.
3. Iteratieve Verschil-gebaseerde Verfijning: Een strategie die niet afhankelijk is van één enkele metric, maar holistische verbeteringen nastreeft door expliciete vergelijkingen van verschillen tussen de gegenereerde en referentiegrafiek.

Resultaten

Het team heeft ChartIR getest op twee benchmarks: Plot2Code en ChartMimic, met zowel open-source (Qwen2-VL) als gesloten-source (GPT-4o) modellen.

• Prestaties: ChartIR overtreft consistent zowel directe generatie als de bestaande methode METAL.
  • Op Plot2Code met GPT-4o steeg de GPT-4o Score (een menselijke beoordeling) van 5.61 (direct) en 6.02 (METAL) naar 6.56 (ChartIR).
  • Op ChartMimic met Qwen2-VL steeg de score van 2.20 (direct) en 2.32 (METAL) naar 3.86 (ChartIR).
• Metrics: Er zijn significante verbeteringen geboekt in zowel hoog-niveau scores (GPT-4o Score) als laag-niveau metrics (Tekst, Type, Lay-out, Kleur) en traditionele beeldvergelijkingsmetrics (PSNR, SSIM, MSE).
• Ablatie-studies: Experimenten tonen aan dat het verwijderen van zowel de beschrijvingscomponent als de verschil-component leidt tot aanzienlijke prestatiedalingen. Dit bevestigt dat beide componenten noodzakelijk zijn voor succes.

Betekenis en Conclusie

ChartIR biedt een robuuste oplossing voor het probleem van het reproduceren van grafieken via code. Door de taak te decomponeren in visueel begrip (via gestructureerde beschrijving) en code-translatie (via iteratieve verschil-analyse), omzeilt het de beperkingen van directe prompting en de onevenwichtige optimalisatie van eerdere methoden.

De methode is bijzonder waardevol omdat het werkt op zowel gesloten commerciële modellen (waar training niet mogelijk is) als open-source modellen. Het paper concludeert dat het gebruik van tussenliggende, semantische representaties cruciaal is voor het verbeteren van multimodale redeneertaken en dat ChartIR een solide blauwdruk vormt voor toekomstig onderzoek in multimodale grafiek-generatie.