Technische Samenvatting: MoCA – Token-niveau Modaliteitsarbitrage voor Chart-to-Code Generatie

Probleemdefinitie

Chart-to-code generatie vereist dat een model de fijnmazige visuele details van een grafiekafbeelding interpreteert en uitvoerbare plottercode produceert die de originele afbeelding getrouw reproduceert. Deze taak vormt een unieke uitdaging: de vereisten voor visuele gronding (het herkennen van labels, kleuren, lay-outs) en codegeneratie (het construeren van logica, assen en structuren) zijn niet uniform over alle inputs.

• Visueel complexe grafieken: Vereisen precieze herkenning van dichte labels en subtiele visuele variaties, maar kunnen een eenvoudigere plotterlogica hebben.
• Code-intensieve grafieken: Kunnen eenvoudige visuals hebben, maar vereisen complexe logische structuren (bijv. gestapelde balken, aangepaste assen).

Bestaande benaderingen trainen ofwel visuele en coderingsvaardigheden afzonderlijk, of finetunen een enkel model waarbij deze vaardigheden verstrengeld zijn. Geen van beide strategieën modelleert expliciet de dynamische interactie tussen deze verschillende capaciteiten, wat vaak leidt tot fouten waarbij een model visuele details verkeerd leest of syntactisch incorrecte code genereert. Bovendien vertrouwen bestaande model-merging technieken vaak op statische, input-onafhankelijke parametercoëfficiënten, waardoor ze niet kunnen adapteren aan de variërende eisen van specifieke grafiekinstanties.

Methodologie: MoCA (Mixture of Cross-modal Arbitration)

De auteurs stellen MoCA voor, een framework dat is ontworpen om visuele en code-capaciteiten te scheiden in afzonderlijke paden, terwijl hun bijdragen tijdens de generatie dynamisch worden gecoördineerd.

1. Architectuur: Cross-modal Arbitration Block (CAB)

MoCA is gebouwd op een dual-branch architectuur waarbij een Visuele Branch en een Code Branch opereren als afzonderlijke transformaties binnen het model.

• Initialisatie: Het framework gebruikt Qwen2.5-VL-7B als het multimodale backbone en Qwen2.5-Coder-7B om de code-branch te initialiseren. Specifiek wordt de Visuele Branch geïnitialiseerd vanuit de Feed-Forward Network (FFN) parameters van het visie-taalmodel, terwijl de Code Branch wordt geïnitialiseerd vanuit de corresponderende FFN-parameters van het codemodel.
• De Arbiter: De kern van MoCA is een lichtgewicht Arbiter binnen elke CAB. Voor elke token $t$ op elke laag $l$, neemt de Arbiter de intermediaire verborgen representatie $h_{i,l,t}$ en voorspelt de branch-gewichten $\alpha_{i,l,t} = (\alpha^{vis}, \alpha^{code})$.
• Dynamische Coördinatie: De output van de CAB is een gewogen som van de twee branches:
  $$z_{i,l,t} = \alpha^{vis}_{i,l,t} B^{vis}(h_{i,l,t}) + \alpha^{code}_{i,l,t} B^{code}(h_{i,l,t})$$
  Dit stelt het model in staat om bijdragen toe te wijzen op basis van de specifieke input-instantie, de diepte van de netwerklaag en de huidige generatie-token, in plaats van vaste globale coëfficiënten te gebruiken.

2. Trainingsframework

MoCA maakt gebruik van een tweetraps trainingsstrategie om gestructureerde redenering af te stemmen op uitvoerbare codegeneratie:

• Fase 1: Supervised Fine-Tuning (SFT) met Self-Distilled SoT

  • Het model wordt getraind op paren van grafiek-code data, aangevuld met Snippet-of-Thought (SoT) trajecten.
  • Deze trajecten breken de mapping van visuele input naar code af in expliciete intermediaire stappen.
  • Self-Distillation: In plaats van ruwe door de docent gegenereerde SoT-data te gebruiken, passen de auteurs self-distillation toe om trajecten te produceren die beter aansluiten bij de eigen generatieverdeling van MoCA, waardoor de discrepantie tussen training en inferentie wordt verkleind.
  • Het model wordt geoptimaliseerd met standaard autoregressieve cross-entropy loss over de gecombineerde SoT- en code-sequenties.

• Fase 2: Reinforcement Learning (RL)

  • Het model wordt verder geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO).
  • Een multidimensionale beloningsfunctie wordt toegepast, die vijf signalen aggregeert:
    1. Format Consistentie ($R_{fmt}$): Naleving van de outputstructuur.
    2. Redeneer Consistentie ($R_{con}$): Afstemming tussen de SoT en de gegenereerde code.
    3. Structurele Getrouwheid ($R_{str}$): Reconstructie van grafiekattributen via AST-analyse.
    4. Executie Geldigheid ($R_{exec}$): Of de code succesvol draait.
    5. Visuele Gelijkenis ($R_{vis}$): Vergelijking tussen de gerenderde grafiek en de referentie-afbeelding.
  • Deze beloningen bieden zowel proces-niveau (redenering) als resultaat-niveau (executie/visueel) toezicht.

Belangrijkste Bijdragen

1. Formulering van Adaptieve Coördinatie: Het paper formuleert chart-to-code generatie als een cross-modaal capaciteitscoördinatieprobleem, en stelt dat visuele gronding en codegeneratie complementair maar heterogeen zijn en een expliciete, dynamische interactiemodellering vereisen.
2. MoCA Architectuur: Introductie van een dual-branch architectuur met de Cross-modal Arbitration Block (CAB). Dit behoudt afzonderlijke visuele en code-expertise terwijl een lichtgewicht, input-geconditioneerde Arbiter de bijdragen op token- en layerniveau dynamisch toewijst.
3. Training en Analyse Framework: Vestiging van een trainingspipeline die self-distilled SoT-supervisie combineert met multidimensionale RL-beloningen. De auteurs leveren empirisch bewijs dat de Arbiter gestructureerde allocatiepatronen leert (die systematisch variëren over tokens, lagen en instanties) in plaats van willekeurige of uniforme gewichten.

Experimentele Resultaten

MoCA werd geëvalueerd op drie benchmarks: ChartMimic, Plot2Code en ChartX.

• Prestaties: MoCA behaalde state-of-the-art of concurrerende resultaten over algemene domeinen en grafiek-gespecialiseerde modellen.
  • Op ChartMimic behaalde het de beste prestaties over alle drie de metrieken (Execution Rate: 88.83, Low-Level: 75.13, High-Level: 73.48), waarmee het de sterkste baselines met aanzienlijke marges versloeg.
  • Op Plot2Code behaalde het de hoogste Code Pass rate (87.88), waarmee het de op één na beste baseline met 2.27 punten versloeg.
  • Het behield concurrerende prestaties op semantische metrieken (Text Match) en perceptuele metrieken (GPT Score), en presteerde vaak beter dan veel grotere modellen (bijv. Qwen2.5-VL-72B) op het gebied van executie en reconstructiegetrouwheid.
• Ablatie-studies:
  • Trainingsfasen: Zowel SFT als RL bleken noodzakelijk; SFT vestigde een stabiele mapping, terwijl RL de uitvoerbaarheid en visuele getrouwheid verbeterde.
  • Branch Initialisatie: Een variant met twee visuele branches (Visueel + Visueel) presteerde slechter dan MoCA, wat bevestigt dat de winst voortkomt uit complementaire expertise-initialisatie, en niet alleen uit het aantal parameters.
  • Arbitrage: Een variant met vaste branch-gewichten (0.5/0.5) presteerde minder goed dan MoCA, wat de noodzaak van input-geconditioneerde arbitrage aantoont.
  • Statische Merging: MoCA presteerde aanzienlijk beter dan statische parameter-merging benaderingen (zoals VisCodex), wat de beperking van vaste coëfficiënten voor heterogene taken onderstreept.

Betekenis en Claims

Het paper claimt dat de prestatiewinsten van MoCA niet uitsluitend kunnen worden toegeschreven aan een grotere modelgrootte of extra trainingsdata. In plaats daarvan komen de verbeteringen voort uit de gezamenlijke bijdragen van:

1. Complementaire Branch Initialisatie: Het benutten van vooraf getrainde expertise in zowel visie als code.
2. Input-Geconditioneerde Arbitrage: Het vermogen om de afhankelijkheid van visuele versus code-branches dynamisch aan te passen op basis van de specifieke behoeften van de input en de generatiecontext.

De auteurs concluderen dat het expliciet modelleren van de interactie tussen visuele gronding en code-synthese via token-niveau arbitrage een cruciale stap voorwaarts is voor chart-to-code generatie, waardoor modellen zich adaptief kunnen aanpassen aan de diverse eisen van verschillende typen grafieken. Toekomstig werk suggereert het verkennen van meer parameterefficiënte fusieparadigma's om een vergelijkbare integratie te bereiken zonder het aantal modelparameters te verhogen.