Technische Samenvatting: CoCoEvolve

Probleemstelling

Het artikel behandelt de fundamentele uitdagingen in cross-representatie begrip over drie modaliteiten: grafiekafbeeldingen ($V$), tabelgegevens ($T$) en visualisatiecode ($C$). Huidige AI-systemen worstelen met deze taak vanwege drie primaire knelpunten:

1. Inherent Eén-op-Veel Ambiguïteit: Een enkele grafiekafbeelding kan corresponderen met meerdere geldige tabelrepresentaties en meerdere geldende renderingsprogramma's. Bestaande benchmarks gaan vaak uit van ongeconstrueerde één-op-één grondwaarheden, wat slecht gedefinieerd is en de natuurlijke redundantie en ambiguïteit van deze mappingen niet vangt.
2. Supervisie Ambiguïteit en Kosten: Het nauwkeurig labelen van de enorme ruimte aan potentiële correspondenties is evenredig duur, wat leidt tot een tekort aan hoogwaardige, principiële annotaties.
3. Gebrek aan Principiële Optimalisatiesignalen: Bestaande methoden vertrouwen op vaste, taakspecifieke doelstellingen (bijv. grafiek-naar-tabel of grafiek-naar-code). Deze lokale doelstellingen slagen er niet in om globale semantische correctheid af te dwingen en generaliseren niet naar omgekeerde richtingen (bijv. tabel-naar-grafiek) of ongeziene representatiecombinaties (bijv. tabel-naar-code).

Methodologie: CoCoEvolve

De auteurs introduceren CoCoEvolve, een consistentie-gestuurd co-evolutie raamwerk ontworpen om modellen te optimaliseren zonder extra annotaties door gebruik te maken van de wederzijdse overeenstemming tussen representaties.

1. Principiële Constraint Definitie

Om de één-op-veel ambiguïteit op te lossen, grondeert het raamwerk één-op-veel mappingen naar precieze één-op-één correspondenties door de mappingfuncties uit te breiden met aanvullende beschrijvende constraints ($s \in S$). Dit grondeert de mappings zodanig dat een grafiekafbeelding $v$, een tabel $t$ en een codefragment $c$ worden behandeld als meerdere representaties van dezelfde onderliggende semantiek, geconditioneerd op specifieke constraints.

2. Co-Evolution Raamwerk

Het raamwerk maakt gebruik van twee modellen, $M_\theta$ (verwerkt $V \to T$ en $V \to C$) en $M_\psi$ (verwerkt $T \to C$), die co-evolueren via een representatiecyclus ($V \to T \to C \to V$).

• CoCoEvolve@Train (Tijdens de training): De modellen worden gezamenlijk getraind op ongeannoteerde grafiekafbeeldingen. In plaats van te vertrouwen op grondwaarheid-labels, wordt het trainingssignaal afgeleid van cross-representatie consistentie.
  • Hiërarchische Beloningen: Het systeem berekent een gedeelde beloning op basis van:
    • Code Consistentie ($F_c$): Meet de semantische overeenstemming tussen de door beide modellen gegenereerde code via executie-succes en embedding-gelijkenis.
    • Visuele Consistentie ($F_v$): Meet de visuele overeenstemming tussen gerenderde grafieken met behulp van vier metrieken: CLIP semantische gelijkenis, SSIM structurele gelijkenis, OCR tekstuele nauwkeurigheid en DINOv2 perceptuele gelijkenis.
    • Formaat Beloning ($F_f$): Zorgt voor goed gevormde gestructureerde outputs.
  • Gekoppelde Optimalisatie: De modellen zijn gekoppeld via sampling en beloning. $M_\psi$ conditioneert op de output van $M_\theta$, en het voordeel voor elk model wordt afgeleid van een beloningsfunctional die afhankelijk is van de output van het andere model. Dit voorkomt degeneratieve oplossingen waarbij modellen samenwerken om wederzijds consistente maar semantisch incorrecte outputs te produceren door individuele grounding-beloningen tegen de originele grafiek op te nemen.
• CoCoEvolve@Test (Tijdens de test): Tijdens de inferentie past het raamwerk dezelfde consistentie-doelstelling toe om de modellen co-optimaal te optimaliseren. Gegeven een input, genereert het meerdere rollouts van beide modellen en selecteert het de beste output op basis van de consistentie-beloningen, wat effectief de voorspelling verfijnt tijdens de inferentie zonder de modelgewichten bij te werken.
• Gesuperviseerde Extensie: Het raamwerk kan naadloos een teacher-module ($M$) integreren wanneer er hoogwaardige annotaties beschikbaar zijn. Dit maakt een lineaire annealing-strategie mogelijk waarbij het systeem overgaat van teacher-gestuurde co-training naar volledig zelf-gesuperviseerde co-evolutie.

3. Evaluatie Suite (CoCoEvolve@Eval)

De auteurs stellen een verenigde evaluatie suite voor die de onbetrouwbaarheid vermijdt van het reduceren van complexe beoordelingen tot enkelvoudige scores. Het deelt de evaluatie op in interpreteerbare, multidimensionale metrieken:

• Rule-as-Judge: Deterministische metrieken voor structurele, semantische, perceptuele en tekstuele nauwkeurigheid in grafieken; uitvoerbaarheid en codekwaliteit in code; en schema/waarde nauwkeurigheid in tabellen.
• LLM-as-Judge & MLLM-as-Judge: Verfijnde scoring (0-5 schaal) over dimensies zoals datacorrectheid, grafiektype, structurele getrouwheid en visuele stijl, in plaats van een enkele brede score.

Belangrijkste Bijdragen

1. Principiële Constraint Definitie: Het artikel introduceert een formele definitie om inherente één-op-veel mappingen te gronden naar precieze één-op-één correspondenties, waarmee een gat wordt gedicht dat door bestaande benchmarks werd genegeerd.
2. CoCoEvolve Raamwerk: Een nieuw co-evolutie raamwerk dat cross-representatie consistentie transformeert in een principieel, annotatie-vrij zelf-supervisiesignaal. Het maakt optimalisatie mogelijk tijdens zowel de training- als de test-tijd, ongeacht de taakrichtingen en representatiecombinaties.
3. Verenigde Evaluatie Suite: Een systematische evaluatie suite die alle zes de cross-representatie taken in de cyclus dekt, gebruikmakend van multidimensionale beoordelingen om de beperkingen van huidige LLM/MLLM-gebaseerde judging-benaderingen te overwinnen.
4. Empirische Validatie: Uitgebreide experimenten die significante prestatiewinsten demonstreren over meerdere benchmarks en modelarchitecturen.

Resultaten

Experimenten werden uitgevoerd op vier benchmarks (ChartCoder, ChartNet, ChartMimic, Chart2Code) met diverse MLLMs en LLMs (bijv. Qwen3-VL, InternVL3.5, DeepSeek-Coder).

• Prestatiewinsten: CoCoEvolve verbetert consequent de prestaties in zowel training- als test-tijd instellingen.
  • Op niet-overlappende testsets levert het tot wel 37,91% winst op.
  • In out-of-domain settings bereiken de verbeteringen tot wel 46,88%.
  • De succesratio's van code-executie verbeterden aanzienlijk, waarbij sommige configuraties een 100,00% sandbox executie-succes bereikten.
• Generaliseerbaarheid: De methode demonstreert robuuste generalisatie naar out-of-domain taken (variërende complexiteit en domeinen zoals fysica, financiën, biologie) en verschillende reinforcement learning algoritmen (GRPO, DAPO, GSPO).
• Ablatie Studies: De inclusie van een teacher-module op zowel training- als test-tijd levert de meest gebalanceerde prestaties op, terwijl test-tijd optimalisatie alleen consistent resultaten verbetert over alle zes de taken.

Betekenis en Claims

Het artikel claimt dat CoCoEvolve een schaalbaar alternatief biedt voor annotatie-zware pipelines voor gestructureerde redeneertaken. Door cross-modale consistentie als een betrouwbaar supervisiesignaal te behandelen, stelt het raamwerk modellen in staat om "symbiotisch te co-evolueren", waarbij de verbetering van het ene model sterkere supervisie biedt voor het andere. De auteurs stellen dat deze aanpak effectief de ambiguïteit van supervisie en het gebrek aan richting-adaptieve optimalisatiesignalen aanpakt, wat leidt tot verbeterde cross-representatie begrip vermogens die generaliseren over taken, richtingen en domeinen. Het werk suggereert dat het afdwingen van globale semantische correctheid via consistentie een levensvatbaar pad vooruit is voor multimodale redenering zonder te vertrouwen op vaste grondwaarheid-labels.