Technische Samenvatting: CURV - Verbeteren van Grafiekbegrip door Curriculum-gebaseerd Visueel Grondend Redeneren

Probleemdefinitie

Grafiekvraagbeantwoording (Chart Question Answering, CQA) vereist dat Multimodale Grote Taalmodellen (MLLM's) visuele begrip integreren met logisch redeneren. Huidige MLLM's worstelen echter met nauwkeurige visuele gronding en coherente redeneerketens. Voorlopige analyse wijst uit dat bestaande modellen lijden aan drie fundamentele beperkingen:

1. Decompositie: Het onvermogen om complexe problemen op te splitsen in coherente ketens van redeneringen, wat vaak leidt tot inconsistente tussenstappen.
2. Interleaved Visueel Redeneren: Het falen om individuele redeneerstappen nauwkeurig te gronden in de visuele input (bijv. het verkeerd lezen van grafiekwaarden of het focussen op onjuiste regio's).
3. Compositie: Moeite met het integreren van logisch redeneren met visuele gronding over meerdere stappen, wat leidt tot een disconnect tussen perceptie, redenering en conclusie.

Hoewel extrinsieke Chain-of-Thought (CoT) prompting en visuele aanwijzingen de prestaties verbeteren, missen modellen intrinsieke visuele gegronde redeneercapaciteiten. Zonder externe ondersteuning falen MLLM's vaak in het afstemmen van hun redenering op visueel bewijs, wat resulteert in fouten, zelfs wanneer de noodzakelijke informatie aanwezig is.

Methodologie: Het CURV-framework

De auteurs stellen CURV voor, een curriculum leerframework dat ontworpen is om extrinsieke CoT-prompting en visuele begeleiding te internaliseren in intrinsieke capaciteiten. De kernaanpak herformuleert CQA als een proces van meerstaps visueel gegrond redeneren, waarbij elke stap logisch redeneren koppelt aan dynamische visuele gronding.

1. Probleemherformulering

In plaats van een directe mapping $f_\theta: (I, Q) \to A$, deelt CURV de taak op in een gestructureerde progressieve keten:
$$f_\theta: (I, Q) \to \{(R_1, V_1), (R_2, V_2), \dots, (R_T, V_T)\} \to A$$
Waarbij $R_t$ de $t$-de redeneerstap is en $V_t$ de visuele regio-gronding van die stap.

2. Tweefasig Curriculum Training

CURV maakt gebruik van een tweefasig trainingsparadigma om deze capaciteiten te ontwikkelen:

• Fase I: Visuele Gronding (RV): Het model leert multimodale correspondenties te vestigen tussen redeneerstromen en visuele focuspunten. Het voorspelt de visuele focus $V_t$ die de redeneerstap $R_t$ op de afbeelding $I$ grondt. Het doel is om de grondingsverlies ($L_V$) te minimaliseren tussen voorspelde en grondwaarheid visuele focuspunten.
• Fase II: Interleaved Visueel Redeneren (RVA): Bouwend op Fase I, leert het model om proactief visuele gronding als feedback te gebruiken. Bij elke stap wordt de voorspelde visuele focus toegepast op de invoerafbeelding om een gegronde visuele staat $I_t$ te construeren, die vervolgens als extra input dient voor de volgende redeneerstap. Dit stelt het model in staat om de visuele aandacht dynamisch te verschuiven in overeenstemming met de evoluerende logische redenering. Het trainingsdoel balanceert redeneringstoezicht, grondingsverlies en uiteindelijke antwoordvoorspelling.

3. Visuele Grondingsstrategieën

Om het dynamisch verschuiven van de focus te faciliteren, implementeert het framework drie grondingsstrategieën:

• Applied (Toegepast): Semi-transparante highlight-overlays op relevante regio's.
• Boxed (Omsloten): Rode rechthoekige randen rond de focusregio's.
• Cropped (Uitgesneden): Ingezoomde subregio's die naast de volledige grafiek worden gepresenteerd.

4. Curriculumontwerp

Het framework maakt gebruik van een systematische progressie van taakcomplexiteit:

• Redeneerdiepte ($D$): Gedefinieerd door het aantal geneste logische functies dat vereist is (bijv. $f_1(f_2(...(x)))$).
• Visuele Complexiteit: Evolueert van enkelvoudige plots naar composities met meerdere plots.
• Curriculumniveaus:
  • Niveau 1: Fundamentele redenering met één operatie ($D=1$).
  • Niveau 2: Redenering met meerdere operaties op enkelvoudige grafieken ($D \ge 2$).
  • Niveau 3: Complexe redenering over meerdere subplots ($D \ge 3$), waarbij lokalisatie en relationeel begrip betrokken zijn.

Belangrijkste Bijdragen

1. CURV Framework: Een curriculum leerframework dat intrinsieke visuele redeneercapaciteiten ontwikkelt door de visuele aandacht progressief langs redeneerketens te verschuiven, van basis-taken naar complexe geneste redeneringen.
2. CCQA Dataset: Een schaalbare, synthetische Curriculum Chart Question Answering (CCQA) dataset. Deze bevat drie progressieve curriculumniveaus, ondersteunt vier generatiemodi en omvat diverse grafiektypen (staafdiagram, histogram, scatterplot, lijngrafiek, heatmap, cirkeldiagram, radar) over 30 domeincategorieën. De dataset is geconstrueerd met behulp van template-gebaseerde generatie om nauwkeurigheid en systematische dekking van redeneerpatronen te garanderen.
3. Visuele Grondingsstrategieën: De introductie en evaluatie van drie verschillende grondingsstrategieën (Applied, Boxed, Cropped) om de granulariteit en representatie van de visuele focus tijdens het redeneren te controleren.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat het verweven van redeneren met visuele gronding zorgt voor een stap-voor-stap afstemming tussen perceptie en logica, wat leidt tot significante verbeteringen over grafiektypen, complexiteitsniveaus en domeinen heen.

Experimentele Resultaten

Experimenten werden uitgevoerd op CCQA, real-world grafiekbenchmarks (ChartQA, ChartMuseum, CharXiv, ChartQA-Pro) en out-of-domain multimodale redeneringstaken (MathVista, MMMU-Pro).

• Prestaties op CCQA: CURV-getunede modellen behaalden tot wel 20,92% absolute verbetering ten opzichte van de baselines in de tweefasige training. De beste configuratie (CURV@Applied met Qwen2.5-VL-7B) presteerde 15,65% beter dan het basismodel en overtrof GPT-4o met 12,22%.
• Generalisatie: Modellen getraind op enkelvoudige plots generaliseerden effectief naar multi-plot grafieken (Niveau 3), met verbeteringen tot 7,10%.
• Real-World Benchmarks: CURV demonstreerde sterke generaliseerbaarheid naar real-world grafiekbegrip benchmarks, met verbeteringen van ≥1,20% over vier datasets.
• Out-of-Domain Redeneren: Het framework verbeterde de prestaties op out-of-domain multimodale redeneringstaken met tot wel 10,20%, wat valideert dat de voordelen voortkomen uit verbeterd visueel-structureel begrip in plaats van taakspecifieke adaptatie.
• Trainingsparadigma's: De aanpak is compatibel met Supervised Fine-Tuning (SFT), Reinforcement Learning (RL) en de combinatie daarvan. Het combineren van SFT en RL leverde de hoogste winsten op (tot 17,04%), hoewel SFT alleen een gunstiger prestatie-efficiëntie-evenwicht bood.

Betekenis en Claims

Het paper claimt dat CURV een fundament legt voor het ontwikkelen van zelfstandige visuele redeneercapaciteiten in MLLM's. Door het menselijke cognitieve proces van taakdecompositie, het verweven van visuele gronding en het componeren van oplossingen te internaliseren, beweegt CURV verder dan de afhankelijkheid van extrinsieke hulp.

Belangrijke bevindingen benadrukt door de auteurs zijn:

• Intrinsiek vs. Extrinsiek: Hoewel expliciete visuele gronding tijdens inferentie soms de prestaties kan verslechteren door foutaccumulatie, werkt het gebruik van visuele gronding als een trainingssignaal effectief om het vermogen te internaliseren om op relevante beeldcomponenten te focussen, wat de prestaties verbetert, zelfs in directe antwoordgeneratiemodi.
• Fundamenteel Leren: Training op fundamentele niveaus (Niveau 1 + 2) levert de meest consistente en substantiële winsten op over alle moeilijkheidsgraden, terwijl het uitsluitend vertrouwen op hoog-complexe data (Niveau 3) de fundamentele redeneercapaciteiten kan degraderen.
• Visuele Gronding als Brug: Visuele gronding dient als een integrale intermediaire brug tussen visie en redenering, in plaats van slechts een terminaal voorspellingsdoel. Expliciete grondingsstrategieën (met name "Applied" highlighting) bleken effectiever dan impliciete methoden.

Het werk suggt dat het nauw verweven van redeneren met dynamische visuele gronding een cruciaal mechanisme is voor het verbeteren van grafiekbegrip en algemene multimodale redeneercapaciteiten.