RECODE: Reasoning Through Code Generation for Visual Question Answering

Het paper introduceert RECODE, een agentisch framework dat multimodale redenering verbetert door visuele elementen zoals grafieken en diagrammen om te zetten in verifieerbare uitvoerbare code via een proces van afbeelding naar code en terug.

De kern

Stel je voor dat je een complexe grafiek of een lastig meetkundig diagram bekijkt. Voor een mens is het vaak duidelijk wat er gebeurt, maar voor een kunstmatige intelligentie (zoals een slimme computer) is het alsof ze naar een schilderij kijken en proberen te raden wat er in de verf zit, zonder de onderliggende structuur te begrijpen. Ze zien alleen de pixels, de kleuren en de lijnen, maar ze kunnen niet echt "rekenen" of controleren of hun antwoord klopt.

Deze nieuwe paper, genaamd RECODE, lost dit probleem op met een slimme truc. Het idee is als volgt:

De Truc: Van "Kijken" naar "Bouwen"

In plaats van dat de computer alleen naar de afbeelding kijkt en een gok doet, laten we de computer de afbeelding terugbouwen.

Stel je voor dat je een ingewikkeld LEGO-kasteel ziet. De oude manier was om te proberen te raden hoe het eruitzag door alleen naar de foto te staren. De nieuwe manier (RECODE) is:

1. De computer probeert eerst de bouwinstructies (de code) te schrijven die nodig zijn om dat kasteel precies na te bouwen.
2. Het maakt een paar verschillende versies van die instructies (alsof het drie verschillende bouwhandboeken schrijft).
3. Vervolgens laat het de computer die instructies uitvoeren. De computer bouwt het kasteel daadwerkelijk op het scherm.
4. Nu komt de slimme "criticus" (een controleur) kijken: "Klopt dit bouwwerk met de originele foto?" Als het niet klopt, past de computer de instructies aan en bouwt het opnieuw.

Waarom is dit zo krachtig?

Dit is als het verschil tussen gokken en rekenen.

• De oude manier (Pixel-perceptie): Het is alsof iemand naar een foto van een koekje kijkt en zegt: "Ik denk dat er 3 chocoladevlokken op zitten." Ze kunnen het niet controleren zonder de foto te veranderen.
• De RECODE-methode: De computer schrijft een recept: "Neem 3 vlokken en leg ze op de koek." Omdat het recept (de code) uitvoerbaar is, kan de computer het echt doen en tellen: "Ja, ik heb er precies 3 gebruikt. Het antwoord is dus 3."

Wat levert dit op?

Door visuals (grafieken, diagrammen, meetkunde) om te zetten in uitvoerbare code, verandert het probleem. Het wordt niet langer een vaag "wat zie ik?"-vraagstuk, maar een duidelijk "reken- en logisch" probleem.

De onderzoekers hebben getoond dat deze methode (RECODE) veel beter werkt dan andere methoden op moeilijke tests met grafieken en meetkunde. Het is alsof je een wiskundig probleem niet meer oplost door te gissen, maar door een exacte formule te schrijven en die uit te voeren.

Kortom: RECODE geeft computers een nieuwe bril. In plaats van alleen naar de buitenkant van een plaatje te kijken, leren ze de "bouwtekeningen" (de code) te achterhalen. Hierdoor kunnen ze niet alleen zien, maar ook verifiëren, rekenen en logisch redeneren met een precisie die ze voorheen misten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RECODE: Reasoning Through Code Generation for Visual Question Answering", geschreven in het Nederlands.

Probleemstelling

Multimodale Large Language Models (MLLM's) kampen met aanzienlijke beperkingen bij het uitvoeren van precieze redeneringen over gestructureerde visuele data, zoals grafieken, diagrammen en geometrische figuren. De huidige benaderingen vertrouwen voornamelijk op pixel-gebaseerde perceptie. Dit betekent dat het model de afbeelding "bekijkt" en probeert patronen te herkennen, maar hierbij ontbreekt een mechanisme voor verificatie. Zonder een externe controle kunnen deze modellen fouten maken bij het interpreteren van waarden, het uitvoeren van berekeningen of het volgen van logische stappen, wat leidt tot onnauwkeurige antwoorden op visuele vragen.

Methodologie: Het RECODE Framework

Om dit probleem op te lossen, introduceren de auteurs RECODE, een agentisch framework dat een nieuwe modus voor visuele redenering voorstelt: derendering. Dit is het proces waarbij visuele elementen worden omgezet in uitvoerbare code (reverse-engineering).

Het framework werkt volgens de volgende stappen:

1. Generatie van Kandidaten: Het systeem genereert meerdere kandidaat-programma's (code) die de invoerafbeelding zouden moeten reproduceren. In plaats van direct een antwoord te geven, probeert het model eerst de visuele structuur te reconstrueren via code.
2. Selectie door Critic: Een gespecialiseerde "critic" (evaluator) beoordeelt de gegenereerde programma's en selecteert de reconstructie die het meest trouw is aan de originele afbeelding.
3. Iteratieve Verfijning: Het proces is iteratief; de code wordt verfijnd totdat een hoge mate van nauwkeurigheid is bereikt.
4. Van Perceptie naar Symboliek: Door de afbeelding om te zetten in code, wordt het oorspronkelijke ambiguë perceptieprobleem getransformeerd naar een verifieerbaar, symbolisch probleem. Zodra de code correct is, kan het model deze uitvoeren om exacte berekeningen en logische inferenties uit te voeren, wat veel betrouwbaarder is dan pure visuele schatting.

Belangrijkste Bijdragen

• Derendering als Nieuwe Modus: Het paper introduceert het concept van derendering als een fundamenteel nieuwe aanpak voor visuele redenering, waarbij uitvoerbare code dient als tussenlaag voor verificatie.
• Agentic Framework: De ontwikkeling van RECODE, een systeem dat niet alleen code genereert, maar ook actief selecteert en verfijnt via een critic-mechanisme.
• Verschuiving van Pixel naar Code: Het bewijst dat het vertalen van visuele data naar symbolische code de beperkingen van pixel-gebaseerde modellen overbrugt en nauwkeurige wiskundige en logische redeneringen mogelijk maakt.

Resultaten

RECODE is getest op diverse benchmarks voor visuele redenering, waaronder:

• CharXiv
• ChartQA
• Geometry3K

De resultaten tonen aan dat RECODE significant beter presteert dan bestaande methoden die geen code gebruiken of die code uitsluitend inzetten voor eenvoudige taken zoals het tekenen van hulplijnen of het bijsnijden (croppen) van afbeeldingen. Door de volledige reconstructie van de visuele data via code, behaalt het model een hogere nauwkeurigheid bij het beantwoorden van complexe vragen.

Betekenis en Impact

Dit werk markeert een belangrijke stap voorwaarts in de ontwikkeling van multimodale AI. Het demonstreert dat het verankeren van visuele perceptie in uitvoerbare code een nieuwe weg opent voor meer accurate en verifieerbare redenering. In plaats van te vertrouwen op de "intuïtie" van een neurale netwerklag, biedt RECODE een mechanisme waarbij de redenering reproduceerbaar en controleerbaar is. Dit is cruciaal voor toepassingen waar precisie essentieel is, zoals data-analyse, wetenschappelijke visualisatie en geometrische probleemoplossing.