v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

Stel je voor dat je een lastige puzzel probeert op te lossen, maar de stukjes zitten verborgen in een gigantische, complexe afbeelding. In de wereld van kunstmatige intelligentie zijn er speciale "multimodale" breinen die tegelijkertijd naar plaatjes kunnen kijken en tekst kunnen lezen. Meestal proberen deze AI-modellen een wiskundeprobleem met een diagram op te lossen door slechts één snelle blik op de afbeelding te werpen, de algemene sfeer te onthouden, en vervolgens de rest van het probleem alleen met woorden op te lossen. Het is alsof je vijf seconden naar een kaart kijkt, je ogen sluit en dan probeert naar een nieuwe stad te rijden zonder ooit nog terug te kijken naar de kaart. Het probleem is dat naarmate de rijinstructies langer en ingewikkelder worden, de AI begint te vergeten waar de bochten precies zitten of hoe de herkenningspunten eruitzien. Het verliest zijn "grounding" (verankering), wat betekent dat het afdwaalt van het visuele bewijs dat het nodig heeft om het juist te doen.

Dit artikel introduceert een nieuwe manier waarop deze AI-breinen kunnen denken, genaamd v1. In plaats van alleen maar één keer te kijken en dan te gokken, leert v1 het model om actief naar de specifieke delen van de afbeelding te wijzen die het moet onthouden, die informatie te kopiëren en deze terug in zijn denkproces te plakken wanneer het vastloopt. Het is als een superintelligente student die, terwijl hij een lange wiskundige som oplost, steeds weer even naar het diagram reikt om met een vinger op een specifiek deel te tikken en zegt: "Wacht, laat me die hoek nog eens even controleren," om vervolgens dat specifieke visuele detail direct weer in zijn aantekeningen te verwerken om de berekening af te maken. De onderzoekers ontdekten dat deze eenvoudige "point-and-copy" (wijzen-en-kopiëren) truc de AI helpt om gefocust te blijven op de juiste delen van de afbeelding, wat leidt tot veel betere antwoorden op moeilijke visuele wiskundetoetsen.

Het Probleem: De "Eén-Blik"-valstrik

De meeste huidige AI-modellen die kunnen zien en lezen, zijn als studenten die de opdracht krijgen om een diagram een fractie van een seconde te bestuderen en daarna hun ogen te sluiten. Ze coderen de afbeelding één keer in hun geheugen en proberen vervolgens het probleem te redeneren met behulp van alleen tekst. De onderzoekers merkten een gebrek in deze aanpak op: naarmate de redenering langer en complexer wordt, verliest het model zijn focus. Het is alsof de ogen van de student glazig worden; ze stoppen met het geven van aandacht aan de belangrijke details in de afbeelding. Het artikel laat zien dat naarmate de AI meer stappen uitschrijft om een probleem op te lossen, de aandacht voor de werkelijke afbeelding vervaagt en het fouten begint te maken omdat het niet langer "kijkt" naar het bewijs dat het nodig heeft.

De Oplossing: Point-and-Copy

Om dit op te lossen, heeft het team v1 ontwikkeld, een lichtgewicht upgrade voor deze AI-modellen. Zie v1 als het geven van een magische aanwijzer en een fotokopieerapparaat aan de AI. Wanneer de AI over een probleem nadenkt en beseft dat het een specifelijk deel van de afbeelding moet controleren — zoals een hoek in een driehoek of een staaf in een grafiek — gokt het niet zomaar. In plaats daarvan gebruikt het een "wijzingsmechanisme" om exact dat stukje van de afbeelding te selecteren.

Zodra het wijst, "kopieert" het de visuele informatie van die plek en plakt het direct terug in de stroom van zijn gedachten. Dit betekent dat de AI de visuele bewijslast zo vaak als nodig kan herbezoeken, waardoor de afbeelding vers in zijn geheugen blijft terwijl hij de wiskunde uitvoert. Cruciaal is dat dit niet gaat over het genereren van nieuwe afbeeldingen of het tekenen van nieuwe plaatjes; het gaat om het opnieuw benaderen van de originele afbeeldingsgegevens met chirurgische precisie. Het model leert te zeggen: "Ik moet weer even naar de rode staaf kijken," wijst ernaar, kopieert de gegevens, en vervolgt vervolgens zijn redenering met die verse visuele context.

Hoe ze de AI hebben geleerd

Je kunt een AI niet simpelweg vertellen om "harder te kijken"; het moet getraind worden om dat te doen. De onderzoekers bouwden een enorme dataset genaamd v1g, die 300.000 voorbeelden bevat van wiskundeproblemen waarbij de redeneerstappen expliciet gekoppeld zijn aan specifieke delen van de afbeelding. Ze gebruikten een slim, geautomatiseerd proces om deze data te creëren:

1. Ze namen bestaande redeneerpaden van andere AI-modellen.
2. Ze gebruikten een krachtig taalmodel om die paden te ontleden, waarbij ze identificeerden waar de AI naar de afbeelding had moeten kijken.
3. Ze voegden "grounding" annotaties toe, die werken als digitale plaknotities die zeggen: "Wanneer je deze hoek vermeldt, moet je naar dit specifieke gebied van de afbeelding kijken."

Deze dataset leerde het v1-model dat het, wanneer het vastloopt of een stap moet verifiëren, moet uitreiken, naar de juiste plek moet wijzen en de informatie moet kopiëren.

De Resultaten: Slimmer, Gefocuste Redenering

Het team testte v1 op verschillende uitdagende wiskunde-benchmarks, waaronder MathVista, MathVision en MathVerse. Deze tests zitten vol met diagrammen, grafieken en geometrische vormen die zorgvuldige visuele inspectie vereisen.

De resultaten waren indrukwekkend. Hoewel v1 een relatief klein model is (7 miljard parameters), presteerde het beter dan veel grotere modellen en andere gespecialiseerde redeneermodellen.

• Op de MathVision benchmark scoorde het basismodel zonder de wijsfunctie 23,6.
• Toen de wijsfunctie werd toegevoegd tijdens de training maar niet werd gebruikt tijdens de test, steeg de score licht naar 25,3.
• Maar toen het model werd toegestaan om de point-and-copy functie te gebruiken tijdens de test, sprong de score naar 34,5.

Dit toont aan dat het vermogen om de afbeelding actief te herbezoeken de belangrijkste drijfveer voor succes is. Het model werd niet alleen beter in wiskunde; het werd ook beter in kijken terwijl het wiskunde doet. In één voorbeeld, waar andere modellen de hoogste staaf in een grafiek verkeerd identificeerden, wees v1 correct naar de specifieke staaf, kopieerde de gegevens en berekende het juiste percentage. In een andere taak met een padvindingspuzzel met hexagonen, slaagde v1 erin om naar de juiste vormen te wijzen om de route te verifiëren, terwijl anderen verdwaalden.

Wat dit betekent

Het artikel suggereert dat de toekomst van multimodale redenering niet alleen gaat over het groter of slimmer maken van modellen voor tekstgeneratie. Het gaat erom ze het vermogen te geven om dynamisch toegang te krijgen tot visuele informatie wanneer ze dat nodig hebben. Door het model te laten "wijzen en kopiëren", ontdekten de onderzoekers een manier om het visuele bewijs in lijn te houden met de redeneerstappen, waardoor voorkomt dat het model afdwaalt van de waarheid.

De onderzoekers merken er voorzichtig bij op dat dit geen toverstaf is die elk probleem oplost. Soms wijst het model nog steeds naar het verkeerde gebied, of wijst het misschien te vaak, of worstelt het met zeer abstracte concepten die niet netjes in een kader passen. Echter, de kernbevinding is duidelijk: actieve visuele referentie helpt. Het verandert de AI van een student die even naar de kaart kijkt en dan op het beste rekent, in een navigator die constant de kaart controleert om ervoor te zorgen dat elke afslag correct is.