StemBind: When MLLMs Get Lost Between Rules and Instances in Abstract Visual Reasoning
Het artikel introduceert StemBind, een diagnostische benchmark die een hardnekkige "binding gap" onthult in multimodale grote taalmodellen waarbij ze, ondanks het correct identificeren van visuele regels, er vaak in falen die regels te koppelen aan specifieke instanties tijdens abstract visueel redeneren, een beperking die noch modelschaalvergroting noch expliciete denkmodi momenteel oplost.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer lastige visuele puzzeltest aflegt, zoals die gebruikt wordt om menselijke intelligentie te meten (denk aan de Raven's Progressive Matrices). Je kijkt naar een raster van vormen, ontdekt de verborgen regel die de vormen met elkaar verbindt, en kiest het juiste stukje om het patroon te voltooien.
Stel je nu een superintelligente AI voor die deze test maakt. Hier is het vreemde dat het onderzoek STEMBIND ontdekte: De AI kent de regel vaak perfect, maar kiest toch het verkeerde antwoord.
Het is alsoals een student die de volledige wiskundige definitie van een formule kan opzeggen en precies kan uitleggen hoe deze werkt, maar er vervolgens faalt bij het correct invullen van de getallen in de formule om het uiteindelijke antwoord te krijgen.
Hier is een overzicht van wat de onderzoekers hebben gevonden, gebruikmakend van eenvoudige analogieën:
1. Het Probleen: De "Lost in Translation" Kloof
Huidige AI-tests kijken meestal alleen naar het eindantwoord: "Heb je het goed of fout gedaan?" Dit is alsof een leraar een wiskundetoets beoordeelt door alleen naar het eindcijfer te kijken, waarbij wordt genegeerd of de student de stappen daartussen echt heeft begrepen.
De onderzoekers hebben een nieuwe test gebouwd genaamd STEMBIND om in het brein van de AI te kijken. Ze stelden de AI drie vragen over dezelfde puzzel:
- Perceptie: "Welke vormen zie je?" (Kun je de ingrediënten zien?)
- Regel: "Wat is het patroon?" (Ken je het recept?)
- Volledig: "Welk stukje maakt de puzzel compleet?" (Kun je het gerecht bereiden?)
De Schokkende Ontdekking:
Op 22 van de 24 verschillende geteste AI-modellen kon de AI de vormen correct beschrijven en de regel correct benoemen. Maar wanneer de AI werd gevraagd om het definitieve antwoord te kiezen, faalde het.
- Analogie: Stel je een chef-kok voor die perfect een recept voor een taart kan beschrijven en elk ingrediënt kan opnoemen, maar wanneer er wordt gevraagd om de taart te bakken, de taart ondersteboven in de oven zet. Ze kennen de theorie, maar ze kunnen die theorie niet binden aan de specische handeling van het bakken.
2. De Specifieke Boosdoener: De "Mapping" Stap
De onderzoekers hebben het denkproces onderverdeeld in vier stappen (gebaseerd op een beroemde psychologische theorie):
- S1 (Encoderen): De vormen zien.
- S2 (Infereren): De regel begrijpen.
- S3 (Mappen): <-- Het Probleemgebied De regel verbinden met de specifieke antwoordopties.
- S4 (Toepassen): Het definitieve antwoord kiezen.
Ze ontdekten dat de AI vastloopt bij S3. Het is alsof je een kaart hebt en een bestemming, maar vergeet welke straat naar welk gebouw leidt. De AI weet dat de regel "90 graden draaien" is, maar als de AI naar de vier opties kijkt, kan hij niet bepalen welk stukje het resultaat is van die rotatie.
3. Wat helpt niet?
Het papier testte twee veelvoorkomende manieren waarop mensen denken dat AI beter wordt:
- De AI groter maken (Scaling): Ze probeerden veel grotere, krachtigere versies van de AI te gebruiken.
- Resultaat: De grotere AI werd beter in het zien van de vormen en het benoemen van de regels, maar hij faalde nog steeds in het kiezen van het juiste uiteindelijke antwoord. Het is alsof je een student een grotere bibliotheek geeft; ze weten meer feiten, maar ze kunnen nog steeds dat specifieke probleem niet oplossen.
- De AI laten "denken" (Denkmodus): Ze lieten de AI zijn gedachten opschrijven voordat hij antwoord gaf (zoals het laten tonen van de uitwerking).
- Resultaat: Dit maakte het zelfs erger. De AI werd beter in het beschrijven van het plaatje, maar werd slechter in het kiezen van de regel en het uiteindelijke antwoord.
- Analogie: Het is alsof een student hardop tegen zichzelf praat terwijl hij een probleem oplost. Hij beschrijft het plaatje prachtig, maar de extra woorden verwarren hem zo erg dat hij de regel vergeet en het verkeerde antwoord kiest.
4. Waarom dit ertoe doet
Het artikel betoogt dat we niet alleen AI-modellen moeten rangschikken op basis van hun eindscore. We moeten diagnosticeren waar ze vastlopen.
De belangrijkste conclusie is dat de huidige top AI-modellen geweldig zijn in het zien en het begrijpen van regels, maar dat ze verschrikkelijk zijn in het toepassen van die regels op specifieke instanties. Ze raken "verdwaald" tussen het kennen van de regel en het kiezen van het antwoord.
Kortom: De AI is niet blind, en hij is niet dom wat betreft de logica. Er zit gewoon een glitch in de "vertalingsstap" waarbij hij probeert een bekende regel om te zetten in een specifieke keuze. Het oplossen van deze "binding" kloof is de volgende grote uitdaging voor AI-onderzoekers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.