Playing ZendoWorld: Challenging AI Agents on Active Visual Concept Induction
Dit artikel introduceert ZendoWorld, een interactieve omgeving voor het evalueren van het vermogen van agenten om verborgen visuele regels af te leiden door middel van actieve experimentatie, wat onthult dat huidige AI-modellen moeite hebben met werkelijke inductieve redenering en hypotheseverfijning ondanks een hoge voorspellingsnauwkeurigheid op geobserveerde gegevens.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een spannend spel speelt van "Raad de Geheime Regel" met een mysterieuze, onzichtbare scheidsrechter. Je kunt niet alleen maar daar zitten staren naar de aanwijzingen; je moet je eigen kleine scènes bouwen met kleurrijke blokken, wiggen en piramides, en de scheidsrechter vragen: "Volgt dit de regel?" Als je het goed raadt, mag je door blijven spelen. Als je het fout hebt, laat de scheidsrechter je een "tegenvoorbeeld" zien—een scène die jouw huidige theorie schendt, maar eigenlijk wel de geheime regel volgt. Jouw doel is om de geheime regel sneller te ontdekken dan wie dan ook.
Dit is ZendoWorld, een nieuwe digitale speeltuin gecreëerd door onderzoekers om te testen hoe goed AI-agenten kunnen leren, experimenteren en denken als mensen. Ze wilden niet alleen zien of AI patronen kon herkennen; ze wilden zien of AI ze actief kon ontdekken door zelf experimenten uit te voeren.
De Grote Verrassing: Juist Hebben Betekent Niet Dat Je Begrijpt
De onderzoekers stelden 22 verschillende geheime regels op, variërend van simpele zaken zoals "er moeten minstens drie rode blokken zijn" tot lastige regels zoals "het aantal onderdelen moet oneven zijn" of "er zijn meer wiggen dan piramides." Ze observeerden hoe verschillende soorten AI speelden, van eenvoudige neurale netwerken tot complexe "neuro-symbolische" systemen die proberen menselijke logica te combineren met computervisie.
Hier is de wending die het team schokte: Alleen omdat een AI goed is in het labelen van plaatjes, betekent niet dat de AI de regel echt begrijpt.
Stel je een student voor die perfect "Waar" of "Onwaar" kan antwoorden op een meerkeuzetoets over zwaartekracht. Dat is geweldig! Maar als je diezelfde student vraagt om een nieuw experiment te ontwerpen om zwaartekracht te testen, zouden ze misschien gewoon een steen tegen een muur gooien en hopen op het beste. Het onderzoek toonde aan dat veel AI-agenten precies zoals die student waren. Ze konden een scène bekijken en correct zeggen: "Ja, dit volgt de regel" of "Nee, dat doet het niet," met een hoge nauwkeurigheid. Maar wanneer het tijd was om een nieuwe scène te bouwen om hun eigen theorieën te testen, waren ze er slecht in. Ze bleven scènes bouwen die exact leken op de scènes die ze al hadden gezien, waardoor ze nul nieuwe informatie boden. Het is alsoam met een mysterie proberen op te lossen door alleen maar vragen te stellen waarvan je het antwoord al weet.
De Drie Bottlenecks: Ogen, Breinen en Handen
De onderzoekers braken het spel af in drie delen om te zien waar de AI faalde:
- Perceptie (De Ogen): Kan de AI de blokken zien en weten dat ze rood, blauw of geel zijn?
- Inductie (Het Brein): Kan de AI naar de aanwijzingen kijken en de geheime regel raden?
- Experimentatie (De Handen): Kan de AI een nieuwe scène bouwen die helpt om iets nieuws te leren?
Ze ontdekten dat verschillende AI-agenten op verschillende punten van de weg vastliepen.
- De "Pure Vision" Agenten: Deze agenten, aangedreven door enorme taalmodellen die afbeeldingen kunnen zien, struikelden eroverheen de regel correct te raden, waarbij ze in meer dan de helft van de episoden faalden. Ze waren ook slecht in het bouwen van experimenten. Ze stelden scènes voor die "bijna oninformatief" waren, wat betekent dat ze niet hielpen om de mogelijkheden in te perken. Ze waren als een detective die steeds blijft vragen: "Is de butler in de bibliotheek?" zelfs nadat ze de bibliotheek al tien keer hebben gecontroleerd.
- De "Symbolische" Agenten: Deze agenten zijn beter in logica, maar worstelen soms met het correct "zien" van de wereld. Wanneer de onderzoekers hen de scènebeschrijvingen in platte tekst gaven (zonder het visuele deel), werden deze agenten veel beter in het oplossen van het spel. Dit suggereert dat voor sommige AI het probleem niet de logica is, maar dat hun "ogen" wazig zijn.
- De Mensen: Wanneer echte mensen het spel speelden, waren zij aanzienlijk beter dan de standaard AI-agenten, vooral bij de lastige, complexe regels. Mensen slaagden erin om ongeveer 73,3% van de spellen op te lossen, terwijl de beste standaard AI-agent (de VLM) slechts 44,5% oploste. (Opmerking: Een speciale "Oracle"-agent met perfecte visie en logica loste 95,5% op, maar had een enorm voordeel). Nog interessanter is dat mensen in staat waren om een "wildcard"-regel te ontdekken die volledig buiten de standaard regels van het spel viel, en één specifieke AI-agent (de VLP) slaagde er ook in deze wild-card taak op te lossen, terwijl geen enkele andere visuele agent dat kon.
De "Overcorrectie" Valstrik
Een van de meest speelse bevindingen was hoe zowel mensen als AI dezelfde domme fout maakten. Wanneer een AI (of een mens) dacht de juiste regel te hebben, maar vervolgens zijn gok indiende en de scheidsrechter een tegenvoorbeeld onthulde (een scène die hun specifieke regelhypothese verbrak maar nog steeds de ware geheime regel volgde), raakten ze vaak in paniek en sloegen ze door naar de andere kant.
Stel je voor dat je denkt dat de regel is: "Alle blokken moeten rood zijn." Je dient deze regel in, en de scheidsrechter laat een scène zien met een blauw blok en zegt: "Nee, dat is het niet." In plaats van alleen "rood" te veranderen in "blauw", besluit je plotseling dat de regel is: "Alle blokken moeten blauw zijn EN er moeten precies drie van zijn." Je hebt overgecorrigeerd! Het onderzoek vond dat zowel mensen als AI-agenten dit deden; ze kwamen na één foutieve gok steeds verder van de waarheid af.
Wat dit betekenis heeft voor de toekomst
Het artikel beweert niet het probleem te hebben opgelost om AI net zo slim te maken als mensen. Sterker nog, het suggereert dat de huidige AI nog steeds vrij gespecialiseerd is. Sommigen zijn goed in zien, anderen in logica, maar zeer weinig kunnen alle drie de zaken—zien, denken en experimenteren—vloeiend in een lus uitvoeren.
De onderzoekers suggereren dat AI, om beter te worden, moet stoppen met "zien" en "denken" als aparte stappen te behandelen. In plaats daarvan zou de huidige beste gok van de AI over de regel de AI moeten helpen beslissen waar hij het volgende naar moet kijken. Het is als een detective die, in plaats van willekeurig overal naar te kijken, zijn huidige theorie gebruikt om te bepalen welke aanwijzing hij als volgende precies moet onderzoeken.
Kortom, ZendoWorld laat ons zien dat hoewel AI erg goed wordt in het herkennen van patronen, het nog steeds moeite heeft om een nieuwsgierige wetenschapper te zijn. Het kan je vertellen wat het ziet, maar het heeft nog niet geleerd hoe het de juiste vragen moet stellen om te achterhalen waarom het het ziet. En totdat het leert om betere experimenten uit te voeren, zal het de geheime regel blijven raden door steeds dezelfde oude scènes te herhalen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.