An Exam for Active Observers
Het artikel introduceert ActiveVision, een benchmark die aantoont dat huidige multimodale grote taalmodellen fundamenteel het vermogen missen om actieve visuele observatie uit te voeren, zoals blijkt uit hun bijna totale falen bij taken die iteratieve perceptie vereisen in vergelijking met menselijke prestaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een rommelige kamer kijkt. Een camera maakt een enkele, bevroren snapshot ervan. Als je een computer vraagt om de kamer te beschrijven op basis van alleen die ene foto, zegt hij misschien: "Er liggen kleren op de vloer en er staan boeken in de kast." Maar wat als je een specifieke rode sok moet vinden die verborgen zit onder een stapel blauwe spijkerbroeken, of een enkele draad moet volgen die door een verwarde knoop van draden slingert? Om dat te doen, kun je niet slechts één keer kijken. Je moet je ogen bewegen, op één plek focussen, raden waar de sok zich zou kunnen bevinden, opnieuw kijken en je zoektocht aanpassen. Dit wordt actieve observatie genoemd. Het is het verschil tussen het maken van een snapshot en het daadwerkelijk zoeken naar antwoorden. Decennialang hebben wetenschappers die de menselijke visie en het denken bestuderen geweten dat onze hersenen als detectives zijn die voortdurend aanwijzingen opnieuw onderzoeken, in plaats van alleen een vluchtige blik te werpen.
Nu hebben we krachtige computerbreinen die Multimodale Large Language Models (MLLM's) worden genoemd. Dit zijn de AI-systemen die tekst kunnen lezen en naar afbeeldingen kunnen kijken, en vaak perfecte scores halen op tests die hen vragen een foto te beschrijven of een eenvoudige vraag over een afbeelding te beantwoorden. Maar hier is de grote vraag: kijken deze AI-modellen wel echt zoals mensen dat doen? Hebben ze die detective-achtige vaardigheid om de afbeelding steeds opnieuw te controleren, nieuwe vermoedens te vormen en de verborgen details te vinden? Of maken ze slechts een snelle snapshot, doen ze een gok en houden ze daarbij, zelfs als ze het fout hebben? Dit is het mysterie dat een nieuw artikel probeert op te lossen.
Het artikel, getiteld "An Exam for Active Observers", introduceert een gloednieuwe test genaamd ActiveVision. Denk aan een "zoek de verschillen"-spel op steroïden, specif으로 ontworpen om AI te misleiden zodat het zijn ware kleuren laat zien. De onderzoekers hebben 17 verschillende puzzels gebouwd die onmogelijk op te lossen zijn met één enkele blik. Sommige taken vragen de AI om vormen te tellen die verspreid liggen in een complex patroon, andere vragen de AI om een kronkelend pad door een doolhof te volgen zonder de weg kwijt te raken, en sommige vragen om minuscule details te vergelijken tussen twee vergelijkbare afbeeldingen. De sleutel is dat deze puzzels zo zijn weergegeven dat ze lijken op echte, rommelige foto's (zoals verwarde touwen of luchtfoto's) in plaats van simpele cartoons, en de antwoorden vereisen dat de AI herhaaldelijk "terugkijkt" naar de afbeelding.
Toen de onderzoekers de slimste AI-modellen ter wereld aan de test onderwierpen, waren de resultaten een schok. Zelfs de meest geavanceerde modellen faalden jammerlijk. Het best presterende model, GPT-5.5 (bij zijn hoogste redeneerinspanning), loste slechts ongeveer 10,6% van de puzzels op. Sterker nog, op 11 van de 17 soorten taken behaalde GPT-5.5 een perfecte nul. Een andere topkandidaat, Claude Fable 5, presteerde nog slechter en loste slechts 3,5% van de problemen op. Ondertussen losten menselijke deelnemers, die gewoon gewone mensen waren die de test deden, gemiddeld 96,1% van de problemen op. De kloof was enorm: mensen waren ongeveer negen keer beter dan de beste AI.
De onderzoekers probeerden ook een slimme workaround. Ze vroegen de AI-modellen om hun eigen computercode te schrijven en uit te voeren, in de hoop dat een script het "kijken" voor hen zou kunnen doen. Hoewel dit een beetje hielp, loste het het probleem niet op. De op code gebaseerde agenten slaagden er het beste in om ongeveer 50,6% van de taken op te lossen (met gebruik van de sterkste agent), maar ze hadden nog steeds moeite met de moeilijkste puzzels, zoals het volgen van verwarde lussen. De code faalde vaak omdat de echt uitziende afbeeldingen te rommelig waren voor standaard computer vision-tools, en de AI niet kon "zien" dat de code een fout had gemaakt.
Het artikel concludeert dat huidige AI-modellen essentieel "passieve waarnemers" zijn. Ze maken een foto, zetten deze om in een lijst met gegevens en proberen vanuit die lijst een antwoord te formuleren. Ze missen het vermogen om actief hun aandacht te verleggen, een hypothese te vormen en vervolgens terug te gaan naar de afbeelding om dit te controleren. De auteurs suggereren dat totdat we AI leren om echt herhaaldelijk te "kijken", de cirkel tussen zien en denken te sluiten, zij onbetrouwbaar zullen blijven voor banen in de echte wereld die nauwkeurige observatie vereisen, zoals het controleren van medische scans, het inspecteren van fabrieksdelen of het navigeren door complexe omgevingen. De "ActiveVision"-examen bewijst dat, ondanks al hun andere intelligentie, de AI-modellen van vandaag nog steeds verschrikkelijk zijn in de eenvoudige menselijke handeling van echt kijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.