Towards Spatial Supersensing in the Wild
Dit artikel introduceert VSI-Super-Wild, een grootschalige benchmark van real-world lange video's ontworpen om ruimtelijke supersensing-capaciteiten te evalueren, waarbij wordt onthuld dat huidige multimodale modellen fundamenteel falen in het behouden van coherente wereldtoestand-tracking over de tijd door problemen zoals ruimtelijke instorting en onvoldoende updates.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een bruisende stad loopt. Je ziet niet alleen een reeks losstaande plaatjes; je bouwt een mentale kaart op. Je weet dat de koffiebar aan je linkerhand zit, dat je rechts bent afgeslagen bij de bank, en dat je drie keer dezelfde rode fiets bent gepasseerd. Dit vermogen om wat je ziet, waar je bent en wat je hebt gedaan, samen te voegen tot één enkel, doorlopend verhaal, is hoe mensen de wereld navigeren. Wetenschappers noemen dit "wereldmodellering". Lange tijd waren computerprogramma's erg goed in het herkennen van een enkele foto van een kat of een auto. Maar wanneer het gaat om het bekijken van een lange video en het bijhouden van het verhaal — zoals het onthouden waar je precies je sleutels hebt gelaten na een hele dag ronddwalen — hebben computers moeite gehad. Ze raken de draad kwijt, vergeten het plot of halen personages door elkaar. Dit artikel duikt in die specifieke strijd: kan kunstmatige intelligentie daadwerkelijk een betrouwbare, interne kaart van de wereld opbouwen terwijl het een videostroom bekijkt, of raadt het gewoon op basis van hoe het huidige frame eruitziet?
De onderzoekers achter deze studie, een team van de Tsingua Universiteit, NVIDIA en Stanford, besloten de slimste video-lezende AI-modellen ter wereld een zeer zware test aan te doen. Ze creëerden een nieuwe benchmark genaamd VSI-SUPER-WILD. Zie dit als een "overlevingsuitdaging" voor AI. Eerdere tests waren als het trainen van een hond in een stille, lege kamer met een paar specifieke trucjes. Deze nieuwe test werpt de AI in de wilde, ongeëditeerde, chaotische realiteit van de echte wereld. Ze verzamelden 442 echte video's van het internet, variërend van drukke straten en winkelcentra tot ziekenhuizen en kantoorgebouwen. Dit zijn geen korte clips die aan elkaar zijn geplakt; sommige zijn meer dan 4 uur lang en leggen de rommelige, continue stroom van het leven vast.
Het doel was om te zien of deze AI-modellen vragen konden beantwoorden die een echte "mentale kaart" vereisen. Ze ontwierpen vier soorten uitdagingen gebaseerd op hoe mensen zich dingen herinneren:
- De "Welke kant op?"-test: Kan de AI, na het bekijken van een video, aangeven of de camera (de persoon die hem vasthoudt) naar voren, naar achteren, naar links of naar rechts bewoog?
- De "Waar was ik?"-test: Kan de AI de volgorde van de bezochte plaatsen onthouden, zelfs als de camera ronddraaide en naar dezelfde plek keek vanuit een andere hoek?
- De "Wanneer gebeurde dat?"-test: Kan de AI precies onthouden wanneer een specifiek object, zoals een blauwe rugzak, voor het eerst verscheen en wanneer het verdween?
- De "Hoeveel zijn het er?"-test: Kan de AI unieke items tellen (zoals "hoeveel verschillende brandkranen zijn we gepasseerd?") zonder hetzelfde object dubbel te tellen?
De resultaten waren een beetje een waarschuwing. Ondanks dat ze ongelooflijk geavanceerd zijn, presteerden de 13 verschillende AI-modellen die werden getest (inclusief topmodellen van Google en open-source projecten) slecht. Het beste model beantwoordde slechts ongeveer 44% van de vragen correct, wat nauwelijks beter is dan gokken. Het artikel suggereert dat deze modellen falen omdat ze vertrouwen op "short-cuts" (snelkoppelingen). In plaats van een 3D-kaart van de wereld te bouwen, kijken ze naar een enkel frame en gokken ze. Als ze bijvoorbeeld een straat zien, nemen ze aan dat de persoon naar voren loopt, omdat dat meestal gebeurt, zelfs als de video daadwerkelijk laat zien dat de persoon naar achteren loopt.
De onderzoekers identificeerden vier specifieke manieren waarop deze AI-modellen "instorten":
- Ruimtelijke instorting (Spatial Collapse): Als je het camerazicht draait, vergeet de AI dat het dezelfde plek is. Het behandelt een gedraaid beeld als een compleet nieuwe locatie, waardoor het gevoel voor ruimte verloren gaat.
- Semantische shortcuts: De AI raadt op basis van hoe dingen eruit zien in plaats van hoe ze bewegen. Het ziet een weg en neemt "voorwaartse beweging" aan zonder de beweging daadwerkelijk te volgen.
- Onvoldoende update: De AI is goed in het onthouden van het begin van een video, maar faalt in het bijwerken van zijn geheugen wanneer er nieuwe informatie arriveert. Het blijft hangen in de eerste indruk en negeert later bewijs.
- Instantie-verwarring (Instance Confusion): De AI raakt in de war door de rommeligheid van de echte wereld. Als een object wazig of gedeeltelijk verborgen is, kan de AI denken dat het een nieuw object is in plaats van hetzelfde object dat het eerder zag.
De studie toonde ook aan dat hoe langer de video, hoe slechter de AI presteerde. Naarmate de video's langer werden (van 10 minuten tot meer dan 2 uur), nam het vermogen van de modellen om een consistent verhaal vast te houden aanzienlijk af. Dit suggereert dat hoewel AI beter wordt in het begrijpen van individuele momenten, het nog steeds niet in staat is om een samenhangend, langetermijngeheugen van de wereld te behouden. Het artikel concludeert dat voor AI om de wereld echt te begrijpen zoals mensen dat doen, het verder moet gaan dan alleen het herkennen van plaatjes en moet leren om stabiele, bijwerkende kaarten van ruimte en tijd te bouwen. Tot die tijd, als je een AI vraagt waar je je sleutels hebt gelaten na een lange dag, zal het misschien een verhaal vertellen dat goed klinkt, maar niet waar is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.