Towards Spatial Supersensing in the Wild
Dieses Paper stellt VSI-Super-Wild vor, einen groß angelegten Benchmark aus realen Langzeitvideos, der darauf ausgelegt ist, räumliche Super-Sensing-Fähigkeiten zu evaluieren, wobei aufgezeigt wird, dass aktuelle multimodale Modelle aufgrund von Problemen wie räumlichem Kollaps und unzureichenden Aktualisierungen grundlegend daran scheitern, eine kohärente Weltzustandsverfolgung über die Zeit aufrechtzuerhalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie gehen durch eine belebte Stadt. Sie sehen nicht nur eine Reihe von unzusammenhängenden Bildern; Sie bauen eine mentale Karte auf. Sie wissen, dass sich das Café zu Ihrer Linken befindet, dass Sie an der Bank nach rechts abgebogen sind und dass Sie dasselbe rote Fahrrad bereits dreimal passiert haben. Diese Fähigkeit, das, was man sieht, wo man ist und was man getan hat, zu einer einzigen, kontinuierlichen Geschichte zusammenzufügen, ist die Art und Weise, wie Menschen die Welt navigieren. Wissenschaftler nennen dies „Weltmodellierung“. Lange Zeit waren Computerprogramme hervorragend darin, ein einzelnes Foto einer Katze oder eines Autos zu erkennen. Aber wenn es darum geht, ein langes Video zu verfolgen und die Geschichte im Blick zu behalten – etwa zu sich erinnern, wo man seinen Schlüssel nach einem ganzen Tag des Umherstreifens liegen gelassen hat – hatten Computer Schwierigkeiten. Sie neigen dazu, den Faden zu verlieren, die Handlung zu vergessen oder die Charaktere zu verwechseln. Dieses Paper taucht tief in genau diesen Kampf ein: Kann künstliche Intelligenz tatsächlich eine zuverlässige, interne Karte der Welt aufbauen, während sie einen Videostream beobachtet, oder rät sie nur basierend auf dem, wie der aktuelle Frame aussieht?
Die Forscher hinter dieser Studie, ein Team von der Tsinghua University, NVIDIA und Stanford, beschlossen, die klügsten Video-lesenden KI-Modelle der Welt einem sehr harten Test zu unterziehen. Sie erstellten einen neuen Benchmark namens VSI-SUPER-WILD. Betrachten Sie dies als eine „Überlebenschallenge“ für die KI. Frühere Tests waren wie das Training eines Hundes in einem ruhigen, leeren Raum mit ein paar spezifischen Tricks. Dieser neue Test wirft die KI in die wilde, ungeschnittene, chaotische Realität der echten Welt. Sie sammelten 442 reale Videos aus dem Internet, die alles abdeckten, von belebten Straßen und Einkaufszentren bis hin zu Krankenhäusern und Bürogebäuden. Dies sind keine kurzen, zusammengeschnittenen Clips; einige sind über 4 Stunden lang und fangen den unordentlichen, kontinuierlichen Fluss des Lebens ein.
Das Ziel war zu sehen, ob diese KI-Modelle Fragen beantworten können, die eine echte „mentale Karte“ erfordern. Sie entwarfen vier Arten von Herausforderungen, baset auf der Art und Weise, wie Menschen sich erinnern:
- Der „Wohin ging es?“-Test: Kann die KI nach dem Ansehen eines Videos sagen, ob die Kamera (die Person, die sie hält) vorwärts, rückwärts, nach links oder nach rechts bewegt wurde?
- Der „Wo war ich?“-Test: Kann die KI die Reihenfolge der besuchten Orte im Gedächtnis behalten, selbst wenn die Kamera sich um die eigene Achse gedreht hat und denselben Ort aus einem anderen Winkel betrachtet hat?
- Der „Wann ist das passiert?“-Test: Kann die KI sich genau daran erinnern, wann ein bestimmtes Objekt, wie etwa ein blauer Rucksack, zum ersten Mal erschien und wann es verschwand?
- Der „Wie viele sind es?“-Test: Kann die KI einzigartige Gegenstände zählen (wie „wie viele verschiedene Hydranten sind wir vorbeigekommen?“), ohne denselben Gegenstand doppelt zu zählen?
Die Ergebnisse waren ein kleiner Weckruf. Trotz ihrer unglaublichen Fortschritte schnitten die 13 getesteten KI-Modelle (einschließlich Top-Modellen von Google und Open-Source-Projekten) schlecht ab. Das beste Modell beantwortete insgesamt nur etwa 44 % der Fragen richtig, was kaum besser ist als bloßes Raten. Das Paper legt nahe, dass diese Modelle scheitern, weil sie auf „Abkürzungen“ zurückgreifen. Anstatt eine 3D-Karte der Welt aufzubauen, betrachten sie einen einzelnen Frame und raten. Wenn sie beispielsweise eine Straße sehen, nehmen sie an, dass die Person vorwärts geht, weil das normalerweise so geschieht, selbst wenn das Video eigentlich zeigt, dass sie rückwärts geht.
Die Forscher identifizierten vier spezifische Wege, wie diese KI-Modelle „scheitern“:
- Räumlicher Kollaps (Spatial Collapse): Wenn man die Kameraperspektive dreht, vergisst die KI, dass es derselbe Ort ist. Sie behandelt eine gedrehte Ansicht als einen völlig neuen Ort und verliert so ihr räumliches Verständnis.
- Semantische Abkürzungen (Semantic Shortcuts): Die KI rät basierend darauf, wie Dinge aussehen, anstatt wie sie sich bewegen. Sie sieht eine Straße und nimmt „Vorwärtsbewegung“ an, ohne die Bewegung tatsächlich zu verfolgen.
- Unzureichende Aktualisierung (Insufficient Update): Die KI ist gut darin, sich an den Anfang eines Videos zu erinnern, versagt aber dabei, ihr Gedächtnis zu aktualisieren, wenn neue Informationen eintreffen. Sie bleibt beim ersten Eindruck stecken und ignoriert spätere Beweise.
- Instanz-Verwirrung (Instance Confusion): Die KI wird durch die Unordnung der realen Welt verwirrt. Wenn ein Objekt verschwommen oder teilweise verdeckt ist, könnte sie denken, es handele sich um ein völlig neues Objekt, anstatt um dasselbe, das sie zuvor gesehen hat.
Die Studie fand auch heraus, dass die Leistung der KI sinkt, je länger das Video ist. Als die Videos länger wurden (von 10 Minuten bis über 2 Stunden), sank die Fähigkeit der Modelle, eine konsistente Geschichte beizubehalten, signifikant. Dies deutet darauf hin, dass KI zwar besser darin wird, einzelne Momente zu verstehen, aber noch nicht die Fähigkeit besitzt, ein kohärentes, langfristiges Gedächtnis der Welt zu pflegen. Das Paper kommt zu dem Schluss, dass die KI, um die Welt so zu verstehen wie Menschen, über das bloße Erkennen von Bildern hinausgehen und lernen muss, stabile, sich aktualisierende Karten von Raum und Zeit aufzubauen. Bis dahin gilt: Wenn Sie eine KI fragen, wo Sie Ihren Schlüssel nach einem langen Tag hingelegt haben, wird sie Ihnen vielleicht eine Geschichte erzählen, die zwar gut klingt, aber nicht der Wahrheit entspricht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.