ReWorld: An Interactive World Model with Long-Horizon Memory
ReWorld is een interactief wereldmodel dat de structurele spanning tussen kortetermijncontrole en langetermijngeheugen oplost door deze capaciteiten tijdens de training te scheiden met gemengde aandachtmechanismen en ze tijdens de inferentie te verenigen via een pose-geïndexeerd landmark-retraivalsysteem, waarmee superieure actiefidelity, videokwaliteit en minutenlange temporele consistentie over diverse visuele domeinen heen wordt bereikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een computer voor die een video kan bekijken en vervolgens voorspelt wat er hierna gebeurt, frame voor frame, alsof hij binnen de scène leeft. Dit is de belofte van een "wereldmodel", een type kunstmatige intelligentie die ontworpen is om omgevingen te simuleren waarin een agent kan bewegen en handelen. Om deze systemen echt levend te laten aanvoelen, moeten ze drie moeilijke dingen tegelijkertijd doen: ze moeten direct reageren op de commando's van een gebruiker, ze moeten zich precies herinneren hoe een plek eruitzag toen de gebruiker vertrok en terugkeerde, en ze moeten in realtime nieuwe video blijven genereren zonder dat het geheugen vol raakt. De uitdaging is geweest dat deze doelen vaak met elkaar in strijd zijn. Om snel te reageren, moet een systeem zich alleen concentreren op het onmiddellijke verleden, maar om een verre locatie te onthouden, moet het een enorme geschiedenis vasthouden. Als een systeem probeert beide met dezelfde eenvoudige aanpak te doen, faalt het meestal op een van de twee, of vergeet het het verleden, of struikelt het over het heden.
Onderzoekers hebben nu een systeem gebouwd genaamd ReWorld dat deze spanning oplost door de computer te leren op twee verschillende manieren tegelijkertijd te denken. Het team, werkend met instellingen in Hong Kong en Alibaba, heeft een model gecreëerd dat de camerabewegingen van een gebruiker kan volgen, hoogwaardige video kan streamen van fotorealistische en spelachtige werelden, en specifieke scènes van minuten geleden kan herinneren, zelfs nadat de camera ver weg is gereisd en weer is teruggekomen. De cruciale ontdekking is dat het systeem niet hoeft te kiezen tussen korte-termijnreactie en lange-termijngeheugen; in plaats daarvan scheidt het deze taken tijdens het leerproces en beheert het ze zorgvuldig wanneer het daadwerkelijk draait.
De kern van het succes van ReWorld ligt in de manier waarop het zijn aandacht organiseert. In veel modellen voor kunstmatige intelligentie kijkt het systeem naar alle informatie die het tot nu toe heeft gezien om te beslissen wat het volgende genereert. ReWorld verdeelt deze taak over verschillende delen van zijn brein. Sommige delen zijn getraind om alleen naar het zeer recente verleden te kijken, bijvoorbeeld de laatste paar seconden, om ervoor te zorgen dat een druk op een knop resulteert in een onmiddellijke en nauwkeurige camerabeweging. Andere delen zijn getraind om naar de volledige geschiedenis van de video te kijken, waardoor het systeem kan herkennen dat een specifieke rotsformatie of gebouw dat het lang geleden zag, hetzelfde is als wat het nu weer ziet. Cruciaal is dat de onderzoekers deze taken niet aan vaste onderdelen van het systeem hebben toegewezen. In plaats daarvan hebben ze de rollen tijdens de training willekeurig door elkaar gehusseld, waardoor elk deel van het systeem heeft geleerd hoe het zowel directe reacties als verre herinneringen moet afhandelen. Dit voorkomt dat het systeem afhankelijk wordt van een specifieke manier van naar het verleden kijken, wat essentieel is omdat het systeem in de echte wereld niet zijn volledige geschiedenis voor altijd in het geheugen kan houden.
Wanneer het systeem aan het werk wordt gezet, krijgt het te maken met een strikte limiet aan hoeveel informatie het op één moment kan vasthouden. Om dit te hanteren, gebruikt ReWorld een slim arquivosysteem. Terwijl de video speelt, houdt het een kleine, constant bijgewerkte window van de meest recente frames aan. Wanneer oudere frames uit deze window vallen, worden ze niet simpelweg verwijderd. In plaats daarvan controleert het systeem of de camera ver genoeg is bewogen om een snapshot van die locatie op te slaan. Indien dat het geval is, slaat het systeem een hoogwaardig "landmark" (kenmerkend punt) van die scène op. Deze landmarks worden opgeslagen in een aparte, beperkte bank. Wanneer de camera zich omdraait en teruggaat naar een plek die het eerder heeft bezocht, doorzoekt het systeem deze bank naar de landmark die overeenkomt met het huidige uitzicht en haalt deze terug naar het actieve geheugen. Dit stelt het systeem in staat om een scène van een minuut geleden te onthouden zonder dat het elke enkele frame hoeft op te slaan die daartussenin heeft plaatsgevonden.
Om dit werkend te krijgen, moesten de onderzoekers het model trainen met een zeer specifiek soort data. Ze combineerden beelden van echte video's, videogames en computergegenereerde omgevingen, maar ze deden iets ongebruikelijks: ze zorgden ervoor dat een enkel commando, zoals het indrukken van een toets om naar voren te bewegen, de camera in elke vorm van footage exact dezelfde fysieke afstand verplaatste. Dit creëerde een verenigde taal van beweging. Ze gebruikten ook een speciale trainingsmethode waarbij ze soms delen van de videohistorie voor het model verborgen, waardoor het werd gedwongen om de scène te reconstrueren zelfs wanneer het geheugen incompleet was. Dit bereidde het model voor op de realiteit van zijn beperkte geheugenbank, waardoor het niet in de war zou raken wanneer het moest vertrouwen op een paar sleutellandmarks in plaats van een continue stroom van data.
De resultaten van deze aanpak zijn opmerkelijk. In tests waarbij de camera weg bewoog en vervolgens terugkeerde naar het startpunt, was ReWorld in staat om het oorspronkelijke uitzicht met opmerkelijke nauwkeurigheid te regenereren, zelfs nadat de camera een minuut of langer had gereisd. Andere systemen, die vertrouwen op het bijhouden van een eenvoudige schuivende window van recente frames, faalden in het onthouden van het startpunt zodra dit buiten de window viel. ReWorld bewees ook superieur te zijn in het volgen van commando's, waarbij de camera exact volgens de bedoeling bewoog zonder uit koers te raken. Het systeem kan video genereren met een resolutie van 704 bij 1280 pixels, snel genoeg om interactief aan te voelen, en het behoudt deze kwaliteit over verschillende stijlen heen, van realistische landschappen tot gestileerde spelwerelden.
De onderzoekers ontdekten dat hun methode werkt omdat het rekening houdt met de verschillende behoeften van controle en geheugen. Door het systeem te trainen om korte-termijncommando's en lange-termijnherinneringen apart af te handelen, en vervolgens een slim ophaalsysteem te gebruiken om oude herinneringen alleen terug te brengen wanneer dat nodig is, creëerden ze een wereldmodel dat zowel responsief als consistent aanvoelt. Het systeem hoeft geen massief, alwetend wezen te zijn om het verleden te onthouden; het hoeft alleen maar te weten hoe het het juiste stukje uit het verleden moet vinden wanneer dat nodig is. Deze aanpak stelt het model in staat om op standaard computerhardware te draaien terwijl het een gevoel van continuïteit behoudt die voorheen onmogelijk was voor interactieve videogeneratie. Het werk suggereert dat de toekomst van interactieve AI niet alleen ligt in het groter maken van modellen, maar in het slimmer maken van hoe ze de informatie die ze al hebben geleerd, organiseren en ontsluiten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.