Visko Orbis 1.0: A Live Model for Real-Time Interactive Long Video Generation
Visko Orbis 1.0 is een live, interactief model dat in staat is tot het genereren van real-time, uur durende 4K-video's met 24 FPS die dynamische promptwisseling mogelijk maken en een consistente kwaliteit en stijl behouden door middel van een begrensd multi-schaal geheugensysteem.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een film kijkt, maar in plaats van achterover te leunen en het verhaal te laten afspelen, ben jij de regisseur, de scenarioschrijver en de hoofdrolspeler in één. Je kunt "Stop!" roepen en het plot halverwege een scène veranderen, en de film werkt de volgende scène direct bij op basis van jouw nieuwe idee. Dit is de droom van real-time interactieve videogeneratie. Lange tijd was het maken van video's met computers als het bakken van een cake: je mengde de ingrediënten (de prompt), wachtte tot het gebakken was (de generatie), en zodra het uit de oven kwam, was het klaar. Als je meer chocoladestukjes wilde toevoegen, moest je opnieuw beginnen. Maar wat als je tijdens het bakken in de oven zou kunnen reiken om het recept te veranderen, en de cake zich direct zou aanpassen? Dat is de wereld van "Live Modellen". Dit zijn computerprogramma's die niet alleen een vraag beantwoorden en stoppen; ze blijven doorgaan, zoals een persistent personage in een videogame, klaar om te reageren op jouw commando's op de seconde dat je ze geeft. De grote uitdaging is altijd geweest om het verhaal consistent te houden. Als je halverwege het verhaal verandert, vergeet het personage dan wie hij is? Wordt de achtergrond een wazige bende? Komt de video in een loop terecht? Wetenschappers hebben geprobeerd een systeem te bouwen dat deze lange, veranderende verhalen kan afhandelen zonder zijn verstand te verliezen of zijn stijl te verliezen.
Maak kennis met Visko Orbis 1.0, een nieuw systeem dat werkt als een superintelligente, onvermoeibare videoregisseur die nooit slaapt. Denk aan een magische verteller die een videotale een uur lang kan spinnen, en als je plotseling besluit: "Eigenlijk, maak de lucht paars en laat de hond vliegen," dan crasht de video niet of start deze niet opnieuw op. In plaats daarvan weeft het jouw nieuwe idee naadloos in het lopende verhaal, waarbij de verandering in minder dan een seconde wordt getoond. Het team achter dit systeem heeft een systeem gebouwd dat niet alleen korte clips van 5 seconden maakt; het bouwt een "live stream" van video die urenlang kan doorgaan. Ze noemen het een "Live Model" omdat het levend en actief blijft, waarbij het de herinnering draagt aan wat er in de laatste minuut en de laatste uur is gebeurd, zodat de personages en de omgeving consistent blijven, zelfs wanneer het plot wendingen neemt.
Dus, hoe werkt deze magische truc? Stel je voor dat de video niet in één keer wordt gemaakt, maar in kleine, onzichtbare Lego-blokjes genaamd "chunks". Het systeem bouwt de ene chunk, dan de volgende, en dan de volgende. Het geheime ingrediënt is een speciale "geheugenbank" die de belangrijke details vasthoudt—zoals de kleur van het shirt van het hoofdpersonage of de stijl van het bos—zonder verstopt te raken. Naarmate de video langer wordt, comprimeert het systeem de oudere, verre herinneringen (zoals "wat er 30 minuten geleden gebeurde") tot een samenvatting, terwijl het het recente verleden (de laatste paar seconden) in hoge definitie behoudt. Dit zorgt ervoor dat de video urenlang kan draaien zonder dat de computer in de war raakt of de kleuren verschuiven naar vreemde tinten groen.
Het artikel laat zien dat dit systeem 4K-video kan genereren (die super scherp en duidelijk is) op 24 frames per seconde (de standaard snelheid voor vloeiende films) in real-time. Dat betekent dat je de video op je scherm ziet verschijnen terwijl deze wordt gemaakt, en dat je op elk moment een nieuwe prompt kunt typen—of je nu een cartoon, een livestream of een virtuele metgezel maakt—en de video wordt direct bijgewerkt. De onderzoekers testten dit tegen andere top-systemen en vonden dat Visko Orbis 1.0 het beste was in het mooi houden van de video, het opvolgen van instructies en het stabiel blijven over lange perioden. Sterker nog, wanneer mensen een spel speelden waarbij ze de beste lange video uit een reeks opties moesten kiezen, kozen ze vaker voor Visko Orbis 1.0 dan welk ander systeem ook, waarbij ze vooral de stabiliteit en betrouwbaarheid over een langere tijd prezen.
Het team heeft niet alleen de motor gebouwd; ze hebben de AI ook geleerd om te leren van een enorme bibliotheek aan video's, waarbij ze de slechte eruit filterden en de goede organiseerden zodat de AI kon leren om verhalen te vertellen die logisch zijn. Ze voegden zelfs een speciale "physics check" toe om er zeker van te zijn dat wanneer een bal wordt gegooid, deze als een echte bal naar beneden valt, en niet als een zwevende ballon. Het resultaat is een tool die videogeneratie verandert van een statische, eenmalige taak in een levend, ademend gesprek tussen een mens en een machine. Het gaat niet alleen om het maken van een video; het gaat om het levend houden van een verhaal, klaar om van richting te veranderen wanneer jij dat wilt, zonder ooit de draad kwijt te raken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.