Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds
Het artikel introduceert JoyAI-Echo-1.5, een uniek audio-visueel generatiesysteem met een long-video variant met cross-shot geheugen voor persistente karakterconsistentie en een world-model variant met geometrische cameracontrole voor interactieve navigatie, beide geoptimaliseerd via rollout-aware training om state-of-the-art prestaties te behalen in long-horizon storytelling en interactieve wereldgeneratie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin een computer niet alleen een enkele videoclip kan maken, maar ook een heel verhaal kan weven, waarbij personages van het eerste tot het laatste scène hetzelfde blijven zien en klinken, of zelfs een kijker door een digitaal landschap laat lopen, waarbij diegene met perfecte stabiliteit het hoofd draait en vooruit beweegt. Dit is de grens van videogeneratie, een veld waar kunstmatige intelligentie leert om bewegende beelden en geluid te synthetiseren. Jarenlang waren deze systemen als bekwame schilders die een prachtig portret kunnen maken, maar moeite hebben met het schilderen van een hele galerie waar elk gezicht consistent blijft, of als een verhalenverteller die het plot na een paar zinnen vergeet. De uitdaging was om verder te gaan dan geïsoleerde momenten om lange, coherente narratieven en interactieve werelden te creëren die niet uit elkaar vallen of hun identiteit verliezen terwijl ze groeien.
Een team van onderzoekers aan de Joy Future Academy heeft een nieuw systeem geïntroduceerd, JoyAI-Echo-1.5, ontworpen om deze specifieke problemen op te lossen. In plaats van alleen betere losse clips te maken, richt dit systeem zich op twee afzonderlijke maar gerelateerde doelen: het creëren van langere verhalen waarbij personages en stemmen consistent blijven, en het bouwen van interactieve werelden die precies reageren op de bewegingen van een gebruiker. De onderzoekers ontdekten dat door de computer een manier te geven om zich scènes uit het verleden te "herinneren" en door het te leren de geometrie van beweging te begrijpen, ze uitgebreide videosequenties konden genereren die stabiel blijven en trouw blijven aan de oorspronkelijke instructies.
Het eerste deel van dit systeem pakt het probleem van lange verhalen aan. In eerdere pogingen, als een personage in een scène verscheen en de video vervolgens naar een nieuwe locatie overging, kon het personage terugkeren met een iets ander uiterlijk of een veranderde stem. JoyAI-Echo-1.5 lost dit op door een geheugenbank op te bouwen. Terwijl het systeem een verhaal genereert, slaat het specifieke visuele en auditieve details van eerdere shots op. Wanneer een personage opnieuw verschijnt, raadpleegt het systeem dit geheugen om ervoor te zorgen dat het gezicht, de kleding en de stem overeenkomen met wat eerder was vastgesteld. Het doet dit door naar de volledige audio van een vorige scène te kijken om de unieke toon van de spreker te vangen, in plaats van alleen naar een kort fragment, en door afbeeldingen van het personage vanuit verschillende hoeken op te slaan. Dit stelt de computer in staat om een sequentie van shots te genereren die aanvoelen als een doorlopende film, waarbij een held door verschillende omgevingen kan reizen zonder zijn identiteit te verliezen.
Het tweede deel van het systeem is ontworpen voor interactieve werelden, waar een gebruiker een camera kan besturen om een digitale omgeving te verkennen. In het verleden resulteerde het geven van een commando zoals "ga naar voren" of "draai naar links" aan een computer vaak in schokkerige, onnatuurlijke bewegingen of een scène die langzaam vervormde en van vorm veranderde terwijl de video afspeelde. Het nieuwe systeem vertaalt deze commando's naar een precieze, wiskundige beschrijving van hoe de camera door de ruimte beweegt. Het behandelt de wereld als een stabiele, driedimensionale ruimte die onafhankelijk van de camera bestaat. Wanneer een gebruiker beweegt, berekent het systeem het exacte pad en past de video dienovereenkomstig aan, waardoor de muren, objecten en verlichting consistent blijven, ongeacht hoe lang de verkenning duurt. Dit maakt een vloeiende, continue ervaring mogelijk waarbij de digitale wereld solide en echt aanvoelt, in plaats van een verschuivende illusie.
Om deze systemen snel genoeg bruikbaar te maken, hebben de onderzoekers ook een nieuwe manier ontwikkeld om ze te trainen. Normaal gesproken vereist het creëren van hoogwaardige video veel stappen van berekening, wat veel tijd kost. Het team heeft het systeem geleerd om van zijn eigen fouten te leren door het video te laten genereren, en vervolgens direct te proberen die video te verbeteren op basis van wat het net heeft gecreëerd. Dit proces, dat gebruikmaakt van een techniek genaamd self-gradient forcing, stelt het systeem in staat om stabiel te worden, zelfs wanneer het zelfstandig lange sequenties genereert. Ze gebruikten ook een methode om het generatieproces te comprimeren, waardoor het systeem hoogwaardige video kan produceren in slechts een paar stappen in plaats van tientallen, zonder de fijne details of de synchronisatie tussen geluid en beeld te verliezen.
De resultaten van dit werk werden getest tegen andere leidende systemen. In tests met betrekking tot lange verhalen was het nieuwe systeem beter in het consistent houden van personages en het afstemmen van de gesproken woorden op de lipbewegingen dan welk eerder model dan ook. In tests van interactieve werelden scoorde het hoger dan zijn concurrenten in het behouden van de vorm van de omgeving en het nauwkeurig volgen van de bewegingscommando's van de gebruiker. Een specifieke test toonde aan dat het systeem een zestig seconden durende continue video kon generen waarbij de camera door een complexe scène bewoog, en het systeem gedurende de hele tijd het juiste perspectief en de visuele kwaliteit behield, een prestatie waar andere modellen moeite mee hadden zonder dat de scène begon te driften of te vervormen.
Dit onderzoek suggereert dat de sleutel tot het creëren van persistente verhalen en stabiele interactieve werelden ligt in de manier waarop de computer het verleden onthoudt en de geometrie van het heden begrijpt. Door een robuust geheugen voor visuele en auditieve details te combineren met een precies begrip van beweging, kan het systeem inhoud genereren die coherent aanvoelt over tijd. Hoewel er uitdagingen blijven bestaan, met name het perfect stabiel houden van de camera tijdens zeer lange en complexe bewegingen, toont het werk een significante stap voorwaarts. Het laat zien dat kunstmatige intelligentie verder kan gaan dan het creëren van geïsoleerde clips naar het ondersteunen van volledige narratieven en evoluerende werelden, wat de deur opent naar meer meeslepende en betrouwbare digitale ervaringen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.