ViMax: Agentic Video Generation
Max is een agentisch videogeneratieframework dat gecoördineerde multi-agent samenwerking, een hiërarchische narratieve engine en afhankelijkheidsbewuste mechanismen voor visuele consistentie inzet om de beperkingen van huidige methoden te overwinnen bij het produceren van langdurige, narratief gestructureerde video's met een aanhoudende karakter- en omgevingscoherentie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een lang, complex verhaal wilt vertellen met behulp van video, zoals een korte film. Momenteel zijn de meeste AI-videotools als getalenteerde acteurs met een korte concentratieboog. Ze kunnen een prachtige clip van 5 seconden maken van een persoon die loopt, maar als je hen vraagt om een film van 10 minuten te maken waarin diezelfde persoon door verschillende kamers loopt, met vrienden praat en nooit van gezicht of kleding verandert, raakt de AI in de war. Het personage heeft plotseling blauwe ogen in plaats van bruine, of de keuken verandert in een bos tussen de scènes door.
ViMax is een nieuw systeem dat is ontworpen om dit op te lossen. Zie het niet als een enkele acteur, maar als een zeer georganiseerd filmproductiebedrijf dat wordt gerund door een team van gespecialiseerde AI-agenten.
Zo werkt ViMax, met behulp van eenvoudige analogieën:
1. De "Regiekamer" (Hiërarchische Narratieve Planning)
Als je één enkele AI zou vragen om in één keer een heel filmscript te schrijven, zou deze overweldigd raken en het begin vergeten tegen de tijd dat het einde bereikt is.
- De ViMax-oplossing: ViMax breekt het verhaal af als een Russische matroesjka-pop.
- Eerst schetst het de grote "Events" (zoals het begin, het midden en het einde van de film).
- Vervolgens breekt het die events af in "Scènes".
- Ten slotte breekt het scènes af in individuele "Shots" (camerastandpunten).
- Het geheime ingrediënt: Om ervoor te zorgen dat de AI niet het grote plaatje vergeet terwijl hij zich op kleine details concentreert, gebruikt het een digitale bibliotheek (Retrieval-Augmented Generation). Elke keer dat de AI een nieuwe scène plant, "zoekt hij op" in zijn bibliotheek naar het oorspronkelijke verhaal om zichzelf eraan te herinneren wie de personages zijn en waar het plot over gaat. Dit houdt het verhaal consistent van begin tot eind.
2. De "Continuïteitsafdeling" (Visuele Consistentie)
In echte filmproducties moet, als een personage in Scène 1 een rode hoed draagt, die persoon in Scène 10 nog steeds een rode hoed dragen. Als ze op een blauwe bank zitten, blijft de bank blauw. Huidige AI-tools vergeten deze details vaak.
- De ViMax-oplossing: ViMax gebruikt een afhankelijkheidskaart (Graph-gebaseerde Visuele Afhankelijkheid).
- Stel je een stroomdiagram voor dat alle shots met elkaar verbindt. Als Shot 5 moet lijken op Shot 2, koppelt het systeem deze aan elkaar.
- Bij het genereren van Shot 5 gokt de AI niet zomaar; het gebruikt de werkelijke afbeelding van Shot 2 als referentie. Het is also klein als een kunstenaar die over een vorige schets overtrekt om ervoor te zorgen dat het gezicht van het personage er exact hetzelfde uitziet.
- De "Camerabeweging"-truc: Om ervoor te zorgen dat een kamer er vanuit verschillende hoeken hetzelfde uitziet (zoals kijken naar een personage van links, en dan van rechts), genereert ViMax eerst een transitievideo. Het creëert een vloeiende video van een bewegende camera tussen de twee hoeken in, en knipt vervolgens de specifieke shots uit die vloeiende beweging. Dit garandeert dat de 3D-ruimte (meubels, muren) consistent blijft.
3. Het "Kwaliteitscontroleteam" (VLM-gebaseerde Selectie)
Soms genereert een AI een video die er wel oké uitziet, maar een vreemde fout bevat, zoals een hand met zes vingers.
- De ViMax-oplossing: Voor elke shot genereert ViMax niet alleen één video. Het maakt meerdere kandidaten (zoals het maken van 5 verschillende foto's van dezelfde pose).
- Daarna kijkt een "Oordelende" AI (een Vision-Language Model) naar al deze kandidaten en kiest de beste die overeenkomt met het script en er het meest realistisch uitziet. Dit zorgt ervoor dat alleen de clips van de hoogste kwaliteit in de uiteindelijke film terechtkomen.
Wat hebben ze bewezen?
De onderzoekers hebben ViMax getest op een nieuwe benchmark genaamd ViMax-Bench, die de AI uitdaagt om video's te maken met veel shots (tot wel 13 shots achter elkaar) terwijl personages en omgevingen consistent blijven.
- Het resultaat: ViMax presteerde beter dan bestaande methoden (zoals Sora, Veo en anderen) in het consistent houden van personages en het logisch laten verlopen van het verhaal.
- De afweging: Het kost iets meer rekenkracht en tijd omdat het al deze planning en controle uitvoert, maar het resultaat is een veel coherente, langere video.
Samenvattend
ViMax is als een upgrade van een solo improvisatieact (waarbij de AI dingen verzint terwijl hij bezig is en vaak het plot vergeet) naar een professionele filmcrew (waarbij een regisseur, scenarioschrijver en continuïteitsmanager samenwerken om ervoor te zorgen dat het verhaal logisch verloopt en de acteurs in elke scène hetzelfde lijken).
Vermelde beperkingen in het artikel:
- Het vertrouwt op andere krachtige AI-modellen om het daadwerkelijke tekenen en het maken van de video te doen.
- Het kan nog steeds moeite hebben met zeer drukke scènes of complexe interacties (zoals twee mensen die elkaar een high-five geven).
- Het kan nog geen audio of dialoog synchronisatie aan.
- Er zijn ethische zorgen over het gebruik van dergelijke consistente videogeneratie om nepgebeurtenissen te creëren of mensen te imiteren, dus de auteurs suggereren dat dit controlesystemen voor veiligheid nodig heeft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.