💻 computer science

OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

Dit artikel introduceert OmniDance, een framework dat gebruikmaakt van de nieuw geconstrueerde grootschalige CIPE-Dance dataset en een gespecialiseerde architectuur om state-of-the-art muziekgestuurde, tekstgestuurde en multimodale dansvideogeneratie te bereiken, terwijl een hoge visuele getrouwheid en controleerbaarheid behouden blijven.

Oorspronkelijke auteurs: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een dansvideo wilt maken waarin een persoon perfect beweegt op een nummer, en er precies uitziet als een echt mens. Tot nu toe had AI moeite om dit goed te doen. Het kon ofwel een persoon laten bewegen op de muziek maar eruitzien als een glitchy cartoon, of het kon er realistisch uitzien maar stijf bewegen, waarbij de beat werd genegeerd.

Het artikel introduceert OmniDance, een nieuw systeem dat dit oplost door een enorme nieuwe dansdataset te combineren met een slimmere manier om de AI te leren dansen.

Dit is hoe ze het hebben aangepakt, onderverdeeld in eenvoudige delen:

1. Het Probleem: De "Lege Dansvloer"

Beschouw bestaande AI-dansinstrumenten als dansers die proberen te leren op een leeg podium. Ze hebben niet genoeg goede voorbeelden om van te studeren.

De Datakloof: Er waren niet genoeg hoogwaardige dansvideo's op internet georganiseerd op een manier waarop een AI er gemakkelijk van kon leren.
De Methodekloof: De AI-modellen die video's maken, werden getraind om naar tekst te luisteren (zoals "een persoon die danst"), maar wisten niet hoe ze naar muziek moesten luisteren (het ritme en de beat) zonder in de war te raken.

2. De Oplossing Deel 1: Het Bouwen van een Enorme Bibliotheek (CIPE-Dance)

Om het dataprobleem op te lossen, hebben de onderzoekers CIPE-Dance gebouwd.

De "Expert Filter" Pipeline: Stel je voor dat je een dansinstructeur inhuurt om de beste video's van het internet te vinden. In plaats van één persoon die alles controleert, gebruikten ze een team van AI-"experts" met verschillende taken.
- Eerst controleert een "lichtgewicht" expert snel of een video duidelijk en van hoge kwaliteit is.
- Daarna controleren "zwaardere" experts op specifieke dansproblemen, zoals: Danst er slechts één persoon? (Geen groepsdansen toegestaan). Schudt de camera te veel? Kijkt de persoon de andere kant op?
Het Resultaat: Ze kwamen uit op 300.000 hoogwaardige dansfragmenten (meer dan 400 uur aan video).
De "Choreografie Notities": Ze hebben de video's niet zomaar in een map gedumpt. Ze gebruikten AI om gedetailleerde "dansnotities" voor elke video te schrijven, die niet alleen beschrijven wat de danser draagt, maar ook hoe ze bewegen (bijv. "heupisolaties", "speelse intentie", "ritmische armbewegingen"). Dit geeft de AI een rijke vocabulaire om van te leren.

3. De Oplossing Deel 2: De Slimme Leraar (OmniDance)

Om het methodeprobleem op te lossen, hebben ze OmniDance gebouwd, wat een soort dansleraar is die weet hoe hij drie verschillende soorten lessen tegelijkertijd moet geven:

Tekst-naar-Video: Dansen op basis van een geschreven beschrijving.
Muziek-naar-Video: Dansen op basis van alleen een nummer.
Muziek + Tekst: Dansen op basis van zowel muziek als tekst.

Ze gebruikten een slimme Driestaps Trainingsstrategie (Curriculum Learning):

Stap 1 (De Warming-up): De AI leert eerst te dansen met alleen tekstuele beschrijvingen. Dit stabiliseert het vermogen om eruit te zien als een echt mens.
Stap 2 (De Begeleide Oefening): Ze introduceren de muziek, maar de AI heeft nog steeds de tekst om het te helpen. De AI leert hoe de muziek past bij de tekst, zoals een student die leert een ritme te volgen terwijl hij nog steeds de bladmuziek leest.
Stap 3 (De Solo Performance): Ten slotte leert de AI te dansen met alleen de muziek, zonder hulp van tekst.

4. Het Geheim: "Diepte-bewuste" Specialisatie

Het artikel beschrijft een slim architecturaal trucje genaamd Music-Text Progressive Specialization.

De Analogie: Stel je voor dat je een huis bouwt.
- Ondiep gelaagde lagen (Het Fundament): De AI gebruikt eerst Tekst om de "structuur" van de dans te bouwen (de algemene stijl, de pose, het verhaal). Dit is vergelijkbaar met het leggen van de bakstenen.
- Diepe lagen (De Decoratie): Naarmate de generatie van de video bijna voltooid is, schakelt de AI over naar de focus op Muziek. Het gebruikt het ritme om de "afwerking" toe te voegen (de specifieke timing, de bounce, de energie).
Waarom dit werkt: Als je probeert naar de beat te luisteren en tegelijkertijd de instructies te lezen met evenveel intensiteit, raak je in de war. Door de tekst het podium te laten bereiden en de muziek de details te laten verfijnen, ziet de dans er natuurlijk uit en raakt het de beat perfect.

5. Het Resultaat

Wanneer ze OmniDance testten, presteerde het beter dan alle andere huidige methoden.

Visuele aspecten: De dansers zien er echt uit, met consistente gezichten en kleding (geen glitching).
Beweging: De bewegingen zijn expressief en vloeiend.
Ritme: De danser raakt de drumbeats en muzikale veranderingen accuraat.
Flexibiliteit: Je kunt het een nummer geven, een tekstprompt, of beide, en het werkt geweldig in al deze scenario's.

Kortom: OmniDance is een nieuw AI-systeem dat leren dansen door een enorme, zorgvuldig gefilterde bibliotheek van echte dansvideo's te bestuderen en door op een stapsgewijze manier te worden onderwezen, waardoor het zowel het "verhaal" van de dans (tekst) als het "ritme" van de dans (muziek) kan begrijpen zonder in de war te raken.

Technische Samenvatting: OmniDance

Probleemstelling

Muziekgestuurde dansvideogeneratie streeft naar het synthetiseren van expressieve menselijke beweging die temporeel is afgestemd op muziek, terwijl een hoge visuele getrouwheid behouden blijft. Ondanks recente vooruitgang in AI-gegenereerde content (AIGC), worstelen bestaande methoden ermee om tegelijkertijd expressieve beweging en een hoge visuele kwaliteit te bereiken. De auteurs identificeren twee primaire beperkingen die vooruitgang in de weg staan:

Beperkingen in Datasets: Er is een gebrek aan grootschalige, hoogwaardige datasets en effectieve gegevensverzameling-pipelines die specifiek zijn afgestemd op dansvideogeneratie. Bestaande datasets zijn vaak kleinschalig (bijv. FineDance bevat slechts ~8 uur aan beweging) of missen specifieke choreografische annotaties.
Methodologische Beperkingen: Er is een gebrek aan principiële, framework-niveau oplossingen voor het effectief integreren van muziek als een complementair conditioneringssignaal in Video Generation Foundation Models (VGFMs), die doorgaans zonder audio-supervisie zijn getraind. Bestaande benaderingen vertrouwen vaak op intermediaire representaties (2D-keypoints of 3D SMPL) of falen om het volledige potentieel van end-to-end diffusiemodellen te benutten, wat resulteert in beperkte bewegingsexpressiviteit of een gedegradeerd visueel uiterlijk.

Methodologie: OmniDance

Om deze uitdagingen aan te pakken, stellen de auteurs OmniDance voor, een verenigd framework dat is ontworpen om muziekconditionering te integreren in een Text/Image-to-Video (TI2V) foundation model zonder de oorspronkelijke controleerbaarheid of visuele getrouwheid in gevaar te brengen. Het framework werkt op drie co-ontworpen niveaus:

1. Dataset: CIPE-Dance

De auteurs introduceren CIPE-Dance, de grootste open-source dataset voor dansvideogeneratie tot nu toe, bestaande uit ongeveer 300.000 hoogwaardige clips (meer dan 400 uur).

Constructie-pipeline: Een "Progressive Expert-Based Data Collection Pipeline" wordt gebruikt om web-gecrawlde data van populaire makers te filteren. Het maakt gebruik van een progressieve easy-to-hard strategie, beginnend met lichtgewicht verificatie-experts (Qwen3-VL-2B) voor eenvoudige taken en het inzetten van zwaardere filtering-experts (Qwen3-VL-8B) om complexe foutmodi (bijv. groepsdansen, spiegelreflecties, scène-instabiliteit) te identificeren en te elimineren.
Annotaties: De dataset bevat Choreograph Informed Text Annotations gegenereerd door Qwen3-VL-8B over vijf dimensies: Body Dynamics, Choreographic Content, Expressiveness, Camera Presentation en Overall Look.
Diversiteit: De dataset dekt meer dan 30 dansgenres, diverse omgevingen (studio's, straten, huizen) en uiteenlopende demografieën van performers.

2. Modelarchitectuur: Music-Text Progressive Specialization

Gebouwd op de WAN2.2-TI2V-5B Diffusion Transformer (DiT) backbone, introduceert OmniDance een diepte-bewuste specialisatiemechanisme:

Architectuur: Er is een extra muziek cross-attention laag toegevoegd aan elke DiT-block.
Progressieve Specialisatie: Gemotiveerd door de observatie dat ondiepe lagen lage-frequentie globale structuren vastleggen terwijl diepere lagen hoge-frequentie details verfijnen, hanteert het model een diepte-bewuste schaleringsstrategie. Tekstconditionering domineert in ondiepe lagen om de semantische lay-out vast te stellen, terwijl de invloed van de muziekvertakking (via een residuele update) progressief toeneemt in diepere lagen om ritme-bewuste bewegingsdynamiek te verfijnen. De schaleringsfactor wordt gedefinieerd als $(\ell/L)^\gamma$ , waarbij $\ell$ de laagindex is en $L$ de totale diepte.

3. Trainingsstrategie: Easy-to-Hard Curriculum Learning

Om de TI2V-capaciteit uit te breiden naar uniforme TI2V, Music-to-Video (MI2V), en Music-Text-to-Video (MTI2V) generatie, wordt een driefasig curriculum gehanteerd:

Fase I (Text-Adaptation Warm-up): Het model wordt uitsluitend getraind op TI2V om de pre-trained backbone aan te passen aan dansspecifieke tekstuele beschrijvingen, terwijl de muziekvertakking bevroren blijft.
Fase II (Anchored Music Integration): Een muziekvertakking wordt geïntroduceerd en het model wordt getraind op zowel TI2V als MTI2V. Dit maakt het mogelijk om muziekconditionering te leren onder tekstuele begeleiding, wat een abrupte degradatie van de pre-trained TI2V-capaciteiten voorkomt.
Fase III (Modality Decoupling): Het model wordt getraind op alle drie de taken (TI2V, MTI2V, MI2V), wat generatie van dansvideo's uitsluitend op basis van muziek mogelijk maakt wanneer tekst ontbreekt.

4. Inferentiestrategie: Modality-Specialized CFG

De auteurs stellen een Modality-Specialized Classifier-Free Guidance (CFG) strategie voor. Erkennend dat tekst globale semantiek overbrengt en muziek temporele dynamiek biedt, zijn de guidance weights tijd-afhankelijk:

Vroege Timesteps: Tekstbegeleiding domineert om globale semantiek vast te stellen.
Latere Timesteps: Muziekbegeleiding wordt steeds invloedrijker om ritme-bewuste bewegingsdynamiek te verfijnen.
De guidance scales nemen in de loop van de tijd af (Tekst: $5 \to 1$ ; Muziek: $4 \to 2$ ), wat zorgt voor een soepele overgang van semantische lay-out naar ritmische verfijning.

Belangrijkste Bijdragen

CIPE-Dance Dataset: De introductie van de grootste open-source dataset voor dansvideogeneratie (300k clips) met choreografie-geïnformeerde annotaties, geconstrueerd via een nieuwe progressieve expert-pipeline.
OmniDance Framework: Een verenigd framework dat erin slaagt muziekconditionering in een TI2V foundation model te injecteren via een drielagen-ontwerp (architectuur, curriculum learning en inferentie), wat naadloze overschakeling tussen TI2V, MI2V en MTI2V taken ondersteunt.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat OmniDance SOTA-prestaties levert over alle drie de generatietaken, terwijl het robuuste multimodale integratiecapaciteiten vertoont.

Experimentele Resultaten

Experimenten werden uitgevoerd op de CIPE-Dance dataset, waarbij Video Quality, Motion Quality en Alignment werden geëvalueerd.

TI2V Taak: OmniDance presteerde beter dan sterke baselines (CogVideoX1.5-5B, HunyuanVideo, WAN2.2-TI2V-5B) op video kwaliteit metrieken (IQ: 67.74, AQ: 55.17) en bewegingsgetrouwheid (FIDk: 13.55).
MI2V Taak: OmniDance behaalde SOTA-resultaten in muziekgestuurde generatie, waarbij het superieur was aan fine-tuned talking-head modellen (Hallo2) en inference-only baselines (WAN-S2V, Echomimic-V3) in visuele kwaliteit (IQ: 65.61) en beat alignment (BAS: 0.293).
MTI2V Taak: Het model demonstreerde effectieve multimodale synergie, waarbij het een hoge consistentie bereikte (OC: 13.08) en een sterke beat synchronisatie behield (BAS: 0.287), terwijl identiteit en scène-stabiliteit werden gewaarborgd.
Ablatieonderzoeken: Het verwijderen van de progressieve specialisatie (MTPS) of de curriculumfasen leidde tot een significante verslechtering van de temporele vloeiendheid en beat alignment, wat de noodzaak van het voorgestelde architecturale en training ontwerp valideert.

Betekenis en Claims

Het artikel claimt dat OmniDance een belangrijke stap voorwaarts is in de multimodale gestuurde dansvideogeneratie door de dubbele uitdagingen van datascarciteit en effectieve muziekintegratie op te lossen. Door gebruik te maken van een grootschalige, hoogwaardige dataset en een principieel framework dat de complementaire rollen van tekst (semantiek) en muziek (dynamiek) respecteert, demonstreren de auteurs dat het mogelijk is om dansvideo's te genereren met zowel een hoge visuele getrouwheid als expressieve, ritme-afgestemde beweging. Het werk verenigt drie verschillende generatietaken in één enkel model, waardoor de noodzaak voor aparte generatoren vervalt. Hoewel de auteurs erkennen dat real-time generatie nog niet wordt ondersteund, suggereren zij dat het combineren van hun aanpak met distillatietechnieken een veelbelovend pad biedt voor toekomstige efficiëntie.