JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation

Dit artikel introduceert JavisDiT++, een geavanceerd open-source framework dat via een MS-MoE-ontwerp, TA-RoPE-strategie en AV-DPO-optimatie state-of-the-art prestaties bereikt in gesynchroniseerde audio-video-generatie met slechts 1 miljoen trainingsvoorbeelden.

De kern

Stel je voor dat je een regisseur bent die een film draait. In het verleden moesten je acteurs (de video) en je geluidstechnici (de audio) apart werken. Soms liep het geluid net iets te snel, of was de stem niet in harmonie met wat je zag. Het resultaat was vaak een beetje "schokkerig" of onnatuurlijk.

Deze paper introduceert JavisDiT++, een nieuwe, slimme regisseur die video en audio tegelijkertijd en perfect op elkaar afgestemd creëert. Het is alsof je een magische machine hebt die niet alleen een plaatje tekent, maar er direct de perfecte geluidseffecten bij bedenkt, alsof het één geheel is.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Twee Sporen die Samenkomen (MS-MoE)

Stel je een groot kantoor voor met twee afdelingen: de "Beeld-afdeling" en de "Geluid-afdeling".

• Oude methoden: Deze afdelingen werkten vaak in aparte gebouwen en probeerden alleen aan het einde van de dag hun resultaten op elkaar af te stemmen. Dat ging vaak mis; het geluid liep niet synchroon met de lippen van de acteur.
• JavisDiT++: Deze regisseur bouwt één groot, open kantoor. De beeld- en geluidsmakers zitten aan dezelfde tafel. Ze kijken naar elkaar en wisselen direct informatie uit.
  • De slimme truc: Ze gebruiken een systeem genaamd MS-MoE. Denk hierbij aan een superchef die twee verschillende keukens heeft. Als er een vis moet worden bereid (video), gebruikt hij alleen de vis-keuken. Als er een soep moet worden gemaakt (audio), gebruikt hij alleen de soep-keuken. Maar ze delen dezelfde ingrediëntenkast (de basis). Zo blijft het vis-gebruik perfect, zonder dat de soep-keuken erdoor verpest wordt, maar ze werken wel samen aan hetzelfde gerecht.

2. De Perfecte Dans (TA-RoPE)

Stel je een dansfeest voor waar de muziek en de dansers precies op elkaar moeten inspelen.

• Het probleem: In oude systemen kregen de dansers en de muzikanten soms een beetje verwarde instructies over wanneer ze moesten bewegen. De danser deed een stap, en de muzikant deed pas een noot een fractie van een seconde later.
• De oplossing: JavisDiT++ gebruikt een nieuwe techniek genaamd TA-RoPE. Dit is alsof je aan iedereen op het feest een horloge geeft dat exact hetzelfde tijdstip aangeeft.
  • Als de video een frame toont van een vogel die vliegt, weet het geluidssysteem exact op datzelfde moment dat het geluid van vleugels moet komen. Er is geen vertraging. Ze dansen op hetzelfde ritme, alsof ze één persoon zijn.

3. De Menselijke Jury (AV-DPO)

Soms is iets technisch perfect, maar voelt het nog steeds niet "goed" voor een mens. Misschien is het geluid te hard, of de beelden te vreemd.

• De oplossing: De makers hebben een systeem gebouwd dat leert van menselijke voorkeuren, genaamd AV-DPO.
  • Hoe werkt het? Stel je voor dat de computer 100 versies van dezelfde video maakt. Vervolgens kijkt een "virtuele jury" (gebaseerd op wat mensen echt leuk vinden) naar deze versies. De jury zegt: "Deze versie met het zachte geluid en de heldere beelden is de winnaar, die andere is te luid en wazig."
  • De computer leert van deze winnaars en verliesters. Het is alsof je een leerling hebt die elke dag een test doet, en de leraar zegt: "Nee, zo niet, doe het zo." Na veel oefening wordt de computer een meester in het maken van video's die mensen echt leuk vinden.

Waarom is dit zo speciaal?

Tot nu toe waren de beste systemen voor dit soort werk (zoals Veo3 van Google) alleen beschikbaar voor grote bedrijven en kostten ze enorm veel geld en rekenkracht.

• JavisDiT++ is een open-source wonder. Ze hebben dit gebouwd met een relatief klein model (ongeveer 1 miljard parameters) en slechts 1 miljoen voorbeelden om op te leren. Ter vergelijking: andere systemen hebben vaak tienduizenden keren meer data nodig.
• Het resultaat? Video's die eruitzien alsof ze uit een Hollywood-film komen, met geluid dat perfect past, en dat allemaal gegenereerd door een model dat iedereen kan gebruiken.

Kort samengevat:
JavisDiT++ is de eerste regisseur die video en audio niet als twee aparte taken ziet, maar als één dansend paar. Door ze samen te laten werken, hun een exact gelijke tijd te geven, en ze te laten leren van wat mensen echt mooi vinden, creëert het video's die zo natuurlijk aanvoelen dat je vergeten bent dat ze door een computer zijn gemaakt.

Technische samenvatting

Titel: JAVISDIT++: Geïntegreerde Modellering en Optimalisatie voor Gecombineerde Audio-Video Generatie

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Kai Liu et al. (Zhejiang University, NUS, University of Toronto, etc.)

---

1. Het Probleem

Hoewel AI-gegenereerde content (AIGC) snel evolueert van tekst-naar-beeld naar tekst-naar-video en tekst-naar-audio, blijft Gecombineerde Audio-Video Generatie (JAVG) een uitdagende taak. Bestaande open-source methoden kampen met drie belangrijke beperkingen in vergelijking met geavanceerde commerciële modellen (zoals Veo3):

1. Kwaliteit: De gegenereerde video's en audio's zijn vaak van mindere kwaliteit.
2. Temporele Synchronisatie: Er is vaak een gebrek aan nauwkeurige synchronisatie tussen geluid en beeld (bijv. lippenbewegingen of geluidseffecten die niet op het juiste moment plaatsvinden).
3. Menselijke Voorkeuren: De output komt vaak niet overeen met menselijke voorkeuren qua esthetiek en harmonie.

Bestaande architecturen zijn vaak complex (twee aparte stromen met ingewikkelde kruismodale blokken) of leiden tot verlies van modale specifieke informatie door te sterke integratie.

2. Methodologie

De auteurs introduceren JavisDiT++, een beknopt en krachtig framework gebaseerd op het Wan2.1-1.3B-T2V model. De aanpak combineert drie kerninnovaties:

A. Modality-Specific Mixture-of-Experts (MS-MoE)

In plaats van audio en video tokens te verwerken met één gedeelde Feed-Forward Network (FFN) of twee volledig gescheiden modellen, gebruikt JavisDiT++ een MS-MoE ontwerp:

• Gedeelde Attention: Audio- en videotokens wisselen informatie uit via gedeelde multi-head self-attention lagen, wat zorgt voor effectieve kruismodale interactie.
• Modale Specifieke FFN: Na de attention lagen worden de tokens gesplitst en verwerkt door twee aparte FFN-lagen (experts), één voor audio en één voor video.
• Voordeel: Dit verhoogt de kwaliteit van de generatie per modus (door modale interferentie te minimaliseren in de FFN) terwijl het model uniek en efficiënt blijft. Het aantal geactiveerde parameters per token blijft gelijk aan de basisgrootte (1.3B), hoewel het totale model groter is (2.1B).

B. Temporal-Aligned RoPE (TA-RoPE)

Om exacte synchronisatie te bereiken, introduceren de auteurs een strategie voor Rotary Position Embedding (RoPE) die specifiek is afgestemd op tijd:

• Unificatie van Tijd: Audio- en videotokens krijgen posities op een gedeelde tijdsas.
• Niet-overlappende IDs: Om verwarring te voorkomen, worden de posities van audio-tokens (afgeleid van mel-spectrogrammen) verschoven in de ruimtelijke dimensies (hoogte en breedte) ten opzichte van de video-tokens.
• Resultaat: Dit zorgt voor expliciete, frame-level synchronisatie zonder de noodzaak van fysieke herschikking van tokens of ingewikkelde cross-attention blokken, wat de inferentie-efficiëntie ten goede komt.

C. Audio-Video Direct Preference Optimization (AV-DPO)

Om de output af te stemmen op menselijke voorkeuren, wordt voor het eerst Direct Preference Optimization (DPO) toegepast op gecombineerde audio-video generatie:

• Reward Modellen: Er worden diverse reward-modellen gebruikt om gegenereerde samples te evalueren op drie dimensies: Audio Kwaliteit, Video Kwaliteit en Audio-Video Alignement (synchronisatie en semantische consistentie).
• Win-Lose Pairs: Er worden voorkeursparen gegenereerd waarbij het "winnaar"-sample in alle dimensies beter scoort dan het "verliezer"-sample.
• Training: Het model wordt geoptimaliseerd om de voorkeursparen te genereren, wat leidt tot een hogere kwaliteit, consistentie en synchronisatie.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: Een beknopte JAVG-architectuur die MS-MoE en TA-RoPE combineert voor efficiënte en hoogwaardige generatie.
2. Eerste DPO voor JAVG: Het introduceren van menselijke voorkeursafstemming in het domein van gecombineerde audio-video generatie via het AV-DPO-algoritme.
3. Efficiëntie en Schaalbaarheid: Het bereiken van state-of-the-art prestaties met slechts 1 miljoen public training entries (780k audio-text paren + 360k high-quality sounding videos), wat een mijlpaal is voor open-source modellen.

4. Resultaten

JavisDiT++ presteert significant beter dan bestaande open-source methoden (zoals JavisDiT en UniVerse-1) en benadert de prestaties van gesloten modellen zoals Veo3:

• Kwaliteit & Consistentie: Significant betere scores op FVD (Fréchet Video Distance) en FAD (Fréchet Audio Distance).
• Synchronisatie: Verbeterde scores op JavisScore (semantische synchronisatie) en DeSync (temporele misalignement), dankzij TA-RoPE.
• Efficiëntie: Het model is aanzienlijk sneller in inferentie dan twee-stroom modellen (zoals UniVerse-1) en voegt slechts 1,6% extra inferentiekost toe ten opzichte van de basis Wan2.1.
• Menselijke Evaluatie: In een user study gaf meer dan 74% van de beoordelaars de voorkeur aan JavisDiT++ ten opzichte van de basismodellen (JavisDiT en UniVerse-1).

5. Betekenis en Impact

Dit werk markeert een belangrijke stap in het veld van native gecombineerde audio-video generatie. Het bewijst dat:

• Een unified backbone (in plaats van twee gescheiden modellen) superieur kan zijn in zowel kwaliteit als efficiëntie.
• Preference Alignment (DPO) effectief kan worden toegepast op multimodale generatietaken om menselijke voorkeuren te optimaliseren.
• Het mogelijk is om State-of-the-Art (SOTA) resultaten te bereiken met een relatief klein dataset (1M entries), wat de drempel voor open-source onderzoek verlaagt en nieuwe richtingen voor schaalbare multimodale systemen opent.

De code, modellen en datasets zijn openbaar gemaakt, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.