💻 computer science

Native Audio-Visual Alignment for Generation

NAVA is een nieuw raamwerk voor gezamenlijke audio-video-generatie dat een native audio-visuele afstemmingstrategie hanteert binnen een Align-then-Fuse MMDiT-architectuur om superieure synchronisatie, videokwaliteit en controleerbare spraaktimbre te bereiken met slechts 6,3 miljard parameters.

Oorspronkelijke auteurs: Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmscène wilt creëren waarin een personage op een fiets rijdt terwijl het praat. Je hebt twee dingen nodig die perfect samen moeten gebeuren: de video van de bewegende fiets en het geluid van de wind en de stem van de persoon.

Lange tijd probeerden computers deze twee dingen apart te maken en ze vervolgens aan het einde aan elkaar te plakken. Dit is alsof één kunstenaar de fiets tekent en een volledig andere kunstenaar de stem opneemt, waarna je later probeert ze op elkaar af te stemmen. Vaak was de stem iets uit de pas met de lipbewegingen, of klonk het geluid alsof het niet bij die specifieke scène hoorde.

Andere, nieuwere methoden probeerden de kunstenaar, de stemacteur en de regisseur allemaal in dezelfde kleine kamer te zetten om tegelijk aan alles te werken. Hoewel dit helpt om met elkaar te praten, wordt het rommelig. De "regisseur" (de tekstinstructies) raakt uiteindelijk verward met de "geluidstechnicus" (het timing van het geluid), waardoor het moeilijk wordt om specifieke details te controleren zoals wie er spreekt of hoe hun stem klinkt.

Maak kennis met NAVA: de "Repetitieruimte"-aanpak

Het artikel introduceert NAVA (Native Audio-Visual Alignment), wat de workflow verandert. In plaats van apart te werken of alles door elkaar te halen in één grote pot, gebruikt NAVA een slim tweestapsproces genaamd "Align-then-Fuse" (Eerst uitlijnen, dan samenvoegen).

Denk hierbij aan een theaterrepetitie:

De Repetitie (Uitlijning): Eerst ontmoeten de acteurs (audio) en het podiumpersoneel (video) elkaar in een speciale "repetitieruimte". Hier oefenen ze samen zonder dat de regisseur hen nieuwe tekst geeft. Ze ontdekken precies hoe het geluid van een voetstap overeenkomt met het beeld van een voet die de grond raakt, of hoe een gitaarslag overeenkomt met een handbeweging. Ze bouwen een natuurlijke, inherente verbinding tussen geluid en beeld.
De Voorstelling (Samenvoegen): Zodra ze weten hoe ze samen moeten bewegen en spreken, komt de regisseur (de tekstprompt) naar voren. De regisseur hoeft hen niet langer te leren hoe ze op elkaar moeten afstemmen; hij vertelt hen alleen wat ze moeten doen. "Nu moet het personage deze zin zeggen met een chagrijnige stem." Omdat de acteurs en het personeel al weten hoe ze synchroon moeten bewegen, kunnen ze zich direct aanpassen aan de nieuwe instructies zonder hun timing te verliezen.

Het geheime ingrediënt: "Timbre-in-Context"

NAVA heeft ook een speciale truc voor het hanteren van meerdere sprekers. Stel je een script voor waarin een moeder en haar kind met elkaar praten. Je wilt niet dat de stem van de moeder klinkt als die van het kind.

Oudere methoden hebben misschien een aparte "stemwissel"-knop die de hele stem van de scène verandert. NAVA is slimmer. Het behandelt de stemstijl (timbre) als onderdeel van het script zelf. Het plakt een specifiek "stemlabel" aan de tekstregels van de moeder en een ander "stemlabel" aan de regels van het kind. Wanneer de computer de scène genereert, weet het precies welke stem bij welke zin hoort, net als een regisseur die een script leest met aantekeningen over wie er spreekt.

Wat het artikel heeft gevonden

De onderzoekers hebben NAVA getest tegen andere topmodellen met behulp van een benchmark genaamd Verse-Bench (een test van hoe goed audio en video overeenkomen) en Seed-TTS (een test van stemcontrole).

Bessere Synchroon: NAVA was het beste in het zorgen dat het geluid op het exacte moment plaatsvond waarop het visuele gebeurtenis plaatsvond (zoals een deur die slampt of lippen die bewegen).
Hoge Kwaliteit: De video zag er geweldig uit, en de audio klonk helder en realistisch.
Efficiëntie: Ondanks dat het kleiner is dan veel concurrenten (met slechts 6,3 miljard "hersencellen" of parameters), presteerde het beter dan veel grotere modellen.
Controle: Het kon naadloos wisselen tussen verschillende sprekers in dezelfde scène, waarbij de stemmen duidelijk en accuraat bleven.

Samenvattend

NAVA lost het probleem op van het maken van geluid en video door hen een speciale ruimte te geven om te leren hoe ze samen moeten bewegen voordat ze proberen complexe instructies te volgen. Het is alsof je een dansduo leert hun stappen te beheersen voordat de choreograaf hen vertelt op welk liedje ze moeten dansen. Het resultaat is een filmscène waarin geluid en beeld lijken te zijn geboren samen, en niet alleen maar aan elkaar zijn geplakt.

Technische Samenvatting: NAVA - Native Audio-Visual Alignment for Generation

Probleemstelling

Gecombineerde audio-video-generatie heeft tot doel temporair gesynchroniseerde en semantisch samenhangende visueel-akoestische inhoud te synthetiseren. Hoewel commerciële systemen (bijv. Seedance, Kling, Veo) potentie hebben aangetoond, blijven hun architecturen eigendom. Open-source onderzoek heeft grotendeels twee paradigma's gevolgd, die beide aanzienlijke beperkingen vertonen:

Twee-Toren Ontwerpen: Deze methoden genereren audio en video in aparte streams, waarbij kruismodale interactie alleen wordt ingevoerd via uitgelijnde modules in een laat stadium. Deze "posteriore uitlijning" verzwakt de fijnkorrelige co-evolutie van audio en video, waardoor synchronisatie afhankelijk wordt van hulpmodules in plaats van een verenigde generatieve representatie.
Volledig Geünificeerde Tri-Modale Ontwerpen: Deze benaderingen mengen tekstuele context, audio en video-tokens in één gedeelde aandacht-ruimte. Hoewel dit directe interactie mogelijk maakt, koppelt dit ontwerp hoge-niveau semantische conditionering aan lage-niveau audio-visuele synchronisatie. Bijgevolg worden semantische begeleiding en temporale uitlijning geoptimaliseerd in dezelfde ruimte, wat de vorming van een dedicated synchronisatiestructuur mogelijk kan belemmeren.

De kernuitdaging is om precieze gebeurtenis-niveau correspondentie en temporale consistentie te bereiken zonder semantische controleerbaarheid op te offeren of enorme parameteraantallen te vereisen.

Methodologie: NAVA Framework

De auteurs stellen NAVA (Native Audio-Visual Alignment) voor, een framework dat audio-visuele synchronisatie ontkoppelt van externe context-conditionering. De kernfilosofie is om eerst audio-video-correspondentie vast te stellen in een dedicated interactieruimte en vervolgens externe context te gebruiken om het gezamenlijke denoising-proces te conditioneren.

1. Formulering: Context-Geconditioneerde Native Uitlijning

In tegenstelling tot twee-toren methoden (die uitlijnen na aparte generatie) of volledig geünificeerde methoden (die alle tokens mengen), scheidt NAVA de rollen van synchronisatie en conditionering:

Native Synchronisatie: Audio ( $h_a$ ) en video ( $h_v$ ) tokens interageren via self-attention in een dedicated ruimte zonder context-tokens: $[h'_a, h'_v] = \text{SelfAttn}([h_a, h_v])$ . Dit zorgt ervoor dat akoestische patronen en visuele dynamiek samen evolueren.
Externe Conditionering: Context-tokens ( $c$ ), inclusief tekst en timbre-aanduidingen, worden ingespoten via cross-attention na de initiële uitlijning: $[\tilde{h}_a, \tilde{h}_v] = \text{CrossAttn}([h'_a, h'_v], c)$ .

2. Architectuur: Align-then-Fuse MMDiT

NAVA wordt geïmplementeerd met een aangepaste Multi-modal Diffusion Transformer (MMDiT) met een progressief ontwerp:

Hiërarchische Uitlijnende Lagen (Vroeg): De eerste 10 blokken gebruiken Modality-Decoupled Alignment Projections. Omdat audio en video verschillen in spatiotemporale structuur en token-rates, mapping deze lagen heterogene tokens naar een gedeelde interactieruimte met modality-specifieke projecties voordat gezamenlijke self-attention wordt toegepast. Dit stabiliseert het leren van correspondentie in een vroeg stadium.
- Token Rate Handling: Audio rotary positional embeddings worden herschaald ( $\theta_{rope} = TR_v / TR_a$ ) om temporale coördinaten af te stemmen op video-tokens.
Geünificeerde Fusie Lagen (Laat): De resterende 20 blokken gebruiken Modality-Shared Unified Projections. Zodra correspondentie is vastgesteld, delen audio en video tokens generatieparameters om compacte collaboratieve denoising te stimuleren. Context blijft extern via cross-attention om de trajectorie te moduleren zonder de geleerde synchronisatie te verstoren.

3. Timbre-in-Context Conditionering

Om controleerbaar spraaktimbre te bereiken (bijv. multi-spreker dialoog), introduceert NAVA een mechanisme dat referentie-timbre-aanduidingen bindt aan specifieke spraaksegmenten binnen de prompt-structuur.

Referentie-timbre embeddings worden geëxtraheerd en behandeld als context-tokens.
Deze tokens worden direct ingevoegd in de tekstuele prompt-sequentie die overeenkomt met specifieke spraaksegmenten (bijv. $\langle S \rangle, s_i, \text{Text}(S_i), \langle E \rangle$ ).
Dit zorgt voor flexibele content-timbre binding zonder hulp-spreker-control takken of aanpassingen aan de backbone.

4. Training en Inferentie

Progressieve Multi-Task Training: Het model wordt in drie fasen getraind: (1) Alleen-audio en gekoppelde data om audio-paden te initialiseren; (2) Hoogwaardige audio en volledige audio-visuele data om fideliteit en synchronisatie te verbeteren; (3) Fine-tuning op gecureerde data voor instructie-opvolging en complexe controle.
Gestructureerde Dropout: Willekeurige kruismodale attentie-maskering en het weglaten van timbre-tokens worden gebruikt om gekoppelde conditionele/onconditionele paden voor begeleiding te creëren.
Condition-Factorized Classifier-Free Guidance (CFG): Tijdens inferentie worden drie verschillende begeleidingsrichtingen berekend en gecombineerd:
- $\Delta_{text}$ : Tekst-gevolgzaamheid.
- $\Delta_{align}$ : Audio-visuele synchronisatie (door audio-video cross-attention te maskeren).
- $\Delta_{timbre}$ : Timbehoud (door timbre-tokens weg te laten).
  Dit zorgt voor onafhankelijke controle over synchronisatie en timbre zonder hertraining.

Belangrijkste Bijdragen

NAVA Framework: Een Native Audio-Visual Alignment-benadering die gezamenlijke generatie formuleert als context-geconditioneerde uitlijning, wat nauwkeurige gebeurtenis-niveau correspondentiemodellering mogelijk maakt met voorgeöordeelde video-backbones.
Align-then-Fuse MMDiT: Een architectuur die overgaat van modality-bewuste uitlijning naar modality-gedeelde denoising, waarbij synchronisatiestabiliteit wordt gebalanceerd met efficiëntie van collaboratieve generatie.
Timbre-in-Context Conditionering: Een nieuw mechanisme voor segment-niveau timbre-controle dat referentie-aanduidingen direct integreert in het context-pad, wat multi-spreker generatie ondersteunt zonder hulp-takken.
Prestaties: Uitgebreide experimenten tonen aan dat NAVA superieure synchronisatie en video-kwaliteit bereikt met aanzienlijk minder parameters (6.3B) in vergelijking met grotere baselines.

Experimentele Resultaten

Kwantitatieve Evaluatie (Verse-Bench)

NAVA (6.3B parameters) presteert beter dan of concurreert met aanzienlijk grotere modellen (10B–32B):

Synchronisatie: Bereikte de hoogste Sync-C (7.791) en de laagste Sync-D (7.566), wat wijst op superieure lip-audio uitlijning.
Video Kwaliteit: Scoorde 0.659 (IB), het beste onder de vergeleken modellen.
Audio Kwaliteit: Bereikte de laagste Woordfoutpercentage (WER) van 0.099 en concurrerende Productiekwaliteit (PQ) en Fréchet Distance (FD).
Efficiëntie: NAVA gebruikt de minste parameters (6.3B) onder alle vergeleken audio-video-modellen terwijl het topprestaties levert.

Timbre Controleerbaarheid (Seed-TTS)

Op de Seed-TTS-benchmark bereikte NAVA een sprekersimilariteit van 66.7% en een WER van 4.20.

Het presteerde aanzienlijk beter dan de audio-video-baseline DreamID-Omni (35.7% similariteit, 31.76 WER).
Het bleef concurrerend met pure alleen-audio-modellen (bijv. CosyVoice2: 65.2% similariteit), wat aantoont dat gezamenlijke generatie timbre-controle niet inherent verslechtert.

Kwalitatieve Evaluatie en Gebruikersstudie

Visualisaties: NAVA slaagde erin gesynchroniseerde inhoud te genereren in complexe scenario's, waaronder dynamische beweging, muzikale uitvoering, multi-spreker dialoog en shot-overgangen.
Gebruikersstudie (GSB Protocol): In paarwijze vergelijkingen tegen Ovi-1.1, LTX-2.3 en daVinci:
- T2AV: NAVA won 67.5% (vs Ovi), 60.0% (vs LTX) en 80.0% (vs daVinci) in algehele kwaliteit. Het won nog overtuigender in audio-visuele uitlijning (62.5%–72.5%).
- TI2AV: NAVA toonde duidelijke voordelen in uitlijning tegen de meeste baselines en bleef concurrerend in algehele kwaliteit.

Betekenis en Claims

Het artikel claimt dat NAVA een belangrijke stap voorwaarts is door het synchronisatiemechanisme te ontkoppelen van semantische conditionering. Door een dedicated uitlijnruimte vast te stellen voordat context wordt toegepast, vermijdt het model de trade-offs die inherent zijn aan twee-toren (zwakke co-evolutie) en volledig geünificeerde (verstrengelde controle) paradigma's.

De auteurs stellen dat deze "Native Audio-Visual Alignment"-benadering mogelijk maakt:

Precieze Gebeurtenis-Niveau Correspondentie: Modellering van spraak-lipbeweging en scène-afhankelijke akoestiek direct binnen het generatietraject.
Schaalbaarheid en Efficiëntie: Het bereiken van state-of-the-art resultaten met een compact model van 6.3B parameters.
Flexibele Controle: Het mogelijk maken van compositie-multiperspreker generatie via context-gebaseerde timbre-binding.

De auteurs erkennen beperkingen bij het genereren van long-tail gebeurtenissen (zeldzame dierengeluiden, complexe muziekmengsels) en suggereren dat toekomstig werk diepere audio-visuele koppeling kan verkennen via gezamenlijke tokenizers of geünificeerde representatiemodellen. Zij concluderen echter dat native uitlijning met ontkoppelde context-conditionering een veelbelovende richting is voor schaalbare en controleerbare audio-video-generatie.