Technische Samenvatting: Baton – Expliciete Semantische Blauwdrukken voor Gezamenlijke Video-Audio Generatie

1. Probleemstelling

Huidige open-source modellen voor gezamenlijke video-audio generatie, hoewel ze in staat zijn om gesynchroniseerde content te produceren voor eenvoudige prompts, kampen met aanzienlijke moeilijkheden bij scenario's die complexe semantische redenering vereisen. Deze scenario's omvatten multi-stap acties, ingewikkelde mens-object interacties en dialogen met meerdere sprekers.

De oorzaak van dit falen ligt in de heersende methodologie: bestaande modellen vertrouwen op grove globale tekst-embeddings afgeleid van kant-en-klare encoders (bijv. T5, Qwen) om de denoising-trajecten van zowel de video- als de audio-diffusiebranches te sturen. Deze aanpak lijdt aan twee kritieke beperkingen:

1. Verlies van fijnmazige semantiek: Globale embeddings falen in het ontleden van complexe instructies in modality-specifieke, temporair verankerde details.
2. Gebrek aan gedeelde langetermijnplanning: Zonder een gecoördineerd plan drijven de video- en audio-denoising-trajecten uit elkaar, wat leidt tot antagonistische dynamiek. Dit resulteert in ernstige cross-modale misalignatie, vervorming van het lichaam en het onvermogen om subjectconsistentie te behouden of specifieke acties te synchroniseren (bijv. een vuistslag die samenvalt met een geluidseffect) over langere duur.

Hoewel sommige recente werken proberen prompts te verrijken met Large Language Models (LLM's), injecteren ze de resulterende representaties nog steeds als globale embeddings, waardoor ze de structurele misalignatie tussen semantische intentie en het spatio-temporele generatieproces niet aanpakken.

2. Methodologie: Baton

Baton stelt een kader voor dat semantische redenering expliciet ontkoppelt van synthese. In plaats van uitsluitend te vertrouwen op globale embeddings, introduceert Baton een "plannings"-fase die expliciete, modality-bewuste blauwdrukken genereert voordat het diffusieproces begint. De architectuur bestaat uit drie hoofdcomponenten:

2.1 VA-Planner (Video-Audio Planner)

De kerninnovatie is de VA-Planner, een trainbaar Multimodaal Taalmodel (MLLM) uitgerust met twee semantische aligneringstorens.

• Invoer: De planner ontvangt een gestructureerde prompt met systeeminstructies, videobeschrijvingen en audiobeschrijvingen.
• Redenering: Het voert autoregressieve redenering uit om een paar geplande tokens te voorspellen: één set voor video ($H_v$) en één voor audio ($H_a$). Deze tokens fungeren als blauwdrukken op keyframe-niveau.
• Twee Aligneringstorens: Om cross-modale consistentie te waarborgen, gebruikt de planner twee torens met leerbare queries.
  • De videotoren extrahert videospecifieke semantiek uit de verborgen toestanden van de MLLM en voert vervolgens cross-modale attention uit om complementaire auditieve aanwijzingen op te nemen.
  • De audiotoren voert de symmetrische bewerking uit.
  • Deze bidirectionele attention zorgt ervoor dat het videoplane bewust is van audiocontext en vice versa, waardoor wederzijds consistente temporale blauwdrukken worden geproduceerd.
• Feature Projectie: De geplande tokens worden geprojecteerd naar de continue feature-domeinen van vooraf getrainde perceptuele encoders (SigLip2 voor video, WavTokenizer voor audio) om te dienen als hoogtrouw semantische gidsen.

2.2 Relative Semantic RoPE (RS-RoPE)

Een aanzienlijke uitdaging doet zich voor omdat de geplande tokens (gegenereerd met een spaarzame keyframe-resolutie) en de diffusielatents (gegenereerd met een dichte spatio-temporele rooster) geen één-op-één correspondentie delen. Standaard positionele encoding faalt hier, waardoor het diffusiemodel de gestructureerde planning behandelt als een vaag globaal signaal.

Baton introduceert Relative Semantic RoPE, een mechanisme voor relatieve positionele encoding dat:

• De geplande tokens en diffusielatents in een gemeenschappelijk spatio-temporeel coördinatenstelsel mapt.
• Positie-indices herschaalt op basis van de fysieke tijd en ruimtelijke locatie die ze vertegenwoordigen.
• Het mogelijk maakt dat elke diffusielatent nauwkeurig aandacht besteedt aan zijn positioneel overeenkomstige semantische aanwijzing, waardoor de structuur van de blauwdruk op keyframe-niveau behouden blijft in plaats van te worden afgevlakt.

2.3 Trainingsstrategie

Baton hanteert een drie-fasen trainingscurriculum om robuustheid te garanderen:

1. VA-Planner Pretraining: De MLLM en aligneringstorens worden getraind om continue perceptuele features (van bevroren SigLip2 en WavTokenizer) te voorspellen op basis van tekstprompts. Dit leert de planner om accurate semantische blauwdrukken te genereren.
2. DiT Adaptatie: De Diffusion Transformer (DiT) wordt getraind met ground-truth perceptuele features (de planner omzeilend) om de verdeling van semantische features te leren zonder verward te raken door ruis van planner-voorspellingen.
3. Gezamenlijke Fine-tuning: De VA-Planner wordt bevroren en de DiT wordt gefine-tuned met de voorspelde tokens van de planner. Deze fase overbrugt de kloof tussen ideale ground-truth features en realistische planner-voorspellingen, waardoor exposure bias wordt verminderd.

3. Belangrijkste Bijdragen

1. VA-Planner: Het eerste kader dat expliciete semantische planning introduceert voor gezamenlijke video-audio generatie. Het genereert semantisch uitgelijnde video- en audio-geplande tokens die fungeren als blauwdrukken op keyframe-niveau, waardoor beide denoising-trajecten worden verankerd aan een gedeelde routekaart.
2. Relative Semantic RoPE: Een nieuwe positionele encoding die de spatio-temporele mismatch oplost tussen spaarzame semantische plannen en dichte diffusielatents, waardoor precieze cross-modale attention mogelijk wordt.
3. Ontkoppeling van Redenering en Synthese: Door de semantische planningsfase te scheiden van de generatiefase voorkomt Baton de antagonistische drift die wordt waargenomen bij modellen die uitsluitend vertrouwen op globale embeddings.

4. Experimentele Resultaten

De auteurs hebben Baton geëvalueerd op Verse-Bench (standaard open-source benchmarks) en Sem100 (een aangepast dataset van 100 onzichtbare video's met complexe, multi-stap prompts die diepe semantische redenering vereisen).

• Kwantitatieve Prestaties:

  • Op Verse-Bench bereikt Baton resultaten die vergelijkbaar zijn met het state-of-the-art (SOTA) model LTX-2.
  • Op Sem100 presteert Baton aanzienlijk beter dan alle open-source concurrenten. Het toont een verbetering van 32% in Prompt Following Accuracy (P-Acc), een reductie van 76% in Multi-Speaker Word Error Rate (M-WER) en een reductie van 30% in Desynchronisatie (DeSync) ten opzichte van LTX-2.
  • De verbeteringen in M-WER en P-Acc onderstrepen het superieure vermogen van het model om dialogen met meerdere sprekers en complexe sequentiële acties te hanteren.

• Kwalitatieve Prestaties:

  • Visuele vergelijkingen tonen aan dat Baton stabiele video-audio content produceert met correcte subjectconsistentie en gesynchroniseerde acties, terwijl concurrenten (Ovi, UniAVGen, LTX-2, MOVA) lijden aan vervorming van het lichaam, verdwijning van objecten en audio-video desynchronisatie in complexe scenario's.
  • In gebruikersstudies werd Baton verkozen boven concurrenten voor video/audio-alignatie, identiteitsconsistentie en synchronisatie.

• Vergelijking met Commerciële Modellen:

  • Hoewel commerciële modellen (bijv. Veo 3, Seedance 2.0) mogelijk hogere visuele kwaliteit of audio-aesthetiek vertonen, bereikt Baton vergelijkbare prompt-volgende capaciteiten, met name in scenario's die complexe semantische redenering vereisen waar commerciële modellen soms falen in het nauwkeurig volgen van multi-stap instructies.

5. Betekenis en Claims

Het artikel beweert dat Baton het eerste kader is dat semantische planning expliciet ontkoppelt van synthese voor gezamenlijke video-audio generatie. De betekenis hiervan ligt in het aanpakken van de fundamentele beperking van huidige diffusiemodellen: het onvermogen om cross-modale coherentie over lange horizonnen te behouden zonder een gedeelde, vooraf uitgelijnde semantische routekaart.

Door expliciete semantische blauwdrukken en een mechanisme in te voeren om deze af te stemmen op diffusielatents (RS-RoPE), transformeert Baton generatie van "blind denoisen onder vage globale signalen" naar "volgen van een semantisch onderbouwde en cross-modaal gecoördineerd plan". Dit stelt het model in staat om stabiele, gesynchroniseerde video-audio content te synthetiseren, zelfs voor prompts die complexe causale relaties, multi-stap acties en interacties met meerdere sprekers omvatten, waarmee een nieuwe standaard wordt neergezet voor open-source gezamenlijke video-audio generatie.