Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models

Dit artikel introduceert MMHNet, een hiërarchisch model dat non-causale Mamba-architecturen gebruikt om video-naar-audio-generatie te schalen van korte naar lange duur (meer dan 5 minuten) zonder extra training op langere tijdsduur.

De kern

Echoes Over Time: Een simpele uitleg over het laten 'zingen' van lange video's

Stel je voor dat je een stomme film kijkt. Je ziet een auto die over een kasseienweg rijdt, maar je hoort niets. Een slim computerprogramma moet nu het geluid voor die auto bedenken. Dat is makkelijk voor een paar seconden, maar wat als de video 5 minuten duurt? Dat is precies het probleem dat deze nieuwe technologie, genaamd MMHNet, oplost.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Korte Kijker"

Vroeger konden computers alleen geluid maken voor heel korte filmpjes (bijvoorbeeld 8 seconden). Als je hen een lang verhaal gaf, raakten ze de draad kwijt.

• De analogie: Stel je voor dat je een kind leert om een verhaal na te vertellen. Je leert het kind een zin van 5 woorden. Vervolgens vraag je het kind om een heel boek na te vertellen. Het kind zal waarschijnlijk beginnen met de eerste zin, maar halverwege het boek de draad verliezen, gaan herhalen of helemaal stoppen.
• De oorzaak: De oude computers (die op 'Transformers' draaiden) hadden een soort "korte geheugenlijn". Ze hadden een vaste lijst met posities (1, 2, 3...) nodig. Als het verhaal langer werd dan die lijst, raakten ze in de war.

2. De Oplossing: MMHNet (De Slimme Regisseur)

De onderzoekers hebben een nieuw systeem bedacht dat heet MMHNet. Dit systeem is als een slimme regisseur die niet alleen kijkt naar wat er gebeurt, maar ook begrijpt hoe de tijd verloopt, zonder vast te zitten aan een strakke lijst.

Ze gebruiken twee slimme trucjes:

Truc A: De "Niet-Causale Mamba" (De Alles-Kijker)

Oude systemen keken alleen naar het verleden (causaal). Ze wisten niet wat er nog ging gebeuren.

• De analogie: Stel je voor dat je een film kijkt, maar je mag alleen naar het scherm kijken als je de vorige scène al hebt gezien. Je kunt niet vooruitkijken.
• De nieuwe methode: MMHNet gebruikt een technologie die "Niet-Causaal" heet. Dit is alsof de regisseur de hele filmrollen al heeft uitgerold op de grond. Hij kan naar het begin, het midden én het einde kijken tegelijkertijd. Hij weet dus precies wat er gebeurt, zelfs als de video heel lang is. Hij hoeft niet te raden; hij ziet het allemaal.

Truc B: De Hiërarchische Netwerken (De Slimme Samenvatter)

Bij een lange video zijn er veel momenten die saai of saai zijn (bijvoorbeeld een auto die 10 seconden lang rechtdoor rijdt). De oude computers probeerden elk seconde te analyseren, wat veel te veel werk was.

• De analogie: Stel je voor dat je een lange reisverslag schrijft. Je hoeft niet te vertellen dat je 10 minuten lang over de snelweg reed (dat is saai). Je schrijft alleen op: "We kwamen aan in de stad" en "We zagen een kerk".
• De nieuwe methode: MMHNet gebruikt een "routeringssysteem". Het kijkt naar de video en het geluid, en zegt: "Ah, hier gebeurt er niets spannends, ik sla dit over." en "Hier springt een bal, hier moet ik wel even naar kijken!"
  Het comprimeert de saaie momenten en focust alleen op de belangrijke stukken. Dit maakt het systeem veel sneller en zorgt dat het geluid niet "vervormt" naarmate de video langer wordt.

3. Het Resultaat: Van 8 seconden naar 5 minuten

Het mooiste aan dit onderzoek is dat ze het systeem alleen hebben getraind op korte filmpjes (8 seconden), maar dat het nu perfect lange filmpjes (tot wel 5 minuten of meer) kan maken.

• De analogie: Het is alsof je een kok leert om een perfect ei te bakken. Vervolgens vraag je die kok om een gigantische maaltijd voor 100 mensen te bereiden. Omdat de kok de basisprincipes (het "recept") zo goed heeft begrepen, kan hij die vaardigheid gewoon uitbreiden naar een veel grotere hoeveelheid, zonder dat hij opnieuw hoeft te leren koken.

Waarom is dit belangrijk?

Vroeger klonk het geluid bij lange video's vaak raar: het geluid viel weg, het werd eentonig, of het klopte niet meer met wat je zag.
Met MMHNet kun je nu een lange film of een spel laten draaien, en het computerprogramma bedacht het perfecte geluid (de voetstappen, de wind, de auto's) dat perfect past bij elk moment in de video, van seconde 1 tot seconde 300.

Kortom: Ze hebben een computer bedacht die niet meer "vergeten" wordt als het verhaal lang wordt, door slim te kijken naar het hele plaatje in plaats van alleen naar het nu, en door alleen naar de interessante momenten te luisteren.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models" in het Nederlands.

Probleemstelling: Lengte-generalisatie in Video-naar-Audio Generatie

Bestaande methoden voor Video-naar-Audio (V2A) generatie, zoals diffusion-modellen en autoregressieve modellen, zijn over het algemeen geoptimaliseerd voor korte videofragmenten (vaak 8-10 seconden). Wanneer deze modellen worden toegepast op langere video's (bijvoorbeeld tot 5 minuten), treden er significante prestatiedalingen op. De belangrijkste uitdagingen zijn:

1. Data-beperkingen: Er is een gebrek aan grote datasets met lange video-audio paren; de meeste beschikbare data beslaat slechts korte segmenten.
2. Architecturale beperkingen: Bestaande modellen vertrouwen vaak op Transformer-architecturen met expliciete positional embeddings (zoals RoPE). Deze embeddings zijn moeilijk te generaliseren naar sequenties die langer zijn dan die tijdens het trainingstijdperk zijn gezien.
3. Kwaliteitsverlies: Bij het genereren van lange audio's ontstaan vaak fragmentarische overgangen, ongesynchroniseerde geluidsevenementen en een daling in audio-kwaliteit. Simpele oplossingen zoals het genereren van losse korte clips leiden tot een gebrek aan context en discontinuïteit.

Het paper introduceert het probleem van "Train Short, Test Long": het vermogen om modellen te trainen op korte, vaste lengtes (bijv. 8 seconden) en deze vervolgens succesvol toe te passen op variabele, langere video's zonder extra training op die langere duur.

Methodologie: MMHNet

De auteurs stellen MMHNet (Multimodal Hierarchical Network) voor, een geavanceerd framework dat de beperkingen van bestaande V2A-modellen overwint door een combinatie van hiërarchische netwerken en een nieuwe architectuur.

1. Kernarchitectuur: Non-Causal Mamba-2
In plaats van Transformers, gebruikt MMHNet Mamba-2 (een State Space Model) als basis.

• Geen Positional Embeddings: Mamba-2 vereist geen expliciete positional embeddings, wat de generalisatie naar willekeurige lengtes mogelijk maakt zonder de prestaties te laten inzakken.
• Non-Causal vs. Causal: Het paper kiest specifiek voor Non-Causal Mamba-2. Waar causale modellen informatie alleen in één richting laten stromen (wat leidt tot vervaging van conditionele signalen over lange tijd), staat Non-Causal Mamba toe dat informatie omnidirectioneel stroomt. Dit is cruciaal voor multimodale fusie (video, tekst, audio) waarbij de volgorde niet strikt gedefinieerd is en een globaal receptief veld nodig is voor hoge kwaliteit.

2. Hiërarchisch Framework (HNet)
Om de computationele kosten van lange sequenties te beheersen en redundantie te verminderen, introduceert MMHNet een hiërarchische structuur:

• Compressed Space: De eerste lagen van het netwerk werken in een gecomprimeerde ruimte met minder tokens. Hier vindt de multimodale alignment plaats.
• Routing Mechanismen:
  • Temporele Routing: Selecteert alleen tokens die belangrijke tijdsinformatie bevatten (bijv. waar geluidsevenementen echt plaatsvinden) en filtert redundante data weg. Dit gebeurt op basis van cosine similarity tussen tokens.
  • Multimodale (MM) Routing: Selecteert tokens die een hoge correlatie hebben tussen modaliteiten (bijv. synchronisatie tussen video en audio).
• Chunking & Dechunking: Het framework gebruikt downsampling (chunking) om de input te comprimeren en upsampling (dechunking) om na verwerking in het hoofdnetwerk de details weer te herstellen voor de uiteindelijke output.

3. Training en Flow Matching
Het model wordt getraind met Conditional Flow Matching in een latent space. Het doel is om een conditionele verdeling $p(x|c)$ te leren waarbij $x$ de audio is en $c$ de video- en tekstcondities. Door te trainen op korte 8-seconde clips, leert het model de onderliggende dynamiek die generaliseert naar langere duur.

Belangrijkste Bijdragen

1. Definitie van de Lengte-Generalisatie Uitdaging: Het paper formaliseert het probleem van het trainen op korte clips en testen op lange video's in V2A-taken, en identificeert de rol van positional embeddings als een knelpunt.
2. MMHNet Architectuur: Introductie van een nieuw framework dat Multimodal Flow Matching combineert met Non-Causal Mamba-2 en hiërarchische routing voor efficiënte, consistente langdurige audio-generatie.
3. Uitgebreide Evaluatie: Het creëren van een benchmark voor langdurige V2A-taken op basis van de UnAV100 en LongVale datasets, en het aantonen dat het model presteert op video's van meer dan 5 minuten.

Resultaten

De experimenten tonen aan dat MMHNet aanzienlijk beter presteert dan state-of-the-art methoden (zoals MMAudio, LoVA, V-AURA en HunyuanVideo-Foley):

• Prestatie op Lange Video's: Op de LongVale dataset (video's tot 500 seconden) behaalt MMHNet de beste scores op alle metrieken, inclusief distributie-overeenkomst (FD), audio-kwaliteit (IS), semantische consistentie (IB-Score) en temporele synchronisatie (DeSync).
• Generalisatie: Terwijl bestaande modellen (zoals MMAudio) sterk achteruitgaan in prestatie naarmate de video langer wordt (bijv. een daling van 3-4 punten in FDPANNs bij 60 seconden), behoudt MMHNet zijn prestaties over verschillende duursegmenten (10 tot 60+ seconden).
• Kwaliteit: De gegenereerde audio is beter gesynchroniseerd met visuele gebeurtenissen en mist de "homogene" of gebroken geluidseffecten die bij andere methoden voorkomen bij lange duur.
• Ablatie Studies:
  • Non-Causal Mamba-2 bleek superieur aan zowel Transformers als Causal Mamba-2 voor deze taak.
  • De Hiërarchische aanpak (met routing) leverde betere alignment en lagere fouten op dan niet-hiërarchische varianten.
  • Een drempelwaarde van 0.5 voor token-selectie bleek optimaal.

Betekenis en Impact

Dit werk is een doorbraak in het veld van multimodale generatieve AI. Het lost een fundamenteel probleem op: hoe je modellen kunt trainen op beperkte, korte data en ze toch inzetbaar maakt voor real-world toepassingen die lange video's vereisen (zoals film, gaming en documentaires).

Door afstand te doen van rigide positional embeddings en in te zetten op Non-Causal Mamba-2 en hiërarchische routing, maken de auteurs het mogelijk om kwalitatief hoogwaardige, contextueel afgestemde audio te genereren voor video's van meer dan 5 minuten, zonder dat er extra training op lange data nodig is. Dit opent de deur voor schaalbare en praktische V2A-toepassingen die eerder beperkt waren door technische barrières.