Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model

Probleemstelling

Bij het genereren van video's met tekst-naar-video (T2V) diffusiemodellen heeft de keuze van het initiële ruisseed (noise seed) een enorme invloed op de uiteindelijke kwaliteit, de temporele coherentie en de alignatie met de tekstprompt. Zelfs voor dezelfde prompt kunnen verschillende seeds leiden tot drastisch verschillende resultaten: van visueel aantrekkelijke video's tot artefacten of inconsistenties.

Bestaande methoden om dit te adresseren, zoals FreeNoise, FreeInit en FreqPrior, vertrouwen vaak op extern ontworpen priors (bijvoorbeeld frequentiefiltering of inter-frame smoothing) of vereisen zware fine-tuning en meerdere volledige diffusie-passes. Deze benaderingen negeren echter interne signaal van het model zelf die kunnen aangeven welke seeds van nature beter zijn. Bovendien zijn deze methoden vaak computatief zwaar, wat de inferentie-tijd aanzienlijk verlengt.

Methodologie: ANSE en BANSA

De auteurs stellen ANSE (Active Noise Selection for Generation) voor, een modelbewust raamwerk dat initiële ruisseeds selecteert op basis van modelonzekerheid, zonder het model opnieuw te hoeven trainen. De kern van ANSE is BANSA (Bayesian Active Noise Selection via Attention).

1. BANSA: Een Acquisitiefunctie voor Onzekerheid

In plaats van onzekerheid te schatten via classificatie-logits (zoals bij BALD in classificatiemodellen), meet BANSA onzekerheid in de attentie-ruimte van het diffusiemodel. Attentiekarten worden beschouwd als stochastische voorspellingen die conditioneren op het seed, de prompt en de tijdstap.

De BANSA-score wordt gedefinieerd als het verschil tussen de entropie van het gemiddelde van meerdere attentiekaarten en het gemiddelde van de entropie van individuele kaarten (een variant op de Mutual Information):
$$\text{BANSA}(z, c, t) = H\left(\frac{1}{K}\sum_{k=1}^K A^{(k)}\right) - \frac{1}{K}\sum_{k=1}^K H(A^{(k)})$$
Waarbij:

• $z$ het ruisseed is.
• $A^{(k)}$ de $k$-de stochastische attentiekaart is.
• $H$ de Shannon-entropie is.

Een lage BANSA-score duidt op lage onzekerheid: de modelattentie is consistent en zelfverzekerd over verschillende stochastische perturbaties. Een hoge score duidt op hoge onzekerheid en inconsistentie. De methode selecteert het seed met de laagste BANSA-score.

2. Efficiënte Benadering: Bernoulli-maskering

Het berekenen van BANSA zou normaal vereisen dat $K$ onafhankelijke forward passes worden uitgevoerd per seed, wat te duur is. De auteurs introduceren een efficiënte benadering:

• Bernoulli-maskering: In plaats van $K$ volledige passes, wordt één forward pass uitgevoerd waarbij de attentiescores worden gemaskeerd met een Bernoulli-masker ($p=0.2$). Dit creëert $K$ stochastische variaties van de attentiekaart binnen één enkele forward pass.
• Laagselectie: In plaats van alle lagen van het model te evalueren, wordt de BANSA-score berekend tot een kritieke diepte $d^*$. Deze diepte wordt bepaald door de correlatie tussen de cumulatieve score en de volledige-lagen score te analyseren. Zodra de correlatie een drempel (bijv. 0.7) bereikt, wordt de berekening stopgezet. Dit vermindert de rekentijd aanzienlijk zonder kwaliteitsverlies.

Belangrijkste Bijdragen

1. ANSE Framework: Het eerste raamwerk voor actieve ruisselectie specifiek voor video-diffusie, gebaseerd op een Bayesiaanse formulering van attentie-gebaseerde onzekerheid.
2. BANSA Acquisitiefunctie: Een nieuwe metric die modelonzekerheid meet via attentie-consistentie onder stochastische perturbaties. Dit stelt modellen in staat om "beter" seeds te kiezen zonder retraining.
3. Efficiënte Implementatie: Door het gebruik van Bernoulli-maskering en geselecteerde lagen, wordt de inferentie-overhead minimaal gehouden (minder dan 15% toename in tijd), terwijl de methoden compatibel blijven met bestaande SOTA-modellen.

Resultaten

De methode is geëvalueerd op diverse state-of-the-art T2V-backbones, waaronder AnimateDiff, CogVideoX (2B en 5B), Wan2.1 en HunyuanVideo.

• Kwaliteitsverbetering: ANSE leidt tot consistente verbeteringen in VBench-metrics (kwaliteitsscore, semantische score, subject- en achtergrondconsistentie, bewegingssmoothness). Bijvoorbeeld, op AnimateDiff steeg de totale score van 77.98 naar 79.33.
• Temporele Coherentie: Video's gegenereerd met lage BANSA-scores vertonen minder flickering en soepelere bewegingstransities.
• Efficiëntie: In tegenstelling tot methoden zoals FreqPrior of FreeInit die de inferentie-tijd met meer dan 100% kunnen verhogen door meerdere volledige passes, introduceert ANSE slechts een marginale overhead (ranging van +8% tot +15%).
• Ablatie Studies:
  • Het omkeren van de selectie (kiezen van de hoogste BANSA-score) resulteert in slechtere kwaliteit, wat bevestigt dat lage onzekerheid correleert met hoge kwaliteit.
  • De methode werkt goed over verschillende modelgroottes en architecturen (van U-Net tot MMDiT).
  • Menselijke evaluaties tonen een duidelijke voorkeur voor video's gegenereerd met ANSE, zowel qua visuele kwaliteit als prompt-afstemming.

Betekenis en Conclusie

Dit paper introduceert een paradigmaverschuiving in de inferentie van video-diffusiemodellen. In plaats van het model te wijzigen of de sampling-stappen te verlengen, benut ANSE de interne onzekerheid van het model om de meest geschikte startconditie te kiezen.

De belangrijkste implicaties zijn:

• Modelbewustheid: Het benut interne signalen (attentie) die eerder werden genegeerd ten gunste van externe priors.
• Plug-and-Play: De methode is compatibel met bestaande modellen en kan zelfs worden gecombineerd met andere ruis-prior methoden voor nog betere resultaten.
• Inference-time Scaling: Het demonstreert dat "inference-time scaling" (meer rekenkracht besteden aan het kiezen van de juiste start, in plaats van meer stappen) een effectieve strategie is om de kwaliteit van gegenereerde video's te verhogen zonder de modelarchitectuur aan te passen.

Kortom, ANSE biedt een principieel, generaliseerbaar en rekenefficiënt middel om de kwaliteit van tekst-naar-video generatie te maximaliseren door simpelweg de "beste ruis" te kiezen die het model al "weet".