💻 computer science

AlignVid: Training-Free Attention Scaling for Semantic Fidelity in Text-Guided Image-to-Video Generation

AlignVid is een trainingsvrije methode die de semantische trouw in tekstgestuurde afbeelding-naar-video-generatie verbetert door gebruik te maken van attentieschaalmodulatie en begeleidingsplanning om visuele dominantie tegen te gaan, gepaard gaande met de introductie van de OmitI2V-benchmark voor rigoureuze evaluatie.

Oorspronkelijke auteurs: Yexin Liu, Wen-Jie Shu, Zile Huang, Haoze Zheng, Yueze Wang, Jingjin Zhu, Manyuan Zhang, Ser-Nam Lim, Harry Yang

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yexin Liu, Wen-Jie Shu, Zile Huang, Haoze Zheng, Yueze Wang, Jingjin Zhu, Manyuan Zhang, Ser-Nam Lim, Harry Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Visuele Anker"-effect

Stel je voor dat je regisseur bent die een scène probeert te filmen op basis van een script. Je hebt een referentiefoto op de set (de "Afbeelding") en een script dat je vertelt wat je moet doen (de "Tekstprompt").

Bij huidige AI-video-generators is de referentiefoto als een zwaar anker. Het is zo visueel sterk en gedetailleerd dat de AI erin "vastloopt". Zelfs als je script zegt: "Voeg een draak toe aan de lucht" of "Laat de persoon verdwijnen", negeert de AI het script. Het blijft gewoon de originele foto afspelen, omdat de visuele details van de foto zo luid schreeuwen dat de tekstuele instructies worden overschreeuwd.

De auteurs noemen dit "Visuele Dominantie". De AI is zo gefocust op wat het ziet dat het vergeet wat het moet doen.

De Ontdekking: Het Foto Wazig Maken Helpt (Maar Ziet Er Slecht Uit)

De onderzoekers deden een klein experiment. Ze namen een scherpe, duidelijke foto en gaven deze een Gaussian blur (waardoor het wazig werd) voordat ze het aan de AI gaven.

Verrassend genoeg werkte dit! Toen de foto wazig was, luisterde de AI daadwerkelijk naar de tekstuele instructies. Het voegde de draak toe of verwijderde de persoon.

Waarom? De blur verwijderde het "ruis" en de afleidende details van de foto. Dit dwong de AI om te stoppen met staren naar de pixels en te beginnen met luisteren naar het script.
De Haken: Het wazig maken van de invoerfoto verpest de kwaliteit van de uiteindelijke video. De video eindigt wazig en van lage kwaliteit. De onderzoekers vroegen zich af: Kunnen we het voordeel van de blur (luisteren naar de tekst) krijgen zonder de afbeelding daadwerkelijk wazig te maken?

De Oplossing: AlignVid (Het "Volumeknopje" voor Aandacht)

Het antwoord is AlignVid. In plaats van de afbeelding voor het de AI binnenkomt wazig te maken, past AlignVid het brein van de AI terwijl het denkt aan.

Denk aan het aandachtsmechanisme van de AI als een geluidsmixer met verschillende volumeknoppen voor verschillende invoer:

Het Afbeeldingskanaal: Nu erg luid.
Het Tekstkanaal: Erg stil.
Het Videokanaal: Precies goed.

AlignVid fungeert als een slimme volumeknop. Het verandert het afbeeldingsbestand zelf niet. In plaats daarvan draait het het volume van de details van de afbeelding omlaag en het volume van de tekstuele instructies omhoog binnen de verwerking van de AI.

Hoe het werkt (De Tweestapsdans):

Attention Scaling Modulation (ASM): Dit is de hoofd volumeknop. Het "scherpt" de focus van de AI wiskundig aan. Stel je voor dat de AI naar een menigte mensen (tokens) kijkt. Voorheen keek het naar iedereen evenveel. ASM zorgt ervoor dat de AI zich intens focust op de specifieke mensen die in het script worden genoemd (de tekst) en negeert de achtergrondruis (de afbeeldingsdetails). Dit wordt beschreven als het verminderen van "entropie" (verwarring) en het maken van de aandacht van de AI beslissender.
Guidance Scheduling (GS): Dit is de tijdschakelaar. Als je het tekstvolume te veel, te vroeg of te lang omdraait, kan de video vreemd of glitcherig lijken. GS is als een regisseur die zegt: "Oké, draai het tekstvolume alleen omhoog tijdens het eerste deel van de scène waar we beslissen wat er gebeurt, draai het daarna weer omlaag zodat het eindbeeld er mooi uitziet." Het past de correctie alleen toe wanneer en waar het nodig is.

Het Resultaat: Een Nieuwe Benchmark (OmitI2V)

Om te bewijzen dat dit werkt, gokte het team niet zomaar; ze bouwden een test genaamd OmitI2V.

Stel je een test voor met 367 verschillende scenario's.
Sommige vragen de AI om iets toe te voegen (bijv. "Zet een kat op tafel").
Sommige vragen het om iets te verwijderen (bijv. "Laat de auto verdwijnen").
Sommige vragen het om iets te wijzigen (bijv. "Verander de rode auto in blauw").

Ze ontdekten dat zonder AlignVid, top-AI-modellen deze tests vaak faalden en de instructies negeerden. Met AlignVid volgden de modellen de instructies veel beter, slaagden ze erin objecten toe te voegen, te verwijderen of te veranderen, allemaal zonder de AI opnieuw te hoeven trainen of het aanzienlijk te vertragen.

Samenvatting

Het Probleem: AI-video-generators zijn te bezeten van de startafbeelding en negeren instructies om deze te veranderen.
Het Inzicht: Het wazig maken van de afbeelding helpt de AI om te luisteren, maar verpest de foto.
De Oplossing (AlignVid): Een "training-vrije" methode die fungeert als een intern volumeknopje. Het draait het "geschreeuw" van de afbeelding omlaag en het "gefluister" van de tekst omhoog binnen het brein van de AI, maar alleen op de juiste momenten.
Het Resultaat: De AI volgt nu instructies om objecten in video's toe te voegen, te verwijderen of te veranderen veel beter, terwijl de video scherp en van hoge kwaliteit blijft.

Opmerking: Het paper stelt expliciet dat dit een methode is voor Image-to-Video-generatie en Image Editing. Het claimt niet gebruikt te worden voor medische diagnose, klinische toepassingen of andere specifieke real-world implementaties buiten creatieve generatie.

Technische Samenvatting: AlignVid

1. Probleemstelling

Tekstgeleid beeld-naar-video (TI2V) generatie heeft aanzienlijke vooruitgang geboekt in bewegingsextrapolatie, maar kampt met semantische trouw wanneer prompts ingrijpende bewerkingen vereisen op een referentiebeeld (zoals het toevoegen, verwijderen of modificeren van objecten). Het artikel identificeert deze faalmodus als semantische nalatigheid, waarbij het model de semantiek van het referentiebeeld behoudt in plaats van de tekstgespecificeerde wijzigingen uit te voeren.

Door middel van empirische analyse schrijven de auteurs dit toe aan visuele dominantie: het hoogwaardige referentiebeeld veroorzaakt ernstige attentieverspreiding (hoge entropie) in het attentiemechanisme van het model. Deze dominantie onderdrukt de tekstmodale en belemmert het vermogen van het model om nieuwe semantische informatie op te nemen of de benodigde beweging te genereren. Een pilotstudie toonde aan dat het toepassen van Gaussische vervaging op het inputbeeld deze dominantie verlicht, de attentie-entropie verlaagt en de semantische adherentie verbetert, maar ten koste van de visuele kwaliteit. De centrale onderzoeksvraag is of dit entropieverlagende effect kan worden bereikt door de interne attentieverdeling van het model te reguleren zonder de inputafbeelding te degraderen.

2. Methodologie: AlignVid

De auteurs stellen AlignVid voor, een training-vrije interventie die de interne attentieverdeling van het model opnieuw kalibreert op basis van een energiegebaseerd perspectief van attentie. De methode bestaat uit twee hoofdcomponenten:

A. Attentie-Schaling Modulatie (ASM)

Geput uit de theoretische link tussen attentieschaling en temperatuurregeling in softmax-functies, herschaalt ASM query ( $Q$ ) of key ( $K$ ) embeddings om het attentielandschap scherper te maken.

Mechanisme: Het schalen van $Q$ of $K$ met een factor $\gamma > 1$ is wiskundig equivalent aan het verhogen van de inverse temperatuur ( $\alpha$ ) van de softmax.
Effect: Dit verlaagt de entropie van de attentieverdeling binnen de conditioneringstokens (tekst en beeld), waardoor het model gedwongen wordt de aandacht te concentreren op een kleinere set tokens met hoge logit-waarden en semantische relevantie.
Implementatie:
- In MMDiT-architecturen (waar conditionering via queries wordt ingebracht), moduleert ASM $Q$ .
- In DiT-architecturen (standaard cross-attention) moduleert ASM $K$ .
- Er worden twee varianten voorgesteld: Scalar Scaling (vaste $\gamma$ ) en Energy-based Scaling (adaptieve $\gamma$ gebaseerd op logit-scherpte).

B. Geleidingsschema (GS)

Om te voorkomen dat de indiscriminatie toepassing van ASM de visuele kwaliteit verslechtert, introduceren de auteurs een schema-mechanisme dat de modulatie op twee niveaus regelt:

Block-Level Guidance Scheduling (BGS): Modulatie wordt alleen toegepast op "foreground-gevoelige" transformer-blokken. Deze blokken worden geïdentificeerd via een lichtgewicht kalibratieproces met PCA en een grounding-model om te bepalen welke lagen zich sterk richten op foreground-tokens.
Step-Level Guidance Scheduling (SGS): Modulatie wordt alleen geactiveerd tijdens specifieke intervallen van het denoisings-traject. De auteurs constateren dat het toepassen van geleiding tijdens vroege denoising-stappen het beste evenwicht oplevert, aangezien deze stappen de globale semantische uitlijning bepalen, terwijl latere stappen visuele details verfijnen.

3. Belangrijkste Bijdragen

Probleemanalyse & Pilotstudie: Het artikel formaliseert de uitdaging van semantische trouw in TI2V en koppelt dit empirisch aan visuele dominantie en hoge attentie-entropie. Het toont aan dat attentieconcentratie essentieel is om tekstuele signalen te bevrijden van visuele redundantie.
AlignVid Framework: Een training-vrije methode die attentie moduleert via ASM en GS. Het verbetert de semantische uitlijning met verwaarloosbare rekenkundige overhead en minimale esthetische impact door de modale hiërarchie binnen het attentiemechanisme opnieuw te wegen.
OmitI2V Benchmark: De auteurs introduceren een uitgebreide benchmark met 367 door mensen geannoteerde samples, specifiek ontworpen om prompt-adherentie te evalueren in drie scenario's: modificatie, toevoeging en verwijdering. In tegenstelling tot bestaande benchmarks die zich richten op algemene videokwaliteit, richt OmitI2V zich op fijne semantische conformiteit met behulp van een Visual Question Answering (VQA)-protocol.

4. Experimentele Resultaten

Uitgebreide experimenten op de OmitI2V-benchmark en andere standaard benchmarks (VBench, GenEval, ImgEdit) tonen de effectiviteit van AlignVid aan:

Semantische Trouw: AlignVid verbetert consistent de scores voor semantische uitlijning over alle bewerkingssoorten (modificatie, toevoeging, verwijdering) wanneer toegepast op baseline-modellen zoals FramePack, FramePack-F1 en Wan2.1. Bijvoorbeeld, op FramePack verbeterde het de nauwkeurigheid bij toevoeging met +4,58% en bij modificatie met +3,23%.
Visuele Kwaliteit: Hoewel er een lichte afweging is, is de daling in esthetische kwaliteit minimaal (bijvoorbeeld -0,37 tot -1,49 punten op esthetische scores) in vergelijking met de aanzienlijke winst in semantische trouw en dynamische graad.
Generalisatie: De methode toont positieve overdraagbaarheid naar Tekst-naar-Beeld (T2I) generatie (OmniGen2) en Tekst-naar-Video (T2V) taken, wat de prestaties verbetert op respectievelijk GenEval en VBench. Het verbetert ook beeldbewerkingstaken op de ImgEdit-benchmark.
Efficiëntie: De methode introduceert verwaarloosbare inferentie-overhead (minder dan 0,1% toename in runtime) omdat alleen de attentiegewichten worden gewijzigd zonder dat extra training of complexe modules nodig zijn.
Vergelijking met CFG: AlignVid vult Classifier-Free Guidance (CFG) aan; het toepassen van AlignVid bovenop CFG levert verdere verbeteringen op, wat een praktisch voordeel biedt omdat geen extra training vereist is.

5. Betekenis en Beweringen

Het artikel beweert dat AlignVid een instelbare afweging tussen semantiek en kwaliteit biedt door direct de interne attentieverdeling van het model te reguleren, waarbij de gunstige effecten van input-niveau verstoringen (zoals vervaging) worden nagebootst zonder het visuele input te corrumperen.

De auteurs positioneren hun werk als een diagnostisch en corrigerend hulpmiddel voor het wijdverbreide probleem van semantische nalatigheid in huidige TI2V-modellen. Door een theoretische link te leggen tussen attentie-entropie en semantische selectie, bieden ze een principiële, lichtgewicht aanpak om de controleerbaarheid in generatieve videomodellen te verbeteren. De introductie van de OmitI2V-benchmark wordt benadrukt als een kritieke bijdrage voor het rigoureus evalueren van fijne bewerkingsconformiteit, een gat dat volgens de auteurs bestaat in huidige evaluatiesets.

Het artikel behoudt een bescheiden toon regarding zijn impact, met de opmerking dat hoewel verbeterde controleerbaarheid creatieve toepassingen ten goede komt, het verantwoord implementatiepraktijken vereist om risico's te mitigeren die gepaard gaan met het genereren van overtuigende synthetische content.