💻 computer science

KD-CVG: A Knowledge-Driven Approach for Creative Video Generation

Dit paper introduceert KD-CVG, een kennisgedreven aanpak die een advertentiekennisbank en twee nieuwe modules combineert om de uitdagingen van semantische uitlijning en bewegingsadaptatie op te lossen bij het automatisch genereren van creatieve video's voor reclamedoeleinden.

Oorspronkelijke auteurs: Linkai Liu, Wei Feng, Xi Zhao, Shen Zhang, Xingye Chen, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Yuchen Zhou, Zipeng Guo, Chao Gou

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Linkai Liu, Wei Feng, Xi Zhao, Shen Zhang, Xingye Chen, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Yuchen Zhou, Zipeng Guo, Chao Gou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een reclamefilmpje wilt maken voor een nieuw tandpasta-merk. Je hebt een simpele tekst: "Verfrist je mond en verwijdert tandplak." Maar hoe vertaal je die saaie tekst naar een prachtig, bewegend filmpje waarin je ziet hoe muntblaadjes dansen en waterdruppels vallen?

Dat is precies wat KD-CVG probeert op te lossen. Het is een slimme nieuwe manier om reclamevideo's te maken met kunstmatige intelligentie (AI), specifiek voor online winkels.

Hier is de uitleg, vertaald naar alledaags taal en met een paar leuke vergelijkingen:

1. Het Probleem: De "Vertaalprobleem" en de "Valende Bloem"

Tot nu toe waren AI-video's (die tekst omzetten in video) vaak een beetje rommelig als het om producten ging. Er waren twee grote struikelblokken:

De Verwarde Vertaler (Semantische Alignement): Stel je voor dat je een vertaler vraagt om "frisheid" te vertalen. Een gewone AI denkt misschien: "Oké, frisheid = ijskoud water." Maar voor tandpasta betekent "frisheid" misschien "muntblaadjes die zachtjes vallen." De AI snapt niet de verborgen betekenis van de verkoopargumenten. Het is alsof je een chef-kok vraagt om een gerecht te maken, maar je zegt alleen "het moet lekker zijn" zonder te zeggen wat het moet smaken.
De Onnatuurlijke Dans (Bewegingsaanpassing): Soms ziet de video er raar uit. Denk aan een tandenborstel die als een slak beweegt of waterdruppels die zwaartekracht negeren en omhoog vliegen. De AI weet niet hoe echte producten in de echte wereld bewegen. Het mist de "musical" van het product.

2. De Oplossing: Een Slimme Bibliotheek en Twee Assistenten

De onderzoekers hebben een oplossing bedacht die ze KD-CVG noemen. Ze hebben twee dingen gebouwd:

De Grote Bibliotheek (ACKB): Ze hebben een enorme verzameling gemaakt van 10.000 echte reclamevideo's uit de webshop-wereld. Dit is hun "geheugen" of "bibliotheek" met voorbeelden van hoe producten eruitzien en hoe ze bewegen.
Twee Slimme Assistenten: Om de AI te helpen, hebben ze twee speciale modules (assistenten) toegevoegd:

Assistent 1: De "Semantische Zoeker" (SAR)

Deze assistent is als een slimme bibliothecaris.

Hoe werkt het? Als jij zegt "frisheid", kijkt deze bibliothecaris niet alleen naar het woord, maar naar de samenhang. Hij gebruikt een soort "sociale netwerk"-kaart (een grafiek) om te zien welke woorden en video's bij elkaar horen.
De Metafoor: Stel je voor dat je een vriend vraagt om een cadeau te kiezen. Een domme robot kiest willekeurig een boek. Deze slimme bibliothecaris denkt: "Ah, de klant houdt van munt, dus ik zoek video's van muntblaadjes die in water vallen." Hij pakt de beste voorbeelden uit de bibliotheek en geeft ze aan de AI als inspiratie.

Assistent 2: De "Bewegings-Coach" (MKR)

Deze assistent is als een dansleraar die de AI leert hoe het product zich moet gedragen.

Hoe werkt het? De AI kijkt naar de voorbeelden die Assistent 1 heeft gevonden. De dansleraar analyseert dan: "Kijk hoe dat waterdruppeltje valt. Dat is de juiste beweging." Hij pakt die beweging en past hem aan op jouw nieuwe product.
De Metafoor: Het is alsof je een danser hebt die eerst een video bekijkt van een echte danser, en dan die exacte bewegingen nabootst, maar dan met jouw product in de hand. Zo voorkomt hij dat de tandenborstel in de lucht zweeft of vervormt.

3. Het Resultaat: Een Perfect Reclamefilmpje

Door deze twee assistenten samen te laten werken, krijgt de AI een "superkracht":

Hij begrijpt precies wat je bedoelt met je verkoopargumenten (geen rare vertalingen meer).
De bewegingen zien er natuurgetrouw en realistisch uit (geen zwevende tandenborstels meer).

Waarom is dit belangrijk?

Vroeger kostte het maken van zulke video's veel tijd en geld, of de AI maakte er een rommeltje van. Met KD-CVG kan een webshop nu automatisch, snel en goedkoop prachtige video's maken die precies laten zien waarom een product geweldig is.

Kort samengevat:
Het is alsof je een AI hebt die niet alleen kan tekenen, maar ook een expert in marketing is (die begrijpt wat je wilt verkopen) én een expert in natuurkunde (die weet hoe water en producten zich in de echte wereld gedragen). Het resultaat? Reclamevideo's die eruitzien alsof ze door een professioneel filmteam zijn gemaakt, maar die in een paar seconden door een computer worden gegenereerd.

Probleemstelling

Hoewel Text-to-Video (T2V) modellen aanzienlijke vooruitgang hebben geboekt, zijn ze nog niet direct toepasbaar voor het genereren van creatieve reclamevideo's in e-commerce-scenario's. Het paper identificeert twee fundamentele uitdagingen die dit beperken:

Ambiguïteit in Semantische Uitlijning: In tegenstelling tot algemene T2V-taken, zijn verkoopargumenten (selling points) in reclame vaak semantisch vaag en hebben ze geen directe correlatie met het visuele beeld. Bijvoorbeeld, een tekst als "Balans van de mond-pH" moet indirect worden vertaald naar visuele elementen zoals waterdruppels of muntblaadjes. Bestaande modellen struggle hiermee om de subtiele relatie tussen tekst en video te begrijpen.
Onvoldoende Bewegingsadaptabiliteit: Reclamevideo's vereisen realistische, fysiek plausibele bewegingen die specifiek zijn voor het product (bijv. hoe een tandenborstel beweegt of hoe een druppel valt). Algemene T2V-modellen missen deze domeinspecifieke bewegingskennis, wat leidt tot onnatuurlijke bewegingen, vervormingen en niet-fysische effecten in de gegenereerde video's.

Methodologie: KD-CVG

Om deze problemen op te lossen, stellen de auteurs KD-CVG (Knowledge-Driven Creative Video Generation) voor. De aanpak bestaat uit drie hoofdbestanddelen:

1. Advertising Creative Knowledge Base (ACKB)

Als fundament hebben de auteurs een uitgebreide kennisbank opgebouwd:

Data: 10.000 tekst-video-paren verzameld van een groot e-commerceplatform, afkomstig van 58.000 oorspronkelijke video's.
Inhoud: Dekking van 377 dagelijkse productcategorieën (bijv. tandenborstels, gezichtsverzorging).
Verwerking: Video's zijn schoongemaakt van watermerken (ProPainter) en verkoopargumenten zijn geëxtraheerd (Qwen2-VL). Scriptbeschrijvingen zijn gegenereerd voor semantische referentie (CogVLM2).
Doel: Het bieden van een bron van waarheid voor zowel semantische connecties als bewegingspatronen specifiek voor e-commerce.

2. Semantisch Bewuste Retrieval (SAR)

Deze module lost het probleem van ambiguïteit op door relevante referenties uit de ACKB op te halen.

SC-GAT (Semantic Correlation Graph Attention Network): De verkoopargumenten worden gemodelleerd als een graaf waarbij knopen teksten zijn en randen semantische relaties. Een Graph Attention Network berekent contextbewuste relevantiescores tussen argumenten.
Versterkingslering (Reinforcement Learning): Het selectieproces wordt geoptimaliseerd via policy gradient reinforcement learning. Het doel is het maximaliseren van de CIDEr-score (een maatstaf voor de kwaliteit van gegenereerde scripts) door de attention-weights van het SC-GAT aan te passen.
Resultaat: SAR haalt de meest semantisch relevante scripts en video's op om de LLM te helpen de intentie van de verkoopargumenten beter te begrijpen.

3. Multimodale Kennisreferentie (MKR)

Deze module vertaalt de opgehaalde kennis naar een fysiek plausibele video via een tweestapsproces:

Stap 1: Progressieve Scriptgeneratie:
- Het gegenereerde script wordt ontleed in onderdelen: onderwerp ( $S_{subj}$ ), scène ( $S_{scene}$ ) en beweging ( $S_{mot}$ ).
- De bewegingspatronen ( $S_{mot}$ ) uit de referentie worden behouden, terwijl onderwerp en scène worden aangepast aan het specifieke product.
- Een LLM synthetiseert een nieuw script dat de behouden bewegingsvoorkeur combineert met de aangepaste semantische context.
Stap 2: Distillatie van Bewegingsvoorkeuren (Motion Prior Distillation):
- Er wordt een differentieel bewegingscoderingsschema gebruikt om bewegingsvectoren te berekenen tussen frames.
- Een Motion Distillation Loss wordt toegepast om de discrepantie te minimaliseren tussen de bewegingsgradiënten van de referentievideo en de gegenereerde video.
- MR-LoRA (Motion Reference Low-Rank Adaptation): Deze techniek wordt geïntegreerd in de tijdsattentie-blokken van het ST-DiT-architectuur (Spatio-Temporal Diffusion Transformer) om de beweging efficiënt aan te passen zonder het hele model opnieuw te hoeven trainen.

Belangrijkste Resultaten

De auteurs hebben hun methode getest op 27 verkoopargumenten en vergeleken met state-of-the-art modellen zoals OpenSora, Show-1 en VideoCrafter2.

Kwalitatieve Verbetering: KD-CVG produceert video's met aanzienlijk realistischere bewegingen en minder vervormingen dan bestaande modellen.
Kwantitatieve Prestaties:
- Min-Max Score: KD-CVG behaalde de hoogste score (81,80%) in vergelijking met Show-1 (55,66%) en OpenSora (47,06%).
- Bewegingsgladheid en Temporele Consistentie: De methode scoort extreem hoog op deze metrieken (98,65% en 97,95% respectievelijk).
- Dynamiek: Door de combinatie van MR-LoRA en Rectified Flow Inversion (RFI) wordt de dynamiek sterk verbeterd (72,00%).
Gebruikersstudie: Menselijke beoordelaars gaven KD-CVG de hoogste scores voor tekstuitlijning (3,74), video-kwaliteit (3,70), bewegingsregulariteit (3,81) en de mate van highlighten (3,89).
Efficiëntie: De inferentietijd is 102 seconden, wat aanzienlijk sneller is dan Show-1 (3692s) en redelijk concurrerend is met andere modellen, terwijl de kwaliteit superieur is.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

Nieuw Framework: KD-CVG is het eerste framework dat verkoopargumenten direct omzet in creatieve video's met behulp van een multimodale kennisbank, specifiek ontworpen voor e-commerce.
Kennisbank (ACKB): De publicatie van een uitgebreide, hoogwaardige dataset van 10.000 e-commerce video's met bijbehorende scripts, wat een waardevolle resource is voor toekomstig onderzoek.
Semantische Oplossing: De introductie van SAR met Graph Attention Networks en versterkingslering om de kloof tussen vaag verkoopverhaal en visuele inhoud te dichten.
Bewegingsoplossing: De MKR-module lost het probleem van onrealistische bewegingen op door bewegingsvoorkeuren te distilleren en fysiek plausibele patronen te forceren.

Conclusie:
KD-CVG overbrugt de kloof tussen generatieve AI en praktische e-commerce-toepassingen. Door kennisgedreven retrieval en bewegingsdistillatie te combineren, levert het systemen op die niet alleen semantisch correct zijn, maar ook visueel overtuigende en fysiek realistische reclamevideo's genereren, wat een grote stap voorwaarts is voor geautomatiseerde contentcreatie in de retailsector.