KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

Technische Samenvatting van KGEdit: Ambiguïteitsbewuste Kennisgrafieken voor Trainingsvrije Precieze Videogeneratie en -bewerking

Probleemstelling
Recente vooruitgang in trainingsvrije videogeneratie heeft de mogelijkheden van tekst-naar-video (T2V) diffusiemodellen uitgebreid. Echter, bestaande methoden worstelen bij het verwerken van complexe tekstuele instructies vanwege inherente ambiguïteiten in natuurlijke taal. Huidige benaderingen vertrouwen vaak op holistische semantische codering, manipulatie van kruis-attention of omkering-gebaseerde begeleiding, die er niet in slagen om sleutelattributen en semantische relaties expliciet vast te leggen. Bijgevolg zijn modellen vatbaar voor semantische ambiguïteit, incorrecte conceptbinding (bijvoorbeeld het verkeerd interpreteren van "bank" als een financiële instelling in plaats van een rivieroever) en inconsistentie tussen frames (temporeel flikkeren en drift). Het bereiken van precieze, temporeel stabiele videogeneratie zonder extra modeltraining blijft een aanzienlijke uitdaging, vooral wanneer instructies betrekking hebben op identiteit, uiterlijk, beweging of multi-attribuutcontrole.

Methodologie
De auteurs stellen KGEdit voor, een geünificeerd, trainingsvrij raamwerk ontworpen om interpreteerbaarheid en controleerbaarheid te verbeteren door de tekstuele voorwaarde zelf te structureren in plaats van invoermodaliteiten te vergroten. Het raamwerk werkt via drie kerncomponenten:

1. Ambiguïteitsbewuste Kennisgrafiek (AAKG):

   • Zin-ontwarring: Het systeem identificeert eerst polyseme woorden in de invoerprompt en selecteert de meest contextueel consistente betekenis met behulp van een externe kennisbron en de promptcontext.
   • Grafiekconstructie en Groepering: De ontwarde semantics worden georganiseerd in een gestructureerde grafiek $G=(V, E)$. Deze grafiek wordt ontleed in vier distincte semantische groepen:
     • Identiteit ($T_{id}$): Kerndefinities van entiteiten.
     • Relatie ($T_{rel}$): Relaties tussen entiteiten.
     • Attribuut ($T_{attr}$): Gedetailleerde beschrijvingen van uiterlijk en eigenschappen.
     • Negatieve Beperkingen ($T_{neg}$): Expliciete uitsluitingen om incompatibele bindingen te onderdrukken (bijvoorbeeld "geen financiële instelling").

2. Gestructureerde Semantische Injectie Module (SSIM):

   • In plaats van uitsluitend te vertrouwen op globale embeddings, injecteert SSIM de ontkoppelde embeddings van de vier semantische groepen direct in de tussenliggende lagen van de diffusie-Transformer (DiT).
   • De module formuleert een multi-objectief optimalisatieprobleem gebaseerd op kruis-attention-kaarten om consistentie af te dwingen. Het definieert specifieke verlies termen voor identiteit, relationele, attribuut- en negatieve beperkingen, evenals een term voor temporele consistentie.
   • Deze verliezen worden gecombineerd tot een geünificeerd begeleidingsdoel $L_{total}(t)$, dat het latente omgekeerde proces stuurt via op gradiënten gebaseerde begeleiding tijdens inferentie.

3. Temporeel-bewuste Semantische Controle (TASC):

   • Met het besef dat verschillende semantische componenten kritiek zijn op verschillende stadia van het ontdrukkingsproces, plant TASC dynamisch de weging van semantische doelen.
   • Vroeg Stadium: Hoge weging op Identiteit ($\lambda_{id}$) en Negatieve beperkingen ($\lambda_{neg}$) om de globale structuur te vestigen en incorrecte concepten te onderdrukken.
   • Midden Stadium: Piekgewicht op Relaties ($\lambda_{rel}$) om de ruimtelijke compositie tussen entiteiten te sturen.
   • Laat Stadium: Toenemende weging op Attributen ($\lambda_{attr}$) om fijnmazige details en texturen te verfijnen.
   • Deze dynamische planning voorkomt dat structurele beperkingen uit een vroeg stadium interfereren met de verfijning van details in een laat stadium, waardoor de temporele stabiliteit wordt verbeterd.

Belangrijkste Bijdragen

• KGEdit Raamwerk: Een geünificeerde, trainingsvrije aanpak voor gestructureerde semantische controle in videogeneratie en -bewerking die nauwkeurigheid en temporele stabiliteit verbetert zonder extra modeltraining te vereisen.
• AAKG en SSIM: De introductie van een Ambiguïteitsbewuste Kennisgrafiek om prompts te ontleden in gestructureerde tripletten (identiteit, relatie, attribuut, negatief) en een Gestructureerde Semantische Injectie Module om deze signalen in cruciale DiT-lagen te injecteren, wat semantische uitlijning en generatienauwkeurigheid verbetert.
• TASC Module: Een Temporeel-bewuste Semantische Controle-mechanisme dat semantische doelen dynamisch plant volgens de kenmerken per stadium van het ontdrukkingsproces, wat de temporele consistentie aanzienlijk verbetert.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat KGEdit bestaande trainingsvrije methoden en geünificeerde raamwerken (zoals VACE) overtreft op de VBench-benchmark, en state-of-the-art resultaten behaalt op meerdere metrieken.

Experimentele Resultaten
De auteurs evalueerden KGEdit op de VBench-benchmark met de Wan 2.1 1.3B video-diffusiebackbone.

• Kwantitatieve Prestaties: KGEdit behaalde de hoogste gemiddelde score (79,62) over zeven automatische metrieken, en overtrof het geünificeerde VACE-raamwerk en andere baselines zoals EIDT-V en Free-Bloom.
• Temporele Consistentie: De methode excelleerde in temporele metrieken, met 99,20% Subject Consistentie, 99,19% Bewegingsgladheid en 98,89% Achtergrondconsistentie. Dit onderstreept de effectiviteit van TASC in het voorkomen van flikkering en semantische drift.
• Kwalitatieve Verbeteringen: In gebruikersstudies en visuele vergelijkingen toonde KGEdit een superieur vermogen om complexe prompts met snelle beweging, meerdere attributen en ambiguïteiten te hanteren. In tegenstelling tot baselines die attribuutlekken of semantische drift vertoonden (bijvoorbeeld het veranderen van kledingkleuren of het verkeerd interpreteren van "bank"), behield KGEdit precieze attribuutbinding en semantische uitlijning gedurende de videosequentie.
• Ablatiestudies: Het verwijderen van een component (AAKG, specifieke tripletgroepen of TASC) leidde tot prestatiedalingen. Opvallend genoeg veroorzaakte het verwijderen van Identiteit ($T_{id}$) de grootste daling in semantische nauwkeurigheid, terwijl het verwijderen van Negatieve beperkingen ($T_{neg}$) de ambiguïteitsoplossing ernstig beïnvloedde. Uniforme temporele weging (zonder TASC) resulteerde in aanzienlijke dalingen in temporele consistentie, wat de noodzaak van dynamische planning bevestigt.

Betekenis en Claims
Het artikel beweert dat KGEdit de fundamentele beperkingen van huidige trainingsvrije videogeneratiemethoden aanpakt door de focus te verschuiven van het toevoegen van controlemodaliteiten naar het verbeteren van de interpreteerbaarheid en controleerbaarheid van de tekstuele voorwaarde zelf. Door ambiguïteit in natuurlijke taal te structureren in expliciete semantische componenten en hun invloed in de tijd te plannen, stelt het raamwerk precieze, stabiele en coherente videogeneratie onder complexe instructies mogelijk. De auteurs positioneren dit werk als een stap richting praktische, hoogwaardige videocreatiesystemen die geen kostbare modelhertraining vereisen, waardoor gestructureerde semantische controle toegankelijk wordt voor diverse toepassingen in reclame, animatie en gaming.

Beperkingen
De auteurs erkennen huidige beperkingen, waaronder de afhankelijkheid van Large Language Models (LLM's) voor grafiekconstructie, het gebruik van vaste injectielagen en handontworpen temporele planningen. Voor toekomstig werk wordt voorgesteld om adaptieve grafiekconstructie, geleerde planningsmechanismen en lichtgewicht begeleidingsstrategieën te verkennen.