KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

Riepilogo Tecnico di KGEdit: Grafi della Conoscenza Consapevoli delle Ambiguità per la Generazione e l'Editing Video Precisi Senza Addestramento

Enunciato del Problema
I recenti progressi nella generazione video senza addestramento hanno ampliato le capacità dei modelli di diffusione testo-video (T2V). Tuttavia, i metodi esistenti faticano a elaborare istruzioni testuali complesse a causa delle ambiguità intrinseche del linguaggio naturale. Gli approcci attuali spesso fanno affidamento su codifiche semantiche olistiche, manipolazioni dell'attenzione incrociata o guide basate sull'inversione, che non riescono a catturare esplicitamente attributi chiave e relazioni semantiche. Di conseguenza, i modelli sono soggetti ad ambiguità semantica, legami concettuali errati (ad esempio, interpretare "banca" come istituzione finanziaria anziché come argine fluviale) e incoerenza tra i fotogrammi (sfarfallio temporale e deriva). Raggiungere una generazione video precisa e temporalmente stabile senza ulteriore addestramento del modello rimane una sfida significativa, specialmente quando le istruzioni coinvolgono identità, aspetto, movimento o controllo multi-attributo.

Metodologia
Gli autori propongono KGEdit, un framework unificato e senza addestramento progettato per migliorare l'interpretabilità e la controllabilità strutturando la condizione testuale stessa anziché aumentando le modalità di input. Il framework opera attraverso tre componenti principali:

1. Grafo della Conoscenza Consapevole delle Ambiguità (AAKG):

   • Disambiguazione del Senso: Il sistema identifica prima le parole polisemiche nel prompt di input e seleziona il senso più coerente con il contesto utilizzando una fonte di conoscenza esterna e il contesto del prompt.
   • Costruzione e Raggruppamento del Grafo: Le semantica disambiguata sono organizzate in un grafo strutturato $G=(V, E)$. Questo grafo è scomposto in quattro gruppi semantici distinti:
     • Identità ($T_{id}$): Definizioni dell'entità principale.
     • Relazione ($T_{rel}$): Relazioni tra le entità.
     • Attributo ($T_{attr}$): Descrizioni dettagliate dell'aspetto e delle proprietà.
     • Vincoli Negativi ($T_{neg}$): Esclusioni esplicite per sopprimere legami incompatibili (ad esempio, "non un'istituzione finanziaria").

2. Modulo di Iniezione Semantica Strutturata (SSIM):

   • Invece di fare affidamento esclusivamente su embedding globali, SSIM inietta gli embedding disaccoppiati dei quattro gruppi semantici direttamente negli strati intermedi del Transformer di diffusione (DiT).
   • Il modulo formula un problema di ottimizzazione multi-obiettivo basato sulle mappe di attenzione incrociata per imporre la coerenza. Definisce termini di perdita specifici per identità, relazioni, attributi e vincoli negativi, nonché un termine di coerenza temporale.
   • Queste perdite sono combinate in un obiettivo di guida unificato $L_{total}(t)$, che guida il processo inverso latente tramite guida basata sul gradiente durante l'inferenza.

3. Controllo Semantico Consapevole del Tempo (TASC):

   • Riconoscendo che diversi componenti semantici sono critici in diverse fasi del processo di denoising, TASC pianifica dinamicamente il peso degli obiettivi semantici.
   • Fase Iniziale: Alto peso su Identità ($\lambda_{id}$) e vincoli Negativi ($\lambda_{neg}$) per stabilire la struttura globale e sopprimere concetti errati.
   • Fase Centrale: Peso massimo su Relazioni ($\lambda_{rel}$) per guidare la composizione spaziale tra le entità.
   • Fase Finale: Peso crescente su Attributi ($\lambda_{attr}$) per rifinire dettagli e texture fini.
   • Questa pianificazione dinamica previene l'interferenza dei vincoli strutturali della fase iniziale con la rifinitura dei dettagli nella fase finale, migliorando così la stabilità temporale.

Contributi Chiave

• Framework KGEdit: Un approccio unificato e senza addestramento per il controllo semantico strutturato nella generazione e nell'editing video che migliora accuratezza e stabilità temporale senza richiedere ulteriore addestramento del modello.
• AAKG e SSIM: L'introduzione di un Grafo della Conoscenza Consapevole delle Ambiguità per scomporre i prompt in tripletti strutturati (identità, relazione, attributo, negativo) e un Modulo di Iniezione Semantica Strutturata per iniettare questi segnali negli strati chiave del DiT, migliorando l'allineamento semantico e la precisione della generazione.
• Modulo TASC: Un meccanismo di Controllo Semantico Consapevole del Tempo che pianifica dinamicamente gli obiettivi semantici in base alle caratteristiche fase-specifiche del processo di denoising, migliorando significativamente la coerenza temporale.
• Validazione Empirica: Estesi esperimenti dimostrano che KGEdit supera i metodi esistenti senza addestramento e i framework unificati (come VACE) sul benchmark VBench, ottenendo risultati all'avanguardia in molteplici metriche.

Risultati Sperimentali
Gli autori hanno valutato KGEdit sul benchmark VBench utilizzando il backbone di diffusione video Wan 2.1 1.3B.

• Prestazioni Quantitative: KGEdit ha ottenuto il punteggio medio più alto (79,62) su sette metriche automatiche, superando il framework unificato VACE e altre baseline come EIDT-V e Free-Bloom.
• Coerenza Temporale: Il metodo ha eccelluto nelle metriche temporali, ottenendo il 99,20% di Coerenza del Soggetto, il 99,19% di Fluidità del Movimento e il 98,89% di Coerenza dello Sfondo. Ciò evidenzia l'efficacia di TASC nel prevenire lo sfarfallio e la deriva semantica.
• Miglioramenti Qualitativi: Negli studi con utenti e nei confronti visivi, KGEdit ha dimostrato una capacità superiore di gestire prompt complessi che coinvolgono movimenti rapidi, molteplici attributi e termini ambigui. A differenza delle baseline che mostravano perdita di attributi o deriva semantica (ad esempio, cambiare i colori dei vestiti o interpretare male "banca"), KGEdit ha mantenuto un legame preciso degli attributi e un allineamento semantico lungo tutta la sequenza video.
• Studi di Ablazione: La rimozione di qualsiasi componente (AAKG, gruppi di tripletti specifici o TASC) ha portato a un degrado delle prestazioni. In particolare, la rimozione dell'Identità ($T_{id}$) ha causato il calo più significativo nell'accuratezza semantica, mentre la rimozione dei vincoli Negativi ($T_{neg}$) ha impattato gravemente sulla risoluzione delle ambiguità. Una ponderazione temporale uniforme (senza TASC) ha portato a cali significativi nella coerenza temporale, confermando la necessità di una pianificazione dinamica.

Significato e Affermazioni
Il documento afferma che KGEdit affronta i limiti fondamentali dei metodi attuali di generazione video senza addestramento spostando il focus dall'aggiunta di modalità di controllo al miglioramento dell'interpretabilità e della controllabilità della condizione testuale stessa. Strutturando il linguaggio naturale ambiguo in componenti semantiche esplicite e pianificando la loro influenza nel tempo, il framework abilita una generazione video precisa, stabile e coerente sotto istruzioni complesse. Gli autori posizionano questo lavoro come un passo verso sistemi pratici di creazione video di alta qualità che non richiedono un costoso riaddestramento del modello, rendendo il controllo semantico strutturato accessibile per diverse applicazioni nella pubblicità, nell'animazione e nei videogiochi.

Limitazioni
Gli autori riconoscono le limitazioni attuali, inclusa la dipendenza dai Modelli Linguistici di Grande Dimensione (LLM) per la costruzione del grafo, l'uso di strati di iniezione fissi e piani temporali progettati manualmente. Si suggerisce un lavoro futuro per esplorare la costruzione adattiva del grafo, meccanismi di pianificazione appresi e strategie di guida leggere.