KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

Technische Zusammenfassung von KGEdit: Ambiguitätsbewusste Wissensgraphen für trainingsfreie, präzise Videoerstellung und -bearbeitung

Problemstellung
Jüngste Fortschritte bei der trainingsfreien Videoerstellung haben die Fähigkeiten von Text-zu-Video (T2V)-Diffusionsmodellen erweitert. Dennoch stoßen bestehende Methoden bei der Verarbeitung komplexer textlicher Anweisungen aufgrund inhärenter Ambiguitäten in der natürlichen Sprache an ihre Grenzen. Aktuelle Ansätze verlassen sich häufig auf eine ganzheitliche semantische Kodierung, die Manipulation von Cross-Attention oder inversionbasierte Führung, die es versäumen, Schlüsseleigenschaften und semantische Relationen explizit zu erfassen. Folglich sind Modelle anfällig für semantische Mehrdeutigkeiten, fehlerhafte Konzeptbindungen (z. B. die Fehlinterpretation von „Bank" als Finanzinstitut statt als Flussufer) und inkonsistente Darstellungen über die Zeit hinweg (temporales Flackern und Drift). Die Erzielung einer präzisen, zeitlich stabilen Videoerstellung ohne zusätzliches Modelltraining bleibt eine erhebliche Herausforderung, insbesondere wenn Anweisungen Identität, Erscheinung, Bewegung oder die Kontrolle mehrerer Attribute betreffen.

Methodik
Die Autoren stellen KGEdit vor, ein einheitliches, trainingsfreies Framework, das darauf ausgelegt ist, die Interpretierbarkeit und Kontrollierbarkeit zu verbessern, indem die textliche Bedingung selbst strukturiert wird, anstatt Eingabemodalitäten zu erhöhen. Das Framework arbeitet durch drei Kernkomponenten:

1. Ambiguitätsbewusster Wissensgraph (AAKG):

   • Bedeutungsdisambiguierung: Das System identifiziert zunächst mehrdeutige Wörter im Eingabe-Prompt und wählt die kontextuell konsistenteste Bedeutung unter Verwendung einer externen Wissensquelle und des Prompt-Kontexts aus.
   • Graphkonstruktion und Gruppierung: Die disambiguierten Semantiken werden in einen strukturierten Graphen $G=(V, E)$ organisiert. Dieser Graph wird in vier verschiedene semantische Gruppen zerlegt:
     • Identität ($T_{id}$): Kerndefinitionen von Entitäten.
     • Relation ($T_{rel}$): Beziehungen zwischen Entitäten.
     • Attribut ($T_{attr}$): Detaillierte Beschreibungen von Erscheinung und Eigenschaften.
     • Negative Constraints ($T_{neg}$): Explizite Ausschlüsse zur Unterdrückung inkompatibler Bindungen (z. B. „kein Finanzinstitut").

2. Modul für strukturierte semantische Injektion (SSIM):

   • Anstatt sich ausschließlich auf globale Embeddings zu verlassen, injiziert SSIM die entkoppelten Embeddings der vier semantischen Gruppen direkt in die Zwischenschichten des Diffusions-Transformers (DiT).
   • Das Modul formuliert ein Multi-Objective-Optimierungsproblem basierend auf Cross-Attention-Karten, um Konsistenz zu erzwingen. Es definiert spezifische Verlustterme für Identität, relationale, attributive und negative Constraints sowie einen Term für zeitliche Konsistenz.
   • Diese Verluste werden zu einem einheitlichen Führungsziel $L_{total}(t)$ kombiniert, das den latenten Rückwärtsprozess während der Inferenz über eine gradientenbasierte Führung steuert.

3. Zeitbewusste semantische Steuerung (TASC):

   • Unter der Erkenntnis, dass verschiedene semantische Komponenten in unterschiedlichen Phasen des Denoising-Prozesses kritisch sind, plant TASC die Gewichtung semantischer Ziele dynamisch.
   • Frühe Phase: Hohe Gewichtung auf Identität ($\lambda_{id}$) und negative Constraints ($\lambda_{neg}$), um die globale Struktur zu etablieren und falsche Konzepte zu unterdrücken.
   • Mittlere Phase: Maximale Gewichtung auf Relationen ($\lambda_{rel}$), um die räumliche Komposition zwischen Entitäten zu steuern.
   • Späte Phase: Zunehmende Gewichtung auf Attribute ($\lambda_{attr}$), um feinkörnige Details und Texturen zu verfeinern.
   • Diese dynamische Planung verhindert, dass strukturelle Constraints der frühen Phase die Verfeinerung von Details in der späten Phase beeinträchtigen, und verbessert dadurch die zeitliche Stabilität.

Hauptbeiträge

• KGEdit-Framework: Ein einheitlicher, trainingsfreier Ansatz für die strukturierte semantische Steuerung in der Videoerstellung und -bearbeitung, der die Genauigkeit und zeitliche Stabilität verbessert, ohne zusätzliches Modelltraining zu erfordern.
• AAKG und SSIM: Die Einführung eines ambiguitätsbewussten Wissensgraphen zur Zerlegung von Prompts in strukturierte Tripel (Identität, Relation, Attribut, Negativ) sowie eines Moduls für strukturierte semantische Injektion, das diese Signale in wichtige DiT-Schichten injiziert, um die semantische Ausrichtung und die Präzision der Generierung zu verbessern.
• TASC-Modul: Ein Mechanismus zur zeitbewussten semantischen Steuerung, der semantische Ziele dynamisch entsprechend den stufenweisen Charakteristika des Denoising-Prozesses plant und die zeitliche Konsistenz erheblich verbessert.
• Empirische Validierung: Umfassende Experimente zeigen, dass KGEdit bestehende trainingsfreie Methoden und einheitliche Frameworks (wie VACE) auf dem VBench-Benchmark übertrifft und in mehreren Metriken state-of-the-art-Ergebnisse erzielt.

Experimentelle Ergebnisse
Die Autoren bewerteten KGEdit auf dem VBench-Benchmark unter Verwendung des Video-Diffusions-Backbones Wan 2.1 1.3B.

• Quantitative Leistung: KGEdit erreichte die höchste Durchschnittspunktzahl (79,62) über sieben automatische Metriken und übertraf dabei das einheitliche VACE-Framework sowie andere Baselines wie EIDT-V und Free-Bloom.
• Zeitliche Konsistenz: Die Methode glänzte bei zeitlichen Metriken mit 99,20 % Subjektkonsistenz, 99,19 % Bewegungsglätte und 98,89 % Hintergrundkonsistenz. Dies unterstreicht die Wirksamkeit von TASC bei der Verhinderung von Flackern und semantischem Drift.
• Qualitative Verbesserungen: In Nutzerstudien und visuellen Vergleichen zeigte KGEdit eine überlegene Fähigkeit im Umgang mit komplexen Prompts, die schnelle Bewegungen, mehrere Attribute und mehrdeutige Begriffe beinhalten. Im Gegensatz zu Baselines, die Attribut-Leckagen oder semantischen Drift aufwiesen (z. B. wechselnde Kleidungsfarben oder Fehlinterpretationen von „Bank"), behielt KGEdit eine präzise Attributbindung und semantische Ausrichtung über die gesamte Videosequenz hinweg bei.
• Ablationsstudien: Das Entfernen einer beliebigen Komponente (AAKG, spezifischer Tripelgruppen oder TASC) führte zu einer Leistungsverschlechterung. Bemerkenswerterweise verursachte das Entfernen der Identität ($T_{id}$) den größten Rückgang der semantischen Genauigkeit, während das Entfernen negativer Constraints ($T_{neg}$) die Auflösung von Mehrdeutigkeiten erheblich beeinträchtigte. Eine uniforme zeitliche Gewichtung (ohne TASC) führte zu signifikanten Einbußen bei der zeitlichen Konsistenz und bestätigte die Notwendigkeit einer dynamischen Planung.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass KGEdit die fundamentalen Grenzen aktueller trainingsfreier Videoerstellungsmethoden adressiert, indem der Fokus von der Hinzufügung von Steuermodalitäten auf die Verbesserung der Interpretierbarkeit und Kontrollierbarkeit der textlichen Bedingung selbst verlagert wird. Durch die Strukturierung mehrdeutiger natürlicher Sprache in explizite semantische Komponenten und die zeitliche Planung ihres Einflusses ermöglicht das Framework eine präzise, stabile und kohärente Videoerstellung unter komplexen Anweisungen. Die Autoren positionieren diese Arbeit als einen Schritt hin zu praktischen, hochwertigen Systemen zur Videoerstellung, die kein kostspieliges Modell-Neu-Training erfordern, und machen so die strukturierte semantische Steuerung für diverse Anwendungen in Werbung, Animation und Gaming zugänglich.

Limitationen
Die Autoren räumen aktuelle Limitationen ein, darunter die Abhängigkeit von Large Language Models (LLMs) für die Graphkonstruktion, die Verwendung fester Injektionsschichten und handgefertigte zeitliche Pläne. Als zukünftige Arbeiten wird vorgeschlagen, adaptive Graphkonstruktionen, erlernte Planungsmechanismen und leichte Führungsstrategien zu erforschen.