KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

Resumen Técnico de KGEdit: Grafos de Conocimiento Conscientes de la Ambigüedad para la Generación y Edición de Video Precisa sin Entrenamiento

Enunciado del Problema
Los avances recientes en la generación de video sin entrenamiento han expandido las capacidades de los modelos de difusión de texto a video (T2V). Sin embargo, los métodos existentes luchan al procesar instrucciones textuales complejas debido a las ambigüedades inherentes en el lenguaje natural. Los enfoques actuales a menudo dependen de codificación semántica holística, manipulación de atención cruzada o guía basada en inversión, los cuales fallan en capturar explícitamente atributos clave y relaciones semánticas. En consecuencia, los modelos son propensos a la ambigüedad semántica, unión incorrecta de conceptos (por ejemplo, malinterpretar "banco" como una institución financiera en lugar de la orilla de un río) e inconsistencia entre fotogramas (parpadeo temporal y deriva). Lograr una generación de video precisa y temporalmente estable sin entrenamiento adicional del modelo sigue siendo un desafío significativo, particularmente cuando las instrucciones involucran identidad, apariencia, movimiento o control de múltiples atributos.

Metodología
Los autores proponen KGEdit, un marco unificado y sin entrenamiento diseñado para mejorar la interpretabilidad y la controlabilidad estructurando la propia condición textual en lugar de aumentar las modalidades de entrada. El marco opera a través de tres componentes principales:

1. Grafo de Conocimiento Consciente de la Ambigüedad (AAKG):

   • Desambiguación de Sentido: El sistema primero identifica palabras polisémicas en el prompt de entrada y selecciona el sentido más consistente con el contexto utilizando una fuente de conocimiento externa y el contexto del prompt.
   • Construcción y Agrupación del Grafo: Las semánticas desambiguadas se organizan en un grafo estructurado $G=(V, E)$. Este grafo se descompone en cuatro grupos semánticos distintos:
     • Identidad ($T_{id}$): Definiciones de entidades principales.
     • Relación ($T_{rel}$): Relaciones entre entidades.
     • Atributo ($T_{attr}$): Descripciones detalladas de la apariencia y propiedades.
     • Restricciones Negativas ($T_{neg}$): Exclusión explícita para suprimir uniones incompatibles (por ejemplo, "no una institución financiera").

2. Módulo de Inyección Semántica Estructurada (SSIM):

   • En lugar de depender únicamente de incrustaciones globales, SSIM inyecta las incrustaciones desentrelazadas de los cuatro grupos semánticos directamente en las capas intermedias del Transformer de difusión (DiT).
   • El módulo formula un problema de optimización multiobjetivo basado en mapas de atención cruzada para imponer consistencia. Define términos de pérdida específicos para identidad, relaciones, atributos y restricciones negativas, así como un término de consistencia temporal.
   • Estas pérdidas se combinan en un objetivo de guía unificado $L_{total}(t)$, que dirige el proceso inverso latente mediante guía basada en gradientes durante la inferencia.

3. Control Semántico Consciente del Tiempo (TASC):

   • Reconociendo que diferentes componentes semánticos son críticos en diferentes etapas del proceso de eliminación de ruido, TASC programa dinámicamente el peso de los objetivos semánticos.
   • Etapa Temprana: Peso alto en Identidad ($\lambda_{id}$) y restricciones Negativas ($\lambda_{neg}$) para establecer la estructura global y suprimir conceptos incorrectos.
   • Etapa Media: Peso máximo en Relaciones ($\lambda_{rel}$) para guiar la composición espacial inter-entidades.
   • Etapa Tardía: Peso creciente en Atributos ($\lambda_{attr}$) para refinar detalles finos y texturas.
   • Esta programación dinámica previene la interferencia de las restricciones estructurales de la etapa temprana con el refinamiento de detalles de la etapa tardía, mejorando así la estabilidad temporal.

Contribuciones Clave

• Marco KGEdit: Un enfoque unificado y sin entrenamiento para el control semántico estructurado en la generación y edición de video que mejora la precisión y la estabilidad temporal sin requerir entrenamiento adicional del modelo.
• AAKG y SSIM: La introducción de un Grafo de Conocimiento Consciente de la Ambigüedad para descomponer los prompts en tripletes estructurados (identidad, relación, atributo, negativo) y un Módulo de Inyección Semántica Estructurada para inyectar estas señales en capas clave del DiT, mejorando la alineación semántica y la precisión de generación.
• Módulo TASC: Un mecanismo de Control Semántico Consciente del Tiempo que programa dinámicamente los objetivos semánticos según las características por etapas del proceso de eliminación de ruido, mejorando significativamente la consistencia temporal.
• Validación Empírica: Experimentos extensos que demuestran que KGEdit supera a los métodos existentes sin entrenamiento y marcos unificados (como VACE) en la prueba VBench, logrando resultados de vanguardia en múltiples métricas.

Resultados Experimentales
Los autores evaluaron KGEdit en la prueba VBench utilizando el modelo base de difusión de video Wan 2.1 1.3B.

• Rendimiento Cuantitativo: KGEdit logró la puntuación promedio más alta (79.62) a través de siete métricas automáticas, superando al marco unificado VACE y otras líneas base como EIDT-V y Free-Bloom.
• Consistencia Temporal: El método destacó en métricas temporales, logrando un 99.20% de Consistencia del Sujeto, un 99.19% de Suavidad del Movimiento y un 98.89% de Consistencia del Fondo. Esto resalta la efectividad de TASC para prevenir el parpadeo y la deriva semántica.
• Mejoras Cualitativas: En estudios de usuarios y comparaciones visuales, KGEdit demostró una capacidad superior para manejar prompts complejos que involucran movimiento rápido, múltiples atributos y términos ambiguos. A diferencia de las líneas base que exhibieron fugas de atributos o deriva semántica (por ejemplo, cambiar colores de ropa o malinterpretar "banco"), KGEdit mantuvo una unión precisa de atributos y alineación semántica a lo largo de la secuencia de video.
• Estudios de Ablación: Eliminar cualquier componente (AAKG, grupos de tripletes específicos o TASC) condujo a una degradación del rendimiento. Notablemente, eliminar la Identidad ($T_{id}$) causó la mayor caída en la precisión semántica, mientras que eliminar las restricciones Negativas ($T_{neg}$) impactó severamente la resolución de ambigüedades. La ponderación temporal uniforme (sin TASC) resultó en caídas significativas en la consistencia temporal, confirmando la necesidad de una programación dinámica.

Significado y Afirmaciones
El artículo afirma que KGEdit aborda las limitaciones fundamentales de los métodos actuales de generación de video sin entrenamiento al cambiar el enfoque de añadir modalidades de control a mejorar la interpretabilidad y controlabilidad de la propia condición textual. Al estructurar el lenguaje natural ambiguo en componentes semánticos explícitos y programar su influencia a lo largo del tiempo, el marco permite una generación de video precisa, estable y coherente bajo instrucciones complejas. Los autores posicionan este trabajo como un paso hacia sistemas de creación de video de alta calidad y prácticos que no requieren costoso reentrenamiento de modelos, haciendo accesible el control semántico estructurado para diversas aplicaciones en publicidad, animación y juegos.

Limitaciones
Los autores reconocen las limitaciones actuales, incluida la dependencia de Modelos de Lenguaje Grande (LLM) para la construcción del grafo, el uso de capas de inyección fijas y programas temporales diseñados a mano. Se sugiere trabajo futuro para explorar la construcción adaptativa de grafos, mecanismos de programación aprendidos y estrategias de guía ligeras.