KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

KGEdit 技术摘要：面向免训练精确视频生成与编辑的歧义感知知识图谱

问题陈述
近期免训练视频生成技术的进步扩展了文本到视频（T2V）扩散模型的能力。然而，由于自然语言固有的歧义性，现有方法在处理复杂文本指令时往往力不从心。当前方法通常依赖整体语义编码、交叉注意力操纵或基于反转的引导，未能显式捕捉关键属性和语义关系。因此，模型容易产生语义歧义、概念绑定错误（例如将"bank"误判为金融机构而非河岸）以及跨帧不一致（时间闪烁和漂移）。在不进行额外模型训练的情况下实现精确且时间稳定的视频生成，尤其是在指令涉及身份、外观、运动或多属性控制时，仍是一项重大挑战。

方法论
作者提出了KGEdit，这是一个统一的免训练框架，旨在通过结构化文本条件本身（而非增加输入模态）来增强可解释性和可控性。该框架通过三个核心组件运行：

1. 歧义感知知识图谱（AAKG）：

   • 词义消歧： 系统首先识别输入提示中的多义词，并利用外部知识源和提示上下文选择最符合语境的词义。
   • 图谱构建与分组： 消歧后的语义被组织成结构化图谱 $G=(V, E)$。该图谱被分解为四个不同的语义组：
     • 身份（$T_{id}$）： 核心实体定义。
     • 关系（$T_{rel}$）： 实体间的关系。
     • 属性（$T_{attr}$）： 外观和特性的详细描述。
     • 负向约束（$T_{neg}$）： 显式排除项，用于抑制不兼容的绑定（例如，“不是金融机构”）。

2. 结构化语义注入模块（SSIM）：

   • SSIM 不单纯依赖全局嵌入，而是将四个语义组的解耦嵌入直接注入到扩散 Transformer（DiT）的中间层。
   • 该模块基于交叉注意力图构建多目标优化问题以强制一致性。它定义了针对身份、关系、属性和负向约束的特定损失项，以及一个时间一致性项。
   • 这些损失被组合成一个统一的引导目标 $L_{total}(t)$，在推理过程中通过基于梯度的引导来引导潜在反向过程。

3. 时间感知语义控制（TASC）：

   • 鉴于不同的语义组件在去噪过程的不同阶段至关重要，TASC 动态调度语义目标的权重。
   • 早期阶段： 赋予身份（$\lambda_{id}$）和负向约束（$\lambda_{neg}$）较高权重，以建立全局结构并抑制错误概念。
   • 中期阶段： 赋予关系（$\lambda_{rel}$）最高权重，以引导实体间的空间构图。
   • 晚期阶段： 增加属性（$\lambda_{attr}$）的权重，以细化细粒度的细节和纹理。
   • 这种动态调度防止了早期阶段的结构约束干扰晚期阶段的细节细化，从而提高了时间稳定性。

主要贡献

• KGEdit 框架： 一种用于视频生成与编辑的结构化语义控制的统一免训练方法，无需额外模型训练即可提高准确性和时间稳定性。
• AAKG 与 SSIM： 引入歧义感知知识图谱，将提示分解为结构化三元组（身份、关系、属性、负向），并引入结构化语义注入模块，将这些信号注入关键的 DiT 层，从而增强语义对齐和生成精度。
• TASC 模块： 一种时间感知语义控制机制，根据去噪过程的阶段特征动态调度语义目标，显著提高了时间一致性。
• 实证验证： 大量实验表明，KGEdit 在 VBench 基准测试中优于现有的免训练方法和统一框架（如 VACE），在多项指标上实现了最先进的结果。

实验结果
作者在 Wan 2.1 1.3B 视频扩散骨干网络上对 KGEdit 在 VBench 基准测试中进行了评估。

• 定量性能： KGEdit 在七项自动指标中取得了最高的平均分（79.62），超越了统一的 VACE 框架以及其他基线模型（如 EIDT-V 和 Free-Bloom）。
• 时间一致性： 该方法在时间指标上表现卓越，实现了 99.20% 的主体一致性、99.19% 的运动平滑度和 98.89% 的背景一致性。这突显了 TASC 在防止闪烁和语义漂移方面的有效性。
• 定性改进： 在用户研究和视觉对比中，KGEdit 展示了处理涉及快速运动、多属性和歧义术语的复杂提示的卓越能力。与表现出属性泄露或语义漂移的基线模型（例如改变服装颜色或误判"bank"）不同，KGEdit 在整个视频序列中保持了精确的属性绑定和语义对齐。
• 消融研究： 移除任何组件（AAKG、特定三元组组或 TASC）都会导致性能下降。值得注意的是，移除身份（$T_{id}$）导致语义准确性下降幅度最大，而移除负向约束（$T_{neg}$）则严重影响了歧义消解。均匀的时间权重（无 TASC）导致时间一致性显著下降，证实了动态调度的必要性。

意义与主张
该论文主张，KGEdit 通过将重点从增加控制模态转向提高文本条件本身的可解释性和可控性，解决了当前免训练视频生成方法的根本局限性。通过将歧义自然语言结构化并显式为语义组件，并随时间调度其影响，该框架能够在复杂指令下实现精确、稳定且连贯的视频生成。作者将这项工作定位为迈向实用、高质量视频创作系统的一步，这些系统无需昂贵的模型重训练，从而使结构化语义控制能够应用于广告、动画和游戏等多样化场景。

局限性
作者承认当前的局限性，包括依赖大型语言模型（LLM）进行图谱构建、使用固定注入层以及手工设计的时间调度。未来的工作建议探索自适应图谱构建、学习到的调度机制以及轻量级引导策略。