💻 computer science

Anomaly Image Generation under the Guidance of Knowledge Graph

本文提出了一种知识图谱引导的框架，该框架利用关于异常及其关系的先验知识来构建文本提示，从而使基础模型和扩散技术能够为各种产品类别生成逼真的异常图像。

原作者： Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人艺术家如何画出日常物品的“损坏”版本，比如一辆有划痕的车或一件破损的衬衫。通常情况下，你必须坐下来手动编写数百条具体的指令（提示词），比如对机器人说：“画一辆左侧车门上有划痕的红车。”这既缓慢又乏味，而且如果你犯了错，机器人画出来的东西会变得很奇怪。

你分享的这篇论文介绍了一个名为 KG4IG 的新工具来解决这个问题。你可以把它想象成给机器人一本智能食谱（知识图谱），而不是一张空白的便签纸。

以下是它的工作原理，分为简单的几个步骤：

1. 智能食谱（知识图谱）

与其猜测“划痕”在“汽车”上看起来是什么样，研究人员构建了一个数字百科全书（知识图谱），映射出了世界的规则。

食材： 它列出了所有的产品（如汽车、螺丝或瓶子）。
问题： 它列出了这些产品可能损坏的所有方式（划痕、凹痕、零件缺失）。
规则： 它了解这些物品的“物理定律”。例如，它知道“蓝色汽车”上的“红色划痕”看起来可能很奇怪，或者特定类型的凹痕只会发生在瓶子的金属部分，而不是塑料盖上。

这就像一位名厨，深知哪些香料可以搭配，哪些会毁掉一道菜。机器人不需要猜测；它只需要遵循食谱即可。

2. 副主厨（子图提取器）

当你想要机器人画出一个特定的损坏物品时，这个“副主厨”会从食谱中提取出适用的那页内容。

如果你要求画一个“破碎的瓶子”，副主厨会找到关于瓶子的章节，查看关于裂纹的规则，并检查尺寸和形状的约束条件。
它会过滤掉不可能的想法（比如一个对于瓶子来说太大的裂缝），这样机器人就不会浪费时间去尝试画一些毫无意义的东西。

3. 翻译官（提示词生成器）

一旦副主厨拿到了正确的规则，翻译官就会将这些技术规则转化为机器人艺术家能理解的自然语言句子。

它不再仅仅是原始数据，而是写出清晰的指令：“画一个玻璃瓶，瓶底附近有一个细小的锯齿状裂缝。”
因为食谱拥有如此多的规则，翻译官可以自动创建成千上万条独特且真实的指令，而无需人类逐一手动输入。

4. 艺术家（扩散模型）

最后，机器人艺术家（“扩散模型”）接收这些高质量的指令并绘出图像。因为这些指令是基于“食谱”规则构建的，生成的损坏物体图像看起来非常逼真，并且符合该物体实际破损的规律。

为什么这很重要？

在计算机视觉领域，我们通常拥有数以千计的完美、正常的物品图片，但损坏物品的图片却非常少。为了教会计算机识别缺陷，我们需要更多的损坏物品图片。

旧方法： 人类通过旋转、翻转或裁剪损坏物品的图片来制造更多样本。这就像是通过重新排列旧蛋糕的碎屑来尝试制作一个新蛋糕。
新方法 (KG4IG)： 该系统利用“食谱”从头开始创造全新的、真实的损坏物品图像。它理解物体与缺陷之间的关系，确保生成的新图像符合逻辑。

简而言之： 这篇论文提出了一种系统，它利用结构化的规则数据库（知识图谱）来自动编写指令，从而教导人工智能如何绘制逼真的“损坏”物体，从而将人类从手动编写这些指令的繁琐工作中解脱出来。

技术摘要：知识图谱引导下的异常图像生成

问题陈述

在异常检测领域，数据集通常具有显著的类别不平衡特征，即包含大量的正常（无缺陷）图像和极少数的异常（有缺陷）样本。解决这种不平衡问题的传统方法依赖于几何图像增强（如旋转、翻转、缩放）或为生成模型手工编写文本提示词（Text Prompts, TPs）。然而，手动构建能够准确描述异常情况、位置及尺寸的文本提示词是一个繁琐且易错的过程，这限制了生成样本的多样性和数量。此外，在缺乏专家知识的情况下，手动生成的提示词可能无法遵循特定产品类别和缺陷类型所特有的物理约束和共存规则。

方法论

作者提出了 KG4IG，一个旨在利用编码在知识图谱（Knowledge Graph, KG）中的先验知识来自动构建大量合理文本提示词的框架。该方法将知识图谱与基于扩散的图像生成流水线相结合。其方法论由以下核心组件组成：

1. 异常知识图谱 (KGA)

该方法的基础是一个用于表示产品及其异常情况以及两者之间关系的领域特定本体（Ontology）。KGA 基于三个主要数据集构建：MVTec-AD、VisA 和 MPDD。该本体定义了：

实体与类： 包括 Product（由 NormalProduct 和 DefectProduct 组成）、Defect（缺陷）、DefectType（缺陷类型）以及 DefectCharacteristics（缺陷特征，如深度、形状、尺寸）。
关系： 形式化定义，例如 hasDefect（具有缺陷）、hasBoundingBox（具有边界框）和 isAugmentedBy（由……增强）。
约束： 用于强制执行有效性的逻辑规则，例如防止颜色增强与产品颜色相匹配，或限制特定产品类型仅能拥有某些特定的缺陷组合（例如，ProductTypeA 只能拥有 DefectTypeD1 或 DefectTypeD2）。
推理： 系统利用本体定义来推断未明确说明的新关系类型，从而增强图谱的表达能力。

该本体包含 59 个类、38 个对象属性和 109 个数据属性，允许根据领域约束对用户提示词进行校验。

2. 提示词生成流水线

系统通过四个步骤实现文本提示词的自动化创建：

子图提取： 从 KGA 中提取包含特定产品类 ( $P$ )、相关缺陷类型 ( $D_P$ ) 以及相关属性 ( $D_A$ )（如形状、尺寸、深度和位置）的子图 ( $G_P$ )。
约束过滤： 系统应用源自 KG 的约束 ( $C$ ) 来消除无效组合，例如颜色冲突或不允许的缺陷共存情况。
提示词合成： 针对每种有效的缺陷与属性配置，系统构建自然语言描述。
多样化： 通过应用语言学或结构性的变化，从有效的配置中生成多样化的提示词集。

3. 模型学习与生成

生成的提示词作为文本到图像生成模型（具体为扩散模型）的输入。该模型经过训练以对齐文本和视觉模态，学习产品与异常、其属性以及上下文约束之间的层次关系。最终目标是合成符合 KG 中定义的异常空间语义表示的异常图像。

核心贡献

自动化提示词构建： 本文引入了一种方法，用由知识图谱驱动的自动化系统取代手动提示词工程，该系统能够生成“大量的”合理文本提示词。
领域特定本体： 开发了一个正式的本体，用于捕捉领域术语、产品类别以及管理异常的复杂关系与约束。
约束感知生成： 在提示词生成阶段能够强制执行逻辑限制（如共存规则、属性冲突），确保生成的文本提示词在物理和逻辑上与目标领域保持一致。
与基础模型的集成： 一个将结构化知识（KG）与现代扩散模型连接起来的流水线，使得能够生成同类对象的异常，或对现有对象进行增强。

结果与主张

本文主要侧重于架构设计和知识图谱组件的构建，而非展示关于图像生成质量指标的大量定量实验结果。作者声称其方法：

减少了对传统图像增强和手动提示词工程的依赖。
能够产生“精确且具有上下文相关性”的提示词，反映出每种缺陷类型的独特特征。
通过尊重异常约束（例如有效的缺陷共存），实现生成有意义图像的能力。
提供了一个可扩展的流水线，可以与现有的文本到图像生成模型集成，以提高异常检测任务中生成内容的质量。

重要性

这项工作的意义在于其从数据驱动增强向知识驱动生成的转变。通过将专家领域知识编码进知识图谱，该方法解决了手动构建提示词的局限性以及标准增强技术缺乏语义理解的问题。作者认为，这种方法通过确保生成的异常不仅在视觉上合理，而且在语义和逻辑上与特定的工业或产品领域保持一致，从而带来了更平衡的数据集和更有效的异常检测模型训练。