技術要約：知識グラフのガイダンスに基づく異常画像生成

問題提起

異常検知の領域において、データセットはしばしば深刻なクラス不均衡を特徴としており、大多数の正常（欠陥のない）画像に対し、異常（欠陥のある）サンプルが極めて少ないという状況にあります。この不均衡に対処するための従来のアプローチは、幾何学的な画像拡張（回転、反転、スケーリングなど）や、生成モデルのためのテキストプロンプト（TP）の手動作成に依存してきました。しかし、異常の場所やサイズを正確に記述するテキストプロンプトを手動で構築することは、退屈でエラーが発生しやすいプロセスであり、生成されるサンプルの多様性と数量を制限してしまいます。さらに、事前の専門知識がない場合、手動で生成されたプロンプトは、特定の製品クラスや欠陥タイプに特有の物理的制約や共存ルールを遵守できない可能性があります。

手法

著者らは、知識グラフ（KG）にエンコードされた事前知識を活用することで、大量の妥当なテキストプロンプトを自動的に構築するように設計されたフレームワークであるKG4IGを提案しています。このアプローチは、KGを拡散ベースの画像生成パイプラインと統合するものです。本手法は、以下のコアコンポーネントで構成されています。

1. 異常のための知識グラフ (KGA)

このアプローチの基盤は、製品、その異常、およびそれらの間の関係を表現するために構築されたドメイン固有のオントロジーです。KGAは、MVTec-AD、VisA、およびMPDDという3つの主要なデータセットに基づいて構築されています。このオントロジーは以下を定義します：

• エンティティとクラス： Product（NormalProductとDefectProductで構成される）、Defect、DefectType、およびDefectCharacteristics（深さ、形状、サイズ）を含みます。
• 関係性： hasDefect、hasBoundingBox、およびisAugmentedByといった形式的な定義。
• 制約： 製品の色と一致する色の拡張を防いだり、特定の製品タイプに対して特定の欠陥の組み合わせのみを制限したりするなど（例：ProductTypeAはDefectTypeD1またはDefectTypeD2のみを持つことができる）、妥当性を強制する論理的ルール。
• 推論： システムは、オントロジーの定義を利用して、明示的に述べられていない新しい関係タイプを推論し、グラフの表現力を高めます。

このオントロジーは59のクラス、38のオブジェクトプロパティ、および109のデータプロパティで構成されており、ユーザーのプロンプトをドメインの制約に対して検証することを可能にします。

2. プロンプト生成パイプライン

システムは、以下の4つのステップを通じてテキストプロンプトの作成を自動化します：

1. サブグラフ抽出： KGAから、特定の製品クラス（$P$）、関連する欠陥タイプ（$D_P$）、および形状、サイズ、深さ、位置などの関連属性（$D_A$）を含むサブグラフ（$G_P$）を抽出します。
2. 制約フィルタリング： システムは、色の衝突や欠陥の許容されない共起などの無効な組み合わせを排除するために、KGから派生した制約（$C$）を適用します。
3. プロンプト合成： 各有効な欠陥と属性の構成に対して、システムは自然言語による記述を構築します。
4. 多様化： 有効な構成から多様なプロンプトを生成するために、言語的または構造的なバリエーションが適用されます。

3. モデル学習と生成

生成されたプロンプトは、テキスト-画像生成モデル（具体的には拡散モデル）への入力として機能します。モデルは、テキストと視覚的モダリティを整合させるように訓練され、製品と異常、それらの属性、および文脈的制約の間の階層的関係を学習します。最終的な目標は、KGで定義された異常の空間的意味表現を尊重する異常画像を合成することです。

主な貢献

• 自動プロンプト構築： 本論文は、手動のプロンプトエンジニアリングを、知識グラフによって駆動される自動システムに置き換える手法を紹介しており、これは「膨大な数」の妥当なテキストプロンプトを生成することが可能です。
• ドメイン固有のオントロジー： 特定のドメイン用語、製品クラス、および異常を支配する複雑な関係と制約を捉える、形式的なオントロジーの開発。
• 制約を考慮した生成： プロンプト生成フェーズにおいて、論理的制限（例：共起ルール、属性の競合）を強制する能力により、結果として得られるテキストプロンプトが対象ドメインに対して物理的かつ論理的に一貫していることを保証します。
• 基盤モデルとの統合： 構造化された知識（KG）と現代的な拡散モデルを接続するパイプラインにより、同じクラスのオブジェクトに対する異常の生成、または既存のオブジェクトの拡張を可能にします。

結果と主張

本論文は、画像生成の品質指標に関する広範な定量的な実験結果を提示することよりも、主にアーキテクチャ設計と知識グラフコンポーネントの構築に焦点を当てています。著者らは、自身のアプローチが以下を実現すると主張しています：

• 従来の画像拡張および手動のプロンプトエンジニアリングへの依存を軽減する。
• 各欠陥タイプのユニークな特性を反映した「精密かつ文脈的に関連のあるプロンプト」を生成する。
• 異常の制約（例：有効な欠陥の共起）を尊重することで、意味のある画像を生成することを可能にする。
• 既存のテキスト-画像生成モデルと統合可能な拡張可能なパイプラインを提供し、異常検知タスクのための生成コンテンツの品質を向上させる。

重要性

本研究の重要性は、データ駆動型の拡張から知識駆動型の生成への転換にあります。専門的なドメイン知識を知識グラフにエンコードすることで、このアプローチは、手動のプロンプト作成の限界と、標準的な拡張技術における意味理解の欠如という課題に対処します。著者らは、この手法が、生成される異常が視覚的に妥当であるだけでなく、特定の産業または製品ドメインに対して意味的かつ論理的に一貫していることを保証することにより、よりバランスの取れたデータセットと、より効果的な異常検知モデルのトレーニングをもたらすと断言しています。