기술 요약: 지식 그래프의 가이드를 통한 이상치 이미지 생성

문제 정의

이상 탐지(Anomaly Detection) 영역에서 데이터셋은 정상(결함이 없는) 이미지는 매우 많고 비정상(결함이 있는) 샘플은 매우 적은, 심각한 클래스 불균형을 특징으로 하는 경우가 빈번합니다. 이러한 불균형을 해결하기 위한 전통적인 접근 방식은 기하학적 이미지 증강(예: 회전, 뒤집기, 스케일링)이나 생성 모델을 위한 텍스트 프롬프트(TP)의 수동 제작에 의존합니다. 그러나 이상치의 위치와 크기를 정확하게 설명하는 텍스트 프롬프트를 수동으로 구성하는 것은 번거롭고 오류가 발생하기 쉬운 과정이며, 이는 생성되는 샘플의 다양성과 양을 제한합니다. 또한, 사전 전문가 지식이 없다면 수동으로 생성된 프롬프트는 특정 제품 클래스와 결함 유형에 특화된 물리적 제약 조건 및 공존 규칙을 준수하지 못할 수 있습니다.

방법론

저자들은 지식 그래프(Knowledge Graph, KG)에 인코딩된 사전 지식을 활용하여 대량의 타당한 텍스트 프롬프트를 자동으로 구축하도록 설계된 프레임워크인 KG4IG를 제안합니다. 이 접근 방식은 KG를 확산 기반(diffusion-based) 이미지 생성 파이프라인과 통합합니다. 방법론은 다음과 같은 핵심 구성 요소로 이루어집니다.

1. 이상치를 위한 지식 그래프 (KGA)

이 접근 방식의 기초는 제품, 그 이상치, 그리고 이들 사이의 관계를 나타내도록 구축된 도메인 특화 온톨로지입니다. KGA는 MVTec-AD, VisA, MPDD라는 세 가지 주요 데이터셋을 기반으로 구축되었습니다. 온톨로지는 다음을 정의합니다:

• 엔티티 및 클래스: Product(NormalProduct와 DefectProduct를 포함)를 비롯하여 Defect, DefectType, 그리고 DefectCharacteristics(깊이, 모양, 크기)를 포함합니다.
• 관계: hasDefect, hasBoundingBox, isAugmentedBy와 같은 공식적인 정의를 포함합니다.
• 제약 조건: 제품 색상과 일치하는 색상 증강을 방지하거나, 특정 제품 유형에 특정 결함 조합만을 허용하는 것(예: ProductTypeA는 오직 DefectTypeD1 또는 DefectTypeD2만 가질 수 있음)과 같이 유효성을 강제하는 논리적 규칙을 포함합니다.
• 추론: 시스템은 명시적으로 기술되지 않은 새로운 관계 유형을 추론하기 위해 온톨로지 정의를 활용하여 그래프의 표현력을 높입니다.

이 온톨로지는 59개의 클래스, 38개의 객체 속성, 109개의 데이터 속성으로 구성되어 있어, 도메인 제약 조건에 따라 사용자 프롬프트를 검증할 수 있습니다.

2. 프롬프트 생성 파이프라인

시스템은 다음 4단계 과정을 통해 텍스트 프롬프트 생성을 자동화합니다:

1. 서브그래프 추출: KGA로부터 특정 제품 클래스($P$), 관련 결함 유형($D_P$), 그리고 모양, 크기, 깊이, 위치와 같은 관련 속성($D_A$)을 포함하는 서브그래프($G_P$)를 추출합니다.
2. 제약 조건 필터링: 색상 충돌이나 허용되지 않는 결함 공존과 같은 유효하지 않은 조합을 제거하기 위해 KG에서 유도된 제약 조건($C$)을 적용합니다.
3. 프롬프트 합성: 각 유효한 결함 및 속성 구성에 대해 시스템은 자연어 설명을 구축합니다.
4. 다양화: 유효한 구성으로부터 다양한 프롬프트를 생성하기 위해 언어적 또는 구조적 변형을 적용합니다.

3. 모델 학습 및 생성

생성된 프롬프트는 텍-투-이미지(text-to-image) 생성 모델(구체적으로 확산 모델)의 입력값으로 사용됩니다. 이 모델은 텍스트와 시각적 모달리티를 정렬하도록 훈련되며, 제품과 이상치, 그 속성 및 문맥적 제약 사이의 계층적 관계를 학습합니다. 궁극적인 목표는 KG에 정의된 이상치의 공간적 의미 표현을 준수하는 이상치 이미지를 합성하는 것입니다.

주요 기여

• 자동화된 프롬프트 구축: 본 논문은 수동 프롬프트 엔지니어링을 지식 그래프에 의해 구동되는 자동화된 시스템으로 대체하는 방법을 도입하였으며, 이 시스템은 "방대한 양"의 타당한 텍스트 프롬프트를 생성할 수 있습니다.
• 도메인 특화 온톨로지: 특정 도메인 용어, 제품 클래스, 그리고 이상치를 지배하는 복잡한 관계 및 제약 조건을 포착하는 공식적인 온톨로지를 개발하였습니다.
• 제약 조건 인식 생성: 프롬프트 생성 단계에서 논리적 제한(예: 공존 규칙, 속성 충돌)을 강제하여, 결과물인 텍스트 프롬프트가 대상 도메인과 물리적 및 논리적으로 일관되도록 보장합니다.
• 파운데이션 모델과의 통합: 구조화된 지식(KG)을 현대적인 확산 모델과 연결하여, 동일한 클래스의 객체에 대한 이상치를 생성하거나 기존 객체를 증강할 수 있는 파이프라인을 제공합니다.

결과 및 주장

본 논문은 이미지 생성 품질 지표에 대한 광범적인 정량적 실험 결과보다는 주로 아키텍처 설계와 지식 그래프 구성 요소의 구축에 초점을 맞춥니다. 저자들은 다음과 같이 주장합니다:

• 전통적인 이미지 증강 및 수동 프롬프트 엔지니어링에 대한 의존도를 낮춥니다.
• 각 결함 유형의 고유한 특성을 반영하는 "정밀하고 문맥적으로 관련 있는 프롬프트"를 생성합니다.
• 이상치 제약 조건(예: 유효한 결함 공존)을 준수함으로써 의미 있는 이미지를 생성할 수 있게 합니다.
• 기존 텍스트-투-이미지 생성 모델과 통합되어 이상 탐지 작업에 대한 생성 콘텐츠의 품질을 향상시킬 수 있는 확장 가능한 파이프라인을 제공합니다.

의의

이 연구의 의의는 데이터 중심의 증강에서 지식 중심의 생성으로의 전환에 있습니다. 전문가의 도메인 지식을 지식 그래프에 인코딩함으로써, 이 접근 방식은 수동 프롬프트 제작의 한계와 표준 증강 기법의 의미론적 이해 부족 문제를 해결합니다. 저자들은 이 방법이 생성된 이상치가 시각적으로 그럴듯할 뿐만 아니라 특정 산업 또는 제품 도메인과 의미론적 및 논리적으로 일관되도록 보장함으로써, 더 균형 잡힌 데이터셋과 더 효과적인 이상 탐지 모델 학습을 이끌어낼 것이라고 상정합니다.