MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness

"Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness 를 활용한 Few-Shot Mask-Guided Anomaly Inpainting"이라는 제목의 논문 "MAGIC"에 대한 상세한 기술 요약입니다.

1. 문제 제기

산업 품질 관리 분야에서 **Few-Shot Anomaly Generation(FSAG)**은 라벨링된 불량 데이터가 부족할 때 견고한 이상 탐지 모델을 훈련시키는 데 필수적입니다. 기존 접근 방식은 일반적으로 두 가지 범주로 나뉘며, 둘 다 중요한 한계를 가지고 있습니다.

• 전역 이상 생성 (Global Anomaly Generation, GAG): 입력 마스크 없이 이상과 마스크를 동시에 생성하는 방법입니다. 다양성은 있지만, 정상 영역의 배경 질감을 손상시켜 비현실적인 이미지를 초래하는 경우가 많습니다.
• 마스크 유도 이상 생성 (Mask-Guided Anomaly Generation, MAG): 정상 이미지와 사용자가 제공한 마스크를 사용하여 이상을 인페인팅하는 방법입니다. 배경을 보존하지만, 두 가지 주요 문제로 고통받습니다.
  1. 낮은 분포 내 다양성 (Low In-Distribution Diversity): 정상 이미지에 크게 의존하는 모델은 소수의 훈련 예제를 암기하여 반복적인 질감과 모양을 생성합니다 (모드 붕괴).
  2. 의미론적 불일치 (Semantic Misalignment): 생성된 이상은 종종 의미론적으로 불가능한 위치에 나타납니다 (예: 마스크가 샤프트에 배치되었을 때 나사 머리에 스크래치가 생기는 경우). 이로 인해 비현실적인 아티팩트가 발생합니다.

핵심적인 과제는 마스크가 의미론적으로 타당한 영역에 배치됨을 보장하면서, 마스크를 엄격히 준수하는 고충실도이고 다양한 이상을 Few-Shot 설정 내에서 생성하는 것입니다.

2. 방법론: MAGIC 프레임워크

저자들은 Stable Diffusion 백본을 기반으로 구축된 미세 조정 인페인팅 프레임워크인 MAGIC을 제안합니다. 이는 기존 MAG 방법의 한계를 해결하기 위해 세 가지 상호 보완적인 구성 요소를 도입합니다.

A. 가우스 프롬프트 교란 (Gaussian Prompt Perturbation, GPP)

• 목표: Few-Shot 설정에서 과적합을 방지하고 분포 내 다양성을 증가시키는 것.
• 메커니즘: 추론 시에만 노이즈를 적용하는 것 (이는 분포 이동을 초래함) 대신, GPP 는 훈련 및 추론 모두 동안 이상 토큰 임베딩 (질감 프롬프트 및 마스크 임베딩 모두) 에 가우스 노이즈 ($\delta$) 를 주입합니다.
• 효과: 이는 모델이 이산적인 훈련 점을 암기하는 대신 현실적인 이상들의 **매끄럽고 연속적인 매니폴드 (manifold)**를 학습하도록 강제합니다. 추론 시에는 이 매니폴드에서 샘플링하여 대상 데이터 분포 내에 머무르는 다양한 질감과 마스크 모양을 생성합니다.

B. 공간 적응형 가이드 (Spatially Adaptive Guidance, SAG)

• 목표: 이상 영역의 질감 다양성과 정상 영역의 배경 충실도 사이의 균형을 맞추는 것.
• 메커니즘: 표준 Classifier-Free Guidance(CFG) 는 균일한 스케일 ($w$) 을 적용합니다. MAGIC 은 공간적으로 변하는 CFG 스케일을 적용합니다.
  • 정상 영역: 배경 일관성을 엄격히 유지하기 위해 높고 고정된 CFG 스케일 ($w_d = 7.5$) 을 사용합니다.
  • 이상 영역: 동적 스케일 ($w_a(t)$) 을 적용합니다. 초기 확산 단계에서는 다양한 질감 탐색을 장려하기 위해 낮게 ($w_m = 4$) 시작하여, 노이즈 제거가 진행됨에 따라 코사인 스케줄을 통해 $w_d$까지 점진적으로 증가시켜 현실감을 정제합니다.
• 효과: 이를 통해 모델은 초기에 다양한 이상 질감을 탐색하면서도 최종 출력은 현실적이고 배경은 손상되지 않도록 보장합니다.

C. 문맥 인식 마스크 정렬 (Context-Aware Mask Alignment, CAMA)

• 목표: 마스크가 의미론적으로 불가능한 위치에 배치되는 문제를 해결하는 것.
• 메커니즘:
  1. 키포인트 추출: 참조 이상 쌍 (훈련 데이터) 에서 세 개의 키포인트를 선택합니다. 마스크 중심점 ($p_c$) 과 수직선 위의 두 경계점 ($p_u, p_\ell$) 입니다.
  2. 의미론적 매칭: 사전 훈련된 의미론적 대응 모델 (GeoAware-SC) 을 사용하여 이러한 키포인트를 대상 정상 이미지와 매칭하여 유사도 맵을 생성합니다.
  3. 정렬: 최적의 새로운 중심점 ($q^*_c$) 은 매칭된 경계점으로 정의된 "의미론적 후보 선"상에서 물체의 전경 마스크 내에 위치하며 유사도 점수를 최대화하는 점을 찾아 결정합니다.
  4. 변환: 입력 마스크는 $q^*_c$와 정렬되도록 이동되고 물체의 전경에 맞게 잘립니다.
• 효과: 이상은 구조적, 의미론적으로 올바른 위치 (예: 나사 머리에 스크래치) 에 생성되도록 보장하여 물체 밖 아티팩트를 방지합니다.

3. 주요 기여

1. 새로운 프레임워크 (MAGIC): 낮은 다양성, 낮은 충실도, 의미론적 불일치를 동시에 해결하는 최초의 Few-Shot MAG 프레임워크입니다.
2. GPP 전략: 훈련 및 추론 모두에서 교란을 적용해야 매끄러운 매니폴드를 학습할 수 있으며, 추론 전용 노이즈 주입에서 발생하는 분포 이동 문제를 피할 수 있음을 보여줍니다.
3. 공간 적응형 가이드: 이상 및 배경 영역 간의 가이드 강도를 분리하여 다양성과 충실도를 모두 최적화하는 새로운 추론 시 제어 메커니즘입니다.
4. 의미론적 마스크 정렬: 기하학적 및 의미론적 단서를 활용하여 마스크를 재배치하는 강력한 모듈 (CAMA) 로, 생성된 결함의 타당성을 크게 향상시킵니다.

4. 실험 결과

저자들은 MAGIC 을 네 가지 벤치마크 데이터셋인 MVTec-AD, VisA, DAGM, MVTec 3D-AD에서 평가했습니다.

• 생성 품질 및 다양성:
  • MAGIC 은 모든 데이터셋에서 가장 낮은 Kernel Inception Distance(KID) 점수를 달성하여, 기존 방법들 (AnoDiff, AnoGen, DualAnoDiff, SeaS) 보다 실제 이상 분포와의 우수한 정렬을 보여주었습니다.
  • IC-LPIPS(다양성 지표) 는 일부 기존 방법보다 약간 낮았으나, 저자들은 이는 MAGIC 이 분포 밖 아티팩트를 생성하여 다양성을 인위적으로 팽창시키는 것을 피하고 분포 내 현실성을 엄격히 준수하기 때문이라고 주장합니다.
• 하류 작업:
  • 이상 분류: MAGIC 은 이전 최첨단 방법 (DualAnoDiff) 대비 평균 **13.81%**만큼 분류 정확도를 향상시켰습니다.
  • 탐지 및 국소화: MAGIC 은 네 가지 데이터셋 전반에 걸쳐 이미지 수준 (AUROC, AP, F1-max) 및 픽셀 수준 (PRO) 지표에서 새로운 최첨단 결과를 기록했습니다.
• Ablation 연구:
  • GPP 를 제거하면 다양성과 분류 정확도가 크게 감소했습니다.
  • SAG 를 제거하면 다양성과 충실도 간의 균형이 약화되었습니다.
  • CAMA 를 제거하면 마스크 정렬 점수가 낮아지고 분류 성능이 저하되어 의미론적 배치의 중요성이 확인되었습니다.

5. 의의

MAGIC 은 이전 생성 접근법보다 "데이터 부족" 문제를 더 효과적으로 해결함으로써 산업 이상 탐지 분야에서 중요한 진전을 이루었습니다.

• 실용적 영향: 다양하고 고충실도이며 의미론적으로 정확한 훈련 데이터를 생성함으로써, MAGIC 은 실제 사례가 매우 적더라도 하류 모델이 결함을 더 정확하게 탐지하고 분류할 수 있게 합니다.
• 이론적 통찰: 이 논문은 확산 모델에서 매니폴드 학습을 위한 훈련 시 교란의 결정적 중요성을 강조하며, 인페인팅 작업에 대한 공간 적응형 제어의 새로운 패러다임을 제시합니다.
• 견고성: 이 방법은 다양한 물체 유형 (2D 질감에서 3D 물체까지) 과 이상 유형에 걸쳐 견고함을 입증하여 Few-Shot 이상 생성의 새로운 벤치마크를 확립했습니다.