Large-Scale Universal Defect Generation: Foundation Models and Datasets

1. 연구 배경 및 문제점 (Problem)

기존의 결함/이상 (Anomaly) 생성 방법론은 주로 Few-shot 학습에 의존하고 있습니다. 이는 대규모의 쌍을 이루는 결함 편집 데이터 (정상 이미지 - 결함 이미지 - 마스크 - 설명) 가 부족하기 때문입니다. 이러한 한계로 인해 다음과 같은 심각한 문제들이 발생합니다.

• 과적합 (Overfitting): 특정 결함 카테고리에만 과도하게 적합되어 새로운 시나리오나 객체로 일반화되지 못함.
• 제한된 현실감과 일관성: 결함의 규모 (Scale) 와 형태 (Morphology) 가 다양하게 변하는 특성을 학습하지 못해 생성된 결함이 비현실적이거나 참조 이미지와 일관성이 떨어짐.
• 범용성 부재: 기존 모델들은 특정 객체나 결함 유형마다 별도의 모델을 학습해야 하거나, 외부 MLLM 과 오프라인 저장소를 의존하여 파이프라인이 복잡하고 확장성이 낮음.

2. 제안된 방법론 (Methodology)

저자들은 위 문제들을 해결하기 위해 **UDG(대규모 데이터셋)**와 **UniDG(범용 결함 생성 기초 모델)**를 제안했습니다.

A. UDG 데이터셋 (30 만 개 샘플)

• 구성: 정상 이미지, 결함 이미지, 마스크, 설명 (Caption) 으로 이루어진 4 중 조합 (Quadruplets) 30 만 개를 포함.
• 범위: 산업, 자연, 의료 등 다양한 도메인의 50 개 공개 데이터셋을 통합하여 28 개의 표준화된 결함 카테고리로 매핑.
• 구축 파이프라인: 3 개의 에이전트 (Inpainting Agent, Captioner Agent, Verifier Agent) 를 활용한 멀티 에이전트 시스템을 통해 고품질 데이터를 자동 생성 및 필터링.
  • Inpainting Agent: 결함 이미지의 마스킹 영역을 채워 정상 이미지를 복원.
  • Captioner Agent: MLLM 을 활용하여 전역에서 국소까지 세밀한 결함 설명 생성.
  • Verifier Agent: 생성된 4 중 조합의 품질 (정상성, 일관성, 결함 존재 여부) 을 검증.

B. UniDG 모델 아키텍처

• 기반 구조: MM-DiT (Multimodal Diffusion Transformer) 아키텍처를 사용.
• Defect-Context Editing 전략:
  • 적응형 결함 크롭 (Adaptive Defect Crop): 참조 이미지에서 결함 영역을 주변 맥락과 함께 적절히 크롭하여 세부 정보를 보존.
  • 구조화된 디프티치 (Diptych) 입력: 크롭된 결함 이미지와 마스킹된 원본 이미지를 나란히 배치하여 입력.
  • 멀티모달 어텐션 (MM-DiT): VAE 잠재 공간의 이미지/마스크 정보와 SigLIP 를 통해 추출한 결함 의미론적 정보를 융합하여 생성.
• 두 단계 학습 전략:
  1. Diversity-SFT (Supervised Fine-Tuning): 단일 객체 내 결함 채우기, 단일 객체 내 교차 샘플링, 다중 객체 간 교차 샘플링 등 3 가지 분포를 활용하여 생성의 다양성과 참조 준수 능력을 학습.
  2. Consistency-RFT (Reinforcement Fine-Tuning): Flow-GRPO 를 활용하여 보상 모델 (Defect-Und-Reward, Defect-Recog-Reward) 을 통해 생성된 이미지의 참조 일관성 (색상, 질감, 조명) 과 현실감을 강화.

3. 주요 기여 (Key Contributions)

1. UDG 데이터셋 공개: 30 만 개의 대규모 정상 - 결함 - 마스크 - 설명 4 중 조합 데이터셋을 최초로 공개하여 다중 모달 이상 탐지 및 결함 생성 연구의 기반을 마련.
2. UniDG 기초 모델 개발: 카테고리별 미세 조정 (Fine-tuning) 없이도 참조 기반 생성과 텍스트 명령 기반 편집을 모두 지원하는 최초의 범용 결함 생성 모델 제시.
3. 혁신적인 학습 전략: 다양성을 확보하는 SFT 와 일관성을 강화하는 RFT 를 결합한 2 단계 학습 파이프라인 및 맞춤형 보상 모델 설계.
4. 성능 입증: MVTec-AD 와 VisA 데이터셋에서 기존 Few-shot 생성 방법 및 이미지 삽입/편집 베이스라인을 압도하는 성능 달성.

4. 실험 결과 (Results)

MVTec-AD 와 VisA 데이터셋을 대상으로 한 실험 결과는 다음과 같습니다.

• 생성 품질: MLLM 기반 평가 (참조 준수, 일관성, 합리성, 품질) 에서 기존 방법 (AnoDiff, SeaS, AnyDoor 등) 보다 월등히 높은 점수를 기록. 특히 Consistency-RFT를 적용한 UniDG-RFT 가 가장 우수한 성능을 보임.
• 다운스트림 작업 성능:
  • 이상 탐지/로컬라이제이션: UniDG-RFT 는 이미지 레벨 AUROC 98.4%, 픽셀 레벨 AP 77.3% 를 기록하여 기존 최첨단 방법들을 상회.
  • 다중 클래스 분류/세그멘테이션: 단일 모델로 여러 결함 카테고리를 처리하는 설정에서 FG-mIoU(전경 평균 교차율) 가 31.87% 로, 기존 방법 (AnoGen 의 26.45% 등) 보다 약 20.5% 이상 향상됨. 이는 생성된 데이터가 실제 결함의 특징을 잘 학습했음을 의미.
• 효율성: 훈련이 필요 없는 (Training-Free) Few-shot 설정에서도 우수한 성능을 발휘하며, 추론 속도는 기존 Diffusion 기반 방법과 유사하거나 더 빠름.

5. 의의 및 결론 (Significance)

이 논문은 산업 및 의료 분야의 이상 탐지 분야에서 데이터 부족 문제를 해결하기 위한 획기적인 접근법을 제시합니다.

• 범용성 확보: 특정 결함 유형에 국한되지 않고, 대규모 데이터셋과 기초 모델을 통해 다양한 객체와 결함 유형에 대한 **범용 생성 (Universal Generation)**을 가능하게 함.
• 실용적 가치: 생성된 고품질 결함 데이터는 실제 데이터가 부족한 환경에서 강력한 지도 학습용 데이터 증강 도구로 활용될 수 있으며, 단일 모델로 다중 클래스 이상을 탐지하는 시스템을 구축하는 데 기여.
• 미래 지향성: 텍스트 명령이나 참조 이미지를 통해 결함을 자유롭게 편집하고 생성할 수 있는 인터랙티브한 프레임워크를 제공하여, 향후 지능형 품질 관리 시스템의 핵심 기술로 자리매김할 것으로 기대됨.

요약하자면, UDG와 UniDG는 결함 생성의 한계를 넘어, 대규모 데이터와 강화 학습 기반의 정교한 학습 전략을 통해 현실적이고 일관된 결함 생성을 가능하게 하며, 이를 통해 하류 작업 (이상 탐지/분류) 의 성능을 극대화한 획기적인 연구입니다.