AnomalyVFM: 비전 파운데이션 모델을 제로샷 이상 탐지기로 변환하는 기술 요약

이 논문은 AnomalyVFM이라는 새로운 프레임워크를 제안하여, 사전 학습된 비전 파운데이션 모델 (VFM, Vision Foundation Model) 을 제로샷 (Zero-Shot) 이상 탐지 (Anomaly Detection) 에 강력한 성능으로 활용할 수 있도록 하는 방법을 제시합니다.

1. 문제 정의 (Problem)

• 배경: 이상 탐지는 제조, 의료, 도로 장애물 탐지 등 다양한 분야에서 중요한 과제입니다. 특히 훈련 데이터로 정상 이미지만 사용하거나 아예 해당 도메인의 데이터가 없는 제로샷 설정에서의 탐지는 매우 어렵습니다.
• 현황: 최근 제로샷 이상 탐지 연구는 CLIP 과 같은 **시각 - 언어 모델 (VLM)**을 활용하여 고수준의 개념 지식을 전달함으로써 좋은 성과를 거두고 있습니다.
• 한계: 반면, DINOv2 와 같은 순수 **비전 파운데이션 모델 (VFM)**은 시각적 표현력이 뛰어나지만, 제로샷 이상 탐지에서는 VLM 기반 방법보다 성능이 현저히 낮았습니다.
• 원인: 저자들은 이 격차가 두 가지 실용적인 문제에서 기인한다고 주장합니다.
  1. 제한된 보조 데이터의 다양성: 기존 이상 탐지 보조 데이터셋이 현실적인 결함의 다양성을 충분히 담지 못함.
  2. 피상적인 적응 전략: 기존 방법들이 VFM 의 내부 표현을 변경하지 않고 단순히 작은 출력 헤드 (Head) 만 미세 조정 (Fine-tuning) 하는 방식에 그침.

2. 방법론 (Methodology)

AnomalyVFM 은 두 가지 핵심 구성 요소를 통해 위 문제를 해결합니다.

A. 3 단계 합성 데이터 생성 체계 (Three-Stage Synthetic Dataset Generation)

VFM 을 훈련시키기 위해 기존 데이터셋에 의존하지 않고, 현대적인 이미지 생성 모델을 활용한 대규모 합성 데이터셋을 구축합니다.

1. 이상 없는 이미지 생성: FLUX 와 같은 흐름 매칭 (Flow-matching) 기반 생성 모델을 사용하여 다양한 객체와 배경의 정상 이미지를 생성합니다.
2. 국소 결함 합성 (Inpainting): 생성된 정상 이미지의 전경 (Foreground) 영역에서 무작위 위치를 선택하고, 해당 영역에 '균열', '손상', '오염' 등의 결함을 포함하도록 프롬프트를 주어 인페인팅 (Inpainting) 을 수행합니다.
3. 필터링 및 검증: 생성된 이미지와 정상 이미지의 특징 (Feature) 을 추출하여 코사인 거리를 계산합니다. 결함이 제대로 생성되지 않았거나 (프롬프트 준수 실패), 결함 영역이 명확하지 않은 샘플은 특징 거리가 작아지므로 이를 필터링하여 데이터의 품질을 보장합니다.

B. 파라미터 효율적 적응 메커니즘 (Parameter-Efficient Adaptation)

생성된 데이터셋을 활용하여 VFM 을 효율적으로 적응시킵니다.

• LoRA 기반 특징 어댑터 (Feature Adapters): VFM 의 트랜스포머 백본 (Backbone) 내부의 어텐션 메커니즘 (Query, Value, Output projection) 에 저랭크 어댑터 (LoRA) 를 주입합니다. 이를 통해 모델의 **내부 시각적 표현 (Internal Representations)**을 최소한의 파라미터 추가만으로 정상/비정상 구분에 최적화되도록 진화시킵니다.
• 디코더 및 신뢰도 가중 손실 (Confidence-Weighted Loss):
  • 적응된 특징을 픽셀 수준의 이상 점수 맵으로 변환하는 경량 디코더를 사용합니다.
  • 합성 데이터의 라벨 노이즈를 처리하기 위해, 디코더가 출력하는 **신뢰도 맵 (Confidence Map)**을 기반으로 손실 함수를 가중치 (Weighting) 합니다. 불확실한 영역의 그라디언트 영향을 줄여 학습의 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. AnomalyVFM 프레임워크: 어떤 사전 학습된 VFM 이든 강력한 제로샷 이상 탐지기로 변환할 수 있는 범용적이고 효과적인 프레임워크를 제안했습니다.
2. 확장 가능한 합성 데이터 생성: 현대 생성 모델을 활용한 3 단계 합성 프로세스를 설계하여, 기존 데이터셋보다 훨씬 다양하고 현실적인 이상 탐지 데이터를 자동으로 생성할 수 있음을 보였습니다.
3. 성능 향상: VFM 의 잠재력을 최대한 끌어올려, VLM 기반 방법들을 능가하는 새로운 SOTA (State-of-the-Art) 를 달성했습니다.

4. 실험 결과 (Results)

• 산업용 이상 탐지: MVTec AD, VisA 등 9 가지 산업용 벤치마크에서 평가되었습니다.
  • RADIO를 백본으로 사용할 때, 이미지 수준 AUROC 평균 **94.1%**를 달성하여 기존 최선 방법 (AdaCLIP 등) 보다 3.3%p 향상되었습니다.
  • 픽셀 수준 AUROC 에서도 0.9%p 향상되었습니다.
• 의료용 이상 탐지: 의료 데이터셋 (HeadCT, BrainMRI 등) 에서는 추가적인 미세 조정 없이도 뛰어난 일반화 성능을 보여주었습니다.
• Few-Shot 성능: 제로샷으로 훈련된 모델을 소수의 정상 샘플로 추가 미세 조정 (Few-shot) 했을 때, 기존 Few-shot 전용 모델 (INP-Former 등) 과 경쟁력 있는 성능을 보였습니다.
• 효율성: 추론 속도가 주요 경쟁 모델 (Bayes-PFL, AdaCLIP) 보다 훨씬 빠릅니다 (약 20.5ms).

5. 의의 및 결론 (Significance)

AnomalyVFM 은 시각 - 언어 모델에 의존하지 않고, 순수 비전 모델 (VFM) 의 풍부한 시각적 표현력을 제로샷 이상 탐지에 성공적으로 적용한 첫 번째 사례 중 하나입니다.

• 데이터 다양성 해결: 생성형 AI 를 활용한 합성 데이터 생성을 통해 데이터 부족 및 다양성 문제를 해결했습니다.
• 모델 적응 전략 혁신: 단순한 헤드 미세 조정을 넘어, 모델 내부의 특징 표현을 LoRA 를 통해 효율적으로 재학습시키는 방식을 제시했습니다.
• 미래 지향성: 이 프레임워크는 다양한 VFM 아키텍처에 적용 가능하며, 향후 Few-shot 및 Full-shot 이상 탐지 모델의 강력한 백본으로 활용될 잠재력을 가지고 있습니다.

결론적으로, AnomalyVFM 은 제로샷 이상 탐지 분야에서 VLM 의 우위를 VFM 이 추월할 수 있음을 증명하며, 산업 및 의료 현장에서의 실제 적용 가능성을 크게 높인 획기적인 연구입니다.