GenCLIP: Generalizing CLIP Prompts for Zero-shot Anomaly Detection

이 논문은 다층 프롬프트와 듀얼 브랜치 추론 전략을 통해 일반화 능력과 카테고리 특이성을 균형 있게 확보하고, 적응형 텍스트 필터링을 통해 CLIP 기반 제로샷 이상 탐지의 안정성과 신뢰성을 향상시키는 'GenCLIP' 프레임워크를 제안합니다.

핵심

GenCLIP: "모든 것을 아는 탐정"을 위한 새로운 지시법

안녕하세요! 오늘 소개해 드릴 논문은 **'GenCLIP'**이라는 이름의 새로운 인공지능 기술에 대한 것입니다. 이 기술은 공장에서 불량품을 찾아내는 '이상 탐지 (Anomaly Detection)' 분야에서 혁신을 일으켰습니다.

이걸 이해하기 쉽게, **'완벽한 탐정'**과 **'수첩'**에 비유해서 설명해 드릴게요.

---

1. 문제 상황: 왜 기존 탐정들은 고생할까요?

상상해 보세요. 여러분은 공장에서 일하는 **탐정 (AI)**입니다. 여러분의 임무는 정상적인 제품과 불량품을 구별하는 것입니다.

• 기존 방식 (WinCLIP 등): 탐정에게 "이건 병 (Bottle) 이고, 저건 케이블 (Cable) 이야"라고 정해진 명칭만 알려주었습니다. 하지만 공장에 새로운 물건이 들어오면 (예: '파이프 프라이럼' 같은 이상한 이름), 탐정은 그 이름을 몰라 당황하고 실수를 합니다.
• 다른 방식 (AnomalyCLIP 등): "이건 그냥 '물건 (Object)'이야"라고 너무 포괄적으로만 가르쳤습니다. 이렇게 하면 새로운 물건을 다룰 수는 있지만, "아, 이건 케이블의 특정 결함이구나!"처럼 세부적인 특징을 놓치기 쉽습니다.

핵심 문제: 새로운 물건을 처음 보는 상황 (Zero-shot) 에서, 일반적인 지식과 세부적인 특징을 동시에 잘 활용하는 것이 매우 어렵다는 것입니다.

---

2. GenCLIP의 해결책: "두 가지 수첩"과 "다층적 관찰"

GenCLIP은 이 문제를 해결하기 위해 세 가지 마법 같은 전략을 사용합니다.

① 다층적 관찰 (Multi-layer Prompting): "단순한 눈이 아닌, X-ray 시선"

기존 탐정은 물건을 한 번만 보고 판단했습니다. 하지만 GenCLIP은 여러 단계의 눈을 가졌습니다.

• 비유: 물건을 볼 때, 단순히 '외형'만 보는 게 아니라, 표면의 질감, 모양, 구조까지 여러 단계로 나누어 관찰합니다.
• 효과: 이렇게 하면 새로운 물건을 보더라도, "아, 이 질감은 정상적인 가죽이고, 이 모양은 비정상적인 구멍이네"라고 훨씬 더 풍부하고 정확한 정보를 얻어냅니다.

② 이중 수첩 전략 (Dual-branch Inference): "전문가"와 "일반인"의 협업

GenCLIP 은 두 명의 탐정 (브랜치) 을 동시에 투입합니다.

1. 시각 강화 수첩 (Vision-enhanced branch): 현재 보고 있는 물건의 세부적인 특징 (색깔, 모양, 이름) 을 모두 분석해서 "이건 A 라는 물건이고, 결함이 B 지점에 있어!"라고 정밀하게 판단합니다.
2. 질문 전용 수첩 (Query-only branch): 물건의 이름이나 세부 사항을 아예 무시하고, 오직 **"정상인가? 불량인가?"**라는 가장 기본적인 본질만 봅니다. "이건 어떤 물건이든 간에, 저건 확실히 이상해!"라고 일반적인 직관으로 판단합니다.

결과: 두 수첩의 의견을 합치면, 세부적인 실수도 줄이고, 새로운 물건에 대한 당황도 없애는 완벽한 판단이 나옵니다.

③ 이름 필터링 (Class Name Filtering): "혼란스러운 이름 정리하기"

공장의 물건 이름 중에는 'PCB1', '파이프_프라이럼'처럼 AI 가 이해하기 힘든 이상한 이름들이 있습니다.

• 비유: 탐정이 "이건 '02'라는 이름의 물건이야"라고 하면 당황스럽죠? GenCLIP 은 이런 혼란스러운 이름을 감지하면, AI 가 잘 아는 **"물건 (Object)"**이라는 일반적인 이름으로 바꿔줍니다.
• 효과: 이름 때문에 헷갈리지 않고, 물건의 실제 모습에만 집중하게 되어 판단이 훨씬 정확해집니다.

---

3. 요약: 왜 GenCLIP 이 특별한가요?

GenCLIP 은 단순히 "이게 뭐야?"라고 묻는 게 아니라, 다음과 같이 작동합니다:

1. 다양한 눈으로 보기: 물건을 여러 층으로 나누어 자세히 관찰합니다.
2. 두 가지 관점: "세부적인 특징"과 "일반적인 본질"을 동시에 고려합니다.
3. 명확한 언어: AI 가 헷갈리는 이상한 이름은 다듬어서 이해하기 쉽게 만듭니다.

결론적으로, GenCLIP 은 어떤 새로운 공장에 가도, 어떤 이상한 이름의 물건을 만나도, 정상과 불량을 아주 정확하게 찾아내는 초능력 탐정이 된 것입니다. 실험 결과, 기존에 있던 어떤 방법보다도 더 빠르고 정확하게 불량품을 찾아내어 산업 현장에 큰 도움을 줄 것으로 기대됩니다.

이제 여러분도 "GenCLIP"이 세밀한 관찰과 일반적인 지혜를 결합한 완벽한 파트너라는 것을 이해하셨나요? 🕵️‍♂️✨

기술 요약

1. 문제 정의 (Problem)

Zero-shot Anomaly Detection (ZSAD, 제로샷 이상 탐지) 은 학습 데이터에 존재하지 않는 새로운 객체 카테고리에서도 이상 (결함) 을 탐지하고 위치를 파악하는 것을 목표로 합니다. 최근 CLIP 과 같은 시각 - 언어 모델 (VLM) 이 이 분야에서 핵심 역할을 하고 있지만, 다음과 같은 주요 한계점이 존재합니다.

• 일반화 vs. 카테고리 특화 간의 균형: 기존 방법들은 범용적인 프롬프트 (General Prompts) 를 학습하여 다양한 카테고리에 적용하려 하지만, 이는 특정 객체의 미세한 특징을 놓치게 만들어 성능 저하를 초래합니다. 반대로, 특정 객체에 최적화된 프롬프트는 새로운 카테고리 (Zero-shot) 에 적용하기 어렵습니다.
• 안정적인 최적화의 어려움: CLIP 의 사전 학습된 특성을 유지하면서 이상 탐지 작업에 맞춰 프롬프트를 안정적으로 학습하고 효과적으로 활용하는 것은 여전히 큰 도전 과제입니다.
• 모호한 클래스 이름의 문제: 산업 현장에서는 객체 이름이 숫자 (예: "02") 나 비표준 용어 (예: "pipe fryum") 로 표기되는 경우가 많아, CLIP 이 학습한 의미 공간과 시각적 특징 간의 정렬 (Alignment) 이 깨질 수 있습니다.

2. 제안 방법론 (Methodology: GenCLIP)

저자들은 GenCLIP을 제안하며, 이는 CLIP 프롬프트를 일반화하고 강화하기 위해 다층 프롬팅 (Multi-layer Prompting) 과 이중 분기 추론 (Dual-branch Inference) 전략을 결합합니다.

A. 다층 프롬팅 (Multi-layer Prompting)

기존 방법들이 CLIP 의 마지막 레이어 토큰 (Class Token) 만 사용하는 것과 달리, GenCLIP 은 시각 인코더의 여러 레이어에서 추출된 특징을 활용합니다.

• 일반 쿼리 프롬프트 토큰 (GQPs): 객체 클래스에 의존하지 않는 범용적인 '정상/비정상' 텍스트 임베딩을 학습하는 공유 가능한 프롬프트입니다.
• 다층 시각 프롬프트 토큰 (MVPs): CLIP 비전 인코더의 여러 레이어에서 추출된 패치 특징을 MLP 를 통해 변환하여 생성합니다.
• 통합 전략: GQPs 에 MVPs 를 결합하여 텍스트 프롬프트를 보강합니다. 이를 통해 저수준의 질감/엣지 정보부터 고수준의 의미론적 개념까지 포괄적인 시각 정보를 텍스트에 주입하여 과적합을 방지하고 일반화 능력을 향상시킵니다.

B. 적응형 텍스트 프롬프트 필터링 (Class Name Filtering, CNF)

산업용 데이터셋의 모호한 클래스 이름으로 인한 노이즈를 제거하기 위해 도입되었습니다.

• 작동 원리: 입력된 클래스 이름이 CLIP 의 의미 공간에서 해당 이미지와 잘 정렬되지 않거나 (예: 숫자 포함, 비표준 명칭), 일반적 용어 ("object") 보다 유사도가 낮을 경우, 클래스 이름을 **"object"**로 자동 대체합니다.
• 효과: 텍스트와 이미지 특징 간의 정렬을 개선하여 추론 단계에서의 안정성을 높입니다.

C. 이중 분기 추론 전략 (Dual-branch Inference)

추론 단계에서 두 가지 다른 접근 방식을 병렬로 수행하여 결과를 융합합니다.

1. 비전 강화 분기 (Vision-enhanced Branch): 학습 과정과 유사하게, CNF 가 적용된 클래스 이름과 다층 시각 프롬프트 (MVPs) 를 포함한 텍스트 프롬프트를 사용합니다. 이는 세부적이고 카테고리별 특징을 포착하는 데 중점을 둡니다.
2. 쿼리 전용 분기 (Query-only Branch): 시각 특징이나 구체적인 클래스 이름을 포함하지 않고, 오직 학습된 범용 GQPs와 일반적인 "object" 용어만을 사용합니다. 이는 카테고리에 구애받지 않는 일반적인 이상/정상 패턴을 포착하여 아웃라이어를 식별하는 데 중점을 둡니다.

• 결합: 두 분기에서 생성된 이상 점수 맵 (Score Maps) 을 가중 합산하여 최종 이상 분할 (Segmentation) 및 탐지 (Detection) 결과를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 다층 프롬팅 (Multi-layer Prompting): CLIP 의 여러 비전 레이어에서 추출된 특징을 텍스트 프롬프트에 통합하여, 과적합을 줄이면서 클래스별 정보를 효과적으로 포착하는 새로운 프롬프트 학습 방식을 제안했습니다.
2. 혁신적인 추론 전략: 비전 강화 분기와 쿼리 전용 분기를 결합한 이중 분기 전략을 통해, 세부적인 이상 탐지와 범용적인 일반화 능력을 동시에 확보했습니다.
3. 적응형 필터링 (CNF): 산업 환경에서 흔히 발생하는 모호한 클래스 이름을 자동으로 보정하여 텍스트 - 비전 정렬을 최적화하는 메커니즘을 도입했습니다.
4. SOTA 성능 달성: 6 개의 산업용 벤치마크 데이터셋 (MVTec-AD, VisA, MPDD 등) 에서 기존 최첨단 방법들 (WinCLIP, AnomalyCLIP, AdaCLIP 등) 을 능가하는 성능을 기록했습니다.

4. 실험 결과 (Results)

• 데이터셋: MVTec-AD, VisA, MPDD, BTAD, SDD, DTD-Synthetic 등 6 개 데이터셋에서 평가 수행.
• 성능 지표:
  • 픽셀 수준 (Pixel-level): 평균 AUROC 에서 95.4%, PRO(Per-Region Overlap) 에서 88.5% 를 기록하여 기존 방법 대비 유의미한 향상 (예: PRO 기준 6.5%p 개선) 을 보였습니다. 이는 이상 위치를 매우 정밀하게 찾아낸다는 것을 의미합니다.
  • 이미지 수준 (Image-level): AUROC 87.3%, AP 87.6% 를 기록하여 이미지 전체의 이상 유무 판별에서도 우수한 성능을 입증했습니다.
• 정성적 분석: t-SNE 시각화를 통해 GQPs 가 다양한 클래스의 특징을 잘 포착하는 범용적인 임베딩 공간에 위치하며, 다층 프롬팅이 클래스별 특징을 명확히 분리하는 데 기여함을 확인했습니다. 또한, CNF 적용 시 모호한 클래스 이름을 가진 객체 (예: "pipe fryum", "pcb1") 에서 성능이 향상됨을 입증했습니다.

5. 의의 및 결론 (Significance)

GenCLIP 은 ZSAD 분야에서 범용성 (Generalization) 과 세부적 정확도 (Specificity) 사이의 긴장 관계를 해결한 획기적인 접근법입니다.

• 실무 적용성: 라벨링된 이상 데이터가 부족한 실제 산업 현장 (품질 관리 등) 에서 다양한 제품 라인에 즉시 적용 가능한 강력한 솔루션을 제공합니다.
• 기술적 확장: CLIP 과 같은 대규모 사전 학습 모델의 잠재력을 극대화하기 위해, 단순한 프롬프트 학습을 넘어 시각적 특징의 다층적 통합과 적응형 텍스트 정제 기법을 결합한 새로운 패러다임을 제시했습니다.

결론적으로, GenCLIP 은 시각 - 언어 모델 기반의 이상 탐지 기술이 산업계에서 보다 신뢰성 있게 활용될 수 있는 토대를 마련한 중요한 연구로 평가됩니다.