TokenCLIP: Token-wise Prompt Learning for Zero-shot Anomaly Detection

이 논문은 기존 CLIP 기반 방법의 한계를 극복하고, 시각 토큰과 텍스트 서브스페이스 간의 동적 정렬을 최적 수송 문제로 모델링하여 토큰 단위의 적응을 가능하게 함으로써 제로샷 이상 탐지 성능을 향상시킨 TokenCLIP 을 제안합니다.

핵심

🕵️‍♂️ 토큰클립 (TokenCLIP): 불량품 탐지의 '초능자'가 된 새로운 방법

이 논문은 AI 가 새로운 물체의 결함 (불량) 을 한 번도 본 적 없이 찾아내는 방법에 대해 이야기합니다. 기존의 AI 는 마치 "모든 것을 한 가지 규칙으로만 판단하는 경직된 검사관" 같았는데, 이 논문은 그 검사관을 "상황에 맞춰 유연하게 사고하는 명석한 탐정"으로 업그레이드했습니다.

이제 이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 방식의 문제점: "모든 상황에 같은 해답지"

기존의 AI(예: CLIP 기반 모델) 는 결함을 찾을 때 **하나의 거대한 텍스트 설명 (Text Prompt)**만 사용했습니다.

• 비유: imagine(상상해 보세요) 한 검사관이 있습니다. 그는 "이것은 불량이다"라는 단 하나의 문장을 외우고 있습니다.
• 문제: 이 검사관은 카펫의 구멍을 볼 때도, 뇌 MRI 의 종양을 볼 때도, 스마트폰 화면의 스크래치를 볼 때도 똑같은 "불량"이라는 문장만 떠올립니다.
• 결과: 카펫의 구멍은 '구멍'이라는 특징이 중요하고, 뇌 종양은 '색상 변화'가 중요할 수 있습니다. 하지만 검사관은 모든 것을 똑같은 기준으로만 보려고 하니까, 세부적인 특징을 놓치거나 혼란스러워하게 됩니다. (논문에서는 이를 '무분별한 정렬 (Indiscriminate alignment)'이라고 부릅니다.)

2. TokenCLIP 의 아이디어: "상황별 전문 팀"을 꾸리다

TokenCLIP 은 이 문제를 해결하기 위해 **하나의 거대한 설명 대신, 여러 개의 '전문 하위 팀 (서브스페이스)'**을 만들어냅니다.

• 비유: 이제 검사관 한 명이 아니라, 3~4 명의 전문 팀원이 있습니다.
  • 팀 A: '물체의 모양'에 집중합니다. (예: 나사, 약병 같은 물체 자체)
  • 팀 B: '배경이나 질감'에 집중합니다. (예: 벽, 바닥, 부드러운 표면)
  • 팀 C: '색상 변화'에 집중합니다.
• 핵심: AI 는 이미지 속의 작은 조각 (패치) 하나하나를 보고, "이 조각은 어떤 팀이 가장 잘 처리할까?"를 실시간으로 결정합니다.
  • 나사의 결함이라면? → 팀 A에게 맡깁니다.
  • 벽의 균열이라면? → 팀 B에게 맡깁니다.
  • 이렇게 각 조각마다 가장 적합한 전문가 팀을 골라주는 것이 바로 '토큰 단위 적응 (Token-wise adaptation)'입니다.

3. 어떻게 그렇게 똑똑하게 고를까? (최적 수송 이론, OT)

그렇다면 AI 는 어떻게 "이 조각은 팀 A 가, 저 조각은 팀 B 가 맡아야 해"라고 결정할까요? 여기서 **최적 수송 (Optimal Transport, OT)**이라는 수학적 도구가 등장합니다.

• 비유: 택배 배달 상황을 상상해 보세요.
  • 보내지는 곳 (시각 토큰): 이미지 속의 수많은 작은 조각들.
  • 받는 곳 (텍스트 서브스페이스): 3~4 명의 전문 팀원들.
  • 목표: 모든 조각을 가장 효율적이고 적절하게 팀원들에게 배분해야 합니다.
• OT 의 역할:
  1. 비용 최소화: 각 조각이 가장 잘 맞는 팀에게 가도록 경로를 정합니다. (예: 나사 조각은 나사 전문 팀으로)
  2. 균형 유지 (마진 제약): 한 팀원에게만 모든 일이 몰리지 않게 합니다. 모든 팀원이 고르게 일할 수 있도록 강제합니다.
  3. 전문성 강화: 팀원들이 서로 다른 일을 하도록 유도합니다. (한 팀이 '나사'만 보고, 다른 팀이 '배경'만 보게 만듦)

이 과정을 통해 AI 는 이미지 속의 작은 부분 하나하나가 어떤 결함인지 가장 정확하게 설명할 수 있는 텍스트 조합을 자동으로 찾아냅니다.

4. 왜 이것이 중요한가요? (실제 효과)

이 방법은 두 가지 큰 장점이 있습니다.

1. 정밀도 향상: 거대한 결함뿐만 아니라, 아주 미세한 흠집이나 이상한 질감까지 찾아냅니다. (기존 방법보다 훨씬 정교한 '픽셀 단위' 탐지)
2. 계산 효율성: 각 조각마다 새로운 전문가를 고용하는 게 아니라 (그건 너무 비싸고 느림), 기존에 있는 몇 명의 전문가 팀을 상황에 맞게灵活하게 (유연하게) 배분하므로 계산 비용은 크게 늘지 않습니다.

5. 요약: 한 줄로 정리하면?

"기존 AI 는 모든 결함을 '하나의 설명'으로만 판단해 놓치기 쉽지만, TokenCLIP 은 이미지 속 작은 조각 하나하나를 보고 '가장 적합한 전문가 팀'을 실시간으로 골라주어, 훨씬 더 정교하고 빠르고 정확하게 결함을 찾아냅니다."

이 기술은 공장에서 불량품을 찾는 일뿐만 아니라, 의료 영상에서 미세한 병변을 찾는 일 등 아직 본 적 없는 새로운 종류의 결함을 찾아야 하는 모든 분야에서 혁신을 일으킬 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 제로샷 이상 탐지 (Zero-Shot Anomaly Detection, ZSAD) 방법들은 CLIP 과 같은 사전 학습된 기초 모델 (Foundation Models) 을 활용하여 보지 못한 객체나 도메인에서 이상을 탐지하는 데 성공을 거두었습니다. 그러나 기존 방법론에는 다음과 같은 근본적인 한계가 존재합니다.

• 무차별적 정렬 (Indiscriminate Alignment): 기존 방법들은 모든 시각적 패치 토큰 (visual patch tokens) 을 단일한 텍스트 공간 (textual space) 에 무차별적으로 정렬합니다.
• 의미론적 손실: 다양한 이상 현상 (예: 카펫의 균열 vs 뇌 스캔의 종양) 은 서로 다른 의미론적 특성을 가지지만, 단일 텍스트 공간은 이러한 다양한 특성을 모두 포착하기 위해 타협을 강요받게 됩니다. 이로 인해 흔한 이상은 잘 탐지되지만, 드물거나 미세한 이상 (rare anomaly semantics) 은 놓치기 쉽습니다.
• 계산적 비효율성: 각 시각적 토큰에 고유한 텍스트 임베딩을 할당하는 것은 계산 비용이 너무 높고, 훈련 데이터가 부족하여 각 토큰별 텍스트 임베딩이 제대로 최적화되지 않는 (underfitting) 문제가 발생합니다.

2. 제안 방법론: TokenCLIP

이 논문은 TokenCLIP을 제안하며, 이는 토큰 단위의 적응 (token-wise adaptation) 을 통해 미세한 이상 학습을 가능하게 하는 프레임워크입니다. 핵심 아이디어는 모든 토큰을 단일 공간에 매핑하는 대신, 각 토큰을 시각적 특성에 기반하여 맞춤형 텍스트 부분 공간 (textual subspace) 의 조합에 동적으로 정렬하는 것입니다.

주요 구성 요소

1. 멀티헤드 텍스트 프롬프트 학습 (Multi-Head Text Prompt Learning):

   • 기저 텍스트 공간 (Base Textual Space): 기존 AnomalyCLIP 과 유사하게, 전역 (global) 및 지역 (local) 이상 의미론을 학습하기 위한 학습 가능한 텍스트 프롬프트를 사용합니다.
   • 직교 부분 공간 (Orthogonal Subspaces): 기저 텍스트 임베딩을 멀티헤드 프로젝션 (Multi-Head Projection) 을 통해 여러 개의 직교하는 텍스트 부분 공간으로 분해합니다. 이는 각 부분 공간이 서로 다른 의미론적 특성을 학습하도록 유도합니다.
   • 정규화: 부분 공간 간의 중복을 줄이고 의미론적 다양성을 촉진하기 위해 **직교성 제약 (Orthogonality Constraint)**을 적용합니다.

2. 최적 수송을 통한 동적 정렬 (Dynamic Alignment via Optimal Transport, OT):

   • 각 시각적 토큰을 어떤 텍스트 부분 공간에 할당할지 결정하는 문제를 최적 수송 (Optimal Transport, OT) 문제로 형식화합니다.
   • 비용 행렬: 시각적 토큰과 텍스트 부분 공간 간의 코사인 유사도를 기반으로 비용 행렬을 구성합니다.
   • 운송 계획 (Transport Plan): Sinkhorn-Knopp 알고리즘을 사용하여 시각적 토큰 (소스 분포) 을 텍스트 부분 공간 (타겟 분포) 으로 운송하는 최적의 계획을 구합니다.
     • 한계 제약 (Marginal Constraint): 모든 텍스트 부분 공간이 충분히 최적화되도록 보장합니다.
     • 최소 비용 목적 함수: 텍스트 부분 공간들이 서로 다른 의미론에 특화되도록 (specialization) 유도합니다.
   • Top-K 스파스화: 계산 효율성과 명확한 할당을 위해 각 토큰에 대해 상위 K 개의 부분 공간만 선택하고 나머지는 0 으로 설정하여 스파스한 할당 행렬을 생성합니다.

3. 학습 및 추론:

   • 전역 이상 점수, 기저 지역 이상 점수, 동적 정렬 점수를 결합하여 최종 이상 점수를 산출합니다.
   • 손실 함수에는 교차 엔트로피, Focal Loss, Dice Loss, 힌지 손실 (Hinge Loss), 그리고 정규화 항이 포함됩니다.

3. 주요 기여 (Key Contributions)

1. 무차별적 정렬의 한계 극복: 기존 방법의 단일 텍스트 공간 정렬이 가진 한계를 지적하고, 토큰 단위의 의미 인식형 텍스트 감시 (token-level textual supervision) 를 제공하는 TokenCLIP을 제안했습니다.
2. 최적 수송 (OT) 기반 동적 정렬: 시각적 토큰과 직교 텍스트 부분 공간 간의 동적 정렬을 OT 문제로 공식화했습니다. 이를 통해 부분 공간의 충분한 최적화와 의미론적 특화 (specialization) 를 동시에 달성했습니다.
3. 광범위한 실험 검증: 산업용 결함 탐지 (MVTec AD, VisA 등) 및 의료 영상 분석 (HeadCT, BrainMRI 등) 을 포함한 다양한 벤치마크에서 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 산업용 이상 탐지 (Industrial Domain):
  • MVTec AD: 픽셀 단위 AUROC 92.2, PRO 87.9 를 기록하여 기존 SOTA 인 AnomalyCLIP (91.1 AUROC, 81.4 PRO) 을 상회했습니다. 특히 미세하고 복잡한 이상 탐지 능력 (PRO 지표) 에서 큰 향상을 보였습니다.
  • VisA: 이미지 단위 AUROC 85.8, AP 88.2 를 기록하여 모든 비교 모델보다 높은 성능을 보였습니다.
• 의료 영상 분석 (Medical Domain):
  • 산업 데이터 (MVTec AD) 로 훈련된 모델을 의료 데이터 (HeadCT, BrainMRI 등) 에 직접 적용하여 제로샷 성능을 평가했습니다. TokenCLIP 은 모든 데이터셋에서 1 위를 기록하며, 모델이 다양한 도메인에서 일반화된 이상 의미론을 잘 포착함을 입증했습니다.
• 계산 효율성:
  • 각 토큰에 고유한 텍스트 공간 할당 시 발생하는 계산 부담을 피하기 위해, 제한된 수의 부분 공간을 동적으로 조합하는 방식을 사용했습니다. 이는 FAPrompt 와 같은 다중 프롬프트 방법보다 메모리 사용량과 추론 시간을 크게 줄이면서도 더 높은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

• 미세한 이상 탐지의 패러다임 전환: TokenCLIP 은 "단일 텍스트 공간"이라는 기존의 가정을 깨고, **"토큰별 동적 텍스트 부분 공간 할당"**이라는 새로운 패러다임을 제시했습니다.
• 이론적 근거: 최적 수송 (OT) 이론을 활용하여 왜 텍스트 부분 공간들이 서로 다른 의미에 특화되어야 하는지, 그리고 이것이 어떻게 이상 탐지 성능 향상으로 이어지는지 이론적으로 증명했습니다 (Theorem 3.1).
• 실용적 가치: 산업 검사 및 의료 진단 등 다양한 분야에서 일반화된 이상 탐지 시스템의 성능을 획기적으로 개선할 수 있는 잠재력을 보여주었습니다.

결론적으로, TokenCLIP 은 CLIP 기반 제로샷 이상 탐지에서 **정밀도 (Precision)**와 일반화 (Generalization) 사이의 균형을 맞추기 위해, 시각적 토큰과 텍스트 의미론 간의 관계를 동적이고 구조적으로 정렬하는 혁신적인 접근법을 제시했습니다.