FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

이 논문은 대규모 언어 모델을 활용한 적응형 미세-세분화 설명과 위치 강화 고화질 국소화 기법을 통해 다양한 크기와 형태의 이상을 정밀하게 탐지 및 국소화하는 새로운 제로샷 이상 탐지 방법인 FiLo 를 제안하여 MVTec 및 VisA 데이터셋에서 최첨단 성능을 달성했습니다.

핵심

FiLo: AI 가 '이상'을 찾아내는 새로운 방법 (간단한 설명)

이 논문은 공장에서 불량품을 찾아내는 '제로샷 이상 탐지 (Zero-Shot Anomaly Detection)' 기술을 다룹니다. 쉽게 말해, **"아직 본 적도, 배운 적도 없는 새로운 제품의 결함을 찾아내는 AI"**를 개발한 이야기입니다.

기존의 AI 는 결함을 찾으려면 수많은 '정상 제품'과 '불량 제품' 사진을 보여주고 학습해야 했습니다. 하지만 FiLo 는 그런 학습 없이도, 대규모 언어 모델 (LLM) 의 지능과 정교한 위치 추적 기술을 결합해 바로 결함을 찾아냅니다.

이 기술을 이해하기 위해 두 가지 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제점: 왜 기존 AI 는 헷갈렸을까?

기존 방법들은 결함을 찾을 때 **"이건 '비정상'이야, 저건 '정상'이야"**라고 아주 막연하게만 설명했습니다. 마치 **"이 사과에 벌레가 있나?"**라고 물을 때, AI 가 **"아니, 그냥 '나쁜' 사과야"**라고만 대답하는 것과 같습니다.

• 막연한 설명의 한계: '나쁜 사과'라는 말만으로는 사과가 썩었는지, 상처가 났는지, 벌레가 먹었는지 구별할 수 없습니다.
• 위치 찾기의 어려움: 결함이 사과 전체에 퍼져있을 수도 있고, 아주 작은 점 하나일 수도 있습니다. 기존 AI 는 사과의 한 조각을 잘라내어 검사하는 방식이라, 결함의 크기와 모양을 제대로 파악하지 못해 엉뚱한 곳 (배경) 을 결함으로 오인하거나, 진짜 결함을 놓치는 경우가 많았습니다.

---

2. FiLo 의 해결책: 두 가지 마법 같은 도구

저자들은 이 문제를 해결하기 위해 FiLo라는 새로운 시스템을 만들었습니다. 이름 그대로 Fine-Grained (세밀한) Location (위치) 을 의미합니다.

📝 도구 1: "세밀한 설명서" (FG-Des)

비유: "막연한 '나쁜 사과' 대신 '구멍이 뚫린 사과', '곰팡이 핀 사과'라고 구체적으로 말하기"

기존 AI 가 "나쁜 것"이라고만 말했던 것을, **LLM(거대 언어 모델)**을 이용해 각 제품별로 아주 구체적인 결함 종류를 미리 만들어줍니다.

• 예시: "나무" 제품이라면 단순히 "상처 난 나무"가 아니라, **"결이 갈라진 나무", "물때가 낀 나무", "구멍이 뚫린 나무"**처럼 구체적인 설명을 만들어냅니다.
• 효과: AI 가 결함을 찾을 때, "아, 이건 '구멍'이 있는 상태구나!"라고 훨씬 정확하게 판단할 수 있게 됩니다. 마치 의사가 "배가 아파요"라고만 하는 게 아니라 "오른쪽 아랫배가 찌릿하게 아파요"라고 구체적으로 말해주면 진단이 훨씬 정확해지는 것과 같습니다.

🎯 도구 2: "정밀한 위치 추적기" (HQ-Loc)

비유: "실수하지 않는 탐정"과 "확대경"

결함의 위치를 찾는 데 세 가지 단계를 거칩니다.

1. 초기 탐색 (Grounding DINO): 먼저 AI 가 "여기 어딘가에 결함이 있을 것 같아"라고 대략적인 범위를 잡습니다. 이때 중요한 건 배경 (바닥이나 테이블) 은 아예 무시하고 제품 자체에만 집중한다는 점입니다.
2. 위치 정보 추가: "결함이 오른쪽 상단에 있다"는 정보를 텍스트에 추가해줍니다. "오른쪽 상단에 구멍이 있는 나무"라고 말하면 AI 는 그쪽을 더 집중해서 봅니다.
3. 다양한 확대경 (MMCI 모듈): 결함은 크기도 다르고 모양도 다릅니다. 어떤 건 가늘고 길고, 어떤 건 동그랗고 큽니다. FiLo 는 **다양한 크기와 모양의 '확대경 (커널)'**을 동시에 사용해 결함을 찾아냅니다. 작은 흠집이든 큰 금이든 놓치지 않고 찾아내는 것입니다.

---

3. 결과: 얼마나 잘할까요?

이 방법을 실험해 보니 기존 방법들보다 훨씬 뛰어난 성과를 보였습니다.

• 정확도: 결함이 있는지 없는지 판단하는 정확도 (이미지 레벨) 와 결함이 어디에 있는지 찾는 정확도 (픽셀 레벨) 모두 최고 수준을 기록했습니다.
• 해석 가능성: 단순히 "불량품입니다"라고만 말하는 게 아니라, **"이 제품은 '구멍' 결함이 있습니다"**라고 구체적으로 알려주기 때문에, 사람이 결과를 이해하기 훨씬 쉽습니다.

📝 한 줄 요약

FiLo는 **"막연하게 '나쁜 것'을 찾는 대신, LLM 이 만들어준 구체적인 결함 설명서 (세밀한 설명) 와 다양한 크기의 확대경 (정밀 위치 추적) 을 이용해, 전혀 본 적 없는 제품의 결함도 정확하게 찾아내고 그 위치를 정확히 짚어주는 똑똑한 AI"**입니다.

이 기술은 새로운 공장이 생겼을 때, 불량품 사진을 수십 장 찍어 학습할 필요 없이 바로 결함 검사 시스템을 가동할 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

Zero-Shot Anomaly Detection (ZSAD, 제로샷 이상 탐지) 는 학습 데이터에 포함된 정상/비정상 샘플에 대한 사전 정보 없이, 새로운 대상 카테고리에서 이상을 탐지하고 위치를 특정하는 과제입니다. 기존 방법들은 주로 CLIP 과 같은 사전 학습된 멀티모달 모델을 활용하여 "정상 (Normal)" 또는 "비정상 (Abnormal)"이라는 일반적인 텍스트 설명과 이미지 패치 (patch) 간의 유사도를 계산합니다.

그러나 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 일반적인 이상 설명의 부재: "damaged(손상됨)"나 "defect(결함)"와 같은 포괄적인 용어는 다양한 물체 카테고리에서 발생하는 세밀하고 다양한 형태의 이상 (예: 긁힘, 구멍, 변색 등) 을 정밀하게 매칭하지 못합니다.
• 위치 특정의 어려움: 단일 이미지 패치와 텍스트 특징 간의 유사도 계산만으로는 크기와 모양이 다양한 이상 영역을 정확하게 국소화 (Localization) 하기 어렵습니다. 특히 배경 영역에서 오탐지 (False Positive) 가 발생하는 문제가 있습니다.

2. 제안 방법 (Methodology: FiLo)

저자들은 FiLo (Fine-Grained Description and High-Quality Localization) 라는 새로운 ZSAD 방법을 제안했습니다. 이는 크게 두 가지 핵심 구성 요소로 이루어져 있습니다.

가. 적응형 학습 세밀한 기술 (Fine-Grained Description, FG-Des)

이상 탐지의 정확도와 해석 가능성을 높이기 위해 텍스트 프롬프트를 개선합니다.

• LLM 을 활용한 세밀한 이상 기술: 대규모 언어 모델 (LLM, 예: GPT-4) 을 사용하여 각 물체 카테고리별로 발생할 수 있는 구체적인 이상 유형 (예: "scratches", "cracks", "discoloration") 을 생성합니다. 기존의 일반적인 "비정상"이라는 표현을 대체합니다.
• 적응형 학습 텍스트 템플릿: 수동으로 설계된 고정된 템플릿 대신, 학습 가능한 벡터 (learnable text vectors) 를 도입합니다. 생성된 세밀한 이상 기술과 위치 정보 ([POS]) 를 포함하는 템플릿을 학습하여 텍스트와 이미지 간의 정합성을 극대화합니다.
  • 템플릿 예시: [Learnable Vectors] [STATE] [CLASS] with [ANOMALY CLASS] at [POS]

나. 고품질 위치 특정 (High-Quality Localization, HQ-Loc)

다양한 크기와 모양의 이상을 정확하게 찾아내기 위한 위치 특정 모듈입니다.

• Grounding DINO 를 활용한 예비 위치 특정: 생성된 세밀한 이상 설명을 입력으로 사용하여 Grounding DINO 를 통해 이상 영역의 대략적인 경계 상자 (Bounding Box) 를 추출합니다. 이는 배경 영역에서의 오탐지를 줄이고 이상 영역을 전경 (Foreground) 으로 제한하는 데 기여합니다.
• 위치 향상 텍스트 프롬프트 (Position-Enhanced Text Prompts): Grounding DINO 가 감지한 위치 정보를 텍스트 프롬프트에 추가하여, 모델이 특정 영역에 집중하도록 유도합니다.
• 다중 스케일 다중 모양 교차 모달 상호작용 모듈 (MMCI):
  • WinCLIP 의 창 (window) 기반 접근 방식의 높은 계산 비용을 해결하기 위해 설계되었습니다.
  • 다양한 크기와 모양 (1x1, 3x3, 5x5, 1x5 등) 의 합성곱 커널을 사용하여 CLIP 이미지 인코더에서 추출된 패치 특징을 병렬로 처리합니다.
  • 이를 통해 다양한 크기와 형태의 이상을 포괄적으로 탐지하고, 위치 향상된 텍스트 특징과 상호작용하여 정밀한 이상 맵 (Anomaly Map) 을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 적응형 학습 세밀한 기술 (FG-Des): LLM 의 도메인 지식을 활용하여 각 카테고리별 구체적인 이상 설명을 생성하고, 학습 가능한 벡터를 도입하여 텍스트 프롬프트를 최적화함으로써 탐지 정확도와 해석 가능성을 동시에 향상시켰습니다.
2. 위치 향상 고품질 위치 특정 (HQ-Loc): Grounding DINO 를 통한 예비 위치 특정, 위치 정보 강화 텍스트, 그리고 MMCI 모듈을 결합하여 배경 오탐지를 줄이고 다양한 크기와 모양의 이상을 정밀하게 국소화하는 방법을 제시했습니다.
3. State-of-the-Art 성능: MVTec 과 VisA 데이터셋에서 기존 방법들을 압도하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: MVTec AD(15 개 카테고리) 와 VisA(12 개 카테고리) 에서 실험 수행.
• 성능 지표: 이미지 레벨 AUC(이상 탐지) 및 픽셀 레벨 AUC(이상 위치 특정).
• 주요 결과 (VisA 데이터셋 기준):
  • 이미지 레벨 AUC: 83.9% (기존 SOTA 인 AnomalyCLIP 대비 1.1% 향상)
  • 픽셀 레벨 AUC: 95.9% (기존 SOTA 대비 0.4% 향상)
• MVTec 데이터셋: 픽셀 레벨 AUC 에서 92.3% 를 기록하여 기존 방법들을 능가했습니다.
• 아블레이션 연구: FG-Des(세밀한 설명), HQ-Loc(위치 특정), MMCI(다중 스케일/모양) 등 각 모듈이 성능 향상에 기여함을 입증했습니다. 특히 LLM 을 통한 세밀한 설명 생성과 위치 정보의 추가가 성능에 결정적인 영향을 미쳤습니다.

5. 의의 및 결론 (Significance)

FiLo 는 제로샷 이상 탐지 분야에서 해석 가능성 (Interpretability) 과 정밀한 위치 특정 (Localization) 의 두 가지 핵심 과제를 동시에 해결했습니다.

• 해석 가능성: 단순히 "이상"이라고 판단하는 것을 넘어, LLM 이 생성한 구체적인 이상 유형 (예: "오른쪽의 긁힘") 을 통해 모델의 판단 근거를 명확히 제시합니다.
• 실용성: 배경 잡음에 강한 위치 특정 능력과 다양한 크기의 결함을 탐지하는 능력으로, 실제 산업 현장의 품질 관리 및 안전 모니터링에 적용하기 매우 유용합니다.
• 효율성: WinCLIP 과 같은 다중 창 입력 방식의 높은 계산 비용을 줄이면서도, 다중 스케일/모양 커널을 통해 높은 정확도를 유지하는 효율적인 아키텍처를 제시했습니다.

이 연구는 멀티모달 모델과 생성형 AI(LLM) 를 결합하여 기존 시각 - 언어 모델의 한계를 극복하고, 더 정교하고 신뢰할 수 있는 이상 탐지 시스템을 구축하는 새로운 방향성을 제시합니다.