FiLo++: Zero-/Few-Shot Anomaly Detection by Fused Fine-Grained Descriptions and Deformable Localization

이 논문은 대규모 언어 모델을 활용한 정교한 텍스트 설명 생성과 변형 가능한 교차 모달 상호작용을 통한 정확한 위치 파악을 결합하여, 기존 방법의 한계를 극복하고 제로샷 및 퓨샷 이상 탐지 성능을 획기적으로 향상시킨 FiLo++ 방법을 제안합니다.

핵심

이 논문은 **FiLo++**라는 새로운 인공지능 기술을 소개합니다. 이 기술은 공장에서 나쁜 제품 (불량품) 이나 병원에서 이상한 병변을 찾아내는 '이상 탐지 (Anomaly Detection)' 문제를 해결합니다.

기존 방법들은 새로운 물건을 검사하려면 먼저 정상적인 제품 수천 개를 보여줘야 학습이 가능했습니다. 하지만 FiLo++ 는 아예 학습 데이터가 없어도 (Zero-shot) 혹은 몇 장만 보여줘도 (Few-shot) 새로운 물건의 결함을 찾아낼 수 있습니다.

이 기술이 어떻게 작동하는지, 마치 **정교한 '수사관'과 '지도'**를 사용하는 과정처럼 쉽게 설명해 드리겠습니다.

---

1. 문제: 기존 수사관들은 너무 멍청했나요?

기존의 AI 수사관들은 결함을 찾을 때 두 가지 큰 실수를 저질렀습니다.

• 실수 1: 너무 일반적인 설명만 썼습니다.
  • 예: "이건 고장 난 사진이야." vs "이건 정상인 사진이야."
  • 마치 "이 과일은 상했다"라고만 말하고, 구체적으로 "썩은 부분", "벌레 먹은 구멍", "색이 변한 부분"을 구분하지 못하는 것과 같습니다. 그래서 다양한 결함을 구별하기 어려웠습니다.
• 실수 2: 지도 없이 막연하게 찾았습니다.
  • 결함이 있는 부분을 찾을 때, 배경 (예: 나무 판자, 벽) 까지 모두 다 검사하다가 "저게 뭐지?"라고 오해를 하거나, 결함의 모양이 불규칙하면 놓쳐버렸습니다.

---

2. 해결책: FiLo++ 의 두 가지 비밀 무기

FiLo++ 는 이 문제를 해결하기 위해 두 가지 핵심 도구를 개발했습니다.

🛠️ 무기 1: FusDes (정밀한 수사 노트 작성)

이것은 **대형 언어 모델 (LLM, 예: GPT-4)**을 활용하여 결함에 대한 정밀한 수사 노트를 만드는 과정입니다.

• 창의적 비유:
  • 기존 수사관은 "범인은 흉악하다"라고만 적었습니다.
  • FiLo++ 의 수사관은 AI 에게 "이 물건 (예: 나무) 에 어떤 결함이 생길 수 있을까?"라고 물어봅니다. AI 는 "나무 껍질이 벗겨진 것", "색이 변한 것", "구멍이 뚫린 것" 등 구체적인 결함 종류를 수백 가지로 나열해 줍니다.
  • 그리고 AI 는 이 설명들을 고정된 문장과 학습 가능한 문장을 섞어서 가장 정확한 표현을 찾아냅니다. 마치 수사관이 사건 현장에 맞춰 가장 적합한 수사 용어를 선택하는 것과 같습니다.
• 효과: "고장 난 것"이라는 막연한 말 대신, "이곳에 구멍이 뚫렸다"라고 정확히 말해주기 때문에, 결함을 훨씬 더 정확하게 찾아냅니다.

🗺️ 무기 2: DefLoc (정밀한 지도와 확대경)

이것은 결함이 정확히 어디에 있는지 찾아내는 과정입니다.

• 창의적 비유:
  • Grounding DINO (초급 탐정): 먼저 AI 가 "이 사진에서 '물체'가 있는 곳"을 대략적으로 찾아냅니다. 배경 (벽이나 바닥) 은 무시하고 물체만 집중하는 것입니다.
  • 위치 정보 추가: "구멍이 났다"라고만 하는 게 아니라, **"오른쪽 위 구석에 구멍이 났다"**라고 위치를 함께 적어줍니다.
  • MDCI (변형 가능한 확대경): 결함은 모양이 제각각입니다. 동그란 구멍도 있고, 길쭉한 금도 있습니다. FiLo++ 는 **모양을 자유자재로 변형할 수 있는 '변형 가능한 확대경 (Deformable Convolution)'**을 사용합니다. 마치 점토를 주무르듯 결함의 모양에 맞춰 확대경을 변형시켜 결함을 정확히 감싸 잡습니다.

---

3. 몇 장만 보여줘도 잘하는 이유 (Few-Shot)

만약 새로운 물건을 검사해야 하는데, 정상 제품 사진이 1 장밖에 없다면 어떨까요?

• 기존 방법: 1 장만으로는 정상 패턴을 알 수 없어 엉뚱한 곳을 결함으로 오인합니다.
• FiLo++: 앞서 만든 **정밀한 지도 (DefLoc)**를 활용합니다. "물체 영역"만 집중해서 1 장의 정상 사진과 비교합니다. 배경 잡음을 무시하고 결함 영역만 쫓아다니기 때문에, 아주 적은 데이터로도 높은 정확도를 냅니다.

---

4. 요약: FiLo++ 가 왜 특별한가요?

1. 지식 활용: AI 가 결함에 대한 구체적인 설명을 스스로 만들어냅니다. (단순한 '고장'이 아닌 '구멍', '균열' 등 구체적)
2. 위치 감각: 결함이 어디에 있는지, 어떤 모양인지 정확히 파악합니다. (배경 잡음 제거 + 모양에 맞는 확대경)
3. 적응력: 학습 데이터가 거의 없어도 새로운 물건을 잘 검사합니다.

한 줄 결론:
FiLo++ 는 **"구체적인 수사 노트 (FusDes)"**와 **"변형 가능한 정밀 지도 (DefLoc)"**를 통해, 기존 AI 들이 놓치던 미세한 결함까지 찾아내는 초고성능 이상 탐지 시스템입니다. 이는 공장의 불량품 검사나 병원의 초기 암 진단 등, 데이터가 부족한 상황에서도 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

기존의 이상 탐지 (Anomaly Detection) 방법은 대상 클래스의 정상 샘플을 대량으로 학습해야 하므로, 데이터 수집이 어려운 '콜드 스타트 (Cold Start)' 상황이나 새로운 제품에 대한 빠른 적응이 필요한 시나리오에서 한계가 있습니다. 이를 해결하기 위해 Zero-Shot (제로 샷) 및 Few-Shot (퓨 샷) 이상 탐지 연구가 활발해지고 있으며, 주로 CLIP 과 같은 멀티모달 모델을 활용합니다.

그러나 기존 방법들은 다음과 같은 두 가지 주요 문제를 안고 있습니다:

1. 검출 (Detection) 의 부정확성: 수동으로 제작된 일반적인 텍스트 프롬프트 (예: "정상", "비정상") 를 사용하여 이미지와 텍스트의 유사성을 비교합니다. 이는 다양한 객체에서 발생할 수 있는 이질적이고 구체적인 이상 유형 (Anomaly Types) 을 포착하지 못해 검출 정확도가 낮아집니다.
2. 국소화 (Localization) 의 어려움: 패치 (Patch) 단위의 이미지와 텍스트 특징을 직접 비교하는 방식은 다양한 크기와 모양을 가진 이상 영역을 정확하게 위치시키지 못하며, 배경 영역에서 오탐지 (False Positive) 가 발생하는 경향이 있습니다.

2. 제안 방법 (Methodology: FiLo++)

이 논문은 위 문제들을 해결하기 위해 **FiLo++**라는 새로운 프레임워크를 제안하며, 크게 두 가지 핵심 모듈로 구성됩니다.

A. Fused Fine-Grained Descriptions (FusDes) - 정밀한 이상 설명 생성

이미지 - 텍스트 정렬을 개선하고 이상 검출 능력을 향상시키기 위해 설계된 모듈입니다.

• LLM 기반 세부 이상 설명 생성: 대규모 언어 모델 (LLM, 예: GPT-4) 의 지식을 활용하여 각 객체 카테고리에 발생할 수 있는 구체적인 이상 유형 (예: "긁힘", "색변색", "균열" 등) 을 생성합니다. 기존의 일반적인 "비정상"이라는 표현보다 훨씬 정밀한 텍스트를 제공합니다.
• 고정 및 학습 가능 템플릿의 융합:
  • 고정 템플릿: 인간이 설계한 템플릿 (예: "A photo of [state] [cls] with [anomaly cls] at [pos]") 에 LLM 이 생성한 세부 설명을 주입합니다.
  • 학습 가능 템플릿: CLIP 의 텍스트 인코더와 함께 학습 가능한 벡터 (Learnable Vectors) 를 도입하여 데이터에 최적화된 프롬프트를 자동 생성합니다.
• 런타임 프롬프트 필터링 (Runtime Prompt Filtering): 생성된 다양한 텍스트 프롬프트 중 이미지와 관련성이 낮거나 노이즈가 되는 프롬프트를 필터링하여, 정상/비정상 텍스트 특징 간의 구별력을 높입니다. 이를 통해 교차 의미 모호성 (Cross-semantic ambiguity) 을 줄입니다.

B. Deformable Localization (DefLoc) - 변형 가능한 이상 국소화

다양한 크기와 모양의 이상 영역을 정확하게 위치시키기 위해 설계된 모듈입니다.

• Grounding DINO 를 활용한 초기 국소화: Vision Foundation Model 인 Grounding DINO 를 사용하여 이미지 내 전경 객체 (Foreground) 를 먼저 감지합니다. 이를 통해 배경 영역을 필터링하고, 이상 탐지 범위를 제한하여 오탐지를 줄입니다.
• 위치 강화 텍스트 프롬프트 (Position-Enhanced Text Prompts): Grounding DINO 가 감지한 바운딩 박스의 위치 정보 (상/하/좌/우 등 9 개 영역) 를 텍스트 프롬프트에 추가합니다. 이를 통해 모델이 특정 영역에 집중하도록 유도합니다.
• 다중 스케일 변형 교차 모달 상호작용 (MDCI):
  • 다양한 크기와 모양의 이상을 탐지하기 위해 **Deformable Convolution (변형 합성곱)**을 적용합니다.
  • 고정된 커널 대신 변형 가능한 커널을 사용하여 패치 특징을 다중 스케일로 집계하고, 이를 위치가 강화된 텍스트 특징과 상호작용시킵니다.
• Few-Shot 분기 (Few-Shot Branch): 퓨 샷 설정에서는 DefLoc 의 초기 국소화 결과를 활용하여 패치 매칭 (Patch Matching) 범위를 제한하고, 메모리 뱅크 (Memory Bank) 와 결합하여 성능을 더욱 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. FusDes 모듈 제안: LLM 의 도메인 지식, 고정/학습 가능 템플릿, 런타임 필터링을 결합하여 이상 탐지에 최적화된 정밀한 텍스트 특징을 생성합니다. 이는 검출 정확도와 해석 가능성 (Interpretability) 을 동시에 향상시킵니다.
2. DefLoc 모듈 제안: Grounding DINO, 위치 정보 강화 텍스트, 그리고 MDCI 모듈을 통합하여 다양한 크기와 모양의 이상을 배경 노이즈 없이 정확하게 국소화합니다.
3. Few-Shot 확장성: DefLoc 의 초기 국소화 결과를 활용한 위치 강화 패치 매칭 전략을 도입하여, 소량의 정상 샘플 (1~4 샷) 만으로도 강력한 Few-Shot 이상 탐지 성능을 달성합니다.
4. SOTA 성능 달성: MVTec-AD, VisA 등 다양한 산업용 데이터셋과 BrainMRI, RESC 와 같은 의료용 데이터셋에서 기존 방법 (WinCLIP, AnomalyCLIP, PatchCore 등) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• Zero-Shot 이상 탐지 (ZSAD):
  • VisA 데이터셋: 이미지 레벨 AUC 84.5%, 픽셀 레벨 AUC **96.2%**를 기록하여 기존 최첨단 방법들을 능가했습니다.
  • MVTec-AD 데이터셋: 이미지 레벨 AUC 92.1%, 픽셀 레벨 AUC **92.8%**로 높은 성능을 보였습니다.
• Few-Shot 이상 탐지 (FSAD):
  • 1 샷 (1-shot) 설정에서도 VisA 에서 88.3% (Image-AUC), 97.3% (Pixel-AUC) 의 우수한 성능을 보이며, PatchCore 나 AnomalyGPT 보다 월등히 뛰어났습니다.
• 의료 데이터셋 일반화:
  • 산업용 데이터 (MVTec-AD) 로 학습된 모델을 의료 데이터 (BrainMRI, RESC) 에 적용했을 때도 뛰어난 성능을 보였습니다. 특히 BrainMRI 1-shot 에서 Image-AUC **86.6%**를 기록하여 두 번째로 좋은 방법보다 13.5%p 높은 성능을 달성했습니다.
• 효율성: 변형 합성곱 (Deformable Conv) 을 도입했음에도 추론 시간 증가가 미미 (+32ms) 하여 실용성이 높습니다.

5. 의의 및 결론 (Significance)

FiLo++ 는 대규모 언어 모델 (LLM) 의 지식과 **고급 비전 기술 (Grounding DINO, Deformable Conv)**을 융합하여, 데이터가 부족한 환경에서도 정밀한 이상 탐지와 국소화를 가능하게 합니다.

• 해석 가능성 향상: 단순히 "이상"이라고만 판단하는 것이 아니라, LLM 이 생성한 구체적인 이상 유형 (예: "구멍", "찢어짐") 과 매칭하여 모델의 판단 근거를 명확히 제공합니다.
• 범용성: 산업 검사뿐만 아니라 의료 영상 (종양, 망막 질환 등) 과 같은 다양한 도메인에서도 효과적으로 작동하여, 데이터 수집이 어려운 분야에서의 이상 탐지 솔루션으로서 큰 잠재력을 보여줍니다.
• 미래 방향: 정적 이상 탐지를 넘어 비디오 이상 탐지 및 복잡한 행동 인식 등 시공간적 도메인으로의 확장이 가능함을 시사합니다.

이 논문은 멀티모달 학습과 생성형 AI 기술을 결합하여 기존 한계를 극복한 새로운 이상 탐지 패러다임을 제시했다는 점에서 학술적, 실용적 가치가 매우 높습니다.