💻 computer science

DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection

DriftAD는 시각적 가이드 텍스트 드리프트(Visually-Guided Text Drift) 메커니즘을 도입하여 공간 및 레이어별 적응형 이상 징후 기술자(anomaly descriptors)를 동적으로 생성함으로써 정적 텍스트 프롬프트의 한계를 극복하고 MVTec-AD 및 VisA 데이터셋에서 탐지 성능을 크게 향상시킨 퓨샷(few-shot) 산업용 이상 탐지 프레임워크입니다.

원저자: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

게시일 2026-08-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대적인 자동화 제조의 광활한 세계에서, 제품을 완벽하게 유지하는 것은 보이지 않는 존재와의 끊임없는 싸움입니다. 기계는 매시간 수천 개의 동일한 품목을 조립하지만, 금속 표면에 아주 작은 흠집이 나타나거나 직물에 미세한 변색이 생기는 순간, 전체 배치가 실패할 위험에 처합니다. 수십 년 동안 컴퓨터는 이러한 결함을 발견하는 데 어려움을 겪어 왔는데, 이는 결함이 드물고 예측 불가능하기 때문입니다. 전통적인 방식은 컴퓨터에게 모든 종류의 제품에 대해 '정상'이 무엇인지 인식하도록 가르쳐야 했으며, 이는 매우 느리고 비용이 많이 드는 과정이었고 새로운 품목이 공장에 도입되자마자 무너졌습니다. 최근에는 이미지와 언어를 모두 이해하도록 원래 훈련된 인공지능 모델을 사용하는 새로운 접근 방식이 등장했습니다. 이 모델들은 "손상된 병"과 같은 설명을 읽고 사진 속에서 이를 찾아낼 수 있어, 수천 개의 사례를 필요로 하지 않고도 결함을 찾는 유연한 방법을 제공합니다. 그러나 이러한 첨단 시스템조차도 사각지대를 가지고 있습니다. 이들은 결함을 하나의 통일된 개념으로 취급하는 경향이 있어, 결함이 이미지 데이터의 어디에 위치하느냐 또는 얼마나 깊게 자리 잡고 있느냐에 따라 다르게 보일 수 있다는 점을 인지하지 못합니다.

난양 공과대학교와 화중과기대학교의 연구진은 바로 이 특정 약점을 해결하기 위해 'DriftAD'라고 불리는 새로운 시스템을 개발했습니다. 2026년 ACM 멀티미디어 국제 컨퍼런스(ACM International Conference on Multimedia)를 위해 발표된 이들의 연구는, 컴퓨터가 이미지의 서로 다른 부분을 살펴볼 때 결함에 대한 이해를 동적으로 '표류(drift)'시키거나 변화시키는 방법을 소개합니다. 결함에 대해 고정된 단일 설명을 사용하는 대신, DriftAD는 그 설명이 이미지의 국소적인 시각적 맥락에 따라 변할 수 있도록 허용합니다. 보안 요원이 군중 속의 용의자에 대한 단 하나의 경직된 묘사만을 들고 있는 것이 아니라, 조명, 거리, 각도를 고려하여 다양한 구역을 스캔할 때마다 머릿속의 용의자 이미지를 실시간으로 조정하는 것을 상상해 보십시오. 이와 마찬가지로, 이 새로운 방법은 결함에 대한 고정되고 변하지 않는 텍스트 설명을 가져와서, 현재 조사 중인 영역의 구체적인 시각적 세부 사항에 맞춰 그 설명을 부드럽게 조정합니다.

과정은 컴퓨터의 이미지 시야를 날카롭게 다듬는 것으로 시작됩니다. 시스템은 먼저 특화된 분기(branches)를 사용하여 정상적인 제품의 지배적인 패턴에 의해 숨겨질 수 있는 미세한 신호들을 강조합니다. 시스템은 공간적 렌즈를 통해 각 작은 패치를 인접한 이웃들과 비교하여 편차를 찾아내고, 주파수 렌즈를 통해 이미지의 근본적인 패턴을 분석함으로써 눈이 놓칠 수 있는 불규칙성을 포착합니다. 이러한 희미한 결함 신호들이 증폭되면, 시스템은 핵심 혁신 기술인 '시각 유도 텍스트 표류(Visually-Guided Text Drift)'를 실행합니다. 여기서 컴퓨터는 이상 징قت에 대한 표준 텍스트 설명을 가져와, 방금 증폭시킨 시각적 특징들에 의해 유도되어, 분석의 모든 단계마다 새로운 맞춤형 버전으로 변환합니다. 이는 컴퓨터가 넓은 형태에서부터 미세한 질감에 이르기까지 이미지의 층을 하나씩 벗겨 나갈 때, 무엇이 '결함'을 구성하는지에 대한 정의가 특정 규모와 위치에 맞게 진화함을 의미합니다.

이러한 변화하는 설명들이 유용하게 쓰일 수 있도록, 시스템은 이들을 이미지를 다시 스캔하는 탐침(probe)으로 사용합니다. 시스템은 시각적 특징에 "이 이미지의 부분이 현재의 맞춤형 결함 설명과 일치하는가?"라고 묻습니다. 만약 답이 '예'라면 해당 부분은 강조되고, 그렇지 않다면 무시됩니다. 이를 통해 시스템은 문제의 위치를 파악하는 매우 집중된 지도를 생성하며, 배경의 노이즈를 걸러냅니다. 연구진은 금속 너트부터 케이블, 카펫에 이르기까지 다양한 제품의 수천 장의 이미지를 포함하는 두 가지 주요 산업 데이터셋인 MVTec-AD와 VisA를 통해 이 접근 방식을 테스트했습니다. 그들은 시스템에 완벽한 제품의 사례를 단 하나, 둘, 혹은 네 개만 제공하여 학습시키는 '퓨샷 러닝(few-shot learning)' 상황을 부여하며 도전 과제를 던졌습니다.

결과는 결정적이었습니다. 결함이 있는 이미지를 식별하고 결함의 정확한 위치를 짚어내는 능력을 측정하는 테스트에서, DriftAD는 모든 설정에서 기존의 모든 방법을 능가했습니다. MVTec-AD 데이터셋에서 이 시스템은 단 하나의 사례만으로 97.2%의 이미지 수준 정확도와 96.8%의 픽셀 수준 정밀도를 달s성했습니다. 더 복잡하고 다양한 결함을 특징으로 하는 VisA 데이터셋에서는 이미지 탐지에서 93.1%, 결함의 특정 픽셀을 찾는 데 있어 97.4%의 정확도를 기록했습니다. 이 수치들은 이전의 최고 방법들을 명확한 차이로 앞지르는 상당한 도약을 의미합니다. 이 연구는 이미지를 경직된 설명에 맞추려 하기보다, 결함의 텍스트 설명을 이미지의 시각적 실체에 따라 움직이고 적응하게 함으로써, 기계가 이전에는 도달할 수 없었던 수준의 정밀도로 산업적 결함을 탐지할 수 있음을 확인시켜 줍니다. 이 접근 방식은 새로운 제품을 위해 전체 시스템을 재학습할 필요가 없어, 현대 제조업의 역동적인 요구에 부합하는 확장 가능한 솔루션이 됩니다.

기술 요약: DriftAD

문제 정의

산업 현장에서의 소수 샷 이상 탐지(Few-shot Anomaly Detection, FSAD)는 소수의 정상 지원 이미지만을 사용하여 희귀한 결함을 식별하고 국지화하는 것을 목표로 합니다. 최근의 접근 방식들은 오픈셋 일반화를 달성하기 위해 CLIP과 같은 시각-언어 모델(Vision-Language Models, VLMs)을 활용하고 있으나, 기존 방법론들은 **정적인 텍스트 표현(static text representations)**이라는 근본적인 한계에 직면해 있습니다.

기존의 VLM 기반 방법들(예: WinCLIP, PromptAD)은 일반적으로 전역적으로 공유되는 정적 텍스트 임베딩이나, 모든 공간적 위치와 인코더 깊이에 균일하게 적용되는 학습 가능한 프롬프트에 의존합니다. 이러한 "전역-대-지역(global-to-local)" 매칭 방식은 산업적 결함의 본질적인 특성, 즉 매우 국지적이고, 규모에 의존적이며, 문맥 특화적이라는 점을 포착하지 못합니다. 결과적으로, 이러한 정적 기술자(descriptors)는 특정 테스트 이미지 내 결함의 정확한 위치와 형태를 인식하지 못하여, 미세한 결함 영역과 주변의 정상 패턴을 구분하는 데 어려움을 겪는 확산된 형태의 이상 맵(anomaly maps)을 생성합니다.

방법론

저자들은 고정된 CLIP 텍스트 임베딩을 각 입력 이미지의 국소적 시각 문맥(visual context)에 따라 **계층별, 공간 적응형 이상 기술자(layer-wise, spatially-adaptive anomaly descriptors)**로 변환하도록 설계된 프레임-워크인 DriftAD를 제안합니다. 이 아키텍처는 네 가지 주요 구성 요소로 이루어져 있습니다.

1. 이상 신호 증폭 (Anomaly Signal Amplification, ASA)

텍스트-시각 매칭이 이루어지기 전, 지배적인 정상 패턴에 의해 억제될 수 있는 미세한 결함 신호를 노출시켜야 합니다. ASA는 두 개의 병렬 브랜치를 통해 시각적 특징( $V_\ell$ )을 강화합니다:

공간 브랜치(Spatial Branch): 특징과 평활화된 배경(3×3 및 9×9 풀링을 통해) 사이의 다중 스케일 잔차(residuals)를 계산하여 편차가 발생하는 영역을 강조합니다.
주파수 브랜치(Frequency Branch): 2D FFT를 통해 특징을 크기(magnitude) 및 위상(phase) 스펙트럼으로 분해하고, 저주파 및 고주파 성분을 적응적으로 재가중하여 비정상적인 스펙트럼 콘텐츠를 강화합니다.
출력값들은 적응적으로 결합되어 증폭된 특징( $A_\ell$ )을 생성합니다.

2. 시각 가이드 텍스트 드리프트 (Visually-Guided Text Drift, VGTD)

이것이 핵심 혁신입니다. VGTD는 고정된 정상( $t_+$ ) 및 이상( $t_-$ ) 텍스트 임베딩을 시각적 문맥에 따라 동적으로 "드리프트(drift)" 시킵니다.

문맥 추출: 적응형 풀링을 통해 $A_\ell$ 로부터 시각적 문맥을 추출하고, 이를 심층부에서 천층부로 상향식(top-down)으로 융합하여 풍부한 의미론적 정보를 확보합니다.
드리프트 생성: 전용 생성기가 각 인코더 깊이에 대한 정상 및 이상 **드리프트 필드( $\Delta_{\ell, \pm}$ )**를 생성합니다.
변조(Modulation): 고정된 임베딩은 이러한 드리프트 필드를 따라 이동합니다: $T_{\ell, \pm} = \text{Norm}(t_{\pm} + \Delta_{\ell, \pm} \cdot \rho)$ .
이를 통해 각 공간적 위치와 인코더 깊이에 고유하며, 입력 이미지의 특정 결함 패턴에 적응하는 기술자( $T_{\ell, \pm}$ )가 생성됩니다.

3. 드리프트 가이드 공간 게이팅 (Drift-Guided Spatial Gating, DGSG)

시각적 특징이 새롭게 생성된 드리프트 텍스트 공간과 정렬되도록 하기 위해, DGSG는 드리프트된 이상 기술자( $T_{\ell, -}$ )를 **공간적 프로브(spatial probe)**로 사용합니다.

증폭된 시각적 특징( $A_\ell$ )과 $T_{\ell, -}$ 사이의 픽셀 단위 코사인 유사도를 계산하여 어텐션 게이트( $G_\ell$ )를 생성합니다.
이 게이트는 이상 관련 영역의 시각적 특징을 선택적으로 강화하여, 드리프트된 텍스트 기술자와 더 잘 정렬된 정제된 특징( $\tilde{A}_\ell$ )을 생성합니다.

4. 다중 브랜치 이상 점수 산출 (Multi-Branch Anomaly Scoring, MBAS)

최종 이상 맵은 세 가지 상호 보완적인 브랜치를 융합하여 합성됩니다:

클린 브랜치(Clean Branch): 스케일 인지 특징을 고정된 텍스트 임베딩과 매칭하여 제로샷 일반화 능력을 유지합니다.
드리프트 브랜치(Drift Branch): 정제된 특징( $\tilde{A}_\ell$ )을 드리프트된 기술자( $T_{\ell, \pm}$ )와 매칭하여 결함 특화 신호를 포착합니다.
서포트 브랜치(Support Branch): (추론 단계 전용) 서포트 세트 패치의 메모리 뱅크를 사용하여 최근접 이웃 거리를 측정합니다.

학습 목적 함수 (Training Objectives)

표준 분류 및 세그멘테이션 손실 외에도, DriftAD는 두 가지 특정 손실을 도입합니다:

드리프트 분리 손실 (Drift Separation Loss): 드리프트된 정상 및 이상 기술자가 유사한 표현으로 붕괴되지 않도록 방지하며, 원래의 고정된 임베딩에 대해 마진을 강제합니다.
게이트 감독 손실 (Gate Supervision Loss): DGSG의 어텐션 게이트를 직접 감독하여 공간적으로 판별력 있는 게이팅을 보장합니다.

주요 기여

시각 가이드 텍스트 드리프트 (VGTD): 고정된 CLIP 임베딩을 국소적 시각 문맥에 따라 계층별, 공간 적응형 기술자로 이동시키는 새로운 메커니즘으로, 정적인 텍스트 프롬프트의 경직성 문제를 해결합니다.
드리프트 가이드 공간 게이팅 (DGSG): 드리프트된 이상 기술자를 공간적 프로브로 사용하여 이상 관련 시각 특징을 선택적으로 강화함으로써 텍스트-시각 불일치를 해결하는 모듈입니다.
이상 신호 증폭 (ASA): 매칭 전 공간 및 주파수 브랜치를 통해 미세한 결함 신호를 노출시키는 전처리 모듈입니다.
정규화 전략: 견고한 최적화를 보장하고 표현 붕괴를 방지하기 위한 드리프트 분리 및 게이트 감독 손실의 도입입니다.

실험 결과

이 방법은 MVTec-AD 및 VisA 데이터셋에 대해 1-shot, 2-shot, 4-shot 설정에서 평가되었습니다.

성능: DriftAD는 두 데이터셋의 모든 shot 설정에서 이미지 레벨(AUROC, AUPR) 및 픽셀 레벨(pAUROC, PRO) 지표에 걸쳐 최첨단(SOTA) 성능을 달est합니다.
비교: 기존의 프롬프트 기반 방법(예: PromptAD, AnomalyGPT) 및 시각적 강화 방법(예: KAG-prompt, FocusPatch-AD)보다 우수한 성능을 보입니다. 특히 MVTec-AD의 1-shot 설정에서 가장 우수한 경쟁 방법(KAG-prompt) 대비 평균 AUROC를 최대 1.5% 향상시켰습니다.
소수 샷 vs. 풀 샷: 단 4-shot의 지원만으로도 DriftAD는 풀 샷 베이스라인(예: DeSTSeg, OmniAL)과 대등하거나 더 우수한 성능을 달성하며, 8-shot 방법들을 크게 앞섭s니다.
정성적 분석: 시각화 결과, DriftAD는 특히 복잡한 객체(VisA) 상의 작고 흩어진 결함에 대해 베이스라인에 비해 배경 간섭이 적고 더 선명한 이상 맵을 생성함을 보여줍니다.

의의 및 주장

본 논문은 DriftAD가 VLM 기반 탐지에서 이상 텍스트 표현을 근본적으로 재고한다고 주장합니다. 고정된 전역 토큰에서 벗어나 동적으로 드리프트되는 공간 적응형 기술자로 전환함으로써, 이 방법은 CLIP의 의미론적 강점을 국지적이고 문맥 의존적인 산업 결함의 특성에 정렬시킵니다.

저자들은 이 접근 방식이 모델로 하여다 다음과 같은 능력을 갖추게 한다고 강조합니다:

각 이미지 내 결함의 형상, 규모 및 공간적 분포에 텍스트 기술자를 적응시킴.
사전 학습된 CLIP 모델의 제로샷 일반화 능력을 희생하지 않으면서 정밀한 텍스트-패치 정렬을 달성함.
전역적 의미론적 사전 지식과 국소적 시각 이상 사이의 간극을 효과적으로 메워, 우수한 소수 샷 탐지 및 국지화 성능을 도출함.

이 연구는 현재 VLM 기반 FSAD 방법들에 내재된 "경직된 전역-대-지역 매칭" 문제를 해결하는 솔루션으로 제시되며, 텍스트 임베딩을 국소적 시각 문맥에 조건화하는 것이 고정밀 산업 이상 탐지에 결정적임을 입증합니다.