💻 computer science

CDGP: Contrastive Dual Gaussian Processes for Weakly Supervised Anomaly Segmentation

본 논문은 픽셀 수준의 주석을 요구하지 않고도 최첨단 이상 탐지 분할을 달성하기 위해, 이중 가우시안 프로세스로부터 유도된 사후 확률 우세 통계량과 계층적 재구성 잔차를 결합한 약지도 학습 프레임워크인 대조 이중 가우시안 프로세스(Contrastive Dual Gaussian Processes, CDGP)를 제안한다.

원저자: Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seungjun Chu, Seokhee Han, Mateusz Nowak, Peter Chin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 제조의 분주한 세계에서, 기계는 제품의 결함을 검사하는 섬세한 임무를 점점 더 많이 맡고 있습니다. 공장은 시간당 수천 개의 동일한 부품을 생산할 수 있으며, 목표는 고객에게 도달하기 전에 드문 불량품을 잡아내는 것입니다. 이를 위해서는 두 가지가 필요합니다: 제품이 고장 났는지 결정하는 것, 그리고 정확히 어디가 고장 났는지 찾아내는 것입니다. 수십 년 동안 컴퓨터에게 이 일을 가르치는 가장 신뢰할 수 있는 방법은 수천 개의 완벽한 사례를 보여주고 무엇이 "정상"인지를 학습하게 하는 것이었습니다. 컴퓨터가 그 정상적인 패턴에서 벗어난 것을 발견하면, 그것을 결함으로 표시합니다. 이 방식은 완벽한 제품은 찾기 쉽지만, 고장 난 제품은 드물고 다양하기 때문에 잘 작동합니다. 하지만 이 방법에는 사각지대가 있습니다. 이 방식은 실제 균열과, 단지 조금 이상해 보일 뿐인 무해하고 특이한 질감을 구별하는 데 종종 어려움을 겪습니다. 시스템은 두 가지 모두를 "정상이 아님"으로 간주하고 경보를 울려 혼란과 시간 낭비를 초래합니다.

연구자들은 설령 결함의 위치를 정확히 알지 못하더라도, 고장 난 제품의 사례를 보여줌으로써 이를 개선할 수 있을지 오랫동안 궁금해해 왔습니다. 현실 세계에서 공장들은 제품이 품질 검사를 통과하지 못했다는 사실은 알고 있지만, 모든 결함의 지도를 그릴 시간은 없는 경우가 많습니다. 이것이 바로 "약지도 학습(weakly supervised learning)"의 과제입니다. 즉, 상세한 지도 없이도 기계가 오류의 특정 위치를 찾을 수 있도록 "결함 있음"이라는 광범적인 라벨을 사용하는 것입니다. 한 새로운 연구는 '대조적 이중 가우시안 프로세스(Contrastive Dual Gaussian Processes, CDGP)'라고 불리는 방법을 도입하여, 컴퓨터가 정상과 불량을 비교하는 방식을 바꿈으로써 이 문제를 해결합니다. 단순히 이미지가 얼마나 이상해 보이는지를 묻는 대신, 시스템은 더 직접적인 질문을 던집니다: 이 이미지의 이 부분이 결함에 더 가까운가, 아니면 정상 제품에 더 가까운가?

연구진은 이미지의 모든 작은 패치를 정상 또는 결함 중 하나가 될 수 있는 후보로 취급하는 시스템을 구축했습니다. 이미지를 아주 작은 타일들의 격자로 상상해 보십시오. 각 타일에 대해 시스템은 동시에 두 개의 별도 정신 모델을 실행합니다. 한 모델은 정상적인 타일이 어떻게 보여야 하는지를 예측하도록 훈련되며, 다른 한 모델은 결함이 있는 타일이 어떻게 보여야 하는지를 예측하도록 훈련됩니다. 이 모델들은 단순히 추측하는 것이 아니라, 예측뿐만 아니라 그 예측에 대한 확신도까지 표현할 수 있는 통계적 프레임워크를 기반으로 구축되었습니다. 그런 다음 시스템은 모든 타일에 대해 두 예측을 비교합니다. 만약 "결함" 모델이 "정상" 모델보다 훨씬 더 정답일 가능성이 높고, 시스템이 그 차이에 대해 확신한다면, 해당 타일은 결함으로 표시됩니다. 이 접근 방식이 강력한 이유는 컴퓨터가 단순히 이상한 것을 찾는 데 그치지 않고, 결함에 대한 증거와 정상성에 대한 증거를 서로 저울질하도록 강제하기 때문입니다.

상세한 결함 지도가 없는 상태에서 이를 작동시키기 위해, 팀은 학습을 시작하는 방식에 대해 영리하게 대처해야 했습니다. 그들은 결함이 있는 이미지를 스캔하여 정상적인 것들과 가장 다르게 보이는 타일들을 골라내는 것으로 시작했습니다. 이것들이 결함 모델이 학습할 초기 "후보"가 되었습니다. 일부 후보들은 단지 약간 다르게 보일 뿐인 정상적인 부분이었기에 노이즈가 섞인 시작점이었지만, 시스템은 이 과정을 통해 학습하도록 설계되었습니다. 학습이 계속됨에 따라, 시스템은 이미지 전체에 대한 단순한 "결함" 또는 "정상" 라벨을 사용하여 이해를 정교화했습니다. 시스템은 실제 결함이 포함된 영역에서는 결함 모델의 예측을 높이는 한편, 배경 영역에서는 정상 모델을 강력하게 유지하는 법을 배웠습니다. 이 과정 덕분에 시스템은 단 하나의 손으로 그린 균열 윤곽선도 보지 않고도, 배경 소음으로부터 실제 결함을 분리하며 점차 초점을 날카롭게 맞출 수 있었습니다.

또한 이 연구는 큰 그림을 보는 것만으로는 미세한 실금(hairline cracks)을 찾는 데 충분하지 않다는 점을 인식했습니다. 이를 해결하기 위해, 그들은 재구성(reconstruction)에 집중하는 두 번째 검사 계층을 추가했습니다. 이 시스템의 일부는 약간 손상된 버전으로부터 완벽한 버전의 이미지를 재구축하려고 시도합니다. 만약 시스템이 특정 영역을 재구축하는 데 어려움을 겪는다면, 이는 그 영역이 특이하다는 것을 시사합니다. 이 재구성 검사와 두 모델의 직접적인 비교를 결합함으로써, 시스템은 두 배의 증거를 얻게 됩니다. 연구진은 MVTec AD 2, KSDD2, VisA를 포함한 여러 표준 산업 데이터셋에 대해 이 방법을 테스트했습니다. 결과는 놀라웠습니다. 이 유형의 작업에 대한 엄격한 벤치마크인 MVTec AD 2 데이터셋에서, 이 새로운 방법은 테스트된 모든 접근 방식보다 뛰어난 성능을 보였으며, 결함을 찾아내는 능력을 측정하는 모든 지표에서 1위를 차지했습니다. 또한 다른 두 데이터셋에서도 최고 수준이거나 매우 경쟁력 있는 성능을 보여주었습니다.

이 발견이 특히 중요한 이유는 시스템이 불확실성을 처리하는 방식에 있습니다. 시스템은 단순히 점수만을 출력하는 것이 아니라, 모델들이 얼마나 확신하는지를 고려하여 정상성 대비 결함이 나타날 가능성이 얼마나 높은지에 대한 표준화된 척도를 계산합니다. 이는 시스템이 무작위 노이즈에 속는 것을 방지합니다. 연구진은 이러한 개선이 단순히 더 복잡한 설정 때문이 아니라, 오직 훈련 데이터만을 사용하여 두 모델을 대조하고 확신도를 보정하는 방식 덕분임을 입증했습니다. 그들은 학습 단계에서 인간이 결함 주위에 상자를 그릴 필요 없이, 공장에서 이미 보유하고 있는 단순한 "양호" 또는 "불량" 라벨에만 의존하여 시스템이 작동함을 확인했습니다.

연구는 정상적인 가능성과 결함의 가능성을 명시적으로 모델링하고 이를 직접 비교함으로써, 기계가 이전보다 훨씬 더 정확하게 결함을 찾아낼 수 있다고 결론짓습니다. 이 접근 방식은 풍부한 정상 데이터와 상세한 결함 지도의 희소성 사이의 간극을 메워줍니다. 이는 시간과 자원이 제한된 산업 현장에서, 컴퓨터에게 단순히 눈에 띄는 것을 찾는 것이 아니라 결함에 대한 증거를 정상성에 대한 증거와 저울질하도록 가르침으로써 고정밀 검사를 달성할 수 있음을 시사합니다. 이 방법은 현재의 성능 벤치마크에서 최상위권을 차지하는 견고한 솔루션으로서, 제조 분야의 자동화된 품질 관리를 위한 실질적인 경로를 제시합니다.

문제 정의

산업용 시각 검사는 제품의 결함 여부를 탐지하는 것과 동시에 특정 결함 영역을 국지화(localization)하는 것을 모두 요구합니다. 픽셀 수준의 이상 탐지 세그멘테이션은 진단 및 품질 관리와 같은 다운스트림 작업에 매우 중요하지만, 실제 제조 환경에서 조밀한 픽셀 단위 마스크를 수집하는 것은 비용이 많이 들고 시간이 오래 걸립니다. 결과적으로, 기존의 대부분의 방법론은 결함이 없는 이미지만을 학습하여 정상성으로부터의 편차를 이상으로 식별하는 "정상 전용(normal-only)" 학습 패러다임에 의존합니다.

그러나 정상 전용 패러다임에는 다음과 같은 한계가 있습니다:

모호성: 실제 결함과 '특이하지만 정상인' 영역 모두 학습된 정상 분포로부터 크게 벗어날 수 있으며, 이로 인해 유사하게 높은 이상 점수를 받을 수 있습니다.
감독 편향(Supervision Shift): 픽셀 마스크를 피하더라도, 정상 전용 학습은 여전히 결함이 없는 정제된 데이터셋을 요구하므로, 주석 작성의 부담을 데이터셋 큐레이션으로 전이시킵니다.
약한 감독의 간극(Weak Supervision Gap): 많은 파이프라인에서 이미지 수준의 레이블(정상/결함)은 가용하지만 픽셀 마스크는 없습니다. 이러한 시나리오에서 결함 이미지를 폐기하는 것은 이상 현상의 외형에 대한 유용한 정보를 포기하는 것입니다.
국지화 과제: 기존의 약한 감독 방식(예: 이미지 분류기의 Class Activation Maps 사용)은 이미지 수준 인식을 위한 변별적 문맥은 강조할 수 있으나, 실제 결함 영역과는 일치하지 않는 경우가 많습니다. 이는 산업용 이상 현상이 이질적이고 일관된 시각적 범주가 부족하기 때문입니다.

방법론: 대비적 이중 가우시안 프로세스 (CDGP)

CDGP는 조밀한 다중 스케일 토큰에 대해 정상 및 이상 예측 분포를 모두 모델링하는 약한 감독 프레임워크입니다. 이는 정상성으로부터의 편차를 점수화하는 대신, 정상 함수에 대한 이상 함수의 **사후 우세성(posterior dominance)**을 점수화합니다.

1. 조밀한 다중 스케일 토큰 표현

이 방법은 WideResNet-50 백본을 사용하여 세 단계의 특징 맵(feature maps)을 추출합니다. 이들은 공유된 잠재 차원으로 투영되고, 정규화되며, 단일 공간 해상도로 정렬되어 단위 노름(unit-norm) 토큰( $t_{hw}$ )의 조밀한 그리드를 형성합니다.

2. 하드-후보 유도점 초기화 (Hard-Candidate Inducing Initialization)

CDGP는 고정된 유도점(inducing points)을 가진 희소 가우시안 프로세스(Sparse GPs)를 채택합니다.

정상 GP ( $Z_N$ ): 유도 토큰은 명목적인 토큰 공간을 커버하기 위해 탐욕적 최장 거리 샘플링(greedy farthest-point sampling)을 사용하여 정상 이미지로부터 선택됩니다.
이상 GP ( $Z_A$ ): 결함 이미지는 대부분 정상적인 배경을 포함하고 있으므로, 직접적인 샘플링은 효과적이지 않습니다. 대신, 결함 이미지의 토큰들을 $Z_N$ 으로부터의 코사인 거리에 의해 점수화합니다. 가장 이질적인 상위 20%의 토큰들이 "노이즈 섞인 후보 풀(noisy candidate pool)"을 형성하며, 이로부터 최장 거리 샘플링을 통해 $Z_A$ 가 선택됩니다. 이는 의사 마스크(pseudo-mask)가 아닌 초기화 사전 확률(initialization prior) 역할을 합니다.

3. 대비적 이중-GP 증거 (Contrastive Dual-GP Evidence)

CDGP는 선형 커널( $k(t, t') = t^\top t'$ )을 사용하여 공유된 토큰 공간에 대해 두 개의 희소 GP 함수인 정상( $f_N$ ) 및 이상( $f_A$ ) 증거를 모델링합니다.

예측 분포: 각 토큰에 대해 모델은 두 클래스에 대한 예측 평균( $\mu$ )과 분산( $\sigma^2$ )을 학습합니다.
사후 우세 통계량: 핵심 지표는 이상 및 정상 예측 분포 간의 표준화된 차이입니다:
$g(t) = \frac{\mu_A(t) - \mu_N(t)}{\sqrt{\sigma^2_A(t) + \sigma^2_N(t)}}$
이 통계량은 토큰이 결합 불확실성에 의해 표준화되었을 때, 이상 함수가 정상 함수를 초과할 가능성이 높으면 이상으로 판단되는 공간적 의미 맵을 제공합니다.

4. 약한 감독 학습

Dual-GP 코어는 세 가지 상호 보완적인 손실 함수를 통해 이미지 수준 레이블을 사용하여 엔드투엔드(end-to-end)로 학습됩니다:

Max-Margin MIL: 결함 이미지는 적어도 하나의 토큰이 높은 양의 마진( $\mu_A - \mu_N$ )을 갖도록 하고, 정상 이미지는 양의 마진을 갖지 않도록 보장합니다.
공분산 정규화된 정상 압축성 (Covariance-Normalized Normal Compactness): 명목 이미지에 대해 정상 GP의 높은 정규화된 증거를 장려합니다.
공분isa 정규화된 이상 인력 (Covariance-Normalized Anomaly Attraction): 현재 마진 점수에 의해 이상으로 식별된 위치(소프트 어텐션 메커니즘 사용)에서 정규화된 이상 증거를 강화합니다.

5. 계층적 정상-잔차 증거 (Hierarchical Normal-Residual Evidence)

토큰 수준의 GP 증거가 얇은 결함을 충분히 해상하지 못할 수 있다는 한계를 해결하기 위해, CDGP는 정상 전용 역 학생(normal-only reverse student) 브랜치를 통합합니다. 동결된 티처(teacher) 네트워크는 깨끗한 정상 이미지를 처리하고, 학생(student)은 오염된 입력으로부터 티처의 계층 구조를 재구성합니다. 코사인 재구성 잔차(reconstruction residuals)는 GP의 의미적 증거를 보완하는 미세한 공간적 정밀도를 제공합니다.

6. 캘리브레이션 및 추론

융합 (Fusion): GP 우세 맵과 재구성 잔차 맵을 별도의 홀드아웃 정상 캘리브레이션 서브셋의 통계치를 사용하여 표준화하고 가중 합을 통해 융합합니다.
이미지 수준 신뢰도: 융합된 공간적 증거는 (log-sum-exp)를 통해 풀링되어 이미지 수준의 이상 점수를 생성하며, 이는 이미지 수준 레이블로 학습된 로지스틱 회귀 모델을 통해 캘리브레이션됩니다.
최종 출력: 최종 이상 맵은 융합된 공간적 증거를 캘리브레이션된 이미지 수준 신뢰도 점수와 결합하여, 정상으로 판단된 이미지가 모든 픽셀 점수를 억제하도록 보장합니다.

주요 기여

정식화: 본 논문은 약한 감독 이상 세그멘테이션을 조밀한 토큰에 대한 희소 정상 및 이상 예측 함수 사이의 사후 우세 문제로 정식화합니다.
학습 전략: 마스크가 필요 없는 결함 풍부 초기화 방식과 최소한의 세 가지 손실 목적 함수(Max-margin MIL, 공분산 정규화된 정상 압축성, 공분산 정규화된 이상 인력)를 도입하여 Dual-GP 코어를 학습시킵니다.
하이브리드 아키텍처: 공간적 정밀도를 달것도(test-time) 피팅 없이 달성하기 위해, 공간적 GP 대비와 계층적 정상 재구성 잔차 및 학습 시에만 사용하는 캘리브레이션 경로를 결합합니다.
성능: 매칭된 약한 감독 분할 조건 하에서, CDGP는 MVTec AD 2에서 SOTA(State-of-the-art)를 달성하고 KSDD2 및 VisA에서 경쟁력 있는 결과를 보여줍니다.

실험 결과

저자들은 MVTec AD 2, KSDD2, VisA 데이터셋에 대해 CDGP를 평가했습니다.

MVTec AD 2: CDGP는 세 가지 국지화 지표(AUROC-P, AUPRO@0.3, AUPRO@0.05) 모두에서 평가된 모든 방법론(정상 전용 및 이미지 수준 감독 방식 포함) 중 1위를 차지했으며, 두 번째로 우수한 방법론을 상당한 차이(예: AUPRO@0.3에서 +12.7 포인트)로 앞질렀습니다.
KSDD2 및 VisA: CDGP는 첫 번째 또는 경쟁력 있는 국지화 성능을 달성하여 모든 지표에서 상위 2위 안에 들었습니다.
절제 연구 (Ablation Studies): 요인별 절제 연구를 통해 공간적 GP 경로와 이미지 수준 캘리브레이션 경로가 상호 보완적으로 기여함을 확인했습니다. 저자들은 단순한 평균-마진 점수화에 비해 사후 우세(분산에 의한 표준화)를 사용하는 것이 완만한 개선임을 언급하며, 주요 가치는 비선형 표현력보다는 일관된 유도 변수 평균-분산 구축에 있음을 시사했습니다.

의의 및 주장

본 논문은 CDGP가 픽셀 마스크나 테스트 타임 피팅 없이 이미지 수준 레이블을 활용하여 이상 세그멘테이션을 학습할 수 있음을 입증한다고 주장합니다. 그 의의는 다음과 같습니다:

"특이하지만 정상인" 문제 해결: 정상 및 이상 분포를 명시적으로 모델링함으로써, 단방향 정상성 점수화의 모호성을 피합니다.
효율적인 약한 감독: 결함의 정확한 위치를 모르더라도 결함 이미지를 활용하여 이상 특성을 학습합니다.
강건성: 학습 시에만 사용하는 캘리브레이션과 구조적(재구성) 증거 및 의미적(GP) 증거의 결합을 통해 다양한 산업용 데이터셋에서 강건한 국지화를 가능하게 합니다.
GP 주장에 대한 겸손함: 저자들은 선형 커널이 학습 마진을 선형으로 만든다는 점을 명시했습니다. 이점은 비선형 표현력이 아니라, GP 정식화가 제공하는 토큰 의존적 예측 분산(불확실성)에서 오며, 이는 매칭된 선형 헤드 제어를 가진 동등한 파라미터화 모델들과 비교했을 때의 컴팩트한 구성으로서의 가치를 가집니다.