Training-Free Human-in-the-Loop Anomaly Detection via Memory Bank Correction

기술 요약: 메모리 뱅크 수정을 통한 학습 불필요형 인간 참여형(Human-in-the-Loop) 이상 탐지

문제 정의
PatchCore와 같이 벤치마크에서 완벽에 가까운 점수(예: MVTec AD)를 달리는 딥 이상 탐지기들은 실제 배포 시 심각한 격차 문제에 직면한다. 산업 현장에서 모델은 외관 변화(새로운 변종, 조명 변화)로 인해 성능이 저하되거나, 새로운 생산 라인에 충분한 학습 데이터가 부족한 "콜드 스타트(cold start)" 상황을 겪는다. 표준적인 해결책인 주기적 재학습은 머신러닝(ML) 전문 지식, 인프라, 그리고 수 주간의 재검증 과정을 요구하며, 이는 매일 오류를 발견하는 품질 엔지니어와 이를 수정할 수 있는 ML 엔지니어 사이의 병목 현상을 야기한다. 기존의 인간 참여형(HITL) 시스템은 일반적으로 재학습이나 임계값 조정을 요구하며, 도메인 전문가가 ML의 개입 없이 모델의 "정상(normality)"에 대한 지식을 직접 수정할 수 있도록 허용하지 못한다.

방법론
본 논문은 도메인 전문가(예: 품질 엔니어)가 배포된 PatchCore 탐지기의 메모리 뱅크를 직접 편집함으로써 이를 교정할 수 있게 하는, 학습이 필요 없는 HITL 프레임워크를 제안한다. 이 시스템은 그래디언트, 재학습, 또는 원본 학습 데이터에 대한 접근 없이 작동한다.

• 핵심 메커니즘: PatchCore는 패치 특징(patch features)의 명시적인 메모리 뱅크로서 정상적인 외관을 저장한다. 본 프레임워크는 교정을 이 메모리 뱅크에 대한 '외과적 편집'으로 취급한다:
  • 오탐(False Positive, FP) 교정: 정상 이미지가 잘못 분류되었을 때, 해당 패치의 특징들을 메모리 뱅크에 삽입한다. 무한한 성장과 중복 삽입을 방지하기 위해 **자기 보정형 신규성 게이트(self-calibrating novelty gate)**가 적용된다. 패치는 현재 뱅크의 최근접 이웃 거리(nearest-neighbor distance)가 리뷰 풀의 정상 패치들의 중앙값 거지를 초과할 때만 삽입된다. 이는 뱅크가 정상 매니폴드(manifold)를 과소 샘플링하는 영역에서만 확장되도록 보장한다.
  • 미탐(False Negative, FN) 교정: 결함이 감지되지 않았을 때, 프레임워크는 뱅크에서 가장 먼 패치(앵커)를 식별하고 뱅크에서 그 $k=5$개의 최근접 이웃들을 제거한다. 이는 정상 매니폴드에 "공백"을 만들어 유사한 결함에 대해 높은 점수를 유도한다.
• 쿼리 전략: 시스템은 전문가에게 어떤 오류를 제시할지 결정하기 위해 수동적(무작위) 및 능동적(불확실성 기반) 쿼리를 모두 평가한다.
• 평가 프로토콜: 교정된 이미지가 AUROC를 인위적으로 높이는 "암기(memorization)" 아티팩트를 피하기 위해, 저자들은 엄격한 홀드아웃(held-out) 프로토콜을 채택한다. 테스트 이미지는 교정이 발생하는 "리뷰 풀"과 평가에 사용되는 별도의 "홀드아웃 세트"로 분리된다. 이를 통해 지표가 미지의 데이터에 대한 일반화 성능을 반영하도록 보장한다.
• 지표: 성능은 표준 AUROC와 함께, 리뷰 예산 대비 빠른 개선을 보상하는 새로운 효율성 지표인 **교정 곡선 아래 면적(AUCC)**을 통해 측정된다.

주요 기여

1. 콜드 스타트 회복: 단 10개의 "골든(golden)" 샘플로 구축된 메모리 뱅크로부터 시작하여, 운영자의 교정을 통해 성능 격차를 평균 **80%**인 전체 학습 뱅크 대비 **66%**까지 좁힐 수 있다. 이 접근 방식은 MVTec AD의 15개 카테고리 중 12개에서 성능을 유의미하게 향상시켰으며, 손해를 입힌 카테데고리는 없었다. 이는 교정 없이 수백 개의 샘플로 학습된 모델보다 우수한 성능을 보인다.
2. 학습 불필요형 교정: 본 프레임워크는 메모리 뱅크의 직접 편집을 통해 오류를 해결한다. 어블레이션 연구(ablation studies) 결과, FP 삽입이 전체 성능 향상을 주도하는 반면, FN 제거는 "거의 효과가 없는(near no-op)" 수준이며 (뱅크가 희소할 경우 오히려 해로울 수 있음) 확인되었다. 이 메커니즘은 결함을 암기하는 것이 아니라 정상성을 가르치는 방식으로 작동한다.
3. 자기 보정형 신규성 게이트: 임계값 기반의 게이트는 잘 커버된 카테고리의 성능 저하를 방지한다. 성숙한 뱅크의 경우, 게이트가 없는 루프는 중복 삽입으로 인해 몇몇 카테고리에 해를 끼칠 수 있으나, 게이트는 영향을 받은 6개 카테고리 중 5개에서 이 해로움을 제거하면서도 미흡한 부분에 대한 이득은 유지한다.
4. 전략적 동등성: 수동(무작위) 및 능동(불확실성) 쿼리는 통계적으로 구분이 불가능하다. 뱅크 편집이 전역적으로 작용하고 리뷰 예산이 오류 풀을 소진하기 때문에, 리뷰 순서는 최종 결과에 영향을 미치지 않는다.
5. 레이블 경제성: 본 프레임워크는 학습 시점에 동일한 수의 정상 이미지를 올바르게 레이블링하여 추가했을 때와 동등한 이득을 얻으면서도, 철저한 검토 비용의 43% 수준의 비용만 소모한다. 이는 배포 시점에 재학습 없이 고품질의 레이블 데이터를 생성할 수 있게 한다.

실험 결과
MVTec AD의 모든 15개 카테고리에 대해 20개의 독립적인 분할(Holm-corrected Wilcoxon test 적용)로 평가하였다:

• 콜드 스타트: 10개의 샘플로 시작할 때, 교정된 뱅크는 toothbrush(0.904 vs. 베이스라인 0.826) 및 metal nut(0.927 vs. 0.900)과 같은 카테고리에서 전체 학습 뱅크의 성능에 도달하거나 이를 상회한다.
• 성숙한 뱅크: 완전히 학습된 뱅크의 경우, 신규성 게이트가 적용된 루프는 toothbrush(0.826 $\to$ 0.927) 및 metal nut(0.900 $\to$ 0.989)의 성능을 개선한다(평균 세션 약 13~20회 리뷰). (참고: 게이트가 없는 루프는 각각 0.972와 0.998이라는 더 높은 점수를 달성하지만, 배포 안전성을 위해 게이트 구성이 권장된다.)
• 실패 모드: 방법론은 뱅크가 이미 정상 매니폴드를 잘 커버하고 있는 카테고리(예: grid, transistor)에서는 개선을 이루지 못하거나 약간의 성능 저하를 일으키며, 이는 신규성 게이트가 활성화되어 있더라도 마찬가지이다. Grid는 게이트가 있어도 여전히 특정 실패 사례로 남는다.
• FN 교정: 결함에 대한 항목을 제거하는 것은 미미한 이득만을 제공하며 오히려 성능을 저하시킬 수 있는데, 이는 시스템의 효능이 정상성의 정의를 확장하는 데 달려 있음을 확인시켜 준다.

의의 및 주장
본 논문은 모델 교정의 책임을 ML 엔지니어에서 오류를 검토하는 품질 엔지니어로 전환함으로써 배포 시점의 적응 격차 문제를 해결한다고 주장한다. 이 프레임워크는 재학습 인프라 없이 즉각적이고 해석 가능한 모델 업데이트("수술")를 가능하게 한다.

• 겸손한 주장: 저자들은 큐레이션이 데이터 자체를 압도한다는 주장을 하지 않는다. 교정된 전체 학습 뱅크는 여전히 교정된 콜드 스타트 뱅크보다 우수하다. 핵심 기여는 단 몇 개의 샘플과 운영자 피드백만으로 배포 첫날에 완전한 성능에 근접할 수 있는 능력이다.
• 안전성: 신규성 게이트는 잘 커버된 카테로리의 성능을 저하시키지 않으면서 성숙한 뱅크에서도 루프를 안전하게 실행할 수 있게 하는 핵심 안전 장치로 제시된다.
• 한계점: 본 평가는 시뮬레이션된 피드백(완벽한 정답지)에 의존하므로 상한선(upper bound)을 나타낸다. 실제 운영자의 오류는 특히 콜드 스타트 상황에서 더 큰 비용을 발생시킬 수 있다. 또한, 이 방법은 메모리 뱅크 기반 탐지기(PatchCore 등)에 특화되어 있으며, 재구성 기반(reconstruction-based) 또는 분류기 기반(classifier-based) 모델에는 적용되지 않는다.

요약하자면, 본 논문은 도메인 전문가가 중복 데이터에 대한 과적합을 방지하는 신규성 게이트를 사용하는 조건 하에, 단 몇 십 분의 리뷰만으로 희소한 콜드 스타트 탐지기와 완전하게 학습된 탐지기 사이의 간극을 대부분 메울 수 있음을 입증한다.