🤖 machine learning

Memory-Bounded Continuation of Greedy Sampling for Continual Anomaly Detection

이 논문은 새로운 데이터와 기존 데이터에 탐욕적 샘플링(greedy sampling)을 반복적으로 적용함으로써 고정된 메모리 예산을 유지하고, 이론적 보증을 통해 코어셋(coreset)의 대표성을 보존하며, 여러 벤치마크에서 최첨단 성능을 달s성하는 지속적 이상 탐지 방법인 ContCore를 소개한다.

원저자: Yoon Gyo Jung, Jaewoo Park, Kuan-Chuan Peng, Seongdeok Bang, Octavia Camps

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yoon Gyo Jung, Jaewoo Park, Kuan-Chuan Peng, Seongdeok Bang, Octavia Camps

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자동차를 만드는 공장, 우리 몸을 스캔하는 병원, 그리고 우리의 데이터를 보호하는 네트워크에는 보이지 않는 수호자가 필요합니다. 바로 잘못된 단 한 가지를 포착할 수 있는 시스템입니다. 이것이 바로 이상 탐지(anomaly detection)의 역할입니다. 도둑이 정확히 어떻게 생겼는지 알고 있는 보안 요지와 달리, 이러한 시스템은 종-종 '정상적인' 것들, 즉 완벽한 기어, 건강한 조직, 깨끗한 코드에 대해서만 학습됩니다. 이들은 무엇이 옳은지에 대한 형태를 매우 잘 학습하여, 무언가가 아주 조금이라도 벗어나면 경보를 울립니다. 환경이 변할 때 도전 과제는 커집니다. 새로운 유형의 엔진 부품을 하나씩, 계속해서 생산하기 시작하는 공장을 상상해 보십시오. 첫 번째 부품에 대해서만 학습된 시스템은 새로운 것들을 학습하고 나면 이전 것을 인식하는 법을 잊어버리거나, 혹은 자신이 지금까지 보았던 모든 것의 세부 사항을 저장하기에는 메모리 공간이 부족해질 수 있습니다. 이것이 바로 새로운 것을 배우는 것이 기존의 지식을 잃게 만드는 '파괴적 망각(catastrophic forgetting)'의 문제이며, 시스템이 무한한 예시 목록을 보유할 수 없는 '메모리 제한(memory limits)'의 문제입니다.

연구자들은 모든 정상 데이터를 아우르는 작고 완벽한 요약본, 즉 전체를 대표하는 핵심 예시들의 모음을 만듦으로써 이 문제를 해결하려고 오랫동안 노력해 왔습니다. 그러한 요약본을 구축하는 가장 좋은 방법은 서로 최대한 다른 예시들을 선택하여, '정상적인' 세계의 어떤 부분도 누락되지 않도록 보장하는 것입니다. 그러나 새로운 작업들이 연달아 도착할 때, 이 요약본을 무한히 커지지 않게 유지하면서도 완벽하게 유지하는 것은 매우 어렵습니다. 단순히 새로운 예시를 추가하면 메모리가 가득 차게 됩니다. 반대로 공간을 만들기 위해 오래된 것을 삭제하면, 원래의 작업들을 인식하는 능력을 잃을 위험이 있습니다. 윤교정(Yoon Gyo Jung)과 동료들이 이끄는 연구팀은 시스템이 얼마나 많은 새로운 작업을 마주하더라도 이 요약본을 작고 완벽하게 유지할 수 있는 방법을 찾아냈습니다. 그들은 기계가 과거의 것을 결코 잊지 않으면서 연속적인 흐름의 새로운 정상 패턴을 학습할 수 있게 해주는 '컨코어(ContCore)'라는 방법을 개발했습니다.

그들의 발견의 핵심은 메모리를 업데이트하는 방식에 있습니다. 모든 새로운 예시를 저장하려고 시도하거나 쉽게 잊어버릴 수 있는 복잡한 신경망을 사용하는 대신, 그들은 단순하지만 강력한 '선택' 전략을 사용합니다. 새로운 배치(batch)의 정상 데이터가 도착하면, 시스템은 먼저 이미 기억하고 있는 것들과 가장 다른 새로운 예시들을 찾습니다. 시스템은 자신의 컬렉션에 추가하기 위해 이 '가장 먼' 예시들을 선택합니다. 그런 다음, 전체 예시의 수가 엄격한 메모리 제한 내에 머물도록 하기 위해 두 번째 선택을 수행합니다. 시스템은 전체 컬렉션(기존 예시와 새로운 예시 모두)을 살펴보고, 가장 넓게 퍼져 있는 그룹의 예시들을 크기 제한에 맞춰 골라냅니다. 그들이 '탐욕적 확장(greedy expansion)'과 '탐욕적 응축(greedy consolidation)'이라고 부르는 이 2단계 과정은, 메모리가 지금까지 본 모든 것의 가장 대표적인 샘플들을 항상 포함하도록 보장합니다.

연구진은 이 방법이 정상 데이터의 '형태'를 보존하기 때문에 효과적이라는 것을 보여주었습니다. 시스템이 메모리 예산 내에 머물기 위해 매 단계에서 많은 예시를 버림에도 불구하고, 남겨진 예시들은 정상적인 변동의 전체 범위를 여전히 포괄할 수 있도록 매우 신중하게 선택됩니다. 그들은 이 작고 끊임없이 업데이트되는 메모리와 완벽하고 무제한적인 메모리 사이의 격차가 항상 작고 통제 가능한 수준임을 수학적으로 증명했습니다. 실제로 이는 시스템이 다른 방법들을 괴롭히는 파괴적 망각을 겪지 않음을 의미합니다. 단순한 단일 클래스 업데이트부터 여러 다른 클래스의 복잡한 시퀀스에 이르기까지 다양한 작업에 대해 테스트했을 이들의 시스템은 기존의 최첨단 방법들을 일관되게 능가했습니다. 표준 산업 데이터셋에서, 이 시스템은 결함을 찾아내는 데 있어 더 높은 정확도를 달 achievement 했으며, 이전에 학습한 내용을 거의 잊지 않았습니다.

이 접근 방식이 특히 견고한 이유는 효율성 때문입니다. 방대한 양의 컴퓨팅 파워나 재학습을 위한 엄청난 양의 데이터를 필요로 하는 다른 방법들과 달리, 이 시스템은 단순한 선택 과정을 통해 메모리를 업데이트합니다. 이 시스템은 과거의 작업을 다시 학습하거나 방대한 양의 원본 이미지를 저장할 필요가 없습니다. 시스템이 데이터를 한 번에 이미지 한 장씩 학습해야 하는 상황, 즉 다른 방법들이 현저히 실패했던 시나리오에서도 컨코어는 높은 성능을 유지했습니다. 연구진은 또한 이 방법이 다양한 유형의 데이터와 하드웨어에서 잘 작동한다는 것을 입증하며, 작고 대표적인 그룹을 신중하게 선택하는 원리가 단순히 더 많은 컴퓨팅 파워를 쏟아붓는 것보다 더 강력하다는 것을 증명했습니다. 메모리는 제한하되 대표성은 높게 유지함으로써, 그들은 기계가 과거를 잃지 않고 변화하는 세상에 적응할 수 있는 신뢰할 수 있는 방법을 제공했습니다.

기술 요약: 지속적 이상 탐지를 위한 그리디 샘플링의 메모리 제한적 연속성 (Memory-Bounded Continuation of Greedy Sampling for Continual Anomaly Detection)

문제 정의

비지도 이상 탐지(Unsupervised Anomaly Detection, AD)는 제조 및 사이버 보안과 같은 산업 분야에서 매우 중요하지만, 정상 클래스와 경계가 없는 이상치 사이의 결정 경계를 발견하는 것은 여전히 어려운 과제입니다. 초기 모델들은 각 클래스마다 별도의 모델을 학습시켜 높은 성능을 달ras 성했으나, 이는 높은 주석 비용과 거대한 모델 크기라는 문제를 야기했습니다. 다중 클래스 AD 방법론은 단일 모델로 여러 클래스를 학습함으로써 이 문제를 해결하려 했으나, 새로운 태스크가 순차적으로 도착하는 동적인 환경에서 발생하는 파괴적 망각(catastrophic forgetting) 문제로 인해 실패합니다.

**지속적 이상 탐지(Continual Anomaly Detection, CAD)**의 구체적인 과제는 비지도 설정(클래스 레이블 없이 정상 훈련 이미지만 사용) 하에서 새로운 이상치를 탐지하면서 파괴적 망각을 방지하는 것입니다. 기존 접근 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

정규화 기반 방법(예: EWC, SI)은 안정성과 가소성(stability and plasticity) 사이의 균형을 맞추는 데 어려움을 겪으며 하이퍼파라미터에 민감합니다.
리플레이 기반 방법(Replay-based methods)은 메모리 사용량이 태스크 수에 비례하여 증가함에 따라 확장성 문제를 겪습니다.
코어셋 기반 방법(예: DNE, UCAD)은 재학습을 피할 수 있지만, 대표성을 유지하기 위해 일반적으로 무제한의 메모리를 필요로 하므로 태스크가 누적됨에 따라 메모리 오버플로우 문제에 직면합니다.
전용 CAD 솔루션(예: CDAD, IUF)은 장기 스케줄에서 파괴적 망각을 겪거나 클래스 레이블을 필요로 하여 적용 가능성이 제한됩니다.

본 논문이 다루는 핵심 질문은 다음과 같습니다: 우리는 무제한의 코어셋이 가진 표현력을 보존하면서도, 제한된 용량의 코어셋을 설계할 수 있는가?

방법론: ContCore

저자들은 엄격하고 고정된 메모리 제약 조건 하에서 **그리디-연속 코어셋(greedy-continued coreset)**을 구축하는 메모리 기반 이상 탐지기인 ContCore를 제안합니다. 이 방법은 그리디 샘플링을 반복적으로 적용(이전에 그리디하게 샘플링된 집합 위에 다시 그리디 샘플링을 수행)하는 것이 표현력을 효과적으로 보존한다는 관찰에 기초합니다.

핵심 메커니즘

ContCore는 각 태스크 전환 $t$ 에서 다음 두 단계로 작동합니다:

그리디 확장 (Greedy Expansion): 새로운 태스크의 패치 임베딩 특징 집합 $Z_t$ 가 주어졌을 때, 현재의 코어셋 $M_{t-1}$ 로부터 최대한 멀리 떨어진 특징들을 선택합니다. 이는 베이스 세트에 대한 그리디 샘플링으로 공식화됩니다:
$G_{n_t}(Z_t; M_{t-1}) = \{z^*_i \in Z_t : z^*_i = \arg\max_{z \in Z_t} d(z, Z^*_{i-1} \cup M_{t-1})\}$
여기서 $n_t$ 는 현재 태스크의 샘플링 크기입니다.
그리디 통합 (Greedy Consolidation): 새롭게 확장된 특징들과 이전 코어셋의 합집합을 처리하여 고정된 메모리 예산 $m$ 을 강제합니다. 이 방법은 결합된 집합에서 가장 멀리 떨어진 특징들을 선택합니다:
$M_t = G_m(G_{n_t}(Z_t; M_{t-1}) \cup M_{t-1})$

실제 구현

효율적 근사 (Efficiency Approximation): 통합 과정 중 엄격한 그리디 샘플링의 계산 비용을 완화하기 위해, 저자들은 최근접 이웃(nearest neighbors)을 사용하여 과정을 근사합니다. 전체 그리디 선택 대신 $q$ 비율의 샘플을 최근접 이웃 거리에 기반하여 선택함으로써, 커버리지를 유지하면서 시간 복잡도를 크게 줄입니다.
추론 (Inference): 이상 점수는 PatchCore 방식을 따라 각 패치에 대해 현재 코어셋 $M_t$ 까지의 최근접 거리를 기반으로 계산됩니다.

이론적 정당성

본 논문은 결과물인 그리디-연속 코어셋 $M_T$ 가 모든 태스크의 데이터를 결합하여 그리디 샘플링을 수행한 **오라클 코어셋(oracle coreset)**을 유계된 간격(bounded gap) 내에서 근사한다는 이론적 보증(정리 4.1)을 제공합니다. 오라클과 구축된 코어셋 사이의 Hausdorff 거리는 각 태스크별 근사 오차의 합에 의해 제한됨이 증명되었으며, 이는 표현력이 파괴적으로 저하되는 것이 아니라 점진적으로 저하됨을 보여줍니다.

주요 기여

관찰 및 이론: 저자들은 계속되는 그리디 샘플링이 엄격한 메모리 제한 하에서도 표현력을 보존함을 입증했습니다. 또한 그리디-연속 코로셋이 오라클 코어셋을 유계된 간격 내에서 근사한다는 이론적 정당성을 제공했습니다.
ContCore 알고리즘: 이 원리를 실체화하여, 고정된 메모리 사용량을 유지하면서 그리디 확장 및 통합을 통해 그리디-연속 코어셋을 구축하는 방법을 제시했습니다.
실험적 성능: ContCore는 MVTecAD 및 VisA 데이터셋의 11가지 서로 다른 태스크 스케줄에서 최첨단(SOTA) 성능을 달성했습니다.
온라인 환경에서의 견고성: ContCore는 단일 패스(single-pass), 배치 크기 1의 온라인 연속 AD 환경에서도 검증되었으며, 기존 방법들이 성능이 급격히 저하되는 상황에서도 우수한 성능을 보였습니다.

실험 결과

실험은 MVTecAD와 VisA에서 11가지 서로 다른 태스크 스케줄(단순한 증분형 $1 \times 15$ 부터 복잡한 혼합형 스케줄인 $10 \times 1 \times 5$ 까지)을 대상으로 수행되었습니다.

성능: ContCore는 거의 모든 스케줄에서 가장 높은 태스크 평균 AUROC와 가장 낮은 망각 측정치(Forgetting Measurement, FM)를 기록했습니다. 예를 들어, MVTecAD $1 \times 15$ 스케줄에서 ContCore는 이미지 레벨 AUROC **98.8%**를 달성하여, 차순위 모델인 UCAD(93.0%)를 앞질렀으며 망각(FM: 0.1 vs. UCAD의 1.0)을 현저히 줄였습니다.
교차 데이터셋 (Cross-Dataset): MVTecAD $\to$ VisA 및 그 반대의 교차 데이터셋 설정에서, ContCore는 CDAD와 같은 이전 베이스라인을 능가하며 VisA $\to$ MVTecAD 이미지 레벨 AUROC에서 8.9%의 격차로 개선된 성능을 보였습니다.
효율성: ContCore는 신경망 기반 방법들에 비해 매우 효율적입니다. CDAD(5628 GFLOPs, 11G 파라미터)와 비교했을 때 훨씬 적은 GFLOPs(9.24)와 파라미터(45.3M)를 요구하며, 더 빠른 훈련 및 추론 시간을 가집니다.
대규모 검증: Real-IAD 데이터셋(30개 클래스, 약 10만 장의 이미지)에서 ContCore는 연속적인 태스크 스케줄로 훈련되었음에도 불구하고 UniAD-Oracle 및 PatchCore-OneClass 모델을 능가했습니다.
온라인 학습: 엄격한 "온라인 CAD" 설정(배치 크기 1, 에폭 1회)에서 ContCore는 높은 성능(MVTecAD에서 97.2% AUROC)을 유지한 반면, 다른 방법들(DNE, UCAD, IUF, CDAD)은 심각한 성능 저하를 겪었습니다.

의의 및 주장

본 논문은 ContCore가 메모리 제한적인 연속 이상 탐지 문제에 대한 강력한 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

메모리-성능 트레이드오프 극복: 무제한 메모리를 요구하는 코어셋 누적 방식이나, 망각 문제를 겪는 정규화 방식과 달리, ContCore는 고정된 메모리 풋프린트를 유지하면서도 최첨단 성능을 달성합니다.
이론적 보증: 이 방법은 단순한 경험적 결과가 아니라, 최적의 오라클 코어셋과의 표현력 격차가 유계되어 있다는 증명에 의해 뒷받침됩니다.
일반화 가능성: 이 접근 방식은 다양한 태스크 스케줄, 다양한 백본 아키텍처(WideResNet, EfficientNet, DINOv2), 그리고 데이터가 단 한 번만 처리되는 도전적인 온라인 학습 시나리오에서도 효과적입니다.
실제 배포 가능성: 파괴적 망각과 무제한적인 메모리 증가를 방로함으로써, ContCore는 과거 데이터에 접근할 수 없는 상태에서 새로운 이상 클래스가 지속적으로 도입되는 역동적인 환경에서의 실제 배포를 위한 실행 가능한 솔루션으로 제시됩니다.