기술 요약: KeepAD – 효율적인 제로샷 이상 탐지를 위한 결함 보존형 토큰 프루닝(Token Pruning)

1. 문제 정의

비전-언어 모델(VLM)과 비전 트랜스포머(ViT)를 활용한 제로샷 시각적 이상 탐지(ZSAD)는 크게 발전했습니다. 그러나 기존 방식들은 모든 트랜스포머 레이어에 걸쳐 모든 이미지 패치(토큰)에 대해 밀집된 연산을 수행합니다. 이러한 접근 방식은 다음과 같은 이유로 비효율적입니다:

1. 데이터 희소성(Data Sparsity): 실제 시나리오에서 이상 이미지는 드물며, 이상 이미지 내에서도 결정적인 증거(결함)는 대개 매우 국소적인 영역에만 존재합니다.
2. 비대칭적 프루닝 위험(Asymmetric Pruning Risk): 지배적인 토큰을 버리는 것이 허용되는 일반적인 이미지 분류와 달리, 이상 탐지는 결정적인 비대칭성에 직면합니다. 중복된 정상 토큰을 유지하는 것은 계산 낭비를 초래하지만, 미세한 결함이라도 이상 토큰을 제거하는 것은 탐지와 국지화에 필요한 유일한 증거를 돌이킬 수 없이 삭제할 수 있습니다.
3. 조기 프루닝의 역설(The Early-Pruning Paradox): 초기 레이어에서 프루닝을 수행하면 가장 큰 계산 절감 효과를 얻을 수 있지만, 얕은 표현(shallow representation)은 미세한 결함을 정상적인 질감 변화와 구별할 만큼의 의미론적 신뢰성을 갖추지 못한 경우가 많습니다. 반대로, 깊은 레이어는 신뢰할 수 있는 이상 징후를 제공하지만 절감할 수 있는 계산량은 적습니다.

현재의 분류 또는 생성용 토큰 프루닝 방식은 지배적인 의미론(semantics)을 우선시하기 때문에, 희소하고 눈에 띄지 않는 토큰인 이상 징후를 버릴 가능성이 있어 ZSAD에는 부적합합니다.

2. 방법론: KeepAD

저자들은 비대칭적 프루닝 위험과 조기 프루닝의 역설을 해결하기 위해 설계된 결함 보존형 토큰 프루닝 프레임워크인 KeepAD를 제안합니다. 이 방법은 동결된 CLIP ViT 백본(예: ViT-L/14@336px) 상에서 작동하며, 2단계 학습 과정 후 단일 희소 추론(sparse inference) 과정을 거칩니다.

2.1 2단계 학습

• 1단계 (밀집 탐지기 학습 - Dense Detector Training): 동결된 ViT 백본 위에 경량 이상 헤드를 학습시킵니다. 이 헤드는 중간 레이어에서 정상 및 이상 프로토타입(prototype)을 학습합니다. 결정적으로, 이는 "밀집-투-희소(dense-to-sparse)" 템플릿 역할을 하는 텍처(teacher) 신호를 생성합니다. 즉, 프루닝되지 않은 통과(pass)를 통해 생성된 심층 레이어의 이상 사전 정보(priors)가 프루닝 선택기(selector)의 감독 대상(supervision targets)으로 사용됩니다.
• 2단계 (선택기 학습 - Selector Training): 백본과 헤드는 동결됩니다. 두 개의 경량 토큰 선택기가 특정 레이어(L8 및 L12)에 삽입되어 토큰을 라우팅하도록 학습됩니다. 탐지기 자체는 업데이트되지 않습니다.

2.2 점진적 결함 보존 프루닝

KeepAD는 네트워크 깊이에 따라 프루닝 전략을 조정합니다.

• 초기 단계 (L8): 커버리지 보존 선택 (Coverage-Preserving Selection)

  • 과제: 이상 의미론이 불확실하며, 프로토타입이 아직 변별력이 없습니다.
  • 전략: 선택기는 지배적인 정상 영역에 토큰이 집중될 수 있는 글로벌 top-k 선택을 피합니다. 대신, 이미지 그리드를 $2 \times 2$ 블록으로 분할하고, 비어 있지 않은 모든 블록에서 적어도 하나의 대표 토큰이 유지되도록 보장합니다.
  • 구조 메커니즘 (Rescue Mechanism): 남은 토큰 예산은 "구조 후보(rescue candidates)"(예: 서로 다른 그리드 셀에서 높은 점수를 받은 토큰)에 결정론적으로 할당되어, 작거나 고립된 결함이 완전히 소실되는 것을 방지합니다.

• 심층 단계 (L12): 이상 적응형 선택 (Anomaly-Adaptive Selection)

  • 과제: 이상 의미론은 신뢰할 수 있지만, 계산량을 공격적으로 줄여야 합니다.
  • 전략: 선택기는 시각적 돌출도(salience)와 1단계에서 학습된 동결된 정상 및 이상 프로토타입 간의 친화도(affinities)를 결합합니다.
  • 이미지 적응형 예산 (Image-Adaptive Budget): 고정된 프루닝 비율 대신, 이상 증거의 분포에 따라 이미지당 토큰 예산을 동적으로 조정합니다. 이상 징후가 뚜렷한 이미지는 더 많은 토큰 예산을 할당받고, 증거가 적은(정상일 가능성이 높은) 이미지는 더 공격적으로 프루닝됩니다.
  • 블록 단위 프루닝: 공간적 일관성을 유지하기 위해, L12는 개별 토큰이 아닌 토큰의 전체 블록을 선택합니다.

2.3 밀집-투-희소 자기 증류 (Dense-to-Sparse Self-Distillation)

최종 탐지 손실로부터 직접적인 그래디언트 흐름이 없는 얕은(L8) 선택기를 학습시키는 어려움을 해결하기 위해, KeepAD는 자기 증류를 활용합니다. 동결된, 프루닝되지 않은 "교사(teacher)" 브랜치는 심층 레이어의 이상 반응을 명시적인 보존 대상으로서 얕은 "학생(student)" 선택기에 제공합니다. 이를 통해 백본을 재학습시키지 않고도 얕은 레이어의 라우터가 심층 레이어에서 이상 관련성이 높아질 토큰을 유지하도록 유도합니다.

2.4 밀집 복구 및 추론

추론 시에는 하드 프루닝된 토근들만 처리됩니다. 밀집된 국지화를 복원하기 위해 다음을 수행합니다:

• 공간 복구 (Spatial Recovery): 탈락된 패치 위치를 원래 그리드의 가장 가까운 생존 토큰에 매핑합니다. 생존자의 이상 반응을 탈락된 위치로 복사합니다.
• 점수 무결성 (Scoring Integrity): 결정적으로, 이미지 수준의 이상 점수는 오직 물리적 생존자들로부터만 집계됩니다. 복구된 위치는 오직 픽셀 수준의 맵 생성에만 사용되며 최종 이미지 수준 분류에는 영향을 미치지 않아, 인위적인 증거가 점수를 부풀리는 것을 방지합니다.

3. 주요 기여

1. 문제 정식화: 본 논문은 표준적인 토큰 프루닝 작업과 구별되는, 제로샷 이상 탐지에 특화된 "비대칭적 프루닝 위험"과 "조기 프루닝의 역설"을 식별하고 공식화했습니다.
2. KeepAD 프레임워크: 얕은 레이어에서의 보수적인 커버리지 보존 공간 선택에서부터 깊은 레이어에서의 공격적인 프로토타입 가이드형 이미지 적응형 프루닝으로 전환되는 점진적 라우팅 메커니즘을 제안합니다.
3. 학습 전략: 심층의 이상 사전 정보를 사용하여 얕은 토큰 선택을 감독하는 밀집-투-희소 자기 증류를 도입하여, 백본을 재학습시키지 않고도 효과적인 학습을 가능하게 했습니다.
4. 실증적 검증: 13개의 벤치마크(산업 6개, 의료 7개)에 대한 광범한 평가를 통해 KeepAD가 토큰 보유량을 20% 미만으로 줄이면서도 경쟁력 있는 정확도를 유지함을 입증했습니다.

4. 실험 결과

단일 NVIDIA RTX 5090 GPU에서 평가된 KeepAD는 최소한의 정확도 저하로 상당한 효율성 이득을 보여줍니다:

• 처리량 (Throughput): 가장 강력한 CLIP 기반 베이스라인(Bayes-PFL) 대비 최대 7.9배, 가장 강력한 ViT 기반 베이스라인(VisualAD) 대비 1.7배 빠른 속도를 경쟁력 있는 정확도와 함께 달성했습니다.
• 정확도 (Accuracy): 가장 공격적인 운영 지점(토큰 약 14~18% 유지)에서 이미지 수준(I-AUROC) 및 픽셀 수준(P-AUROC) 성능의 평균 저하는 2.7 퍼센트 포인트 이내로 제한되었습니다.
• 강건성 (Robustness): KeepAD는 도메인 특화 적응 없이 산업(MVTec-AD, VisA) 및 의료(OCT, MRI, Endoscopy) 도메인 간에 효과적으로 전이됩니다.
• 절제 연구 통찰 (Ablation Insights):
  • L8 프루닝을 제거하면 속도가 크게 저하(6.5–8.3 img/s)되어, 조기 프루닝이 주요 효율성 레버임을 확인했습니다.
  • 커버리지 보존 선택을 글로벌 top-k 선택으로 대체하면 "완전 누락률(Complete Miss Rate, CMR)"이 급격히 증가하여, 국소 커버리지 제약의 필요성을 입증했습니다.
  • 이미지 적응형 예산 방식은 고정형 또는 셔플된 예산 방식보다 특히 CMR을 줄이는 데 있어 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 KeepAD가 공격적인 토큰 감소와 희소한 결함 증거 보존이라는 상충하는 목표를 성공적으로 조화시킨다고 주장합니다. 토큰 선택을 고회수(high-recall), 이상 인지형 라우팅 문제로 정식화함으로써, KeepAD는 일반적인 프루닝 방법에서 흔히 발생하는 "완전 누락(complete miss)" 실패를 방지합니다.

저자들은 자신들의 접근 방식이 단순한 속도 최적화가 아니라, 이상 탐지의 독특한 희소성과 위험 프로필에 대한 구조적 적응임을 강조합니다. 이 방법은 실질적인 실시간 제로샷 이상 탐지 시스템을 위한 실행 가능한 솔루션을 제공하면서, 밀집된 비프루닝 상태의 최첨단 모델들과 대등한 탐지 및 국지화 성능을 유지하며 상당한 추론 가속(최대 7.9배)을 달축합니다.