AdapTS: Lightweight Teacher-Student Approach for Multi-Class and Continual Visual Anomaly Detection

1. 문제 정의 (Problem)

시각적 이상 탐지 (Visual Anomaly Detection, VAD) 는 산업 검사 분야에서 핵심적인 역할을 하지만, 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 단일 카테고리 제한: 대부분의 기존 VAD 모델은 하나의 제품 카테고리만 학습하도록 설계되어 있어, 실제 산업 환경에서 여러 제품 유형이 동시에 처리되는 다중 카테고리 (Multi-Class) 상황이나 시간이 지남에 따라 새로운 제품이 추가되는 연속 학습 (Continual Learning) 환경에 적용하기 어렵습니다.
• 기존 Teacher-Student (TS) 방식의 비효율성: TS 아키텍처는 효율적이지만, 기존 연구에서는 연속 학습 설정에 적용되지 않았습니다. 또한, 기존 TS 방법 (예: STFPM) 은 교사 (Teacher) 와 학생 (Student) 네트워크를 각각 독립적으로 유지하므로 메모리 오버헤드가 큽니다.
• 에지 디바이스 배포의 어려움: 고해상도 이미지 처리와 복잡한 모델 구조로 인해 메모리 사용량이 많아, 제한된 자원을 가진 에지 (Edge) 디바이스에서의 배포가 어렵습니다.

2. 제안 방법론: AdapTS (Methodology)

저자들은 AdapTS라는 새로운 TS 프레임워크를 제안하여 위 문제들을 해결합니다. 핵심 아이디어는 "단일 공유된 프리즈 (frozen) 백본을 사용하면서 학생 경로에 경량 어댑터 (adapter) 만을 주입"하는 것입니다.

2.1. 단일 백본 및 어댑터 아키텍처

• 공유 백본: 기존 TS 방식처럼 두 개의 네트워크 (교사 + 학생) 를 학습시키는 대신, ImageNet 으로 사전 학습된 단일 백본 네트워크를 사용합니다.
• 경량 어댑터: 이 백본의 학생 경로에 작은 크기의 학습 가능한 어댑터 모듈만 추가합니다. 백본의 가중치는 고정 (frozen) 된 채로 어댑터만 학습됩니다.
• 작동 원리: 어댑터는 교사 네트워크의 중간 특징 맵을 재구성 (reconstruct) 하도록 학습됩니다. 정상 이미지에서는 어댑터가 교사 특징을 잘 모방하지만, 이상 (anomaly) 이 있는 이미지에서는 특징 불일치가 발생하여 이상 신호로 활용됩니다.
• 어댑터 변형: 선형 (Linear), 확장 (Expansion), 병목 (Bottleneck) 등 다양한 구조를 고려했으며, INT-8 양자화를 통해 메모리를 추가로 절감할 수 있습니다.

2.2. 세그멘테이션 가이드 학습 (Segmentation-guided Training)

• 합성 이상 데이터: 학습 데이터는 정상 이미지만 존재하므로, Perlin 노이즈와 합성 텍스처를 사용하여 합성 이상 (Synthetic Anomalies) 과 해당 마스크를 생성합니다.
• 세그멘테이션 네트워크: 학생과 교사 간의 특징 차이를 입력받아 이상 영역을 분할하는 간단한 세그멘테이션 네트워크를 학습 단계에서 함께 사용합니다.
• 목적: 이 과정은 어댑터가 공간적으로 일관되고 의미 있는 특징 불일치를 생성하도록 유도합니다. 추론 (Inference) 단계에서는 이 세그멘테이션 헤드를 제거하여 효율성을 높입니다.

2.3. 태스크 식별 메커니즘 (Task Identification)

• 프로토타입 기반 선택: 다중 카테고리 및 연속 학습을 지원하기 위해, 각 태스크 (카테고리) 에 대한 특징 프로토타입 (Feature Prototype) 을 사전에 계산합니다.
• 동적 어댑터 선택: 추론 시 입력 이미지와 각 태스크 프로토타입 간의 유사도 (유클리드 거리) 를 계산하여 가장 유사한 태스크의 어댑터를 동적으로 선택합니다. 이는 99% 의 정확도로 태스크를 식별합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크: 단일 프레임워크 내에서 다중 카테고리와 연속 학습을 동시에 지원하는 최초의 TS 기반 VAD 방법론을 제안했습니다.
2. 극도의 경량화: 교사/학생 네트워크를 분리하지 않고 단일 백본에 어댑터만 추가함으로써 메모리 사용량을 획기적으로 줄였습니다.
3. 성능 유지: 기존 최첨단 (SOTA) TS 방법들과 비교하여 거의 동등한 이상 탐지 성능을 유지하면서도 메모리 오버헤드를 대폭 절감했습니다.
4. 실용성: 에지 디바이스 배포에 적합한 설계로, 복잡한 산업 환경에서의 확장성을 입증했습니다.

4. 실험 결과 (Results)

MVTec AD 및 VisA 벤치마크를 통해 단일, 다중 카테고리, 연속 학습 시나리오에서 평가되었습니다.

• 메모리 효율성:
  • AdapTS-S (가장 가벼운 버전) 는 추가 메모리가 8 MB만 필요합니다.
  • 기존 방법 대비 메모리 절감 효과:
    • STFPM (95 MB) 대비 13 배 감소.
    • RD4AD (360 MB) 대비 48 배 감소.
    • DeSTSeg (1120 MB) 대비 149 배 감소.
• 성능:
  • 단일 카테고리: DeSTSeg 나 RD4AD 와 유사한 성능을 보이며, 특히 메모리 효율성이 뛰어납니다.
  • 다중 카테고리: AdapTS-M 은 RD4AD 와 유사한 성능을 내면서 메모리는 훨씬 적게 사용합니다.
  • 연속 학습: 기존 TS 방법들은 연속 학습에 적합하지 않아 Replay 전략을 적용해야 했으나, AdapTS 는 아키텍처 자체적으로 이를 지원하며 SOTA 방법들과 경쟁력 있는 성능을 보입니다.
• VisA 데이터셋: MambaAD(성능 최상위, 메모리 1072 MB) 나 SimpleNet(메모리 291 MB) 과 비교했을 때, AdapTS-L 은 245 MB 의 메모리로 DeSTSeg 와 유사한 픽셀 단위 성능 (P-ROC 0.96) 을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 산업 검사 분야에서 확장성 (Scalability) 과 적응성 (Adaptability) 이 필수적인 요구사항임을 강조하며, AdapTS 가 이를 충족하는 솔루션임을 입증했습니다.

• 기술적 혁신: 파라미터 효율적인 아키텍처 (어댑터) 를 TS 프레임워크에 도입함으로써, 고비용의 모델 재학습이나 복잡한 메모리 관리 없이도 새로운 제품 라인에 대한 이상 탐지를 가능하게 했습니다.
• 실무 적용 가능성: 제한된 컴퓨팅 자원을 가진 에지 디바이스에서도 고품질의 이상 탐지를 수행할 수 있게 되어, 실제 산업 현장에서의 배포 장벽을 낮췄습니다.
• 향후 방향: 모델 가중치 병합 (Model Weight Merging) 등 추가적인 파라미터 효율적 학습 전략을 결합하여 메모리 오버헤드를 더욱 줄이고 성능을 향상시키는 방향으로 연구가 확장될 수 있습니다.

요약하자면, AdapTS는 기존 VAD 방법론이 가진 메모리 비효율성과 다중/연속 학습 지원 부족을 해결한, 경량화되고 유연한 차세대 이상 탐지 프레임워크입니다.