LiZAD: A Lightweight Zero-Shot Anomaly Detection Framework for Industrial Manufacturing

기술 요약: LiZAD – 경량 제로샷 이상 탐지 프레임워크

문제 정의
현대의 고처리량 산업 제조 환경에서는 제품 구성과 시각적 특성이 빈번하게 변화합니다. 전통적인 지도 학습 기반의 이상 탐지는 새로운 시나리오가 발생할 때마다 방대한 데이터 수집과 주석(annotation) 작업이 필요하며, 이는 비용이 많이 들고 실행 불가능한 경우가 많습니다. 제로샷 이상 탐지(Zero-Shot Anomaly Detection, ZSAD)는 타겟 특정 학습 데이터 없이도 미학습 카테고리의 결함을 탐지함으로써 해결책을 제시하지만, 기존의 ZSAD 방식들은 심각한 병목 현상에 직면해 있습니다. 거대 시각-언어 백본(backbone)을 기반으로 구축된 이러한 모델들은 높은 메모리와 연산 능력을 요구하며, 이는 추론 속도가 매우 중요한 자원 제한적 에지(edge) 장치나 실시간 생산 라인에 배포하기에는 부적합합니다.

방법론
저자들은 에지 장치에서의 실시간 ZSAD를 위해 특별히 설계된 경량 프레임워크인 LiZAD를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소를 통해 계산 효율성과 미세한 국소화(localization) 사이의 트레이드오프 문제를 해결합니다:

1. 시각적 백본 (DINOv3): 전역적 의미론적 정렬에 최적화된 표준 CLIP 스타일의 시각 인코더 대신, LiZAD는 DINOv3(구체적으로는 컴팩트한 ViT-S/16 변형)를 활용합니다. 이러한 선택은 정밀한 픽셀 수준의 이상 국소화에 필수적인 조밀하고 공간적으로 인지된 시각적 특징을 제공하는 DINOv3의 능력에 기인합니다. 모델은 동결된(frozen) 인코더를 사용하여 전역 토큰과 패치 수준의 임베딩을 추출합니다.
2. 텍스트 인코더 (MobileCLIP2): 텍_스트 브랜치의 경우, 프레임워크는 에지 하드웨어에서 저지연 실행을 위해 설계된 아키텍처인 MobileCLIP2를 채택합니다. 이는 최소한의 메모리 점유율로 표현력이 풍부한 텍스트 임베딩을 추출하기 위해 고도로 최적화된 컨볼루션-트랜스포머 설계와 다중 모달 강화 학습을 활용합니다.
3. 공유 잠재 공간 및 투영 (Shared Latent Space & Projection): 시각 및 텍스트 인코더가 서로 다른 차원의 공간에서 작동하고 공동 학습되지 않기 때문에, LiZAD는 경량의 학습 가능한 **선형 투영 헤드(linear projection heads)**를 도입합니다. 이 헤드들은 시각적 패치 임베딩, 전역 토큰, 그리고 텍스트 임베딩을 공유 잠재 공간으로 매핑합니다.
   • 프롬프팅(Prompting): 시스템은 표준 템플릿("an image of a {state} {object}")을 사용하여 정상 및 이상 상태의 텍스트 임베딩을 생성합니다.
   • 스코어링(Scoring): 이상 점수는 투영된 시각적 패치와 정상/이상 텍스트 임베딩 간의 코사인 유사도를 통해 계산됩니다. 소프트맥스(softmax) 함수가 이러한 유사도를 이상 확률로 변환합니다.
   • 정규화(Regularization): 희소한 패치 수준의 감독을 넘어 임베딩 공간을 안정화하고 방향을 보정하기 위해, 투영된 전역 토큰에 기반한 전역 컨텍스트 정규화가 추가됩니다.
   • 출력(Output): 결과로 생성된 거친(coarse) 이상 맵은 쌍선형 보간법(bilinear interpolation)을 통해 업샘플링되어 조밀한 픽셀 수준의 이상 히트맵을 생성합니다.

주요 기여

• 에지를 위한 최초의 경량 ZSAD: LiZAD는 자원이 제한된 장치에서 실세계 배포를 위해 명시적으로 구축된 최초의 빠르고 가벼우며 정확한 ZSAD 프레임워크로 제시됩니다.
• 아키텍처 효율성: DINOv3와 MobileCLIP2를 결려하고 학습을 위해 경량 투영 헤드만을 사용함으로써(인코더는 동결 상태 유지), 프레임워크는 계산 오버헤드를 획기적으로 줄입니다.
• 실세계 검증: LiZAD는 NVIDIA Jetson NX 및 Jetson AGX 에지 장치에 성공적으로 배포되었으며, 베로나 대학교의 산업 컴퓨터 공학 연구소(ICE Lab) 내 실제 생산 라인에서 테스트되었습니다.

실험 결과
저자들은 네 가지 산업용 데이터셋(VisA, BTAD, MPDD, MVTec-AD)에 걸쳐 6개의 최첨단(SOTA) ZSAD 모델(CLIP, WinCLIP, APRILGAN, AnomalyCLIP, AdaCLIP, Bayes-PFL)과 LiZAD를 비교 평가했습니다.

• 효율성 이점:
  • 메모리: 평균 61.5% 감소 (1.01 GB까지 감소).
  • 파라미터: 74.6% 감소 (97.44 M 파라미터까지 감소).
  • 지연 시간(Latency): 경쟁 모델들의 평균 대비 3.02배의 속도 향상(추론 지연 시간 69.9% 감소)을 달와했습니다. Jetson NX에서는 샘플당 754.6 ms, Jetson AGX에서는 554.4 ms를 기록했습니다.
• 성능 트레이드오프: 복잡성을 크게 줄였음에도 불구하고, LiZAD는 경쟁력 있는 탐지 성능을 유지합니다.
  • 평균 픽셀 단위 AUROC **88.05%**를 달성했습니다.
  • 이는 테스트된 데이터셋 전체에서 가장 성능이 우수한 SOTA 모델과 비교했을 때 단 **6.4%**의 차이만을 보인 것입니다.
  • 구체적으로, VisA에서는 최고 결과와 1.3%, MVTec-AD에서는 5.2% 이내의 차이를 유지했습니다.
• 정성적 결과: 시각적 비교를 통해 LiZAD가 다양한 질감과 결함 패턴에 대해 날카롭고 집중된 이상 반응을 생성함을 보여주었으며, 이는 강력한 국소화 능력을 확인시켜 줍니다.

의의
본 논문은 LiZAD가 고정밀 제로샷 이상 탐지와 산업 환경의 엄격한 실시간 및 자원 제한적 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다. 상당한 메모리 및 파라미터 감소를 달성하면서도 국소화 정확도의 저하를 최소화함으로써, 이 프레임워크는 기존의 무거운 모델들이 적용 불가능했던 에지 플랫폼에 고급 이상 탐지 시스템을 배포할 수 있게 합니다. 실제 생산 라인에서의 성공적인 테스트는 즉각적인 산업 적용 가능성을 뒷받s합니다.