💻 computer science

TinyGLASS: Real-Time Self-Supervised In-Sensor Anomaly Detection

이 논문은 리소스 제약이 있는 엣지 플랫폼에서 실시간으로 결함을 탐지할 수 있도록 GLASS 프레임워크를 경량화하여 Sony IMX500 스마트 비전 센서에 최적화된 TinyGLASS 를 제안하고, MVTec-AD 와 자체 산업 데이터셋을 통해 높은 성능과 에너지 효율성을 입증합니다.

원저자: Pietro Bonazzi, Rafael Sutter, Luigi Capogrosso, Mischa Buob, Michele Magno

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pietro Bonazzi, Rafael Sutter, Luigi Capogrosso, Mischa Buob, Michele Magno

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"작은 눈으로 큰 세상을 지키는 똑똑한 카메라"**에 대한 이야기입니다.

기존의 공장 검사 시스템은 마치 거대한 도서관 사서처럼, 모든 책을 (이미지를) 한 번에 읽어서 이상한 글자 (결함) 를 찾아냈습니다. 하지만 이 사서는 몸집이 너무 커서 (컴퓨터 성능이 많이 필요해서) 값비싼 서버실에만 있어야 했고, 실시간으로 일할 수 없었습니다.

이 연구는 **"TinyGLASS"**라는 새로운 시스템을 소개합니다. 이는 **작은 카메라 렌즈 안에 스스로를 훈련시킨 '작은 경비견'**을 심은 것과 같습니다.

이제 이 이야기를 쉽게 풀어서 설명해 드릴게요.

1. 문제: 거대한 사서 vs. 작은 공장

공장에서 불량품을 찾아내는 일은 매우 중요합니다. 하지만 불량품은 드물기 때문에, 컴퓨터에게 "이건 불량이다"라고 가르칠 데이터를 구하기 어렵습니다. 그래서 최근에는 "정상적인 물건만 보여주고, 이상한 게 나오면 알아차리게" 하는 기술 (자기 지도 학습) 이 개발되었습니다.

하지만 이 기술은 **거대한 뇌 (WideResNet-50)**를 필요로 했습니다. 마치 코끼리를 작은 원숭이 우리 (저가형 공장 카메라) 에 넣으려다 보니, 공간도 부족하고 먹이 (전력) 도 너무 많이 들어가는 문제가 생겼습니다.

2. 해결책: TinyGLASS (작은 유리알)

연구진들은 이 문제를 해결하기 위해 TinyGLASS를 만들었습니다. 이름처럼 '작은 (Tiny)' 버전입니다.

코끼리를 원숭이로: 거대한 뇌를 **작고 효율적인 뇌 (ResNet-18)**로 바꿨습니다. 성능은 거의 비슷하면서 크기는 8.7 배나 줄었습니다.
카메라 안에 뇌를 심다: 보통은 카메라가 찍은 사진을 컴퓨터로 보내서 분석합니다. 하지만 TinyGLASS 는 **카메라 렌즈 자체 (Sony IMX500)**에 뇌를 심었습니다.
- 비유: 사진을 찍어서 사무실로 보내고 기다리는 게 아니라, 카메라가 직접 "이건 괜찮아, 저건 불량이다"라고 바로 판단하는 것입니다.
압축 기술: 이 작은 뇌를 더 가볍게 만들기 위해 숫자를 간소화 (INT8 양자화) 했습니다. 마치 고해상도 사진을 압축해서 스마트폰에 저장하듯, 메모리 8MB(약 8000 자의 메모지) 안에 모든 것을 넣었습니다.

3. 성능: 얼마나 잘할까?

이 작은 카메라는 놀라운 능력을 보여줍니다.

속도: 1 초에 20 장의 사진을 보고 결함을 찾아냅니다. (실시간!)
정확도: 거대한 사서 (기존 모델) 가 99.1% 를 맞췄다면, 작은 경비견 (TinyGLASS) 은 **94.2%**를 맞췄습니다. 거의 차이가 없을 정도로 훌륭합니다.
전력: 한 번 판단할 때 드는 전기는 4.0 밀리줄입니다. 아주 적은 에너지로 작동합니다.

4. 시험: 더러운 데이터도 견딜까?

실제 공장에서는 "정상"이라고 분류된 데이터에도 가끔 불량품이 섞여 있을 수 있습니다. (예: "이건 괜찮은데, 살짝 찍힌 게 있네?" 같은 경우).

비유: 경비견에게 "개는 다 착하다"라고 가르쳤는데, 훈련 중에 **30% 정도는 나쁜 개 (불량품)**가 섞여 들어와도 훈련을 시켰습니다.
결과: 놀랍게도 TinyGLASS 는 혼란 속에서도 여전히 안정적으로 이상을 찾아냈습니다. 데이터가 조금 더러워져도 성능이 크게 떨어지지 않았습니다.

5. 새로운 데이터셋 (MMS)

연구진들은 이 기술이 실제 산업 현장에 쓸모가 있는지 확인하기 위해 **새로운 데이터셋 (MMS)**을 만들었습니다.

고해상도 현미경으로 찍은 사진과, 이 작은 카메라로 찍은 사진을 비교하며 **"이 카메라가 진짜 공장에서 쓸 수 있을까?"**를 검증했습니다.

💡 한 줄 요약

TinyGLASS는 거대한 슈퍼컴퓨터 없이도, 작은 카메라 렌즈 안에 스스로 학습한 '똑똑한 경비견'을 심어, 실시간으로 공장 결함을 찾아내고 에너지를 아껴주는 초소형 AI 솔루션입니다.

이 기술이 상용화되면, 값비싼 서버실 없이도 어디서나, 실시간으로, 저렴하게 품질 관리를 할 수 있게 될 것입니다.

1. 문제 정의 (Problem)

현대 산업 제조 현장에서는 품질 관리의 핵심 요소로 시각적 검사가 필수적입니다. 그러나 다음과 같은 제약 사항들이 존재합니다:

레이블 데이터 부족: 실제 결함 데이터는 희소하며, 특히 '고다양성 - 소량 생산 (High-Mix-Low-Volume)' 환경에서는 결함 레이블을 얻기 어렵습니다.
자원의 한계: 중소기업은 저비용 엣지 디바이스를 사용하지만, 기존 고성능 이상 탐지 모델 (예: GLASS) 은 계산량이 많아 이러한 제한된 리소스 환경에 배포하기 어렵습니다.
실시간성 부재: 기존 모델들은 엣지 디바이스나 센서 내부 (In-Sensor) 에서 실시간으로 실행되지 못해 지연 시간과 에너지 소비가 발생합니다.

2. 방법론 (Methodology)

이 논문은 Sony IMX500 지능형 비전 센서에서 실시간으로 실행 가능한 경량화 자기지도 학습 (Self-Supervised) 이상 탐지 프레임워크인 TinyGLASS를 제안합니다.

가. 아키텍처 최적화 (Architecture Adaptation)

기존 GLASS 프레임워크를 엣지 환경에 맞게 재설계했습니다.

백본 교체: 무거운 WideResNet-50 을 경량인 ResNet-18로 교체하여 메모리 footprint 와 계산 비용을 줄였습니다.
동적 연산 제거: Sony 의 모델 압축 툴킷 (Model Compression Toolkit) 과 호환되도록 동적 텐서 리셰이핑 (Dynamic tensor reshaping) 과 지원되지 않는 연산을 제거했습니다.
정적 그래프 추적: 정적 그래프 추적 (Static graph tracing) 을 가능하게 하여 **INT8 양자화 (Quantization)**를 적용할 수 있도록 했습니다.
구조 변경: Discriminator 입력 경로를 수정하여 4 차 텐서 표현을 유지하고, 모듈 간 튜플 반환을 단일 텐서 출력으로 변경하여 하드웨어 제약 조건을 충족시켰습니다.

나. 학습 목표 및 데이터

학습 방식: 결함 데이터 없이 정상 데이터만으로 학습하는 자기지도 학습 (Self-Supervised) 방식을 사용합니다.
손실 함수: 이진 교차 엔트로피 손실 ( $L_{BCE}$ ) 과 클래스 불균형을 해결하기 위한 Focal Loss ( $L_{Focal}$ ) 를 결합하여 학습합니다.
데이터셋:
- MVTec-AD: 표준 벤치마크로 성능 비교 및 훈련 데이터 오염 (Contamination) 실험에 사용.
- MMS Dataset (신규): 고해상도 현미경과 IMX500 센서로 촬영한 실제 산업용 마이크로 부품 결함 데이터셋 (크랙, 스크래치 등). 이를 통해 도메인 전이 (Domain Transfer) 및 엣지 배포 가능성을 평가.

3. 주요 기여 (Key Contributions)

TinyGLASS 프레임워크 제안: GLASS 의 경량화 버전으로, Sony IMX500 센서 내부에서 실시간 이상 탐지를 가능하게 함.
압축 및 최적화: 파라미터 수를 8.7 배 압축 (24.9M $\rightarrow$ 2.85M) 하면서도 경쟁력 있는 성능 유지. IMX500 의 8MB 메모리 제한 내에서 INT8 양자화 모델을 실행 가능하게 함.
실시간 In-Sensor 컴퓨팅: 센서 내부에서 직접 추론을 수행하여 대역폭, 지연 시간, 에너지 소비를 획기적으로 줄임.
새로운 데이터셋 및 분석: 'MMS Dataset'을 공개하고, 훈련 데이터가 오염되었을 때의 모델 강건성 (Robustness) 을 심층 분석.

4. 실험 결과 (Experimental Results)

가. 성능 (Performance)

MVTec-AD 벤치마크: 이미지 단위 AUROC 가 94.2% (양자화 모델 기준) 로, 원본 GLASS (99.1%) 대비 7.7%p 감소했으나 엣지 환경에서는 매우 우수한 성능을 보임.
MMS Dataset: 현미경 데이터로 학습 및 테스트 시 88.9% AUROC 달성.

나. 효율성 (Efficiency)

추론 속도: 20 FPS의 실시간 처리 속도 달성.
메모리 사용량: 총 5.41 MB (8MB 제한 내).
에너지 효율: 추론당 4.0 mJ의 낮은 전력 소모, 470 GMAC/J의 높은 에너지 효율.
연산량: 256x256 입력 이미지당 약 1.88 G MACs.

다. 강건성 (Robustness)

훈련 데이터에 결함 샘플이 **30%**까지 섞여 있더라도 (오염), 성능이 급격히 떨어지지 않고 안정적인 수준을 유지함 (MVTec-AD 의 경우 95.6% $\rightarrow$ 88.3%).

5. 의의 및 결론 (Significance & Conclusion)

기술적 혁신: 저전력 엣지 디바이스, 특히 In-Sensor 컴퓨팅 환경에서 실시간 이상 탐지가 가능함을 최초로 입증했습니다.
실용성: 중소기업이 보유한 저비용 인프라에서도 고품질 자동 검사를 구현할 수 있는 길을 열었습니다.
미래 전망: 모델의 강건성과 효율성을 더 개선하고, 다양한 산업 검사 시나리오로 확장하며, 설명 가능한 AI (XAI) 를 통한 결함 특성 분석을 추가하는 것이 향후 과제로 제시되었습니다.

이 논문은 AIoT 및 TinyML 분야에서 이론적 성능과 실제 하드웨어 제약 사이의 간극을 해소하는 중요한 사례로 평가됩니다.