기술 요약: TinySSL (CA-DSSL)

문제 정의

본 논문은 일반적으로 50 만 개 미만의 파라미터와 1 메가바이트 미만의 메모리 풋프린트로 작동하는 마이크로컨트롤러 (MCU) 클래스 모델에 대한 자기지도학습 (SSL) 의 치명적인 격차를 다룹니다. SSL 이 대규모 모델 (예: ResNet-50, ViT-B) 에 대한 표현 학습을 혁신했지만, 표준 방법은 MCU 규모에서 치명적으로 실패합니다. 저자들은 작은 백본 (tiny backbones) 에 대한 세 가지 특정 실패 모드를 식별합니다:

1. 프로젝션 헤드 우세: 표준 SSL 프로젝션 헤드 (예: 2048 차원 MLP) 는 종종 전체 학생 백본보다 더 많은 파라미터를 포함하여, 최적화가 특징 추출기가 아닌 헤드로 집중되게 합니다.
2. 표현 병목: 작은 백본 (예: 최종 단계에서 약 112 개 채널을 가진 MobileNetV2-0.35×) 은 표준 대비 또는 비대비 목적 함수에 필요한 세밀한 불변성을 인코딩할 역량이 부족합니다.
3. 증강 민감성: 대규모 모델에 유익한 강력한 데이터 증강은 훈련 초기에 작은 네트워크를 압도하여 표현 붕괴를 초래합니다.

결과적으로 BYOL 및 DINO 와 같은 표준 SSL 방법은 MCU 에서 거의 무작위 수준의 성능으로 붕괴하는 반면, SimCLR 과 같은 대비적 방법은 현저히 낮은 성능을 보입니다.

방법론: CA-DSSL

저자들은 1 메가바이트 미만 모델에 특화된 교사 안내형 프레임워크인 용량 인식 증류 자기지도학습 (Capacity-Aware Distilled Self-Supervised Learning, CA-DSSL) 을 제안합니다. 핵심 통찰은 학습된 표현을 작은 학생으로 압축하기 위해 크고 고정된 교사를 활용하여, 학생이 독립적으로 불변성을 발견할 필요성을 우회하는 것입니다.

아키텍처 및 구성 요소

• 학생 백본: 396K 파라미터의 MobileNetV2-0.35× 모델.
• 교사: 사전훈련 중에만 사용되고 배포 시 폐기되는 고정된 DINO ViT-S/16 (22M 파라미터).
• 용량 비례 프로젝션: 거대한 MLP 헤드가 아닌, CA-DSSL 은 특징을 256 차원으로 프로젝션하기 위해 단일 선형 계층 ($W_p$) 을 사용하여 백본에 비례하는 약 328K 파라미터만 추가합니다. 두 번째 선형 계층 ($W_a$) 은 학생 프로젝션을 교사의 CLS 토큰 차원 (384) 에 정렬합니다.
• 다중 스케일 특징 증류 (MSFD): 하류 검출에 중요한 공간 정보를 보존하기 위해, 이 방법은 백본의 세 단계에서 특징을 증류하여 $L_2$-정규화된 평균 제곱 오차를 통해 학생과 교사의 공간 토큰을 정렬합니다.
• 점진적 증강 커리큘럼: 초기 붕괴를 방지하기 위해 증강 강도는 100 에포크에 걸쳐 세 단계 (약 $\to$ 중간 $\to$ 전체) 로 점진적으로 증가합니다.

손실 함수

총 손실은 세 가지 항을 결합하며 (기본 가중치 $\lambda_{ms}=0.5, \lambda_{reg}=0$):
$$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$$

• $L_{cls}$: 교사의 CLS 토큰을 학생의 글로벌 프로젝션으로 증류 (코사인 유사도).
• $L_{ms}$: 다중 스케일 특징 증류 (정규화된 공간 특징 간의 MSE).
• $L_{reg}$: 선택적 자기 대비 정규화 (InfoNCE). 저자들은 큐 노이즈로 인해 작은 데이터셋 (CIFAR-100) 에서 이 항이 해롭다고 발견하지만, 더 큰 말뚝에서는 도움이 될 수 있다고 제안합니다.

주요 기여

1. MCU 규모 SSL 의 체계적 연구: 본 논문은 표준 SSL 방법 (BYOL, DINO) 이 <500K 파라미터 규모에서 완전히 붕괴하는 반면, 대비적 방법 (SimCLR) 은 학습하지만 성능이 낮아 질적으로 다른 접근이 필요함을 확립합니다.
2. CA-DSSL 프레임워크: 용량 제약 모델에 맞춤화된 교사 안내 증류, 다중 스케일 특징 정렬, 그리고 점진적 증강 커리큘럼의 새로운 조합.
3. 파라미터 효율성: CA-DSSL 은 훈련 시 프로젝션 헤드가 SEED 기준 (426K 대 3.15M 파라미터) 보다 10 배 작으면서도 정확도를 일치시키거나 초과하는 최첨단 결과를 달성합니다.
4. 배포 가능성: 이 방법은 전체 훈련 그래프를 MCU 메모리 예산 내에 유지하고 사전훈련 파이프라인에서 추론 오버헤드가 제로이므로, 온디바이스 미세조정 및 연동 학습을 가능하게 합니다.

실험 결과

실험은 주로 CIFAR-100(5 만 개 이미지) 에서 수행되었으며 Flowers102, Food101, Core50, Pascal VOC 로 전이되었습니다.

• 분류 (선형 프로브): 396K MobileNetV2-0.35× 백본에서 CA-DSSL 은 **62.7% $\pm$ 0.5%**의 정확도를 달성합니다. 이는 SimCLR-Tiny 보다 18 퍼센트 포인트 (pp) 높고, 훨씬 적은 파라미터로 SEED 기준 (61.7%) 을 일치시키며, 지도식 상한선의 **94.0%**에 도달합니다. 반면 BYOL-Tiny 와 DINO-Tiny 는 약 5% 정확도로 붕괴합니다.
• 전이 학습 검출: Pascal VOC 에서 CA-DSSL 은 7.69% mAP@50을 달성하여 무작위 초기화 대비 2.3 배 개선되고 SEED 기준 대비 +3.0 pp 향상됩니다. SimCLR-Tiny 가 이 mAP(7.78%) 를 일치시키지만, CA-DSSL 은 10 배 적은 헤드 파라미터로 이를 달성합니다.
• 전이 학습: CA-DSSL 백본은 Flowers102 와 Food101 으로 잘 일반화되어 표준 SSL 기준을 능가하며, Food101 에서는 지도식 사전훈련을 초과합니다.
• 확장 한계: ImageNet-100 에 대한 예비 실험은 CA-DSSL 의 용량 비례 헤드가 SEED 의 더 큰 헤드만큼 잘 확장되지 않음을 보여줍니다. ImageNet-100 에서 SEED 는 CA-DSSL 보다 20 pp 더 우세하여, CA-DSSL 이 작은 데이터 영역에 최적화되었음을 나타냅니다.

중요성 및 주장

본 논문은 CA-DSSL 을 엣지 장치에서 클라우드 연결이나 레이블된 데이터 없이 고품질 컴퓨터 비전을 가능하게 하는 TinyML 에 필수적인 진화로 위치시킵니다.

• 실용적 영향: 배포된 백본은 **378 KB (INT8)**만 차지하며 STM32H7, ESP32-S3, MAX78000 등 다양한 MCU 에서 SSL 파이프라인의 추론 오버헤드 없이 실행됩니다.
• 디자인 트레이드오프: 저자들은 CA-DSSL 을 훈련 메모리가 제약된 작은 데이터 영역을 위한 솔루션으로 명시적으로 규정합니다. 그들은 대규모 사전훈련 (예: ImageNet-1K) 의 경우 더 큰 프로젝션 헤드 (SEED 등) 가 우수하지만, CA-DSSL 은 배포 관련 파라미터 효율성을 위해 확장성을 희생한다고 인정합니다.
• 안정성: 외부 교사의 사용은 학생이 자체 목표를 생성하는 자기지도 방법보다 훨씬 더 안정적인 훈련 (시드 간 분산 감소) 을 제공합니다.

이 연구는 MCU 규모의 SSL 이 단순히 작은 모델 SSL 의 양적 확장이 아니라, 특히 교사 안내 증류와 용량 인식 아키텍처와 같은 근본적으로 다른 설계 선택을 필요로 한다고 결론지었습니다.