Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment

기술 요약: 확장 가능한 에지 모델 배포를 위한 데이터 효율적 스트림 기반 능동 증류 (D-SBAD)

문제 정의
에지 카메라 시스템이 다양한 시각적 도메인을 커버하기 위해 급격히 확장됨에 따라, 분포 변화(distribution shifts)와 새로운 환경에 적응하기 위한 빈번한 모델 업데이트가 필수적입니다. 그러나 에지 장치는 계산 능력과 메모리가 제한되어 있어, 배포된 심층 신경망(DNN)의 크기와 성능을 제약합니다. 중앙 서버는 복잡한 "교사(Teacher)" 모델을 호스팅하여 학습을 위한 의사 라벨(pseudo-label)을 생성할 수 있지만, 대역폭 제한과 저장 비용으로 인해 모든 원시 비디오 프레임을 주석 달기 위해 전송하는 것은 불가능합니다. 기존의 스트림 기반 능동 증류(SBAD) 방식은 노이즈를 줄이기 위해 높은 신뢰도의 예측을 기반으로 이미지를 선택하지만, 이 방식은 중복된 데이터셋을 생성하고 불필요한 데이터 전송을 초래하여 제한된 전송 예산의 효용성을 극대화하지 못합니다.

방법론
저자들은 모델 품질과 전송 비용 사이의 트레이드오프를 최적화하기 위해 설계된 2단계 선택 프레임워크인 D-SBAD(Data-Efficient Stream-Based Active Distillation)를 제안합니다. 이 시스템은 클라이언트-서버 간의 동적 구조로 작동합니다:

1. 클라이언트 측 (에지): 경량화된 학생(Student) 모델이 실시간으로 비디오 스트림을 처리합니다. 고정된 수의 프레임을 즉시 전송하는 대신, 클라이언트는 시간적 윈도우 내에서 더 큰 "후보 집합(candidate set)" ($S$)을 식별하기 위해 SELECT 전략(구체적으로는 TOP-CONFIDENCE)을 사용합니다. 이 후보들은 장치 내에 임시로 버퍼링됩니다.
2. 필터링 단계: 에지 상의 경량 필터링 모듈이 후보 집합 $S$를 처리하여 최종적으로 크기가 $B$(전송 예산)인 다양하고 부분적인 집합($F$)을 선택합니다. 이 단계의 목적은 중복성을 줄이고 선택된 샘플이 카메라의 도메인을 효과적으로 나타내도록 하는 것입니다. 논문은 다음과 같은 여러 레이블 프리(label-free) 필터링 전략을 벤치마킹합니다:
   • Farthest First (FF): 잠재 공간(latent space)에서 가장 밀집된 영역의 첫 번째 샘플을 선택한 후, 이미 선택된 집합과의 최대 코사인 유사도를 최소화하는 샘샘플을 반복적으로 추가하여 다양성을 극대화하는 결정론적 알고리즘입니다.
   • Training-Free Dataset Pruning (TFDP): 검출 박스의 둘레와 면적을 기반으로 한 형상 복잡도 점수(Shape Complexity Score)를 사용합니다.
   • Moderate Coreset: 잠재 공간 내 데이터셋 중심으로부터의 거리 중앙값에 가장 가까운 샘플을 선택합니다.
   • Least Confidence: 학생 모델의 신뢰도가 가장 낮은 샘플을 선택합니다.
3. 서버 측: 필터링된 부분 집합 $F$가 서버로 전송되며, 강력한 교사 모델이 의사 라벨을 생성합니다. 이후 학생 모델은 이 의사 라벨링된 샘플들을 사용하여 미세 조정(fine-tuning)됩니다.

주요 기여

• 2단계 선택 파이프라인: 본 논문은 초기 샘핑과 전송 사이에 필터링 단계를 삽 삽입함으로써 기존 SBAD 프레임워크를 수정한 새로운 방식을 도입했습니다. 이를 통해 시스템은 전송할 작은 고품질 부분 집합을 확정하기 전에 더 넓은 데이터 풀($|S| = \gamma B$)을 탐색할 수 있습니다.
• 다양성 기반 필터링: 저자들은 고신뢰도 샘플링과 다양성 기반 접근 방식(특히 Farthest First 알고리즘)을 결합하는 것이 신뢰도 전용 베이스라인보다 모델 품질을 크게 향상시킨다는 것을 입증했습니다.
• 레이블 프리 효율성: 제안된 필터링 전략들은 정답(ground-truth) 라벨 없이 작동하므로, 수동 주석을 사용할 수 없는 비지도 또는 준지도 에지 학습 시나리오에 적합합니다.
• 확장성: 이 프레임워크는 모델 성능을 유지하거나 개선하면서 대역폭 및 학습 비용을 줄이도록 설계되어, 확장 가능한 에지 배포의 핵심 병목 현상을 해결합니다.

실험 결과
실험은 차량 순환을 포착하는 15대의 카메라 영상으로 구성된 WALT(Watch and Learn Time-lapse) 데이터셋을 사용하여 수행되었습니다. 설정에는 YOLO11 아키텍처가 사용되었으며, YOLO11n (3.2M 파라미터)이 학생 모델로, YOLO11x (68.2M 파라미터)가 교사 모델로 사용되었습니다.

• 베이스라인 대비 성능: Farthest First (FF) 전략이 가장 높은 성능을 보였습니다. FF는 전체 수집된 집합을 전송하는 필터링 없는 SBAD-$\gamma$ 베이스라인보다 8배 적은 이미지를 사용했음에도 불구하고, 대등한 mAP50−95 점수를 달성했습니다.
• 사전 학습된 모델과의 비교: FF 전략으로 학습된 학생 모델은 200회 반복(iteration) 시점부터 사전 학습된 YOLO11n 학생 모델의 성능을 넘어섰으며, 결국 3200회 반복 시점에서는 사전 학습된 YOLO11x 교사 모델의 성능까지 추월했습니다.
• 수익 체감 법칙: 후보 집합 크기 승수($\gamma$)를 1(탐색 없음)에서 2(중간 수준의 탐색)로 증가시키면 상당한 성능 향상이 나타났습니다. 그러나 $\gamma$를 12까지 더 높였을 때는 수익 체감 현상이 나타났으며, 이는 적절한 수집 집합 크기에서 최적의 트레이드오프가 존재함을 시사합니다.
• 효과적이지 않은 전략들: 본 특정 사례 연구에서 TFDP와 Moderate Coreset은 필터링 없는 베이스라인보다 낮은 성능을 보였으며, 이는 모든 프루닝(pruning) 전략이 보편적으로 효과적인 것은 아님을 나타냅니다.

의의 및 주장
본 논문은 D-SBAD가 최소한의 오버헤드로 임베딩 다양성을 극대화함으로써 에지 학습 시스템의 확장성을 높인다고 주장합니다. 저자들은 이 접근 방식이 최소한의 데이터 쿼리와 감소된 전송 비용으로 고품질 모델을 배포할 수 있게 해준다고 단언합니다. 또한 필터링 단계에서 에지 친화적인 비전 트랜스포머(ViT) 모델(예: DINOv2)이 생성한 컴팩트한 임베딩를 사용하는 것의 실용성을 강조합니다. 결론적으로, 고신뢰도 스트림 기반 전략을 다양성 기반 필터링 접근 방식과 결 결합하면 최소한의 데이터 쿼리로 고품질 모델을 생성할 수 있으며, 이는 테스트 시 레이블 없이도 진화하는 에지 환경에서 지속적인 적응을 위한 실행 가능한 솔루션을 제공합니다. 향-후 과제로 서버 의존성을 완전히 제거하기 위해 에지 장치에서 완전히 실행될 수 있는 경량 자기 지도 학습(self-supervised) 파이프라인을 조사할 것을 제안합니다.