Applicability of memorization indicators for early spotting of overfitting while recalibrating sEMG-decoders on low sample sizes

기술 요약: sEMG 디코더의 과적합 조기 발견을 위한 암기 지표(Memorization Indicators)의 적용 가능성

문제 정의
표면 근전도(sEMG)를 위한 딥러닝 모델은 연령, 성별, 전극 배치와 같은 개별적 변수를 고려하기 위해 피험자별 재보정(recalibration) 과정을 필요로 한다. 그러나 실제적인 제약으로 인해 사용자가 보정 과정 중에 수행할 수 있는 움직임 반복 횟수는 제한되며, 이는 저샘플 환경(low-sample regime)을 만든다. 이러한 설정에서는 검증 세트(validation set)를 기반으로 한 조기 종료(early stopping)와 같은 표준 과적합 완화 기술을 적용하기 어려운 경우가 많은데, 이는 추가적인 홀드아웃(held-out) 데이터를 확보하는 것이 보정 과정을 연장하거나 불가능하기 때문이다. 결과적으로, 제한된 데이터로 사전 학습된 디코더를 미세 조정(fine-tuning)할 때 과적합이 발생하여 미보정 모델보다 성능이 저하될 위험이 있다. 본 논문은 추가적인 검증 샘플 없이 기존의 훈련 데이터만을 사용하여 학습 실패 또는 과적합을 감지할 수 있는 지표의 필요성을 다룬다.

연구 방법론
저자들은 NinaPro Database 2(49개 동작 클래스, 12개 채널)를 사용하여 전이 학습 실험을 수행하였다. 실험 설계는 두 단계로 구성된다:

1. 사전 학습(Pre-training): 소형 1D 합성곱 신경망(1D CNN)이 20명의 피험자 데이터를 통해 사전 학습되었다. 아키텍처는 세 개의 1D-CNN 블록과 세 개의 완전 연결(fully connected) ReLU 레이어로 구성되었으며, 에지 하드웨어 추론가 가능한 가벼운 구조로 설계되었다.
2. 미세 조정(Fine-tuning, 보정): 사전 학습된 모델은 10명의 새로운 피험자(21~30번) 데이터를 사용하여 미세 조정되었다. 저샘플 조건을 시뮬레이션하기 위해, 모델은 피험자당 1회에서 4회의 반복 횟수로 훈련되었다. 두 가지 미세 조정 전략을 비교하였다:
   • 부분 재학습(Partial Retraining): 마지막 두 개의 완전 연결 레이어만 해제(unfrozen)하였다.
   • 전체 재학습(Full Retraining): 모든 모델 파라미터를 재학습하였다(과적합에 더 취약할 것으로 가정됨).

암기 지표(Memorization Indicators)
연구진은 검증 손실(validation loss)을 모니터링하는 대신, 마지막 은닉층(256개 뉴런)의 ReLU 활성화 통계량을 오직 훈련 데이터만을 사용하여 추적하였다. 주요 지표는 뉴런의 출력이 0보다 큰 샘플의 비율로 계산되는 **평균 활성화율(Mean Activation Rate, MAR)**이다. 또한 25, 50(중앙값), 75 백분위수 및 변동 계수를 포함한 추가적인 분포 지표를 도입하였다. 이 지표들은 미세 조정 중 각 에포크(epoch)의 첫 번째 배치(64개 샘플)에서 계산되었다.

주요 결과

• 베이스라인 성능: 사전 학습된 모델은 사전 학습 대상 피험자들에 대해 0.34의 테스트 정확도를 달성했으나, 미학습 피험자들에게는 0.065로 떨어졌으며, 이는 재보정의 필요성을 확인시켜 주었다.
• 학습 결과의 차별화: 연구는 성공적인 미세 조정과 실패한 미세 조정 사이의 명확한 활성화 행동 차이를 관찰하였다:
  • 성공적인 보정: 테스트 정확도가 향상된 모델(일반적으로 마지막 레이어만 해제된 경우)은 초기 에포크 동안 MAR이 약간 양의 방향으로 변화하거나 안정적인 모습을 보였다.
  • 실패한 보정(과적합): 일반화에 실패하거나 성능이 저하된 모델(일반적으로 모든 레이어를 재학습한 경우)은 유의미하고 지속적인 MAR의 감소를 보였다.
• 상관관계: 미세 조정 중 테스트 정확도의 하락이 마지막 은닉층의 활성화율 감소와 동반된다는 강력한 질적 관계가 발견되었다. 이러한 경향은 5 에포크만큼 이른 시점에서도 관찰되었다.
• 분포 지표: MAR이 명확한 구분을 제공하는 동안, 변동 계수와 분위수 분포는 추가적인 통찰을 제공했다. 과적합 시나리오에서는 변동 계수가 증가한 반면, 성공적인 모델에서는 일반화 격차가 벌어짐에 따라 초기에 감소했다가 다시 상승하는 모습을 보였다.

의의 및 주장
본 논문은 활성화 기반 암기 지표가 저샘플 sEMG 보정 환경에서 과적합을 조기에 발견할 수 있는 신뢰할 수 있는 도구로서 기능할 수 있다는 첫 번째 경험적 증거를 제공한다고 주장한다. 이 지표들의 주요 의의는 다음과 같다:

1. 검증 데이터가 불필요함: 훈련 데이터만으로 계산되므로, 추가적인 반복 수행을 획득하는 것이 비실용적인 시나리오에 이상적이다.
2. 조기 탐지 가능: 활성화율의 변화는 성능 저하보다 앞서거나 동시에 발생하므로, 조기 종료 또는 개입을 가능하게 한다.
3. 경량성: 계산 비용이 매우 적어 에지 장치에서의 실시간 모니터링에 적합하다.

저자들은 MAR의 절대적인 척도가 데이터셋의 특성(예: 클래스 수, 기록 설정) 및 아키텍처에 따라 달라질 수 있음을 언급하며, 자신의 결과에 대해 신중한 어조를 유지하였다. 따라서 보편적인 임계값을 제안하기보다는, 이 통계량들을 실험 내의 상대적인 지표로서 사용하는 것의 타당성을 입증하는 데 집중하였다. 본 연구는 현재의 결과가 컴팩트한 아키텍처에 대해 유망함을 보여주지만, 표준화된 참조 범위를 확립하기 위해서는 더 크고 깊은 네트워크 및 다양한 데이터셋에 걸쳐 이 지표들을 검증하기 위한 후속 연구가 필요함을 시사한다.