Generative versus Discriminative Approaches for Class-Incremental Learning of EMG Signals: Effectiveness of Scale Mixture Modeling

기술 요약: EMG 신호의 클래스 점진적 학습을 위한 생성적 대 판별적 접근 방식

문제 정의
근전도(EMG) 기반 동작 인식 시스템은 실제 배포 시 중요한 한계에 직면합니다. 사용자에게 필요한 모든 동작 클래스를 사전에 정의하는 것은 불가능하기 때문입니다. 따라서 시스템은 운영 중에 새로운 동작 클래스를 순차적으로 추가하면서도 이전에 학습한 클래스를 인식하는 능력을 유지하는 **클래스 점진적 학습(class-incremental learning)**을 지원해야 합니다. 이 패러다임은 두 가지 주요 과제를 야기합니다:

1. 파괴적 망각(Catastrophic Forgetting): 새로운 클래스의 데이터를 학습할 때 기존에 습득한 지식이 덮어씌워져, 이전 클래스들에 대한 정확도가 크게 저하되는 현상입니다.
2. 메모리 비용(Memory Cost): 망각을 방지하기 위한 대책인 데이터 리플레이(data replay) 등은 과거의 훈련 데이터를 저장해야 하므로 메모리 사용량을 증가시킵니다. 이는 계산 및 저장 자원이 제한된 엣지 디바이스(edge devices) 환경에서 특히 문제가 됩니다.

딥러닝 기반의 판별 모델(discriminative models)은 특징 추출에 널리 사용되지만, 일반적으로 새로운 클래스를 학습할 때 공유된 특징 공간(shared feature space)을 업데이트하며, 이 과정에서 이전에 학습된 클래스의 표현(representation)을 훼손합니다. 반면, 생성 모델(generative models)은 클래스 독립적인 파라미터를 사용하여 클래스 조건부 분포를 추정하며, 이론적으로 점진적 학습에 있어 구조적 이점을 제공하지만, EMG 영역에서의 효과는 아직 충분히 탐구되지 않았습니다.

연구 방법론
저자들은 4개의 다양한 EMG 데이터셋(6개에서 16개의 동작 클래스 범위)에 대해 8가지 클래스 점진적 학습 방법을 체계적으로 비교 평가하였습니다. 방법론은 생성적 접근 방식과 판별적 접근 방식을 모두 포함하며, 딥러닝 및 비-딥러닝 기법을 아우릅니다:

• 생성 모델 (Generative Models):
  • 스케일 혼합 분류 모델 (SMCM): 저자들이 제안한 모델로, 스케일 혼합 분포(가우시안보다 꼬리가 두꺼운 분포)를 사용하여 EMG 신호의 변동성을 포착하고, 각 클래스를 완전히 독립적인 파라미터로 모델링합니다. 지식은 파라미터의 사후 분포(posterior distributions)로 압축되어 과거 데이터를 저장할 필요가 없습니다.
  • 스트리밍 선형 판별 분석 (SLDA): 모든 클래스에 대해 공유 코베리언스 행렬(공분산 행렬)을 사용하는 가우시안 분포 기반의 확률 모델입니다.
• 판별 모델 (Discriminative Models):
  • 점진적 서포트 벡터 머신 (ISVM): 망각을 억제하기 위해 서포트 벡터를 유지하는 비-딥러닝 방식입니다.
  • 딥러닝 방법론: 세 가지 카테고리의 대표적인 접근 방식들:
    • 정규화(Regularization): 망각 없는 학습(Learning without Forgetting, LwF).
    • 구조적(Architectural): 재초기화 결합 가중치 복사(Copy Weights with Re-init+, CWR+).
    • 리플레이(Replay): 경험 리플레이(Experience Replay, ER), 평균 그래디언트 에피소딕 메모리(Average Gradient Episodic Memory, AGEM), 딥 생성 리플레이(Deep Generative Replay, DGR).
• 베이스라인 (Baselines): JOINT (모든 데이터로 훈련, 상한선), NONE (새로운 데이터로만 미세 조정, 하한선).

평가 프로토콜
본 연구는 4개의 데이터셋에 대해 'leave-one-trial-out' 교차 검증을 활용하였습니다. 태스크는 매 태스크마다 2개의 클래스를 점진적으로 추가하는 방식으로 정의되었습니다. 성능은 다음 지표를 통해 측정되었습니다:

1. 분류 정확도 (Classification Accuracy): 각 태스크 완료 후 모든 학습된 클래스에 대한 평균 정확도.
2. 역방향 전이 (Backward Transfer, BWT): 파괴적 망각을 정량화하는 지표 (음수 값은 망각을 의미).
3. 메모리 비용 (Memory Cost): 총 저장 용량 (모델 파라미터 + 유지되는 데이터 버퍼 합계) 단위 바이트(bytes).

주요 결과

• 생성적 vs. 판별적: 생성 모델(SMCM 및 SLDA)은 우수한 안정성을 보였습니다. 태스크 수가 증가함에 따라 딥러닝 기반 방법들(LwF, CWR+, DGR, AGEM)은 상당한 정확도 저하와 심각한 음수 BWT 값을 나타냈으며, 이는 "NONE" 베이스라인과 유사한 수준이었습니다.
• SMCM 성능: SMCM은 가장 유리한 트레이드오프를 달려냈습니다. 모든 데이터셋에서 안정적인 높은 정확도를 유지하였으며(예: 데이터셋 I에서 94.84%, 데이터셋 IV에서 68.51%), 메모리 비용은 최소 수준이었습니다. SMCM은 SLDA보다 뛰어난 성능을 보였는데, 특히 클래스 수가 많은 데이터셋(데이터셋 IV)에서 SLDA의 공유 코베리언스 행렬로 인해 발생하는 정확도 저하 문제를 극복했습니다.
• 메모리 효율성: 지식을 파라미터로 압축하는 방식(SMCM, SLDA)은 데이터 유지를 필요로 하는 리플레이 기반 방식(ER)이나 서포트 벡터를 유지하는 방식(ISVM)보다 훨씬 적은 메모리를 요구했습니다. ER은 SMCM과 유사한 정확도를 달성했으나, 데이터 보유로 인해 훨씬 높은 메모리 비용이 발생했습니다.
• 망각 억제: SMCM과 SLDA는 0에 가까운 BWT 값(예: -0.033 ~ -0.082)을 보여 과거 지식의 안정적인 유지를 입증했습니다. 반면, 데이터 리플레이가 없는 딥러닝 방법들은 BWT 값이 -0.937까지 떨어졌습니다.

의의 및 주장
본 논문은 특히 메모리가 제한된 엣지 디바이스 환경에서의 EMG 기반 클래스 점진적 학습을 위해, 클래스 독립적 파라미터를 가진 생성 모델이 판별적 접근 방식보다 체계적인 이점을 제공한다고 주장합니다.

구체적으로, 본 연구는 다음을 강조합니다:

1. 구조적 이점: 생성 모델 내 클래스 파라미터의 독립성은 새로운 클래스가 추가될 때 기존 클래스의 표현이 훼손되는 것을 방지하여, 데이터 리플레이 없이도 파괴적 망각을 효과적으로 억제합니다.
2. 스케일 혼합 모델링의 우수성: 제안된 SMCM은 스케일 혼합 분포를 통해 표준 가우시안 기반 생성 모델(SLDA)보다 우수한 성능을 보입니다. 이는 더 두꺼운 꼬리를 가진 표현을 제공함으로써 신호의 변동성을 더 잘 처리하고 클래스 간 변별력을 높이며, 특히 클래스 수가 증가할 때 그 효과가 두드으로 나타납니다.
3. 실용적 설계 통찰: 엣지 배포를 위해서는 일반적인 딥러닝 기반 망각 방지 대책을 적용하는 것보다, 신호 특성에 맞춘 생성 모델을 설계하는 것이 더 효과적임을 시사합니다. SMCM은 높은 분류 정확도, 효과적인 망각 억제, 낮은 메모리 점유율 사이에서 최적의 균형을 달야 최적의 솔루션으로 식별되었습니다.

저자들은 평가의 오프라인 특성(추론 시간 및 전력 소모 분석 제외)과 고정된 태스크 크기 및 클래스 순서 사용을 한계점으로 언급하며, 향후 실제 엣지 디바이스에서의 온라인 평가가 필요함을 시사하였습니다.