⚡ electrical engineering

Auto-Augmentation Contrastive Learning for Wearable-based Human Activity Recognition

이 논문은 생성기를 내장한 시암 네트워크(Siamese network)와 특화된 학습 전략을 활용하여 최적의 데이터 증강을 자동으로 학습함으로써, 수동적인 증강 설계에 의존하지 않고 웨어러블 기반 인간 활동 인식 정확도를 크게 향상시키는 엔드 투 엔드 자동 증강 대조 학습 프레임워크인 AutoCL을 제안한다.

원저자: Qingyu Wu, Jianfei Shen, Feiyi Fan, Yang Gu, Chenyang Xu, Yiqiang Chen

게시일 2026-02-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qingyu Wu, Jianfei Shen, Feiyi Fan, Yang Gu, Chenyang Xu, Yiqiang Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 스마트워치나 피트니스 트래커의 데이터만을 사용하여 인간의 활동(예: 걷기, 달리기, 계단 오르기 등)을 인식하도록 로봇을 가르치려 한다고 상상해 보세요. 이것을 **인간 활동 인식(Human Activity Recognition, HAR)**이라고 부릅니다.

문제는 이 시계에서 나오는 데이터가 "노이즈(잡음)"가 많고, 명확한 사진이나 단어가 붙어 있지 않다는 점입니다. 그저 가공되지 않은 숫자들의 나열일 뿐이죠. 로봇을 가르치기 위해, 우리는 보통 수천 시간의 데이터에 일일이 라벨을 붙이는 작업("이것은 걷기이다", "이것은 앉아 있기이다")을 수행하는 사람을 필요로 합니다. 이는 매우 느리고, 비용이 많이 들며, 지루한 일입니다.

이를 해결하기 위해 연구자들은 **대조 학습(Contrastive Learning)**이라는 기법을 사용합니다. 이것은 "차이점 찾기" 게임과 같습니다. 당신은 로봇에게 동일한 활동의 약간 다른 두 가지 버전(예: 약간의 정적 노이즈가 추가된 걷기 신호와 원래의 걷기 신호)을 보여줍니다. 로봇의 임무는 "헤이, 이것들은 같은 활동이야!"라고 깨닫고, 무엇이 그것들을 비슷하게 만드는지 배우는 것입니다.

과거의 문제: "수동 증강(Manual Augmentation)"의 병목 현상

과거에는 이 게임을 위한 "다른 버전"을 만들기 위해, 인간이 데이터를 어떻게 망가뜨릴지 직접 결정해야 했습니다. 사람들은 "여기에 노이즈를 좀 더하자"라거나 "신호를 뒤집자"라고 말해야 했습니다.

하지만 여기 함정이 있습니다. 한 활동에 효과적인 방법이 다른 활동에는 망칠 수도 있다는 것입니다. 스테이크와 샐트에 똑같은 향신료를 쓰지 않는 것과 마찬가지로, 달리기 신호를 가장 잘 '망가뜨리는' 방법은 수면 신호를 망가뜨리는 방법과 다릅니다. 인간은 새로운 데이터셋이 나올 때마다 다양한 조합을 추측하고 테스트해야 했으며, 이는 엄청난 부담이었고 모든 상황에서 잘 작동하지도 않았습니다.

새로운 솔루션: AutoCL (스스로 배우는 요리사)

이 논문은 AutoCL(Auto-Augmentation Contrastive Learning)이라는 새로운 방법을 소개합니다. 인간 요리사가 어떤 향신료를 넣을지 추측하는 대신, AutoCL은 데이터 자체를 어떻게 "양념"할지 스스로 배우는 스스로 배우는 요리사와 같습니다.

작동 방식은 다음과 같습니다.

스마트 생성기 (요리사):
시스템은 로봇에게 가공되지 않은 지저진 센서 데이터를 그대로 주는 대신, 먼저 데이터의 "본질" 또는 "풍미"(이를 **특징 임베딩(feature embeddings)**이라 부릅니다)를 살펴봅니다. 배경 소음은 무시하고 핵심 패턴에 집중합니다.

비유: 당신이 노래를 인식하려고 노력한다고 가정해 봅시다. 노이즈가 섞인 전체 녹음본을 듣는 대신, 먼저 메인 멜로디를 흥얼거립니다. "요리사"(특별한 AI 부분)는 그 멜로디를 보고 "좋아, 이 노래의 좋은 연습 버전을 만들려면 속도를 조금 높이거나, 리듬을 반대로 바꿔야겠어"라고 결정합니다. 그리고 자동으로 새로운 버전을 만들어냅니다.

샴 쌍둥이 (쌍둥이들):
시스템은 "샴 네트워크(Siamese Network)"를 사용하는데, 이는 마치 똑같이 생긴 쌍둥이가 있는 것과 같습니다.

쌍둥이 A는 원래의 활동을 봅니다.
쌍둥이 B는 "요리사"가 새로 만든 자동 생성 버전을 봅니다.
시스템은 쌍둥이들이 서로 같은 활동을 보고 있다는 것에 동의하도록 강제합니다. 만약 그들이 동의한다면, 시스템은 학습합니다.

"스톱 그래디언트(Stop-Gradient)" 기술 (안대):
가장 큰 위험 중 하나는 "요리사"가 게을러져서 원래의 노래를 똑같이 복사해 버리는 것입니다. 만약 새 버전이 기존 버전과 완전히 동일하다면, 쌍둥이들은 아무것도 새로 배울 수 없습니다.

이를 막기 위해 연구자들은 스톱 그래디언트(Stop-Gradient) 설계를 사용합니다. 이는 학습 과정 중에 한쪽 쌍둥이에게 안대를 씌우는 것과 같습니다. "요리사"는 새로운 버전을 만드는 동안 원래 데이터의 정확한 세부 사항을 볼 수 없으며, 이전에 배웠던 "본질"에만 의존해야 합니다. 이는 시스템이 단순히 노이즈를 암기하는 것이 아니라, 활동의 진정한 의미를 배우도록 강제합니다.

"상관관계 감소" (다양성 클럽):
시스템에는 또 다른 규칙이 있습니다: "새로운 버전을 너무 기존 것과 비슷하게 만들지 마라." 시스템은 두 버전이 서로 도전이 될 만큼 충분히 다르면서도, 동시에 같은 활동으로서 충분히 유사하도록 능동적으로 노력합니다. 이는 로봇이 운 좋게 맞히는 것이 아니라, 견고한 특징을 배우도록 보장합니다.

결과: 이것이 왜 중요한가

연구자들은 이 "스스로 배우는 요리사"를 네 가지 실제 세계 데이터셋(PAMAP2 및 UCIHAR 등)에 대해 테스트했습니다.

기존 방식: 인간이 다양한 수동 기법(노이즈, 뒤집기, 스케일링)의 조합을 시도하며 무엇이 효과적인지 확인해야 했습니다. 때로는 작동했고, 때로는 그렇지 않았습니다.
AutoCL 방식: 시스템은 인간의 도움 없이 스스로 데이터를 어떻게 "망가뜨릴지" 최적의 방법을 찾아냈습니다.

결과: AutoCL은 거의 모든 테스트에서 기존의 가장 뛰어난 방법들을 이겼습니다. 특히 시작할 때 라벨링 된 데이터가 매우 적었음에도 불구하고, 활동을 훨씬 더 정확하게 인식했습니다.

핵심 요약

이 논문은 우리가 더 이상 센서 데이터를 어떻게 조정할지 인간이 직접 추측할 필요가 없음을 보여줍니다. AI가 데이터 자체의 패턴을 바탕으로 스스로 훈련 예제를 만드는 법을 배우게 함으로써, 우리는 더 적은 인간의 노력으로 더 잘 작동하고 더 유연한 활동 인식기를 구축할 수 있습니다. 이것은 교과서를 암기하는 학생에서, 스스로 교과서를 쓰는 법을 배우는 학생으로 진화하는 것과 같습니다.

기술 요약: 웨어러블 기반 인간 행동 인식을 위한 자동 증강 대조 학습 (Auto-Augmentation Contrastive Learning)

문제 정의

웨어러블 센서(예: IMU)를 이용한 인간 행동 인식(HAR)은 전통적으로 지도 학습(Supervised Learning)에 의존해 왔으나, 이는 수동 주석(Annotation) 작업에 과도한 부담을 주며 새로운 태스크, 센서 유형 또는 위치에 적용될 때 견고성이 부족하다는 단점이 있다. 자기 지도 학습(Self-supervised Learning, SSL), 특히 대조 학습(Contrastive Learning, CL)은 레이블 없이 표현(Representation)을 학습할 수 있는 고성능의 대안으로 부상했다. 그러나 현재의 CL 방식은 양의 샘플 쌍(Positive Sample Pairs)을 구성하기 위해 **수동 데이터 증강 전략(Manual Data Augmentation Strategies)**에 크게 의존한다는 결정적인 병목 현상에 직면해 있다.

웨어러블 HAR의 맥락에서 센서 신호는 이미지에 비해 **낮은 의미 정보(Low Semantic Information)**를 갖는다. 따라서 효과적인 증강 전략(예: Jittering, Scaling, Permutation)을 선택하는 것은 직관적이지 않으며 매우 태스크 의존적이다. 최적의 전략은 센서의 개수, 샘속도(Sampling Rates), 모달리티(Modalities)에 따라 달라지기 때문에, 기존의 CL 방법론들은 일반화 능력과 유연성이 부족하다. 저의미(Low-semantic) 센서 데이터를 위해 설계된 증강 전략을 수동으로 설계해야 하는 부담을 제거할 수 있는 엔드 투 엔드(End-to-end) 방식이 필요하다.

방법론: AutoCL

저자들은 웨어러블 기반 HAR을 위해 특별히 설계된 엔드 투 엔드 자동 증강 대조 학습 프레임워크인 AutoCL을 제안한다. 핵심 혁신은 사전에 정의된 수동 변환에 의존하는 대신, 데이터로부터 직접 증강된 뷰(Augmented Views)를 생성하도록 학습되는 네트워크 내의 생성기(Generator)이다.

아키텍처

AutoCL은 공유된 백본(Backbone)과 내장된 생성기를 갖춘 샴 네트워크(Siamese Network) 구조를 활용한다:

인코더( $f_\theta$ ) 및 프로젝터( $p_\theta$ ): 3개 층의 완전 합성곱 네트워크(Fully Convolutional Network, FCN)가 백본 역할을 하여 원시 센서 시계열 데이터로부터 특징 임베딩(Feature Embeddings)을 추출한다. 다층 퍼셉트론(MLP)은 이 임베딩을 잠재 공간(Latent Space)으로 투영한다.
생성기( $g_\xi$ ): 표준 CL에서 증강이 원시 입력(Raw Inputs)에 적용되는 것과 달리, AutoCL의 생성기는 백본으로부터 추출된 **특징 임베딩( $y_\theta$ )**을 입력으로 받는다. 이러한 설계 선택은 원시 센서 신호에 내재된 노이즈와 중복된 정보의 영향을 줄이기 위함이다. 생성기는 3개 층의 양방향 GRU(Bidirectional Gated Recurrent Unit, BiGRU)와 이어서 1-D 그룹 합성곱 층(Group Convolutional Layer)을 사용하여 자동 증강된 샘플( $x'_{\theta, \xi}$ )을 생성한다.
학습 목적 함수: 모델은 NT-Xent 손실 함수를 사용하여 원본 샘플의 투영과 자동 증강된 샘플의 투영 사이의 쌍별 일치성(Pairwise Agreement)을 최대화한다.

주요 기술 전략

생성기가 (대조 학습의 난이도를 낮추는) 항등 매핑(Identity Mapping)으로 수렴하여 붕괴되는 것을 방방지하고 의미 있는 증강을 학습하도록 하기 위해, 저자들은 두 가지 특정 메커니즘을 도입한다:

상관관계 감소(Correlation Reduction): 원본 샘플과 증강된 샘플 사이의 다양성을 최대화하기 위해 손실 함수에 규제 항(Regularization Term)이 추가된다. 이는 생성기가 단순히 입력을 복사(오토인코더 근사)하는 것을 방지하고, 구별되면서도 의미론적으로 일관된 변형을 학습하도록 유도한다.
스톱 그레이디언트(Stop-Gradient): 생성기의 업데이트 과정에서 원본 샘플의 투영( $y_\theta$ )에 스톱 그레이디언트 연산이 적용된다. 이는 생성기가 역전파 루프를 통해 인코더의 학습 역학을 불안정하게 만들지 않으면서, 현재의 특징 표현을 바탕으로 증강을 학습하도록 보장한다.

주요 기여

웨어러블 HAR을 위한 최초의 엔드 투 엔드 자동 증강: 본 논문은 수동 증강 전략을 구축할 필요 없이 웨어러블 센서 신호를 위한 엔드 투 엔드 자동 증강 대조 학습을 수행한 첫 번째 연구를 제시한다.
새로운 아키텍처 설계: 저자들은 원시 데이터가 아닌 **잠재 특징 임베딩(Latent Feature Embeddings)**으로부터 자동 증강을 학습하는 생성기를 갖춘 프레임워크를 설계하였다. 이 접근 방식은 노이즈와 중복성을 필터링하기 때문에 원시 신호에서 직접 증강을 생성하는 것보다 우수함을 경험적으로 입증하였다.
강화된 표현 학습: 오버피팅을 방지하고 대조 태스크가 계속 도전적으로 유지되도록 하기 위해 스톱 그레이디언트(Stop-Gradient) 및 상관관계 감소(Correlation Reduction) 전략의 통합을 제안하였다.
데이터 기반 유연성: 모델이 학습한 데이터 기반 증강 연산의 공간이 인간이 지정한 전략보다 훨씬 광범위하며, 다양한 HAR 시나리오에 대해 더 나은 적응성을 제공함을 입증하였다.

실험 결과

AutoCL 방법은 네 가지 널리 사용되는 HAR 데이터셋인 PAMAP2, UCIHAR, UTD-MHAD, DSADS에서 평가되었다. 평가는 표준 SSL 프로토콜을 따랐다: 레이블이 없는 데이터로 사전 학습(Pre-training)을 수행한 후, 소량의 레이블 데이터(20%)로 퓨샷 분류(Few-shot Classification, Fine-tuning)를 수행하였다.

성능: AutoCL은 네 가지 데이터셋 모두에서 최첨단(SOTA) 성능을 달과 달 성하였으며, 다양한 수동 증강 전략(Jittering, Scaling, Permutation)의 조합에 의존하는 기존 CL 베이스라인(SimCLR, SimSiam, BYOL, NNCLR)을 크게 앞질렀다.
- 예시: DSADS 데이터셋에서 AutoCL은 **96.05%**의 정확도를 달성하여, 최상의 수동 증강 베이스라인(S+J를 적용한 BYOL)이 기록한 95.77%를 넘어섰다.
절제 연구(Ablation Studies): 스톱 그레이디언트(SG) 또는 상관관계 감소(CR) 전략을 제거했을 때 성능 저하가 발생하였으며, 이는 자동 증강 과정의 안정성과 효과를 위한 이들의 필요성을 확인시켜 준다.
아키텍처 경험적 연구: 특징 임베딩을 기반으로 하는 AutoCL과 원시 데이터로부터 증강을 생성하는 변형 모델(AutoCL-D)을 비교했을 때, 임베딩 기반 접근 방식(AutoCL-E)이 노이즈가 많거나 연속적인 활동 변화가 있는 데이터셋에서 일관되게 더 나은 결과를 보여주었다.
시각화: 학습된 표현에 대한 t-SNE 시각화 결과, AutoCL은 베이스라인에 비해 더 뚜렷하고 잘 분리된 클러스터를 생성함을 보여주었다. 또한, 생성된 샘플을 시각화한 결과, 모델이 단순한 인간 정의 규칙을 넘어 다양한 연산(Scaling, Reversing, Cropping)을 학습했음을 밝혔다.

의의 및 주장

본 논문은 웨어러블 HAR에 대조 학습을 적용할 때 발생하는 근본적인 한계인 수동적이고 일반화되지 않는 증강 전략에 대한 의존성을 AutoCL이 해결한다고 주장한다. 잠재 공간에서 작동하는 학습 가능한 데이터 기반 구성 요소로 증강 과정을 전환함으로써, 이 방법은 다음과 같은 효과를 거둔다:

저의미 센서 데이터를 위한 증강 파이프라인 설계의 수동 부담을 줄인다.
센서 노이즈를 완화함으로써 특징 표현을 기반으로 증강을 학습하여 견고성을 향상시킨다.
학습된 증강 전략이 인간의 개입 없이 데이터셋의 특성에 적응하므로 우수한 일반화 능력을 입증한다.

저자들은 저의미(Low-semantic) 데이터의 경우, 데이터 기반의 자동 증강 접근 방식이 수동으로 구현된 전략보다 의미론적 일관성과 성능 측면에서 더 큰 잠재력을 가진다고 결론지으며, 이는 웨어러블 컴퓨팅을 위한 미래의 범용 모델에 있어 유망한 방향임을 시사한다.