💻 computer science

Securing Contrastive mmWave-based Human Activity Recognition against Adversarial Label Flipping

본 논문은 지도 대조 학습 기반 밀리미터파 인간 행동 인식에 대한 레이블 플리핑ing(label flipping) 포이즈닝 공격의 취약성에 관한 첫 번째 체계적인 연구를 제시하며, 세 가지 구체적인 공격 벡터를 식별하고 프로토타입 시스템에서 검증된 그에 상응하는 대응책을 제안한다.

원저자: Amit Singha, Ziqian Bi, Tao Li, Yimin Chen, Yanchao Zhang

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amit Singha, Ziqian Bi, Tao Li, Yimin Chen, Yanchao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 카메라 없이도 벽을 투과해 볼 수 있는 초능력을 가진 투명한 눈이 있다고 상상해 보세요. 이것은 마법이 아닙니다. 밀리미터파(mmWave) 레이더라고 불리는 기술입니다. 박쥐가 반향 정위(echolocation)를 사용하는 것과 비슷하지만, 소리 대신 고주파 무선 전파를 사용하여 사람 몸의 상세하고 움직이는 히트맵을 만들어냅니다. 당신이 손을 흔들면, 레이더는 그 파동의 모양과 속도를 포착합니다. 과학자들은 이를 이용해 '인간 행동 인식(Human Activity Recognition, HAR)' 시스템을 구축하는데, 이는 당신이 시계나 센서를 착용하지 않고도 문을 밀거나, 서랍을 당기거나, 몸을 돌리는 동작을 알아내는 디지털 탐정과 같습니다.

이 디지털 탐네들을 정말 똑똑하게 만들기 위해, 연구자들은 '지도 대조 학습(Supervised Contrastive Learning)'이라는 방법으로 그들을 가르칩니다. 이것은 마치 선생님이 학생에게 고양이 사진 두 장을 보여주며 "보렴, 이것들은 같은 종류의 동물이야"라고 말하고, 강아지 사진을 보여주며 "이것은 달라"라고 말하는 것과 같습니다. 목표는 컴퓨터가 모든 '미는(pushing)' 동작이 서로 유사하게 보이고, '당기는(pulling)' 동작과는 매우 다르게 보이도록 학습하는 것입니다. 하지만 여기 함정이 있습니다. 만약 누군가 몰래 선생님의 교실에 침입해 학습 플래시카드의 라벨을 바꿔치기한다면 어떻게 될까요? 만약 그들이 컴퓨터에게 '미는 동작'이 사실은 '당기는 동작'이라고 알려준다면 어떨까요? 이것이 바로 이 논문이 탐구하는 위험 요소인 '라벨 뒤집기(label flipping)' 공격입니다.

퍼듀 대학교의 연구진과 동료들은 이러한 mmWave 행동 탐지기가 이런 속임수에 얼마나 취약한지 조사하기로 했습니다. 그들은 여섯 가지 다른 손 동작(밀기, 당기기, 왼쪽으로 밀기, 오른쪽으로 밀기, 시계 방향 회전, 반시계 방향 회전)을 인식할 수 있는 프로토타입 시스템을 구축했습니다. 그리고 그들은 아주 까다로운 질문을 던졌습니다. 만약 공격자가 훈련 데이터의 라벨을 바꾼다면, 시스템은 얼마나 심하게 망가질 것인가?

그들은 시스템이 놀라울 정도로 취약하다는 것을 발견했습니다. 그들은 공격자가 상황을 망칠 수 있는 세 가지 구체적인 방법을 식별했습니다. 첫째, 공격자는 단순히 라벨을 무작위로 바꿔서 컴퓨터에게 '미는 동작'이 '미는 동작'이 아니라 '옆으로 미는 동작'이라고 말할 수 있습니다. 둘째, 완전히 다른 방향으로 움직이는 활동들 사이에서 라벨을 바꿀 수 있습니다(예: 밀기와 옆으로 밀기). 셋째, 가장 까다로운 것으로, '미는 동작'과 '당기는 동작'처럼 서로 매우 유사한 동작들 사이에서 라벨을 바꿀 수 있습니다. 이들은 같은 동작의 정반대 방향일 뿐입니다.

결과는 꽤 무서웠습니다. 연구진이 이러한 가짜 라벨을 도입했을 때, 시스템의 활동 구분 능력은 무너졌습니다. 실제로 그들이 사용했던 고급 학습 방법(지도 대조 학습)은 라벨이 오염되었을 때 표준 방식보다 더 빨리 망가졌습니다. 이것은 마치 고성능 스포츠카가 일반 세단보다 요철(pothole)에 더 취약하게 반응하는 것과 같습니다. 훈련 라벨의 40%가 뒤집혔을 때, 시스템은 거의 쓸모없게 되어 모든 손 동작을 뒤섞어 놓았고, 결국 '미는 것'과 '회전하는 것'조차 구분하지 못하게 되었습니다.

하지만 팀은 문제를 찾는 데서 멈추지 않고, 방패를 만들었습니다. 그들은 'Sel-CL(Selective Contrastive Learning, 선택적 대조 학습)'이라고 부르는 방어 메커니즘을 개발했습니다. 이것은 단서를 액면 그대로 받아들이지 않는 탐정과 같습니다. 대신, 이 탐정은 단서들을 살펴보고, 어떤 것들이 서로 가장 잘 어울리는지 찾아낸 뒤, 의심스러운 것들은 무시합니다. 그들의 시스템은 라벨이 붙기 전에, 먼저 어떤 데이터 포인트가 '확신(confident)'을 가지고 있는지(즉, 컴퓨터가 보고 있는 것에 대해 확신하는지)를 파악합니다. 이들은 노이즈가 섞인, 조작되었을 가능성이 높은 데이터를 걸러내고 깨끗하고 신뢰할 수 있는 예시로부터만 학습합니다.

이 방어책은 놀라울 정도로 효과적이었습니다. 훈련 데이터가 40%의 가짜 라벨로 오염되었을 때도, 새로운 시스템은 90% 이상의 정확도를 유지했습니다. 시스템은 혼란을 무시하고 '미는 동작'이 '미는 동작'임을 여전히 정확하게 식별해 냈습니다. 실제로 80%까지 오염된 데이터로 테스트했을 때도, 다른 시스템들이 완전히 포기하고 무작위로 추측하기 시작한 것과 달리 이 시스템은 더 나은 성능을 보였습니다.

이 논문은 mmWave 시스템이 강력하고 비침습적이지만, 처음부터 보안을 고려하여 구축되어야 한다고 결론짓습니다. 연구진은 우리가 훈련 중에 어떤 데이터를 신뢰할지에 대해 영리하게 대처함으로써, 이 보이지 않는 눈들이 라벨 뒤집기 공격에 속지 않도록 보호할 수 있다는 것을 보여주었습니다. 그들의 연구 결과는 이 접근 방식이 mmWave뿐만 아니라 다른 무선 감지 시스템에도 적용될 수 있음을 시사하며, 누군가 장난을 치려 해도 우리의 미래 스마트 홈과 보안 시스템이 신뢰성을 유지할 수 있도록 보장해 줄 것입니다.

기술 요약: 대조적 mmWave 기반 인간 행동 인식(HAR)의 적대적 레이블 플리핑 공격에 대한 보안 강화

문제 정의

밀리미터파(mmWave) 기술와 지도 대조 학습(Supervised Contrastive Learning, SCL)을 통해 강화된 무선 인간 행동 인식(HAR)은 의료, 감시 및 스마트 환경을 위한 비침습적 모니터링 역량을 제공합니다. 그러나 이러한 시스템은 레이블이 지정된 학습 데이터에 크게 의존하며, 이로 인해 **레이블 플리핑 포이즈닝 공격(label flipping poisoning attacks)**에 취약해집니다. 이러한 공격에서 공격자는 학습 샘플의 레이블을 조작하여 시스템 성능을 저하시킵니다.

레이블 플리핑 공격은 일반적인 머신러닝 분야에서는 잘 알려져 있지만, 기존 연구들은 무선 HAR 고유의 특성을 간과하는 경우가 많습니다. 구체적으로, 전통적인 공격 방식은 mmWave 데이터에 내재된 운동 궤적의 유사성(예: '밀기(push)'와 '당기기(pull)'는 유사한 앞뒤 움직임 궤적을 공유하지만 방향이 다른 점)을 고려하지 않습니다. 또한, 기존의 레이블 포이즈닝 방어 메커니즘은 방어를 위해 부트스트래핑할 수 있는 신뢰할 수 있는 깨끗한 학습 데이터셋이 존재한다는 가정을 전제로 하지만, 데이터 수집 및 레이블링이 외주화되거나 크라우드소싱되는 실제 배포 시나리오에서는 이러한 가정이 성립하지 않을 수 있습니다.

방법론

1. 시스템 프로토타입

저자들은 TI 1843 레이더를 사용하여 프로토타입 mmWave 기반 HAR 시스템을 구축했습니다. 이 시스템은 Raw 신호를 Range-FFT, Doppler-FFT, Angle-FFT를 통해 처리하여 동적 범위 각도 이미지(Dynamic Range Angle Image, DRAI) 시퀀스를 생성합니다.

아키텍처: 특징 추출 및 분류를 위해 하이브리드 CNN-LSTM 모델이 사용됩니다. CNN은 히트맵의 공간적 특징을 포착하고, LSTM은 시간적 특징을 추출합니다.
베이스라인: 표준 지도 학습(Supervised Learning, SL) 방식은 6가지 손 동작(Push, Pull, Slide Left, Slide Right, Clockwise Turning, Anticlockwise Turning)의 균형 잡힌 데이터셋에 대해 96.43%의 정확도를 달성합니다.
강화: 시스템은 **지도 대조 학습(SCL)**을 통해 강화됩니다. 이 2단계 과정은 먼저 SCL 손실 함수를 사용하여 양성 쌍(동일 클래스) 간의 거리는 최소화하고 음성 쌍(다른 클래스) 간의 거리는 최대화함으로써 강건한 표현(representation)을 학습한 후, 선형 분류기 미세 조정 단계를 거칩니다. SCL이 강화된 시스템은 정상 조건에서 97.92%의 정확도를 달성합니다.

2. 적대적 모델 및 공격

본 연구는 운동 궤적의 유사성을 악용하는 세 가지 새로운 레이블 플리핑 공격을 제안하며, 이는 운동 궤적과 관련하여 레이블을 조작하는 방식에 따라 다음과 같이 분류됩니다:

무작위 공격 (Random Attacks): 공격자가 레이벨을 임의의 클래스로 무작위로 뒤섞어, 유사하거나 이질적인 궤적을 가진 활동들을 혼합합니다.
궤적 간 공격 (Across Trajectory Attacks): 공격자가 특정 활동 클래스의 레이블을 서로 다른 운동 궤적을 가진 클래스로 변경합니다 (예: "Push" 레이블을 "Turn"으로 변경).
궤적 내부 공격 (Inner Trajectory Attacks): 공격자가 레이블을 유사한 운동 궤적을 공유하는 클래스로 변경합니다 (예: "Push"를 "Pull"로 변경). 이 공격은 근본적인 신호 패턴이 새로운 레이블과 일치하기 때문에 더 은밀하게 설계되었습니다.

이러한 공격들은 대칭적(두 클래스 간의 상호 레이블 교환) 및 비대칭적 형태로 모두 평가됩니다.

3. 방어 메커니즘: Sel-CL

저자들은 신뢰할 수 있는 데이터셋을 필요로 하지 않는 Sel-CL(Selection-based Contrastive Learning)이라는 방어 메커니즘을 제안합니다. 이 접근 방식은 다음을 포함합니다:

비지도 사전 학습 (Unsupervised Pre-training): 초기에는 잠재적으로 오염된 레이블에 의존하지 않고 표현을 학습하기 위해 비지도 대조 학습(Unsupervised Contrastive Learning, UCL)을 사용하여 모델을 학습시킵니다.
확신 사례 식별 (Confident Example Identification): UCL에서 학습된 표현을 사용하여, 시스템은 $K$ -최근접 이웃(여기서 $K=250$ )의 다수결에 기초하여 각 인스턴스의 의사 레이블(pseudo-label)을 계산합니다. 의사 레이블이 제공된 (잠재적으로 오염된) 레이블과 일치하는 인스턴스는 "확신 사례(confident examples)"로 간주됩니다.
확신 쌍 선택 (Confident Pair Selection): 시스템은 오직 이러한 확신 사례들로부터만 양성 쌍과 음성 쌍을 구성합니다.
강건한 학습 (Robust Training): 모델은 다음을 포함하는 복합 손실 함수를 사용하여 학습됩니다:
- 확신 쌍에 대한 지도 대조 손실 (Supervised Contrastive Loss).
- 확신 사례에 대한 교차 엔트로피 손실 (Cross-Entropy Loss).
- 샘플을 혼합하는 Mixup 증강.
- 분류기 예측을 바탕으로 표현을 정교화하는 유사도 손실 (Similarity Loss).
미세 조정 (Fine-Tuning): 마지막으로, 새로운 분류기 헤드를 추가하고 선택된 확신 사례들을 사용하여 강건한 손실 함수로 미세 조정을 수행합니다.

주요 결과

SCL의 취약성

실험 결과, SCL은 깨끗한 환경에서는 SL보다 우수한 성능(97.92% vs 96.43%)을 보이지만, 레이블 플리핑 공격에는 더 취약함을 보여줍니다.

무작위 공격 상황에서 20%의 오염된 레이블 비율을 적용했을 때, SL과 SCL 모두 정확도가 ~70%로 떨어집니다. 그러나 SCL의 성능은 오염 비율이 증가함에 따라 더 빠르게 붕괴됩니다.
궤적 내부 공격은 대조 학습 메커니즘이 유사한 인스턴스를 구별하는 데 의존하기 때문에 SCL에 특히 치명적입니다. 이는 궤적의 유사성이 대조 학습의 구별 능력을 혼란시키기 때문입니다.
40%의 오염 비율에서 SCL 기반 시스템은 서로 다른 활동의 특징 표현이 완전히 뒤섞여 거의 사용할 수 없는 수준이 됩니다.

Sel-CL의 효과성

제안된 Sel-CL 방어 기법은 공격 유형에 따라 성능 차이는 있으나 취약성을 크게 완화합니다:

무작위 공격에 대한 회복력: Sel-CL은 오염된 레이블이 최대 **40%**인 경우에도 90% 이상의 정확도를 유지합니다. SL과 SCL 모델에 큰 영향을 미치는 무작위 공격에 대해 Sel-CL은 매우 적은 영향을 받습니다.
고정 조작에 대한 취약성: Sel-CL은 무작위 공격에 대해서는 높은 정확도를 유지하지만, (고정된 레이블 조작 방식을 사용하는) Across 및 Inner Trajectory 공격에 의해 무작위 공격보다 더 큰 오차가 발생합니다. 그럼에도 불구하고 Sel-CL은 40%의 오염 비율에서도 모든 공격에 대해 90% 이상의 정확도를 유지합니다.
극한의 회복력: 오염된 레이블 비율이 **80%**에 도달하더라도, Sel-CL은 90% 이상의 정확도를 유지하는 반면, SL과 SCL은 무작위 추측 수준으로 성능이 저하됩니다.
깨끗한 상태의 성능: 공격이 없는 상태에서 Sel-CL은 **98.78%**의 정확도를 달성하여, 베이스라인 SL(96.43%)과 표준 SCL(97.92%)보다 뛰어난 성능을 보였습니다. 이는 선택 과정이 깨끗한 데이터에서도 저품질 샘플을 걸러낸다는 것을 나타냅니다.
특징 분리: 특징 표현 시각화를 통해, Sel-CL은 심한 오염 상황에서도 활동 클러스터를 뚜렷하게 유지하는 반면, SL과 SCL은 상당한 중첩을 보임을 확인했습니다.

의의 및 주장

본 논문은 mmWave 기반 HAR 시스템, 특히 지도 대조 학습(SCL) 맥락에서의 취약성을 체계적으로 연구한 최초의 연구라고 주장합니다.

주요 기여는 다음과 같습니다:

새로운 공격 벡터: 일반적인 머신러닝 보안 연구에서 간과되었던 무선 신호 데이터의 미묘한 특성을 타겟팅하는 궤적 기반 레이블 플이핑 공격(Random, Across, Inner)을 식별했습니다.
신뢰할 수 있는 데이터 없는 방어: 신뢰할 수 있는 학습 데이터셋(clean seed data)을 가정하지 않고 작동하는 방어 메커니즘(Sel-CL)을 개발하였으며, 이는 기존 연구들에 비해 중요한 실무적 진전입니다.
경험적 검증: 다양한 환경과 극단적인 각도(±45° 및 ±60°)에서 실제 mmWave 데이터를 사용하여 프로토타입 시스템에 대한 포괄적인 실험적 검증을 수행하였으며, 제안된 방어가 대칭 및 비대칭 공격 모두에 대해 강건함을 입증했습니다.

저자들은 SCL이 깨끗한 조건에서는 우수한 성능을 제공하지만, 설계 및 배포 단계에서 반드시 해결해야 할 특정 보안 취약성을 도입한다는 결론을 내립니다. 제시된 전략들은 Wi-Fi 및 음향 신호 기반의 다른 무선 HAR 시스템에도 확장 가능하도록 설계되었습니다.