Impact Analysis of Speech Representation Learning Models for Acoustic Side-Channel Attack

기술 요약: 음성 표현 학습 모델의 음향 측면 채널 공격에 대한 영향 분석

문제 정의
키보드에 대한 음향 측면 채널 공격(ASCA)은 키 입력의 독특한 음향적 특징을 이용해 타이핑된 문자를 추론하며, 이는 공공 환경이나 온라인 회의 중 사용자의 프라이버시에 심각한 위협이 된다. ASCA는 이전에 연구된 바 있으나, 기존 연구들은 몇 가지 한계점에 의해 제약을 받는다: 오래된 하드웨어 또는 소규모 데이터셋에 대한 의존성, 기본적인 키보드 일반화에 국한된 평가, 그리고 수작업으로 추출된 특징(handcrafted features)이나 고전적인 머신러닝 모델에 대한 의존성이다. 결정적으로, Voice-over-IP(VoIP) 코덱 왜곡 하에서의 체계적인 평가를 가능하게 하는 공개 데이터셋이 부족하며, 현대적인 음성 사전 학습 모델(PTM)이 ASCA를 위한 강건한 표현을 제공하는 데 있어 갖는 효용성은 아직 탐구되지 않았다. 또한, 기존의 다운스트림 적응 레이어(예: Fully Connected Networks 또는 Convolutional Neural Networks)는 코덱 압축에 의해 음향 표현이 변형될 때 요구되는 복잡한 비선형 특징 상호작용을 부적절하게 모델링할 수 있다.

방법론
이러한 격차를 해소하기 위해, 저자들은 현실적인 녹음 및 전송 조건 하에서 키스트로크 음향 표현을 분석하도록 설계된 새로운 데이터셋인 KEYAC를 소개한다. KEYAC는 세 가지 서로 다른 채널(로컬 노트북 마이크, 스마트폰(근접 영역), 실시간 VoIP 스트리밍 파이프라인(예: Zoom, Teams))을 통해 37개의 키보드에서 캡처된 37,440개의 충격적 음향 이벤트(키스트로크)로 구성된다. 이러한 설계는 교차 장치 가변성(cross-device variability)과 VoIP 유도 표현 드리프트(representation drift) 연구를 용이하게 한다.

본 연구는 여섯 가지 음성 표현 학습 모델을 평가한다:

1. 자기 지도 학습 모델: Wav2Vec2, HuBERT, WavLM, XLS-R.
2. 지도 학습 모델: X-Vectors 및 OpenAI Whisper (인코더 전용).

저자들은 두 가지 주요 설정 하에서 이 모델들을 평가한다: 제로샷 추론(zero-shot inference) 및 부분 미세 조정(backbone을 동결한 상태). 또한 세 가지 다운스트림 적응 전략을 비교한다:

• Fully Connected Network (FCN): 90개의 은닉 뉴런을 가진 밀집 레이어.
• Convolutional Neural Network (CNN): 커널 크기 3과 맥스 풀링(max-pooling)을 가진 두 개의 컨볼루션 블록.
• Kolmogorov–Arnold Network (KAN): 고정된 선형 가중치를 대신하여, 분산된 음향 표현 내의 복잡한 비선형 특징 상호작용을 명시적으로 모델링하기 위해 학습 가능한 단변량 스플라인 함수(univariate spline functions)를 사용하는 제안된 전략.

실험은 세 가지 일반화 시나리오 하에서 수행된다:

1. 키보드 일반화 (표준): 표준 녹음 데이터에 대한 교차 키보드 평가.
2. 키보드 일반화 (VoIP): VoIP로 스트리밍된 오디오에 대한 교차 키보드 평가.
3. 코덱 일반화: 표준 녹음 데이터로 학습하고 VoIP 스트리밍 오디오로 테스트하여 코덱 왜곡 효과를 격리함.

주요 기여

1. KEYAC 데이터셋: 교차 장치 가변성 및 VoIP 코덱 왜곡 하에서의 ASCA 연구를 위해 특별히 설계된 데이터셋을 도입하여, 공개 리소스의 중요한 공백을 메움.
2. 체계적 평가: 여러 음성 PTM에 대한 최초의 종합적인 ASCA 평가를 수행하여, 다양한 키보드 및 전송 조건에 따른 일반화 능력을 분석함.
3. KAN 기반 적응: KAN 기반 미세 조정 전략을 제안함. 저자들은 기존 아키텍처가 코덱 아티팩트에 의해 도입된 비선형 상호작용을 포착하는 데 어려움을 겪는다고 가설을 세웠으며, KAN 어댑터가 이러한 한계를 효과적으로 해결함을 입증함.

결과
KEYAC에 대한 경험적 결과는 다음과 같은 핵심 발견을 드러낸다:

• 베이스라인 성능: 부분 미세 조정이 성능을 향상시키기는 하지만, 모델들은 VoIP 코덱에 걸쳐 일반화하는 데 어려움을 겪는다. 베이스라인 중 WavLM은 모든 시나리오에서 다른 PTM(예: HuBERT, XLS-R)보다 우수한 성능을 보이며 일관되게 가장 강건한 표현을 보여준다. 예를 들어, CNN 다운스트림을 사용한 표준 인도메인(in-domain) 설정에서 WavLM은 58.34%의 정확도를 달ей하는 반면, HuBERT와 XLS-R는 각각 36.27%와 33.45%로 현저히 낮은 점수를 기록했다.
• VoIP의 영향: VoIP 조건 하에서는 성능이 크게 저하된다. VoIP 환경의 키보드 홀드아웃(OOD) 설정에서 WavLM의 정확도는 44.12%로 떨어지며, 다른 모델들은 훨씬 더 급격한 하락을 경험한다.
• KAN의 효과: 제안된 KAN 기반 다운스트림 적응은 모든 PTM 및 평가 시나리오에서 FCN 및 CNN 베이스라인보다 일관되게 우수한 성능을 보인다.
  • 표준 인도메인 설정에서, KAN을 적용한 WavLM은 68.47% 정확도와 67.12% 매크로-F1을 달성하여 CNN 베이스라인(58.34% 정확도)보다 실질적인 개선을 보여주었다.
  • VoIP 조건 하에서도 KAN 방식은 강력한 성능을 유지하며, WavLM은 키보드 일반화에서 57.82% 정확도에 도달하여 CNN 베이스라인(44.12%)을 크게 앞질렀다.
  • 코덱 일반화의 경우, KAN 기반 미세 조정은 최상의 결과(WavLM 기준 58.36% 정확도)를 산출하였으며, 이는 스펙트럼 및 시간적 왜곡에 의한 퇴화를 완화하는 능력을 입증한다.

의의 및 주장
본 논문은 VoIP 조건 하에서 ASCA 성능의 저하가 분산된 음향 표현 내의 복잡한 비선형 상호작용을 포착하는 데 있어 기존 적응 레이어의 제한된 능력에서 기인한다고 주장한다. Kolmogorov–Arnold Networks(KAN)를 채택함으로써, 저자들은 KEYAC 데이터셋에서 새로운 SOTA(State-of-the-Art)를 구축하였다. 본 연구의 결과는 강건한 음성 표현(특히 WavLM)과 표현력이 풍부한 비선형 적응 레이어(KAN)를 결래하는 것이 현실적인 녹음 및 전송 조건 하에서 ASCA 일반화를 개선하는 데 필수적임을 시사한다. 이 작업은 코덱에 의해 왜곡된 음향 측면 채널 데이터를 다룰 때 선형 또는 얕은 비선형 적응 헤드를 넘어 나아가야 할 필요성을 강조한다.