WaLi: Can Pressure Sensors in HVAC Systems Capture Human Speech?

이 논문은 HVAC 시스템의 압력 센서 데이터를 복원하여 인간 음성을 도청할 수 있는 'WaLi'라는 새로운 공격 기법을 제안하고, 이를 위한 방어책을 제시합니다.

핵심

벽이 말을 듣는다: "WaLi" 프로젝트 설명

이 논문은 우리가 일상생활에서 전혀 의심하지 않는 냉난방 (HVAC) 시스템의 압력 센서가 어떻게 비밀스러운 대화를 엿들을 수 있는지 보여주는 놀라운 (그리고 조금 무서운) 연구입니다. 연구진은 이 기술을 **'WaLi (Wall can Listen, 벽이 들을 수 있다)'**라고 이름 지었습니다.

이 복잡한 기술 내용을 누구나 이해할 수 있도록, 일상적인 비유로 설명해 드리겠습니다.

---

1. 왜 압력 센서가 말을 들을 수 있을까요? (원리)

비유: "소리는 바람을 흔든다"
우리가 말을 할 때, 입에서 나오는 소리는 공기 중의 압력 변화를 만들어냅니다. 마치 돌을 물에 던졌을 때 생기는 물결처럼요.

• 일반적인 상황: 우리 귀는 이 미세한 공기 진동 (소리) 을 직접 받아들이고 뇌가 이를 해석합니다.
• 이 연구의 상황: 건물의 냉난방 시스템에는 공기의 흐름을 조절하기 위해 압력 센서가 붙어 있습니다. 이 센서는 공기의 압력 변화 (바람의 세기) 를 매우 민감하게 감지합니다.
• 핵심: 사람이 말하는 소리의 압력 변화 크기와, 이 센서가 감지할 수 있는 압력 변화의 크기가 거의 똑같습니다. 즉, 센서가 공기의 '바람'을 감지하느라, 우연히 사람의 '말소리'까지 함께 감지하게 되는 것입니다.

하지만 여기서 문제가 생깁니다. 이 센서들은 원래 공기의 흐름을 빠르게 제어하기 위해 설계되었을 뿐, 고음질의 녹음기를 위한 것이 아닙니다. 그래서 들리는 말소리는 매우 잘게 부서지고 (저해상도), 잡음 (선풍기 소리 등) 이 섞인 상태입니다. 마치 흐릿한 사진이나 찢어진 편지처럼 말이죠.

2. WaLi 는 어떻게 흐릿한 소리를 또렷하게 만들까요? (기술)

연구진이 개발한 WaLi는 이 '잘게 부서진 소리 조각'을 다시 맞춰서 원래의 또렷한 대화로 복원하는 AI 마법사입니다.

비유 1: "퍼즐 조각 맞추기"
센서가 받아낸 데이터는 고주파수 (명료한 말소리의 핵심) 가 사라진 상태입니다. WaLi 는 마치 퍼즐을 맞추듯, 남아있는 낮은 주파수 조각들을 분석해서 "아, 여기에는 '사'라는 소리가 있었겠구나"라고 추측하여 잃어버린 고주파수 부분을 AI 가 상상해서 채워 넣습니다.

비유 2: "잡음 제거 안경"
냉난방 시스템은 항상 선풍기 돌아가는 소리와 진동 (잡음) 이 있습니다. 기존 기술들은 이 잡음 때문에 말소리를 제대로 못 들었습니다.
WaLi 는 **복소수 (Complex-valued)**라는 수학적 도구를 사용합니다. 이를 쉽게 말하면, 소리를 단순히 '크기 (Magnitude)'만 보는 것이 아니라, 소리의 **위상 (Phase, 소리의 방향과 타이밍)**까지 함께 분석하는 3D 안경을 쓴 것과 같습니다. 이 안경을 통해 잡음은 걸러내고, 진짜 말소리만 선명하게 분리해냅니다.

3. 이 공격은 얼마나 현실적인가요? (위험성)

이건 영화 속의 공상과학이 아닙니다. 연구진은 실제 공장, 병원, 사무실의 냉난방 시스템에서 실험을 했습니다.

• 어디서나 가능: 센서가 사람과 가까운 곳 (통로, 문 옆, 환기구) 에 설치되어 있다면 어디서든 가능합니다.
• 누가 말하든 상관없음: 공격자가 피해자의 목소리를 미리 들어본 적이 없어도, AI 가 학습된 데이터만 있으면 다른 사람의 목소리도 알아들을 수 있습니다.
• 결과: 센서로 잡은 원본 데이터는 "웅웅웅" 하는 잡음에 불과했지만, WaLi 를 통과한 후에는 대화가 거의 알아들을 수 있을 정도로 또렷하게 복원되었습니다. (예: "회의실로 오세요" 같은 문장이 명확하게 들림)

4. 어떻게 막을 수 있을까요? (대응책)

이 위협을 막는 방법은 생각보다 간단하고 저렴합니다.

1. 소음 차단 상자: 압력 센서가 달린 구멍을 **소음 차단 폼 (스폰지 같은 것)**으로 덮거나, 긴 관을 연결해서 소리가 직접 닿지 않게 하면 됩니다. (마이크를 방음 처리하는 것과 비슷합니다.)
2. 샘플링 속도 줄이기: 센서가 초당 데이터를 읽는 속도를 낮추면 고주파수 소리를 잡을 수 없게 됩니다. 하지만 이 방법은 냉난방 시스템의 정밀한 제어 기능을 떨어뜨릴 수 있어 모든 경우에 적용하기는 어렵습니다.

요약

이 논문은 **"우리가 믿고 있는 사물인터넷 (IoT) 기기 중 하나인 냉난방 센서조차도, 우리가 모르는 사이에 우리의 비밀 대화를 엿들을 수 있는 도구가 될 수 있다"**는 경고를 줍니다.

WaLi 는 마치 흐릿하게 찍힌 사진을 AI 로 고화질로 복원하는 기술처럼, 잘게 부서진 압력 데이터에서 또렷한 대화를 꺼내냅니다. 이는 우리가 건물의 벽이나 공조 시스템 뒤에 숨겨진 새로운 사생활 침해의 위험을 인식해야 함을 의미합니다.

기술 요약

WaLi: HVAC 시스템의 압력 센서를 통한 인간 음성 도청 공격

1. 문제 정의 (Problem Statement)

• 배경: 현대의 HVAC(난방, 환기, 공기 조화) 시스템에는 실내 공기 질 (IAQ) 및 열적 쾌적성을 모니터링하기 위해 고감도 압력 센서 (Differential Pressure Sensors, DPS) 가 널리 통합되어 있습니다.
• 취약점: 이러한 압력 센서는 일반적으로 010 Pa 의 압력 범위에서 작동하며, 0.52 kHz 의 높은 샘플링 주파수를 지원합니다. 인간의 음성은 가청 주파수 대역 (0-10 Pa, 4 kHz 대역폭) 에서 유사한 특성을 가지기 때문에, 센서가 인간과 가까이 위치할 경우 (예: 벽면, 공기 배출구 근처) 음성에 의한 미세한 압력 변화를 포착할 수 있습니다.
• 과제: 기존 연구들은 압력 센서 데이터를 통해 '핫 워드 (hot words)'만 인식하거나, 잡음이 심한 환경에서 명확한 음성을 재구성하지 못했습니다. 특히 HVAC 팬, 덕트 진동 등으로 인한 **과도한 잡음 (transient noise)**과 **저해상도 샘플링 (0.5~2 kHz)**으로 인한 고주파 성분의 에일리어싱 (aliasing) 문제를 해결하여 **4 kHz 대역폭의 지능형 음성 (intelligible speech)**을 복원하는 것이 핵심 과제였습니다.

2. 방법론 (Methodology: WaLi)

저자들은 **WaLi (Wall can Listen)**라는 새로운 음성 도청 시스템을 제안했습니다. 이는 압력 센서 데이터에서 지능형 음성을 복원하기 위해 다음과 같은 기술적 전략을 사용합니다.

• 복소수 기반 네트워크 (Complex-Valued Network):
  • 기존 연구들은 주로 실수형 (Real-valued) 스펙트로그램과 크기 (Magnitude) 정보만 사용했습니다. 반면, WaLi 는 복소수 시간 - 주파수 (T-F) 스펙트로그램을 입력으로 받아 **크기 (Magnitude) 와 위상 (Phase)**을 동시에 복원합니다.
  • 위상 정보는 자연스러운 음성 생성과 잡음 제거에 결정적인 역할을 하며, 특히 과도 잡음이 있는 환경에서 복원 품질을 높입니다.
• 아키텍처 설계:
  • U-Net 기반 구조: 인코더 - 디코더 구조를 가지며, 8 개의 인코더와 8 개의 디코더 블록으로 구성됩니다.
  • Complex Conformer: 병목 (Bottleneck) 레이어에 CNN 과 Transformer 의 장점을 결합한 Complex Conformer 를 도입하여, 저주파 성분의 피치 (pitch) 와 누락된 고주파 성분 간의 국소적 및 전역적 의존성을 포착합니다.
  • Complex Global Attention Block (CGAB): 시간 축 (음절 간 상관관계) 과 주파수 축 (고조파 상관관계) 모두에서 장기적인 상관관계를 포착하기 위해 설계된 어텐션 블록입니다. 기존 연구 (USENIX 등) 는 시간 축만 고려한 반면, WaLi 는 T-F 축 전체를 고려합니다.
  • Complex Skip Blocks: 인코더의 고차원 특징을 디코더로 효과적으로 전달하기 위해 복소수 Skip 연결을 사용합니다.
• 손실 함수 (Loss Function):
  • Complex Multi-Resolution STFT Loss: 크기뿐만 아니라 위상 정보까지 포함하여 여러 해상도 (256, 512, 1024) 에서 실수부와 허수부에 대한 손실을 동시에 최적화합니다. 이는 잡음 환경에서 위상 복원 품질을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 무제한 어휘의 지능형 음성 복원: 기존 연구들이 특정 단어나 구를 인식하는 데 그쳤다면, WaLi 는 제약 없는 어휘 (Unrestricted Vocabulary) 로 자연스러운 대화를 복원할 수 있습니다.
2. 잡음 환경에서의 위상 및 크기 동시 복원: HVAC 시스템의 과도 잡음 (팬 소음, 진동 등) 이 존재하는 환경에서도 복소수 네트워크를 통해 깨끗한 위상과 크기를 재구성하여, 기존 방법론보다 월등히 높은 음질을 제공합니다.
3. 실제 환경 검증: 두 개의 익명의 산업 시설 (일반 공장 및 FDA 준수 클린룸) 에서 실제 HVAC 시스템을 대상으로 공격을 수행하고, 다양한 센서 (SETRA264, SDP810 등) 와 샘플링 주파수 (500 Hz ~ 2 kHz) 에서 WaLi 의 효과를 입증했습니다.
4. 종합적 평가 및 방어책 제시: 6 가지 평가 지표 (LSD, NISQA-MOS, PESQ, STOI, WER, SI-SDR) 를 사용하여 정량적 평가를 수행했으며, 공격에 대한 방어책 (음성 감쇠, 샘플링 주파수 조절 등) 을 제안했습니다.

4. 실험 결과 (Results)

• 성능 지표: 0.5 kHz 에서 8 kHz 로 업샘플링하는 조건에서 WaLi 는 다음과 같은 결과를 보였습니다.
  • LSD (Log Spectral Distance): 3.45 (원본 데이터) → 1.24 (복원 데이터) 로 크게 개선.
  • NISQA-MOS (음질 점수): 0.84 → 1.78 로 향상 (인간이 들을 수 있는 수준).
  • WER (단어 오류율): 원본 데이터는 9798% 였으나, WaLi 를 통해 **3639%**까지 감소 (Whisper 및 AssemblyAI 모델 기준).
• 잡음 내성: 과도 잡음이 있는 환경에서 Griffin-Lim 알고리즘 기반의 기존 방법론보다 복소수 기반 WaLi 의 위상 복원 성능이 월등히 뛰어났습니다.
• 범용성: 학습 시 보지 못한 화자 (Unseen speakers) 에 대해서도 잘 작동하며, 화자의 목소리 데이터가 없어도 복원이 가능합니다.
• 제한 조건: 화자 거리 1.2m 이내, 음량 60dB 이상, 센서 방향 0 도 근처일 때 가장 효과적입니다. 실제 실험에서 입구 근처에서는 약 25.3% 의 대화가 이러한 조건을 만족했습니다.

5. 의의 및 중요성 (Significance)

• 새로운 사생활 침해 위협: HVAC 시스템의 압력 센서가 단순한 환경 제어 장치를 넘어, 벽 너머의 비밀스러운 대화를 도청할 수 있는 강력한 악기 (Eavesdropping tool) 가 될 수 있음을 최초로 입증했습니다.
• 기술적 혁신: 저해상도 샘플링과 심한 잡음 환경에서도 고음질 음성을 복원하기 위해 **복소수 신경망 (Complex-valued Neural Network)**과 위상 재구성을 성공적으로 적용한 사례입니다.
• 보안 대응 필요성: 산업 시설, 병원, 기업 사무실 등 민감한 정보가 오가는 공간에서 압력 센서 데이터의 보안 위험을 인식하고, 음향 감쇠 장치 설치나 샘플링 주파수 조절 등의 대응책이 시급함을 강조합니다.

이 논문은 IoT 및 스마트 빌딩 보안 분야에서 센서 기반 사이드 채널 공격의 새로운 지평을 열었으며, 특히 물리적 센서 데이터로부터 고차원 정보 (음성) 를 추출하는 기술적 가능성을 보여줍니다.