Real-Time Acoustic Keylogging: A Convolutional Neural Network Based Approach

사람이 표준 컴퓨터 키보드로 타이핑을 할 때마다, 그들은 작고 뚜렷한 소리를 만들어낸다. 인간의 귀에는 이러한 클릭과 클랙 소리가 하나의 균일한 리듬으로 섞여 서로 구별할 수 없게 들린다. 하지만 기계의 물리학은 다른 이야기를 들려준다. 각 키는 그 위치와 아래에 있는 특정 메커니즘에 따라 고유한 음향적 특징을 생성한다. 지문이 사람을 식별하듯, 이러한 미세한 소리의 변화는 특정 키를 식별할 수 있다. 이 현상은 '음향 키로깅(acoustic keylogging)'이라 알려진 보안 위협의 기초가 된다. 피해자의 컴퓨터에 악성 소프트웨어를 설치해야 하는 전통적인 해킹 방식과 달리, 이 공격은 외부에서 소리를 포착하는 것에 의존한다. 현대의 스마트폰과 노트북에 탑재된 마이크가 점점 더 민감해짐에 따라, 공격자가 이 소리들을 녹음하여 비밀번호나 기밀 메시지를 재구성할 가능성은 이론적인 가능성을 넘어 실질적인 우려로 다가왔다.

포츠머스 대학교의 연구진은 이러한 공격이 사후 분석이 아닌 실시간으로 발생할 때 얼마나 실행 가능한지를 결정하기 위해 연구를 시작했다. 이전의 연구들이 기계가 이러한 소리들을 구별하도록 학습할 수 있음을 보여주었지만, 그 연구들은 종로 종종 타이핑 세션이 완료된 후 전체 녹음본을 분석하는 방식에 의ло 의존했다. 이러한 접근 방식은 중요한 질문을 놓쳤다: 시스템이 사람이 타이핑하는 것을 듣고, 각 키가 눌릴 때마다 이를 식별하며, 타이핑이 진행되는 동안 공격자에게 유용할 만큼 충분히 빠르게 수행할 수 있는가? 이에 답하기 위해 연구팀은 실시간 청취 시나리오를 모방하도록 설계된 프로토타입 시스템을 구축했다. 그들은 표준 스마트폰을 사용하여 기계식 키보드의 소리를 녹음한 다음, 그 오디오를 특수 컴퓨터 프로그램에 입력했다. 합성곱 신경망(convolutional neural network)이라고 알려진 유형의 인공지능으로 구축된 이 프로그램은 소리 파동의 시각적 패턴을 인식하도록 훈련되었으며, 오디오를 컴퓨터가 분석할 수 있는 이미지로 변환했다.

연구팀의 실험 결과, 그러한 시스템은 실제로 실시간 작동이 가능하다는 것이 밝혀졌다. 테스트에서 시스템은 오디오를 처리하고 각 키가 눌린 후 평균 단 0.35초의 지연 시간만으로 입력된 키를 식별했다. 이 속도는 대부분의 실용적인 목적을 위해 즉각적인 것으로 간-주될 만큼 빠르다. 연구진이 흔한 비밀번호들로 시스템을 테스트했을 때, 시스템은 높은 정확도로 입력된 시퀀스를 성공적으로 재구성했으며, 종종 전체 문자열을 정확하게 복구해냈다. 시스템이 가끔 실수를 하기도 했지만, 이러한 오류는 거의 무작위적이지 않았다. 기계가 잘못 예측했을 때, 그것은 거의 항상 키보드 상에서 정답 옆에 위치한 키를 선택했다. 이는 시스템이 완전히 실패한 것이 아니라, 두 개의 매우 유사한 소리를 구별하는 데 어려움을 겪고 있었음을 시사한다.

하지만 이 연구는 사용자들을 보호할 수 있는 중요한 약점들도 강조했다. 시스템의 성공 여부는 훈련된 환경에 크게 의존했다. 연구진이 번잡한 사무실의 대화 소리나 웅성거림 같은 배경 소음을 도입했을 때, 키를 식별하는 시스템의 능력은 급격히 떨어졌다. 마찬가지로, 녹음 장치가 키보드에서 조금이라도 멀어지거나 타이피스트가 타이핑 속도나 압력을 바꿀 경우 정확도가 저하되었다. 가장 눈에 띄는 발견은 시스템이 다른 키보드에 쉽게 적응하지 못한다는 점이었다. 특정 기계식 키보드에 대해 훈련된 모델은 다른 브랜드의 키보드 소리를 들려주었을 때 거의 완전히 실패했는데, 이는 이 공격이 매우 구체적인 하드웨어 특성에 의존함을 시사한다.

보안 전문가들에게 가장 우려스러웠던 점은 시스템이 학습을 위해 방대한 양의 데이터를 필요로 하지 않는다는 발견이었다. 연구진은 인공지능이 각 키가 눌리는 것을 기록한 단 4개의 녹음만으로도 효과적으로 훈련될 수 있다는 것을 발견했다. 이러한 낮은 요구 사항은 공격자가 작동하는 도구를 만들기 위해 몇 주 동안 데이터를 수집할 필요가 없음을 의미하며, 짧고 표적화된 녹음 세션만으로도 충분할 수 있음을 뜻한다. 이러한 능력에도 불구하고, 연구는 이 위협이 무적은 아니라고 결론지었다. 연구진은 소음이 있는 환경에서 타이핑하기, 타이핑 속도 변화시키기, 또는 물리적인 키 입력을 아예 피하기 위해 비밀번호를 자동으로 채워주는 소프트웨어 사용하기와 같은 실질적인 방어책을 제안했다. 실시간으로 키 입력을 듣는 기술이 명백히 존재함에도 불구하고, 이 연구는 단순한 행동과 환경의 변화가 이러한 공격을 효과적으로 차단하여 잠재적인 취약점을 관리 가능한 위험으로 바꿀 수 있음을 시사한다.