Real-Time Acoustic Keylogging: A Convolutional Neural Network Based Approach

標準的なコンピュータのキーボードで人が文字を入力するたびに、微細で独特な音が生まれます。人間の耳には、これらのカチカチという音は一様なリズムへと混ざり合い、互いに区別がつかないものとして聞こえます。しかし、機械の物理学は異なる物語を語っています。各キーは、その位置やその下にある特定のメカニズムに応じて、独自の音響シグネチャーを生み出します。指紋が個人を特定するのと同様に、これらの音の微妙な変化によって、特定のキーを識別することができるのです。この現象は、「アコースティック・キーロギング」として知られるセキュリティ上の脅威の基礎となっています。被害者のコンピュータに悪意のあるソフトウェアをインストールする必要がある従来のハッキング手法とは異なり、この攻撃は外部からの音を捉えることに依存しています。現代のスマートフォンやノートパソコンのマイクロフォンがますます高感度になっているため、攻撃者がこれらの音を録音し、パスワードや機密メッセージを再構成できる可能性は、理論上の可能性から現実的な懸念へと移行しています。

ポーツマス大学の研究者たちは、この攻撃が事後ではなく、リアルタイムで行われる場合にどの程度実現可能かを判断するために調査を行いました。これまでの研究では、機械がこれらの音を区別することを学習できることが示されてきましたが、それらは多くの場合、タイピングセッションが完了した後の完全な録音を分析することに依存していました。このアプローチは、重要な問いを見落としていました。すなわち、システムが人のタイピングを聴き、各キーが押されるたびにそれを特定し、タイピングが行われている間に攻撃者にとって有用となるほど速く実行できるのか、という問いです。これに答えるため、チームはライブリスニングのシナリオを模したプロトタイプシステムを構築しました。彼らは標準的なスマートフォンを使用してメカニカルキーボードの音を録音し、そのオーディオを特化したコンピュータプログラムに送り込みました。畳み込みニューラルネットワークとして知られる一種の人工知能に基づいたこのプログラムは、音波の視覚的パターンを認識するように訓練されており、コンピュータが分析できる画像へとオーディオを変換しました。

チームの実験により、このようなシステムが実際にリアルタイムでの動作が可能であることが明らかになりました。テストにおいて、システムはオーディオを処理し、各キーが押されてから平均わずか0解0.35秒の遅延で入力されたキーを特定しました。この速度は、ほとんどの実用的な目的において、即時的であると見なせるほど十分に速いものです。研究者が一般的なパスワードを用いてシステムをテストしたところ、システムは入力されたシーケンスを高い精度で、しばしば文字列全体を正しく復元することに成功しました。システムは時折間違いを犯しましたが、それらのエラーは決してランダムなものではありませんでした。機械が誤った予測をした場合、それはほぼ常に、キーボード上で正しいキーの物理的に隣に位置するキーを選択していました。これは、システムが完全に失敗したのではなく、2つの非常に似た音の区別に苦戦していたことを示唆しています。

しかし、この研究は同時に、ユーザーを保護するための重要な弱点も浮き彫りにしました。システムの成功は、それが訓練された環境に大きく依存していました。研究者が、忙しいオフィスの話し声やハム音のような背景ノイズを導入すると、キーを特定するシステムの能力は劇的に低下しました。同様に、録音デバイスをキーボードからわずかな距離でも移動させたり、タイピストがタイピングの速度や圧力を変えたりすると、精度は損なわれました。最も衝撃的な発見は、システムが異なるキーボードに対して容易に適応できないということでした。特定のメカニカルキーボードで訓練されたモデルは、異なるブランドのキーボードに対して音を聞かされた際、ほぼ完全に失敗しました。これは、この攻撃が非常に特定のハードウェア特性に依存していることを示唆しています。

セキュリティ専門家にとっておそらく最も懸ейすべき発見は、システムが学習のために膨大なデータを必要としなかったことです。研究者たちは、人工知能が各キーが押される様子をわずか4回の録音で効果的に訓練できることを見出しました。この要求事項の低さは、攻撃者が動作するツールを構築するために、データを収集するのに数週間を費やす必要がないことを意味します。短時間の標的を絞った録音セッションだけで十分である可能性があるのです。こうした能力にもかかわらず、研究は、この脅威が無敵ではないと結論付けました。研究者たちは、騒がしい環境でタイピングすること、タイピングの速度を変化させること、あるいは物理的なキー押しを完全に避けるためにパスワードを自動的に入力するソフトウェアを使用することなど、いくつかの実用的な防御策を提案しました。リアルタイムでキーストロークを聴く技術が存在することは否定できませんが、この研究は、行動や環境における単純な変化が、この攻撃を効果的に阻止し、潜在的な脆弱性を管理可能なリスクに変えることができることを示唆しています。