Real-Time Acoustic Keylogging: A Convolutional Neural Network Based Approach

Chaque fois qu'une personne tape sur un clavier d'ordinateur standard, elle crée un son minuscule et distinct. Pour l'oreille humaine, ces cliquetis et cliquetis se fondent en un rythme uniforme, indistinct les uns des autres. Cependant, la physique de la machine raconte une histoire différente. Chaque touche, selon son emplacement et le mécanisme spécifique situé en dessous, produit une signature acoustique unique. Tout comme une empreinte digitale identifie une personne, ces subtiles variations de son peuvent identifier une touche spécifique. Ce phénomène constitue la base d'une menace de sécurité connue sous le nom de keylogging acoustique. Contrairement aux méthodes de piratage traditionnelles qui nécessitent l'installation de logiciels malveillants sur l'ordinateur d'une victime, cette attaque repose sur la capture du son de l'extérieur. Avec les microphones des smartphones et des ordinateurs portables modernes devenant de plus en plus sensibles, le potentiel pour un attaquant d'enregistrer ces sons et de reconstruire un mot de passe ou un message confidentiel est passé d'une possibilité théorique à une préoccupation pratique.

Des chercheurs de l'Université de Portsmouth ont cherché à déterminer dans quelle mesure cette attaque est réalisable lorsqu'elle se produit en temps réel, plutôt qu'a posteriori. Bien que des études antérieures aient montré que des machines pouvaient apprendre à distinguer ces sons, elles reposaient souvent sur l'analyse d'enregistrements complets de sessions de frappe une fois celles-ci terminées. Cette approche omettait une question critique : un système peut-il écouter une personne taper, identifier chaque touche au moment où elle est pressée, et ce, suffisamment rapidement pour être utile à un attaquant pendant que la frappe est encore en cours ? Pour répondre à cela, l'équipe a construit un prototype de système conçu pour imiter un scénario d'écoute en direct. Ils ont utilisé un smartphone standard pour enregistrer les sons d'un clavier mécanique, puis ont injecté cet audio dans un programme informatique spécialisé. Ce programme, basé sur un type d'intelligence artificielle appelé réseau de neurones convolutifs, a été entraîné pour reconnaître les motifs visuels des ondes sonores, convertissant l'audio en images que l'ordinateur pouvait analyser.

Les expériences de l'équipe ont révélé qu'un tel système est effectivement capable de fonctionner en temps réel. Lors de leurs tests, le système a traité l'audio et identifié les touches tapées avec un délai moyen de seulement 0,35 seconde après chaque pression de touche. Cette vitesse est suffisamment rapide pour être considérée comme instantanée pour la plupart des usages pratiques. Lorsque les chercheurs ont testé le système avec des mots de passe courants, il a reconstruit les séquences tapées avec une grande précision, récupérant souvent l'intégralité de la chaîne correctement. Le système commettait des erreurs occasionnelles, mais ces erreurs étaient rarement aléatoires ; lorsqu'il se trompait, il choisissait presque toujours une touche située physiquement à côté de la bonne sur le clavier. Cela suggère que le système éprouvait des difficultés à distinguer deux sons très similaires, plutôt que de subir un échec total.

Cependant, l'étude a également mis en évidence des faiblesses significatives qui pourraient protéger les utilisateurs. Le succès du système dépendait fortement de l'environnement dans lequel il avait été entraîné. Lorsque les chercheurs ont introduit du bruit de fond, tel que le bavardage et le bourdonnement d'un bureau animé, la capacité du système à identifier les touches a chuté de manière spectaculaire. De même, si l'appareil d'enregistrement était déplacé même à une courte distance du clavier, ou si le dactylo changeait sa vitesse ou sa pression, la précision en souffrait. La découverte la plus frappante fut que le système ne pouvait pas facilement s'adapter à un autre clavier. Un modèle entraîné sur un clavier mécanique spécifique échouait presque totalement lorsqu'on lui demandait d'écouter une autre marque, suggérant que l'attaque repose sur des caractéristiques matérielles très spécifiques.

Ce qui était peut-être le plus préoccupant pour les experts en sécurité fut la découverte que le système n'avait pas besoin de vastes quantités de données pour apprendre. Les chercheurs ont constaté que l'intelligence artificielle pouvait être entraînée efficacement avec seulement quatre enregistrements de chaque pression de touche. Cette faible exigence signifie qu'un attaquant n'a pas besoin de passer des semaines à collecter des données pour construire un outil fonctionnel ; une session d'enregistrement brève et ciblée pourrait être suffisante. Malgré ces capacités, l'étude a conclu que la menace n'est pas invincible. Les chercheurs ont proposé plusieurs défenses pratiques, telles que taper dans des environnements bruyants, varier sa vitesse de frappe, ou utiliser des logiciels qui remplissent automatiquement les mots de passe pour éviter les pressions physiques sur les touches. Bien que la technologie permettant d'écouter les frappes de touches en temps réel soit indéniablement présente, l'étude suggère que des changements simples de comportement et d'environnement peuvent efficacement perturber l'attaque, transformant une vulnérabilité potentielle en un risque gérable.