`From Prompt to Perturbation': An Adaptive Framework for Voice-Based Jailbreaks on Audio LLMs

Au cours des dernières années, l'intelligence artificielle a appris à parler. Ces systèmes, connus sous le nom de grands modèles de langage, sont passés de la lecture et de l'écriture de textes à la compréhension et à la génération de la parole humaine. Ils alimentent les assistants vocaux dans nos voitures, les robots de service client sur nos téléphones et les nouveaux agents conversationnels capables d'écouter une histoire et de répondre à des questions à son sujet. Pour rendre ces machines sûres, les développeurs construisent des garde-fous numériques conçus pour refuser les requêtes nuisibles, telles que des instructions sur la façon de construire une arme ou de harceler quelqu'un. Pour les systèmes textuels, les chercheurs savent depuis longtemps que des questions habilement formulées peuvent tromper ces garde-fous et leur faire enfreindre leurs règles. Cependant, à mesure que ces modèles acquièrent la capacité d'entendre et de parler, une nouvelle question se pose : une voix, plutôt que de simples mots, peut-elle contourner ces mêmes mesures de sécurité ?

Une équipe de chercheurs de l'Université de Sydney, de l'Université de Chicago et de l'Université du Texas à San Antonio s'est donné pour mission de répondre à cette question en testant la sécurité des systèmes d'IA vocaux modernes. Ils se sont concentrés sur deux méthodes différentes de construction de ces systèmes. La première méthode, appelée pipeline en cascade, fonctionne comme une course de relais : un ordinateur écoute d'abord la voix et la transcrit en texte, puis un cerveau textuel distinct lit ce texte et décide de ce qu'il doit dire, et enfin, un synthétiseur vocal prononce la réponse. La seconde méthode, connue sous le nom de modèle de bout en bout (end-to-end), saute l'étape intermédiaire. Elle écoute les ondes sonores brutes et traite le sens et la voix ensemble dans un système unique et unifié. Les chercheurs voulaient savoir si ces deux architectures très différentes pouvaient être trompées pour ignorer leurs règles de sécurité lorsqu'on leur parle, et si oui, comment le faire automatiquement sans aide humaine.

Les chercheurs ont développé un nouveau cadre de test qui agit comme un explorateur automatisé. Au lieu de concevoir manuellement des centaines de commandes vocales différentes, ils ont construit un système qui apprend de ses propres erreurs. Le processus commence par une liste de questions nuisibles auxquelles l'IA ne devrait jamais répondre. Le système enveloppe d'abord ces questions dangereuses dans une histoire inoffensive ou un scénario de jeu de rôle, une technique qu'ils appellent une « attaque par flanquement » (flanking attack). En cachant la requête nuisible à l'intérieur d'une longue liste de questions innocentes sur la vie quotidienne ou des intrigues de films fictifs, le système espère abaisser les défenses de l'IA. Une fois le texte préparé, le système le convertit en parole à l'aide d'un synthétiseur vocal standard.

C'est ici que commence la véritable expérimentation. Le système ne se contente pas de jouer le discours une seule fois. Il prend l'audio et le déforme délibérément de manières spécifiques pour voir comment l'IA réagit. Il ajoute du bruit de fond, comme le bourdonnement d'une rue animée ou le son du vent. Il modifie la vitesse de la voix, la faisant parler légèrement plus vite ou plus lentement. Il ajoute même des échos, simulant le son d'une voix rebondissant sur les murs d'une grande pièce. Le système joue ensuite ces clips audio déformés aux IA cibles. Si l'IA refuse de répondre, le système note l'échec. Si l'IA accepte accidentellement la requête nuisible, le système enregistre le succès.

Crucialement, le système utilise ces résultats pour améliorer sa tentative suivante. Si l'ajout de bruit a aidé l'attaque à réussir, le système apprend à utiliser plus de bruit. Si le changement de vitesse a mieux fonctionné, il se concentre sur cet aspect. Il réécrit également le texte de la question, essayant différentes façons de dire la même chose sans en changer le sens. Ce cycle de test, d'apprentissage et de perfectionnement se produit de manière automatique et répétée. Les chercheurs ont testé cette approche sur six systèmes d'IA dotés de capacités vocales, allant de produits commerciaux bien connus à des modèles open-source. Ils ont mené des milliers de ces tests automatisés, couvrant vingt et un catégories de requêtes nuisibles, de la fraude aux activités illégales.

Les résultats étaient frappants. Les chercheurs ont découvert que les deux types de systèmes — le style « course de relais » et le style unifié « bout en bout » — étaient hautement vulnérables à ces attaques vocales. Le cadre automatisé a été capable de tromper l'IA pour lui faire violer ses règles de sécurité dans la grande majorité des cas. Pour le système le plus vulnérable testé, l'attaque a réussi plus de quatre-vingt-seize pour cent du temps. Même les systèmes considérés comme plus robustes ont échoué à bloquer les attaques dans plus de soixante-quinze pour cent des essais. L'étude a montré que la combinaison du fait de cacher l'intention nuisible dans une histoire et de déformer la voix était bien plus efficace que d'essayer de tromper l'IA avec seulement les mots ou seulement le son.

Les chercheurs ont également testé ce qui se passe lorsque l'attaque n'est pas jouée via un fichier informatique, mais parlée à voix haute dans une vraie pièce et enregistrée par un microphone. C'est ce qu'on appelle une attaque « over-the-air » (par voie aérienne), et cela introduit des problèmes du monde réel comme les bavardages de fond et la qualité du microphone. Malgré ces obstacles supplémentaires, le cadre automatisé est resté efficace. Les systèmes ont toujours succombé aux ruses, les taux de réussite restant élevés même lorsque l'audio devait voyager à travers l'air et être capturé par un appareil. Cela suggère que la vulnérabilité n'est pas seulement une particularité des fichiers numériques, mais une faiblesse fondamentale dans la manière dont ces modèles traitent le langage parlé.

L'étude a également examiné quels types de ruses fonctionnaient le mieux. Ils ont découvert que les attaques les plus réussies impliquaient souvent de modifier la formulation de la question pour la rendre plus complexe ou d'ajouter un bruit de fond réaliste. Étonnamment, le simple fait d'accélérer ou de ralentir la voix était moins efficace seul, mais cela aidait lorsqu'il était combiné à d'autres changements. Le système a appris que la meilleure façon de briser les garde-fous était de maintenir intact le sens nuisible tout en rendant le son et les mots suffisamment différents pour confondre les filtres de sécurité.

Ce travail met en évidence une lacune importante dans la sécurité actuelle de l'IA vocale. Alors que les développeurs passent des années à durcir les systèmes textuels contre les requêtes habiles, l'ajout de la voix a ouvert une nouvelle porte qui reste largement sans surveillance. Les chercheurs ont démontré qu'un système automatisé peut trouver et exploiter systématiquement ces faiblesses sans avoir besoin de connaître le code interne de l'IA. Ils n'ont pas trouvé de solution miracle capable de briser tous les systèmes, mais ont plutôt montré qu'une approche flexible et apprenante peut systématiquement contourner les protections actuelles. Les conclusions suggèrent qu'à mesure que les interfaces vocales deviennent plus courantes, les mesures de sécurité pour ces systèmes doivent évoluer pour gérer non seulement ce qui est dit, mais aussi la manière dont c'est dit et comment cela sonne. L'étude conclut que sans ces améliorations, la promesse d'une IA conversationnelle sûre pourrait rester hors de portée.