🤖 AI

From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs

Cet article introduit une méthode de red teaming inaudible appelée Intermittent Low-Frequency Lockout (ILL) qui exploite des signaux à basse fréquence pour dégrader significativement les performances des grands modèles audio-langage (LALM), tout en proposant un mécanisme de Distributional Requery Guard (DRG) pour détecter de telles attaques et restaurer la précision sémantique.

Auteurs originaux : Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un robot super intelligent qui peut tout entendre : votre voix, le bruissement des feuilles, le bourdonnement d'un réfrigérateur et même la musique qui joue en arrière-plan. Les scientifiques appellent cela des « Modèles de Langage et d'Audio de Grande Taille » (LALM). Ils sont comme des oreilles et des cerveaux numériques combinés, conçus pour comprendre le monde à travers le son. Mais voici le piège : ces robots entendent des choses que les oreilles humaines ne peuvent simplement pas percevoir. Tout comme un chien peut entendre un sifflement aigu qui est silencieux pour nous, ces modèles d'IA peuvent traiter des ondes sonores bien trop basses ou trop hautes pour que nous les remarquions. Cela crée un étrange fossé : vous pourriez penser que vous avez une conversation normale, mais le robot est en train d'entendre une couche de bruit secrète et invisible sous vos paroles. Cet article explore ce qui se passe lorsqu'une personne utilise intentionnellement cette couche invisible pour tromper le robot.

Les chercheurs derrière cette étude, dirigés par Yuanhe Zhang et son équipe, ont décidé de jouer à un jeu de « red teaming », ce qui est essentiellement une façon sophistiquée de dire qu'ils ont essayé de casser le système pour voir où il était faible. Ils ont découvert un moyen sournois de confondre ces robots audio en utilisant l'Intermittent Low-Frequency Lockout (ILL) (Verrouillage Intermittent à Basse Fréquence). Pensez à cela de la manière suivante : imaginez que vous essayez d'écouter un ami raconter une histoire, mais que quelqu'un joue un son de tapotement rythmique très discret sous la table. Vous n'entendez pas du tout le tapotement, mais il fait vibrer la table juste assez pour que la voix de votre ami paraisse indistincte pour la personne assise en face de vous. C'est essentiellement ce que fait l'ILL. Il utilise une « forme d'onde universelle » — un motif spécifique de sons à basse fréquence (entre 5 et 20 Hz, ce qui est en dessous de la plage d'audition humaine) — qui est injectée dans l'audio que le robot reçoit.

L'équipe a découvert que ce bruit invisible est incroyablement efficace pour dérégler le cerveau du robot. Lorsqu'ils ont testé cela sur six modèles de langage et d'audio différents, la capacité des robots à comprendre la parole, à traduire des langues ou à identifier des émotions a chuté de manière spectaculaire. Dans certains cas, leur précision a diminué de pas moins de 67 points de pourcentage. Le plus effrayant ? Les humains écoutant l'audio ne pouvaient pas faire la différence. Les chercheurs ont demandé aux gens de noter le niveau de bruit de l'audio sur une échelle de 1 à 7. L'audio propre a reçu une note de 1,17, et l'audio avec l'attaque secrète de 1,33. C'est à peine un soupçon au-dessus de « totalement imperceptible », et pourtant, cela a suffi pour faire trébucher l'IA et lui faire donner de mauvaises réponses.

L'article soutient également l'idée qu'il n'est pas nécessaire d'utiliser un bruit fort et évident pour briser ces systèmes. Ils ont montré que vous n'avez pas besoin d'inonder le robot de statique ou de musique forte ; une infime impulsion de basse fréquence cachée suffit à provoquer le chaos. Ils ont testé cela contre d'autres types d'attaques par le bruit et ont constaté que, bien que leur méthode ne soit pas toujours la pire dans absolument tous les scénarios, elle était systématiquement très forte et, surtout, beaucoup plus difficile à détecter pour les humains.

Mais les chercheurs ne voulaient pas seulement casser les choses ; ils voulaient aussi les réparer. Ils ont proposé une défense appelée Distributional Requery Guard (DRG) (Garde de Requête Distributionnelle). Imaginez que, chaque fois que vous parlez à un robot et qu'il semble confus, le robot dise poliment : « Hé, cela semblait un peu bizarre. Pourriez-vous redire cela ? ». Le système DRG agit comme un videur à l'entrée d'un club. Il écoute l'audio et vérifie si la « empreinte spectrale » (le motif des fréquences) semble suspecte. S'il détecte que des interférences à basse fréquence se cachent dans le mélange, il demande à l'utilisateur d'enregistrer la phrase une seconde fois. En comparant le premier enregistrement (qui pourrait être brouillé) avec le second (qui est probablement propre), le système peut déterminer ce que l'utilisateur voulait réellement dire. Cette défense a bien fonctionné, faisant remonter la précision des robots d'un bas de 28,5 % à 46,1 % lorsqu'un second enregistrement propre était disponible.

En fin de compte, cet article suggère un nouveau type de risque de sécurité pour l'avenir de l'IA. Il montre que, parce que ces modèles entendent une gamme de sons plus large que nous, ils sont vulnérables à des attaques qui nous sont invisibles. Les auteurs suggèrent que nous avons besoin de construire de meilleures « oreilles » pour notre IA afin qu'elles puissent repérer ces fréquences cachées et demander des clarifications, garantissant ainsi que ce que le robot entend correspond bien à ce que nous avons réellement l'intention de dire. Bien que les expériences aient été menées dans une simulation contrôlée plutôt que dans le monde réel, les résultats soulignent un véritable fossé entre la perception humaine et l'audition des machines que nous devons combler avant que ces assistants audio ne fassent partie de notre vie quotidienne.

Résumé Technique : Des entrées inaudibles aux défaillances de modèles

Énoncé du Problème

Les grands modèles audio-langage (LALM) intègrent la perception acoustique au raisonnement linguistique, créant une surface d'entrée définie par des formes d'onde physiques plutôt que par la seule perception humaine. Cet article identifie une faille de sécurité critique : les signaux à basse fréquence (spécifiquement dans la plage 0–20 Hz, incluant les infrasons) sont inaudibles pour les humains mais peuvent être capturés par des microphones standards et traités par les LALM. Alors que des travaux antérieurs ont exploré l'audio adversarial et la corruption acoustique, le risque spécifique posé par des signaux physiques à basse fréquence fixes, qui restent imperceptibles pour les utilisateurs tout en perturbant le comportement du modèle, est resté sous-exploré. Les auteurs soutiennent que cela crée un « décalage de la frontière de perception », où le modèle reçoit une preuve acoustique (la superposition de la parole et de l'interférence) que l'utilisateur humain ne peut percevoir, pouvant potentiellement conduire à des échecs de disponibilité, des transcriptions incorrectes ou une compréhension sémantique erronée.

Méthodologie

1. Modèle de Menace

L'étude suppose qu'un adversaire émet une forme d'onde à basse fréquence qui se superpose physiquement à la parole d'un utilisateur dans l'air avant d'être capturée par le microphone cible. L'attaque est black-box (boîte noire) et universelle : l'adversaire construit une forme d'onde unique hors ligne en utilisant un corpus de référence et un LALM de référence, sans interroger le modèle cible ou s'adapter à des énoncés de test spécifiques. Cette forme d'onde est ensuite déployée pour attaquer divers LALM et tâches.

2. Intermittent Low-Frequency Lockout (ILL)

Les auteurs proposent l'ILL, une méthode de red-teaming conçue pour évaluer ce risque en utilisant un gabarit de forme d'onde universel. L'ILL se compose de deux modules de base :

Estimation de l'échelle d'attention des phrases (Sentence Attention Scale Estimation) : Ce module analyse les cartes d'auto-attention d'un LALM de référence pour identifier les « intervalles actifs » où le modèle se concentre sur un traitement sémantique continu. En moyennant les matrices d'attention à travers les couches et les têtes, la méthode dérive une durée au niveau du corpus ( $L_{on}$ ) qui s'aligne avec les segments sémantiques typiques. Cela détermine le calendrier des phases actives et inactives de l'attaque (cycle de service $\gamma$ ).
Transfert de confusion de fréquence (Frequency Confusion Transfer) : Pour perturber la perception de la sémantique de la parole par le modèle, ce module cartographie la variation spectrale du corpus de référence dans une séquence d'états à basse fréquence. Il quantifie le centroïde spectral du corpus en $n$ états et utilise les statistiques de transition pour générer une forme d'onde à basse fréquence à phase continue et à enveloppe lisse ( $\delta_{on}$ ). Cette forme d'onde est synthétisée avec une amplitude spécifique ( $\beta$ ) et répétée selon le calendrier dérivé de l'analyse de l'attention.

3. Distributional Requery Guard (DRG)

Pour atténuer le risque identifié, les auteurs proposent le DRG, un filtre d'entrée plug-in qui opère avant l'inférence du LALM :

Détection : Le DRG construit un ensemble d'entraînement d'enregistrements propres et perturbés (interférés par des basses fréquences). Il extrait des descripteurs spectraux (magnitudes STFT normalisées à travers les bacs de fréquence) et les regroupe par K-means. Le groupe présentant une énergie plus élevée dans la plage de basses fréquences est étiqueté comme le « groupe d'interférence ».
Re-requête conditionnelle (Conditional Requery) : Lors du déploiement, si l'enregistrement initial d'un utilisateur est classé comme appartenant au groupe d'interférence, le système demande un second enregistrement indépendant du même énoncé.
Récupération : Le LALM cible reçoit l'instruction de comparer les deux enregistrements et de générer une réponse basée uniquement sur le contenu qui est cohérent et intelligible à travers la paire, filtrant ainsi efficacement l'interférence transitoire ou persistante.

Résultats Clés

Efficacité de l'Attaque

Évaluée sur six LALM (MiniCPM, StepAudio2, Qwen2.5, Qwen3, GPT, Gemini) et plusieurs tâches (ASR, Traduction, Audio QA, Classification d'émotions), l'ILL a démontré une perturbation significative :

Dégradation de la performance : L'ILL a réduit la précision jusqu'à 67 points de pourcentage sur le modèle StepAudio2 pour la tâche de classification d'émotions RAVDESS. Sur les six modèles, la précision moyenne sous attaque est tombée à 28,5 % (contre une base propre de 46,1 % ou plus, selon la moyenne spécifique du modèle/tâche), indiquant une vulnérabilité sévère.
Transférabilité : La forme d'onde fixe, construite avec Qwen2.5, a réussi à dégrader la performance de tous les autres modèles cibles, y compris les systèmes à code fermé, sans optimisation spécifique à la cible.
Discrétion (Stealthiness) :
- Ratio de bruit audible (ANR) : L'ILL présentait un ANR de seulement 0,06–0,08 %, ce qui signifie qu'une énergie négligeable a fuité dans la bande audible (20 Hz–8 kHz), comparé à plus de 98 % pour d'autres bases comme le bruit gaussien ou le PNL.
- Perception humaine : Dans les évaluations humaines (112 participants), l'ILL a reçu une note d'audibilité moyenne de 1,33 (sur une échelle de 1 à 7), statistiquement indiscernable de l'audio propre (1,17). En revanche, les autres méthodes d'attaque ont reçu des notes nettement plus élevées (par exemple, 3,75–3,92).

Performance de la Défense

Détection : Le DRG a atteint des scores F1 compris entre 89,69 % et 99,00 % dans la détection des décalages de distribution de basse fréquence.
Récupération : Lorsqu'un second enregistrement propre était disponible, le DRG a élevé la précision moyenne attaquée de 28,5 % à 46,1 %. Le mécanisme a également montré une transférabilité, récupérant la performance sous d'autres perturbations de bruit et types d'attaques (Gaussien, PNL, Audio-Adv, Whisper).
Utilité bénigne : Lorsqu'il est forcé de re-requêter sur des entrées propres, le DRG provoque une dégradation minimale des performances (changements de l'ordre de 0,03 par rapport à l'inférence standard dans la plupart des cas).

Analyse Mécaniste

L'analyse interne a révélé que le succès de l'ILL est lié à :

Réduction de l'attention : L'attaque a considérablement réduit la masse d'attention assignée aux jetons audio (par exemple, de 0,0416 à 0,0373 sur MMAU).
Décalage de représentation : La similitude cosinus entre les représentations encodées propres et attaquées a chuté de manière significative (par exemple, de 1,0 à 0,63 sur RAVDESS).
Dégradation de la confiance : La probabilité assignée à la bonne réponse a chuté radicalement (par exemple, de 0,805 à 0,170 sur MMAU), indiquant un changement dans le processus de décision interne du modèle.

Signification et Revendications

L'article affirme identifier un risque de sécurité auparavant négligé : les entrées à basse fréquence inaudibles comme canal caché pour perturber les LALM.

Nouveauté : Contrairement aux attaques adverses précédentes qui reposent sur des perturbations à haute fréquence ou des manipulations sémantiques, ce travail démontre qu'un signal physique fixe à basse fréquence peut provoquer une dégradation généralisée sur divers modèles et tâches tout en restant imperceptible pour les humains.
Contribution Méthodologique : L'introduction de l'ILL fournit un cadre de red-teaming black-box pour évaluer ce risque spécifique, tandis que le DRG offre une stratégie de mitigation légère basée sur la détection qui ne nécessite pas de réentraînement du LALM.
Implications de Sécurité : Les conclusions suggèrent que les LALM actuels sont vulnérables à des attaques de « disponibilité » où le comportement du modèle diverge de la perception de l'utilisateur. Les auteurs soulignent que ce risque est distinct des jailbreaks sémantiques, car il exploite les propriétés physiques du front-end audio.
Limites : Les auteurs déclarent explicitement que leurs expériences simulent la réception par microphone et ne valident pas un déploiement sur le terrain dans des environnements non contrôlés. Ils reconnaissent que la faisabilité physique dépend de la puissance de la source et des conditions de propagation, et ils ne fournissent pas de paramètres spécifiques aux appareils pour émettre de tels signaux. Le travail privilégie l'identification du risque et la démonstration d'une défense préliminaire plutôt que l'établissement d'un mécanisme causal complet ou de la possibilité d'une exploitation réelle.