💻 computer science

Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation

Cet article introduit « Mental Damage », une attaque par empoisonnement de légendes à double couche qui compromet les systèmes de génération de musique à partir de texte par récupération augmentée en injectant des légendes malveillantes dans la base de connaissances pour orienter subtilement la musique générée vers l'intention cible d'un attaquant sans modifier le prompt de l'utilisateur ni les composants du système.

Auteurs originaux : Yizhu Wen, Shuhao Zhang, Nan Zhang, Long Cheng, Hanqing Guo

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yizhu Wen, Shuhao Zhang, Nan Zhang, Long Cheng, Hanqing Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un compositeur de musique très talentueux, mais légèrement confus. Ce compositeur est excellent pour transformer les mots en sons, mais il a du mal lorsque vous lui donnez des instructions vagues comme : « Crée-moi une musique calme pour étudier ». Il sait ce que le « calme » signifie, mais il ne sait pas comment le construire (par exemple, quels instruments utiliser, quel doit être le tempo du rythme, ou quelle devrait être la texture sonore).

Pour corriger cela, le système utilise un Bibliothécaire (le système de Génération Augmentée par Récupération, ou RAG). Lorsque vous demandez une « musique d'étude calme », le Bibliothécaire se précipite dans une immense bibliothèque de descriptions musicales (légendes) pour trouver les meilleurs exemples. Il saisit quelques descriptions comme « piano lent, nappes douces, rythme léger » et les remet au compositeur. Le compositeur utilise alors ces détails spécifiques pour créer la piste parfaite.

L'Attaque : « Mental Damage » (Dommage Mental)

L'article « Mental Damage » révèle une façon ingénieuse de tromper ce système sans briser le compositeur ou le Bibliothécaire. Au lieu d'attaquer directement la machine, l'attaquant empoisonne la bibliothèque.

Voici comment l'attaque fonctionne, décomposée en une histoire simple :

1. La Mise en Place : Le Livre Empoisonné

L'attaquant s'introduit discrètement dans la bibliothèque et écrit quelques fausses descriptions de livres (légendes) avant de les glisser sur les étagères. Ces descriptions sont conçues pour donner l'impression qu'elles appartiennent à la section « Musique d'étude calme », mais elles contiennent en réalité des instructions secrètes pour une « Musique d'horreur effrayante ».

2. Le Tour de Passe-passe : La Déception à « Double Couche »

L'attaquant utilise une stratégie en trois étapes pour rendre le poison invisible mais puissant :

L'Ancre (Le Déguisement) : La fausse description commence par des mots de haut niveau inoffensifs qui correspondent à votre demande. Elle dit des choses comme : « Parfait pour étudier » ou « Musique d'ambiance relaxante ». Cela garantit que le Bibliothécaire se dira : « Ah, c'est exactement ce que l'utilisateur veut ! » et la choisira.
L'Objectif Opposé (Le Retournement) : L'attaquant choisit une cible qui est l' opposé de votre intention (par exemple, transformer le « calme » en « hanté »), mais il choisit une cible qui partage certains sons de bas niveau. Par exemple, la « musique d'étude calme » et la « musique d'horreur effrayante » peuvent toutes deux utiliser des tempos lents et des sons profonds et réverbérants. Cela rend le changement moins brutal pour le système.
La Charge Utile (La Recette Secrète) : Cachées à l'intérieur de la description se trouvent des instructions acoustiques de bas niveau spécifiques comme « espace réverbérant creux », « carillons lointains et échos » ou « drone pulsé lent ». Ce sont les véritables commandes qui disent au compositeur comment construire le son.

3. Le Résultat : Une Prise de Contrôle Silencieuse

Lorsque vous demandez une « musique d'étude calme », le Bibliothécaire récupère la description empoisonnée parce que les mots de l'« Ancre » correspondent parfaitement à votre demande. Le compositeur lit la description, voit les mots « calme », et se sent confiant. Mais ensuite, il lit les instructions de la « Charge Utile » (« échos creux », « carillons lointains ») et commence à construire une piste qui semble étrange et effrayante.

Le plus effrayant ?

Vous n'avez pas changé votre prompt. Vous avez toujours demandé une musique calme.
Le Bibliothécaire n'a pas changé. Il a toujours récupéré ce qu'il pensait être le meilleur résultat.
Le Compositeur n'a pas changé. Il a toujours suivi les instructions qui lui ont été données.

La seule chose qui a changé est l'étagère de la bibliothèque d'où proviennent les instructions.

Ce que les chercheurs ont découvert

Les chercheurs ont testé cela sur un système réel en utilisant une base de données de descriptions musicales et un générateur de musique appelé MusicGen.

Le Taux de Succès : Lorsqu'ils ont utilisé ces descriptions empoisonnées, la musique générée par l'ordinateur est devenue deux fois plus similaire à l'objectif de l'attaquant (musique effrayante) qu'avant l'attaque.
La Discrétion : Crucialement, la musique semblait toujours essayer de répondre à votre question d'origine. Le système ne s'est pas cassé ; il a simplement déplacé subtilement l'ambiance du « calme d'étude » vers une « étude hantée » sans que personne ne remarque la différence dans le prompt.

L'Essentiel

Cet article montre que dans les systèmes d'IA qui utilisent des bases de données externes pour les aider à réfléchir, la base de données elle-même est un point faible. Si un attaquant peut glisser quelques « faux livres » soigneusement élaborés dans la bibliothèque, il peut orienter la créativité de l'IA vers une destination totalement différente, tout en faisant croire que l'IA fait exactement ce que vous avez demandé.

Les auteurs appellent cela « Mental Damage » car cela empoisonne l'état d'esprit (le contexte) de l'IA, la poussant à générer quelque chose de différent de ce que l'utilisateur avait prévu, sans que l'utilisateur ne réalise jamais que les instructions ont été altérées.

Résumé Technique : Mental Damage – Attaques par empoisonnement de légendes sur la génération de musique par texte-à-musique assistée par recherche (RAG)

Énoncé du problème
Les systèmes de génération de texte-à-musique (TTM) basés sur la génération augmentée par recherche (RAG) visent à combler l'écart entre les invites utilisateur de haut niveau et sous-spécifiées (ex. : « musique calme pour étudier ») et les détails acoustiques de bas niveau requis pour une génération de haute qualité. Ces systèmes récupèrent des légendes musicales détaillées à partir d'une base de connaissances pour augmenter les invites de l'utilisateur avant la synthèse. Cependant, cette architecture introduit une dépendance critique en matière d'intégrité envers le corpus de recherche. L'article identifie qu'un attaquant peut empoisonner cette base de connaissances de musique-texte en injectant un petit nombre de légendes conçues de manière malveillante. Le but est d'induire le système à récupérer des légendes malveillantes qui biaisent le processus d'augmentation de l'invite, orientant la musique générée vers l'intention cible choisie par l'attaquant (ex. : musique d'horreur) alors que la requête originale de l'utilisateur reste bénigne et inchangée. Contrairement aux attaques directes sur les modèles, cette méthode laisse l'invite de l'utilisateur, l'architecture du moteur de recherche et les paramètres du générateur inchangés, ce qui rend l'attaque difficile à détecter du point de vue de l'utilisateur.

Méthodologie
Les auteurs proposent une stratégie d'empoisonnement de légende à double couche conçue pour naviguer dans le compromis inhérent entre la plausibilité de la recherche (la légende empoisonnée doit être récupérée pour la requête bénigne) et la force de direction (la légende doit efficacement rediriger la génération). L'attaque est formulée comme l'optimisation d'une légende empoisonnée $c_p$ composée de deux parties concaténées : $c_p = c_{anchor} \parallel c_{payload}$ .

La stratégie se compose de trois composantes centrales :

Préservation de l'ancre (Plausibilité de la recherche) :
Pour garantir que la légende empoisonnée soit récupérée pour une requête bénigne, l'attaque préserve des indices sémantiques de haut niveau ( $c_{anchor}$ ) qui s'alignent avec l'intention originale de l'utilisateur. Par exemple, si l'utilisateur demande de la « musique pour étudier », la légende empoisonnée conserve des phrases comme « musique calme pour étudier » ou « musique de fond relaxante ». Cela garantit que la légende reste une correspondance plausible dans l'espace de plongement (embedding) du moteur de recherche.
Génération de cible par opposition fonctionnelle de haut niveau (Contrôle du conflit) :
L'attaquant sélectionne une catégorie cible ( $t^*$ ) qui est fonctionnellement opposée à l'intention de l'utilisateur (ex. : passer de « confort/concentration » à « malaise/tension ») tout en évitant un conflit acoustique de bas niveau excessif. Le processus de sélection maximise l'opposition fonctionnelle tout en minimisant l'incompatibilité des descripteurs. Par exemple, « horreur » est choisi plutôt que « rock » pour une requête de « calme pour étudier », car l'horreur peut partager des traits de bas niveau avec la musique calme (ex. : tempo lent, texture éparse, drones soutenus) tout en atteignant un changement radical de la fonction perçue par l'utilisateur. Cet équilibre empêche l'empoisonnement de déstabiliser le processus de recherche ou de génération.
Génération de cible par similitude sémantique de bas niveau (Force de direction) :
Au lieu de s'appuyer uniquement sur des étiquettes de haut niveau, l'attaque injecte une charge utile ( $c_{payload}$ ) de descripteurs acoustiques détaillés de bas niveau dérivés de la catégorie cible. Les exemples incluent « carillons lointains et réverbérants », « espace creux et réverbérant » ou « drone pulsé lent ». Puisque les modèles TTM s'appuient fortement sur ces indices acoustiques spécifiques pour le conditionnement, cette charge utile dirige efficacement la génération en aval vers la cible de l'attaquant sans briser le lien sémantique établi par l'ancre.

Configuration expérimentale et résultats
Les auteurs ont évalué l'attaque sur un pipeline TTM basé sur le RAG en utilisant le jeu de données MusicCaps comme base de connaissances, le modèle CLAP comme moteur de recherche, et MusicGen (small) comme générateur.

Configuration : L'attaquant a injecté un petit nombre de légendes empoisonnées dans la base de données. Le système a été testé avec des requêtes bénignes (ex. : « donnez-moi une musique de fond calme pour étudier ») et évalué par rapport à une catégorie cible (ex. : « horreur »).
Métriques : La performance a été mesurée via la similitude CLAP (similitude cosinus entre les plongements texte et audio), la Précision, le Rappel et le score F1 pour la recherche.
Résultats clés :
- Efficacité de direction : L'attaque a réussi à déplacer la musique générée vers la catégorie cible. La similitude CLAP entre la génération empoisonnée et la catégorie cible a augmenté considérablement (doublant approximativement de ~0,21–0,28 à ~0,41–0,48).
- Furtivité : La similitude CLAP entre la musique générée et la requête originale de l'utilisateur est restée largement inchangée (stagnant autour de 0,30), indiquant que l'attaque n'a pas dégradé l'alignement avec l'invite de l'utilisateur, ce qui la rend difficile à détecter sur la seule base de la pertinence de la requête.
- Succès de la recherche : Les légendes empoisonnées ont été récupérées avec succès avec des scores de précision, de rappel et F1 élevés à travers différents réglages de top-k, confirmant l'efficacité de la stratégie de préservation de l'ancre.

Principales contributions

Identification d'une nouvelle surface d'attaque : L'article identifie l'empoisonnement de légende dans les systèmes TTM basés sur le RAG comme une nouvelle menace d'intégrité, démontrant que la manipulation des métadonnées dans le corpus de recherche peut rediriger le processus de traduction de l'invite du haut niveau vers le bas niveau.
Conception d'empoisonnement à double niveau : Les auteurs proposent une architecture d'attaque spécifique combinant la Préservation de l'Ancre, le Ciblage par Opposition Fonctionnelle et l'Injection de Charge Utile de Descripteurs pour satisfaire simultanément les contraintes de recherche et maximiser la direction malveillante.
Validation empirique : L'étude démontre que cette attaque peut effectivement doubler la similitude de la musique générée avec une intention cible choisie par l'attaquant tout en maintenant l'alignement avec la requête bénigne de l'utilisateur, exposant un risque d'intégrité pratique dans l'IA créative assistée par recherche.

Signification et affirmations
L'article affirme exposer un risque d'intégrité pratique pour les systèmes d'IA créative basés sur la recherche augmentée. Il soutient que la sécurité de ces systèmes ne peut reposer uniquement sur la robustesse du modèle génératif ; l'intégrité du corpus de recherche externe et des étiquettes textuelles attachées à l'audio est tout aussi critique. Les auteurs concluent que les défenses doivent traiter le corpus de recherche et les métadonnées de légende comme faisant partie de la base de confiance, nécessitant des contrôles d'ingestion plus stricts et des vérifications de robustesse au sein du pipeline de recherche. L'ouvrage souligne que dans les systèmes RAG multimodaux, la surface d'attaque s'étend au-delà du modèle génératif pour inclure l'espace d'embedding et la source de connaissance externe.