💻 computer science

Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation

Este artículo introduce "Mental Damage", un ataque de envenenamiento de subtítulos de doble capa que compromete los sistemas de texto a música con recuperación aumentada mediante la inyección de subtítulos maliciosos en la base de datos de conocimiento para dirigir sutilmente la música generada hacia la intención objetivo de un atacante sin alterar el prompt del usuario ni los componentes del sistema.

Autores originales: Yizhu Wen, Shuhao Zhang, Nan Zhang, Long Cheng, Hanqing Guo

Publicado 2026-06-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yizhu Wen, Shuhao Zhang, Nan Zhang, Long Cheng, Hanqing Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un compositor musical muy talentoso, pero un poco confundido. Este compositor es excelente convirtiendo palabras en sonido, pero tiene dificultades cuando le das instrucciones vagas como: "Hazme algo de música tranquila para estudiar". Él sabe cómo se siente la calma, pero no sabe cómo construirla (por ejemplo, qué instrumentos usar, qué tan rápido debería ser el ritmo o cómo debería sonar la textura).

Para solucionar esto, el sistema utiliza un Bibliotecario (el sistema de Generación Aumentada por Recuperación, o RAG). Cuando pides "música tranquila para estudiar", el Bibliotecario corre a una enorme biblioteca de descripciones musicales (leyendas) para encontrar los mejores ejemplos. Toma algunas descripciones como "piano lento, pads suaves, ritmo gentil" y se las entrega al compositor. El compositor utiliza entonces estos detalles específicos para crear la pista perfecta.

El Ataque: "Daño Mental" (Mental Damage)

El artículo "Mental Damage" revela una forma ingeniosa de engañar a este sistema sin romper al compositor ni al Bibliotecario. En lugar de atacar a la máquina directamente, el atacante envenena la biblioteca.

Así es como funciona el ataque, desglosado en una historia sencilla:

1. La Configuración: El Libro Envenenado

El atacante se infiltra en la biblioteca y escribe algunas descripciones de libros falsas (leyendas) y las desliza en los estantes. Estas descripciones están diseñadas para parecer que pertenecen a la sección de "Música Tranquila para Estudiar", pero en realidad contienen instrucciones secretas para "Música de Terror de Terror".

2. El Truco: El Engaño de "Doble Capa"

El atacante utiliza una estrategia de tres pasos para hacer que el veneno sea invisible pero poderoso:

El Ancla (El Disfraz): La descripción falsa comienza con palabras inofensivas de alto nivel que coinciden con tu petición. Dice cosas como, "Perfecto para estudiar" o "Música de fondo relajante". Esto asegura que el Bibliotecario piense: "¡Ah, esto es exactamente lo que el usuario quiere!" y lo recoja.
El Objetivo Opuesto (El Giro): El atacante elige un objetivo que es lo opuesto a tu intención (por ejemplo, convertir lo "tranquilo" en "embrujado"), pero elige un objetivo que comparte algunos sonidos de bajo nivel. Por ejemplo, tanto la "música tranquila para estudiar" como la "música de terror espeluznante" podrían usar tempos lentos y sonidos profundos y con eco. Esto hace que el cambio sea menos brusco para el sistema.
La Carga Útil (La Receta Secreta): Ocultas dentro de la descripción hay instrucciones acústicas específicas de bajo nivel como "espacio resonante hueco", "campanillas distantes con eco" o "drone pulsante lento". Estas son las órdenes reales que le dicen al compositor cómo construir el sonido.

3. El Resultado: Una Toma de Control Silenciosa

Cuando pides "música tranquila para estudiar", el Bibliotecario recupera la descripción envenenada porque las palabras del "Ancla" coinciden perfectamente con tu petición. El compositor lee la descripción, ve las palabras de "calma" y se siente seguro. Pero luego, lee las instrucciones de la "Carga Útil" ("ecos huecos", "campanillas distantes") y comienza a construir una pista que suena inquietante y espeluznante.

¿Lo aterrador?

No cambiaste tu prompt. Seguiste pidiendo música tranquila.
El Bibliotecario no cambió. Siguió recuperando lo que creía que era la mejor coincidencia.
El Compositor no cambió. Siguió siguiendo las instrucciones que se le dieron.

Lo único que cambió fue el estante de la biblioteca de donde provenían las instrucciones.

Lo que los Investigadores Descubrieron

Los investigadores probaron esto en un sistema real utilizando una base de datos de descripciones musicales y un generador de música llamado MusicGen.

La Tasa de Éxito: Cuando utilizaron estas descripciones envenenadas, la música que la computadora generó se volvió dos veces más similar al objetivo del atacante (música de terror) en comparación con antes del ataque.
El Sigilo: Crucialmente, la música todavía sonaba como si estuviera intentando responder a tu pregunta original. El sistema no se rompió; simplemente cambió sutilmente el estado de ánimo de "estudio tranquilo" a "estudio embrujado" sin que nadie notara la diferencia en el prompt.

La Conclusión

Este artículo muestra que en los sistemas de IA que utilizan bases de datos externas para ayudarles a pensar, la base de datos en sí misma es un punto débil. Si un atacante puede colar unos cuantos "libros falsos" cuidadosamente elaborados en la biblioteca, puede dirigir la creatividad de la IA hacia un destino completamente diferente, todo mientras hace que parezca que la IA está haciendo exactamente lo que pediste.

Los autores llaman a esto "Mental Damage" (Daño Mental) porque envenena la mentalidad (el contexto) de la IA, causando que genere algo diferente de lo que el usuario pretendía, sin que el usuario se dé cuenta jamás de que las instrucciones fueron manipuladas.

Resumen Técnico: Mental Damage – Ataques de Envenenamiento de Captions en la Generación de Texto-a-Música con Recuperación Aumentada

Planteamiento del Problema
Los sistemas de Generación con Recuperación Aumentada (RAG) para la conversión de Texto-a-Música (TTM) buscan cerrar la brecha entre los prompts de usuario de alto nivel y poco especificados (por ejemplo, "música tranquila para estudiar") y los detalles acústicos de bajo nivel requeridos para una generación de alta calidad. Estos sistemas recuperan descripciones musicales detalladas de una base de conocimientos para aumentar los prompts del usuario antes de la síntesis. Sin embargo, esta arquitectura introduce una dependencia crítica de integridad en el corpus de recuperación. El artículo identifica que un atacante puede envenenar esta base de datos de conocimiento de música-texto inyectando un pequeño número de captions (descripciones) diseñadas. El objetivo es inducir al sistema a recuperar captions maliciosas que sesguen el proceso de aumento del prompt, dirigiendo la música generada hacia una intención objetivo elegida por el atacante (por ejemplo, música de terror) mientras la consulta original del usuario permanece benigna e inalterada. A diferencia de los ataques directos al modelo, este método deja inalterados el prompt del usuario, la arquitectura del recuperador y los parámetros del generador, lo que hace que el ataque sea difícil de detectar desde la perspectiva del usuario.

Metodología
Los autores proponen una estrategia de envenenamiento de captions de doble capa diseñada para navegar el compromiso inherente entre la plausibilidad de recuperación (la caption envenenada debe ser recuperada para la consulta benigna) y la fuerza de dirección (la caption debe redirigir eficazmente la generación). El ataque se formula optimizando una caption envenenada $c_p$ compuesta por dos partes concatenadas: $c_p = c_{anchor} \parallel c_{payload}$ .

La estrategia consta de tres componentes principales:

Preservación del Ancla (Plausibilidad de Recuperación):
Para asegurar que la caption envenenada sea recuperada para una consulta benigna, el ataque preserva pistas semánticas de alto nivel ( $c_{anchor}$ ) que se alinean con la intención original del usuario. Por ejemplo, si el usuario pide "música para estudiar", la caption envenenada retiene frases como "música tranquila para estudiar" o "música de fondo relajante". Esto asegura que la caption siga siendo una coincidencia plausible en el espacio de embeddings del recuperador.
Generación de Objetivo de Opuesto Funcional de Alto Nivel (Control de Conflicto):
El atacante selecciona una categoría objetivo ( $t^*$ ) que es funcionalmente opuesta a la intención del usuario (por ejemplo, cambiar de "confort/enfoque" a "inquietud/tensión") pero evita un conflicto acústico de bajo nivel excesivo. El proceso de selección maximiza la oposición funcional mientras minimiza la incompatibilidad de los descriptores. Por ejemplo, se elige "terror" en lugar de "rock" para una consulta de "estudio tranquilo" porque el terror puede compartir rasgos de bajo nivel con la música tranquila (por ejemplo, tempo lento, textura dispersa, drones sostenidos) permitiendo alcanzar un cambio drástico en la función percibida por el usuario sin desestabilizar el proceso de recuperación o generación. Este equilibrio evita que el envenenamiento desestabilice el proceso.
Generación de Objetivo de Similitud Semántica de Bajo Nivel (Fuerza de Dirección):
En lugar de depender únicamente de etiquetas de alto nivel, el ataque inyecta una carga útil ( $c_{payload}$ ) de descriptores acústicos detallados de bajo nivel derivados de la categoría objetivo. Los ejemplos incluyen "campanadas distantes con eco", "espacio reverberante hueco" o "drone pulsante lento". Dado que los modelos TTM dependen fuertemente de estas pistas acústicas específicas para el condicionamiento, esta carga útil dirige eficazmente la generación posterior hacia el objetivo del atacante sin romper el vínculo semántico establecido por el ancla.

Configuración Experimental y Resultados
Los autores evaluaron el ataque en un pipeline de TTM basado en RAG utilizando el conjunto de datos MusicCaps como base de conocimientos, el modelo CLAP como recuperador y MusicGen (small) como generador.

Configuración: El atacante inyectó un pequeño número de captions envenenadas en la base de datos. El sistema fue probado con consultas benignas (por ejemplo, "dame música de fondo tranquila para estudiar") y evaluado contra una categoría objetivo (por ejemplo, "terror").
Métricas: El rendimiento se midió utilizando la similitud CLAP (similitud de coseno entre los embeddings de texto y audio), Precisión, Recall y F1 para la recuperación.
Hallazgos Clave:
- Efectividad de la Dirección: El ataque logró desplazar la música generada hacia la categoría objetivo. La similitud CLAP entre la generación envenenada y la categoría objetivo aumentó sustancialmente (aproximadamente el doble, de ~0.21–0.28 a ~0.41–0.48).
- Sigilo: La similitud CLAP entre la música generada y la consulta original del usuario permaneció mayormente inalterada (manteniéndose alrededor de 0.30), lo que indica que el ataque no degradó la alineación con el prompt del usuario, dificultando su detección basada únicamente en la relevancia de la consulta.
- Éxito de Recuperación: Las captions envenenadas fueron recuperadas con éxito con altos puntajes de precisión, recall y F1 en diferentes configuraciones de top-k, confirmando la eficacia de la estrategia de preservación del ancla.

Contribuciones Clave

Identificación de una Nueva Superficie de Ataque: El artículo identifica el envenenamiento de captions en sistemas TTM basados en RAG como una nueva amenaza de integridad, demostrando que la manipulación de los metadatos en el corpus de recuperación puede redirigir el proceso de traducción de prompt de alto nivel a bajo nivel.
Diseño de Envenenamiento de Doble Nivel: Los autores proponen una arquitectura de ataque específica que combina la Preservación del Ancla, el Objetivo de Opuesto Funcional y la Inyección de Carga Útil de Descriptores para satisfacer simultáneamente las restricciones de recuperación y maximizar la dirección maliciosa.
Validación Empírica: El estudio demuestra que este ataque puede duplicar efectivamente la similitud de la música generada con una intención objetivo elegida por el atacante mientras mantiene la alineación con la consulta benigna del usuario, exponiendo un riesgo práctico de integridad en la IA creativa con recuperación aumentada.

Significancia y Reivindicaciones
El artículo afirma exponer un riesgo de integridad práctico para los sistemas de IA creativa con recuperación aumentada. Argumenta que la seguridad de estos sistemas no puede depender únicamente de la robustez del modelo generativo; la integridad del corpus de recuperación externo y las etiquetas textuales asociadas al audio son igualmente críticas. Los autores concluyen que las defensas deben tratar el corpus de recuperación y los metadatos de las captions como parte de la base de confianza, lo que requiere controles de ingesta más estrictos y verificaciones de robustez dentro del pipeline de recuperación. El trabajo destaca que, en los sistemas RAG multimodales, la superficie de ataque se extiende más allá del modelo generativo para incluir el espacio de embeddings y la fuente de conocimiento externa.