Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation

Resumo Técnico: Mental Damage – Ataques de Envenenamento de Legendas em Geração de Texto-para-Música com Recuperação Aumentada

Definição do Problema
Sistemas de Geração de Texto-para-Música (TTM) baseados em Geração Aumentada por Recuperação (RAG) visam preencher a lacuna entre prompts de usuário de alto nível e subespecificados (ex: "música calma para estudar") e os detalhes acústicos de baixo nível necessários para uma geração de alta qualidade. Esses sistemas recuperam legendas musicais detalhadas de uma base de conhecimento para aumentar os prompts do usuário antes da síntese. No entanto, essa arquitetura introduz uma dependência crítica de integridade no corpus de recuperação. O artigo identifica que um atacante pode envenenar este banco de dados de conhecimento de música-texto injetando um pequeno número de legendas elaboradas. O objetivo é induzir o sistema a recuperar legendas maliciosas que enviesem o processo de aumento de prompt, direcionando a música gerada para uma intenção alvo escolhida pelo atacante (ex: música de terror) enquanto a consulta original do usuário permanece benigna e inalterada. Ao contrário dos ataques diretos ao modelo, este método deixa o prompt do usuário, a arquitetura do recuperador e os parâmetros do gerador inalterados, tornando o ataque difícil de detectar sob a perspectiva do usuário.

Metodologia
Os autores propõem uma estratégia de envenenamento de legenda de camada dupla projetada para navegar o compromisso inerente entre plausibilidade de recuperação (a legenda envenenada deve ser recuperada para a consulta benigna) e força de direcionamento (a legenda deve redirecionar efetivamente a geração). O ataque é formulado como a otimização de uma legenda envenenada $c_p$ composta por duas partes concatenadas: $c_p = c_{anchor} \parallel c_{payload}$.

A estratégia consiste em três componentes principais:

1. Preservação de Âncora (Plausibilidade de Recuperação):
   Para garantir que a legenda envenenada seja recuperada para uma consulta benigna, o ataque preserva pistas semânticas de alto nível ($c_{anchor}$) que se alinham com a intenção original do usuário. Por exemplo, se o usuário pede "música para estudar", a legenda envenenada retém frases como "música de estudo calma" ou "música de fundo relaxante". Isso garante que a legenda permaneça uma correspondência plausível no espaço de incorporação (embedding) do recuperador.

2. Geração de Alvo de Oposto Funcional de Alto Nível (Controle de Conflito):
   O atacante seleciona uma categoria alvo ($t^*$) que é funcionalmente oposta à intenção do usuário (ex: mudar de "conforto/foco" para "desconforto/tensão"), mas evita conflitos acústicos excessivos de baixo nível. O processo de seleção maximiza a oposição funcional enquanto minimiza a incompatibilidade de descritores. Por exemplo, "terror" é escolhido em vez de "rock" para uma consulta de "estudo calmo", porque o terror pode compartilhar traços de baixo nível com a música calma (ex: tempo lento, textura esparsa, drones sustentados), ao mesmo tempo em que alcança uma mudança drástica na função percebida pelo usuário. Esse equilíbrio evita que o envenenamento desestabilize o processo de recuperação ou geração.

3. Geração de Alvo de Similaridade Semântica de Baixo Nível (Força de Direcionamento):
   Em vez de depender apenas de rótulos de alto nível, o ataque injeta uma carga útil ($c_{payload}$) de descritores acústicos detalhados de baixo nível derivados da categoria alvo. Exemplos incluem "sinos ecoantes distantes", "espaço reverberante oco" ou "drone pulsante lento". Como os modelos TTM dependem fortemente desses sinais acústicos específicos para condicionamento, esta carga útil direciona efetivamente a geração subsequente para o alvo do atacante sem quebrar o elo semântico estabelecido pela âncora.

Configuração Experimental e Resultados
Os autores avaliaram o ataque em um pipeline TTM baseado em RAG usando o conjunto de dados MusicCaps como base de conhecimento, o modelo CLAP como recuperador e MusicGen (small) como gerador.

• Configuração: O atacante injetou um pequeno número de legendas envenenadas no banco de dados. O sistema foi testado com consultas benignas (ex: "me dê uma música de fundo calma para estudar") e avaliado contra uma categoria alvo (ex: "terror").
• Métricas: O desempenho foi medido usando similaridade CLAP (similaridade de cosseno entre embeddings de texto e áudio), Precisão, Recall e F scores para recuperação.
• Principais Descobertas:
  • Eficácia de Direcionamento: O ataque deslocou com sucesso a música gerada para a categoria alvo. A similaridade CLAP entre a geração envenenada e a categoria alvo aumentou substancialmente (aproximadamente dobrando de ~0,21–0,28 para ~0,41–0,48).
  • Sigilo: A similaridade CLAP entre a música gerada e a consulta original do usuário permaneceu amplamente inalterada (mantendo-se em torno de 0,30), indicando que o ataque não degradou o alinhamento com o prompt do usuário, tornando-o difícil de detectar baseando-se apenas na relevância da consulta.
  • Sucesso de Recuperação: As legendas envenenadas foram recuperadas com sucesso com altos índices de precisão, recall e F1 em diferentes configurações de top-k, confirmando a eficácia da estratégia de preservação de âncora.

Principais Contribuições

1. Identificação de uma Nova Superfície de Ataque: O artigo identifica o envenenamento de legenda em sistemas TTM baseados em RAG como uma nova ameaça de integridade, demonstrando que a manipulação de metadados no corpus de recuperação pode redirecionar o processo de tradução de prompt de alto nível para baixo nível.
2. Design de Envenenamento de Dupla Camada: Os autores propõem uma arquitetura de ataque específica combinando Preservação de Âncora, Direcionamento de Oposto Funcional e Injeção de Carga Útil de Descritor para satisfazer simultaneamente as restrições de recuperação e maximizar o direcionamento malicioso.
3. Validação Empírica: O estudo demonstra que este ataque pode efetivamente dobrar a similaridade da música gerada em relação a uma intenção alvo escolhida pelo atacante, mantendo o alinhamento com a consulta benigna do usuário, expondo um risco prático de integridade em IA criativa com recuperação aumentada.

Significância e Alegações
O artigo afirma expor um risco prático de integridade para sistemas de IA criativa com recuperação aumentada. Argumenta que a segurança desses sistemas não pode depender apenas da robustez do modelo generativo; a integridade do corpus de recuperação externo e dos rótulos textuais anexados ao áudio são igualmente críticos. Os autores concluem que as defesas devem tratar o corpus de recuperação e os metadados das legendas como parte da base de confiança, necessitando de controles de ingestão mais fortes e verificações de robustez dentro do pipeline de recuperação. O trabalho destaca que, em sistemas RAG multimodais, a superfície de ataque se estende além do modelo generativo para incluir o espaço de embedding e a fonte de conhecimento externa.