Resumo Técnico: Auditoria de Dados de Treinamento em Modelos de Geração Musical via Inferência de Pertencimento de Caixa-Preta

Declaração do Problema

Avanços recentes na geração de texto para música (por exemplo, MusicGen, Stable Audio, Suno) permitiram a síntese de alta fidelidade de áudio estruturado. No entanto, esses modelos são tipicamente treinados em corpora massivos e opacos agregados de fontes online, sem documentação transparente da proveniência dos dados ou consentimento. Essa falta de transparência cria uma lacuna crítica de responsabilização: atualmente, não há mecanismo prático para que artistas, detentores de direitos autorais ou reguladores verifiquem se uma amostra de áudio específica foi incluída no conjunto de treinamento de um modelo generativo implantado.

Embora os Ataques de Inferência de Pertencimento (MIAs) sejam bem estudados nos domínios de imagem e texto, sua aplicação à música generativa permanece incipiente. As abordagens existentes sofrem de limitações significativas:

• Dependências de caixa-branca: Alguns métodos exigem acesso a estados internos do modelo, pontuações de verossimilhança ou estados de difusão, que não estão disponíveis em implantações de caixa-preta do mundo real.
• Métricas fracas de caixa-preta: As abordagens atuais de caixa-preta frequentemente dependem de estatísticas escalares (por exemplo, pontuações de discriminadores, erros de reconstrução) ou partições fixas de conjuntos de dados, falhando em modelar explicitamente o alinhamento semântico entre o áudio original e as saídas geradas.
• Falta de confiabilidade: Esses métodos lutam para fornecer auditoria confiável por amostra em configurações realistas, frequentemente performando perto do nível de acaso em modelos de grande escala.

Metodologia

Os autores propõem uma estrutura de inferência de pertencimento de caixa-preta que aproveita a hipótese de que a pertença ao treinamento induz um alinhamento semântico e estrutural sistematicamente mais forte entre uma amostra de áudio candidata e a geração do modelo quando condicionada à legenda da amostra.

Visão Geral do Sistema

A estrutura opera em duas fases: um Processo de Treinamento em modelos sombra e um Processo de Auditoria no modelo alvo.

1. Treinamento do Modelo Sombra (Construção de Dados):

   • O auditor utiliza vários modelos sombra "texto-para-música" acessíveis ($M_{si}$) com subconjuntos de treinamento conhecidos ($D_{in}$).
   • Pares de Membros: Para uma faixa $x \in D_{in}$, uma legenda $C_{in}$ é extraída. O modelo sombra gera $G_{in} = M_{si}(C_{in})$. O par $(x, G_{in})$ representa um exemplo de "membro".
   • Pares de Não-Membros: Para garantir comparabilidade semântica, a mesma legenda $C_{in}$ é usada para condicionar um modelo auxiliar ($M_{aux}$, distinto do modelo alvo e dos modelos sombra) a gerar uma faixa de não-membro $x'$. Uma legenda $C_{out}$ é extraída de $x'$, e o modelo sombra gera $G_{out} = M_{si}(C_{out})$. O par $(x', G_{out})$ representa um exemplo de "não-membro".
   • Essa construção cria quatro grupos alinhados ($D_{in}, D_{out}, G_{in}, G_{out}$) para isolar a exposição ao treinamento como o principal fator distintivo, controlando a variação semântica.

2. Extração de Recursos:

   • Amostras de áudio são incorporadas usando cinco codificadores de áudio diversos: MERT (semântica musical), Music2Vec (estrutura/tonalidade), DAC (artefatos acústicos), Fx-Encoder++ (efeitos de produção) e CLAP (semântica áudio-texto).
   • Os codificadores produzem embeddings globais 1D ou mapas de embeddings 2D (preservando eixos de camada/temporal).

3. Treinamento do Auditor Musical:

   • Um classificador leve (o "Auditor Musical") é treinado para distinguir pares de membros de pares de não-membros com base no alinhamento no espaço de embeddings.
   • Arquitetura:
     • Para embeddings 1D: Uma Rede Neural Multilayer Perceptron (MLP) com três camadas ocultas (256, 128, 64 unidades) processa o par concatenado $[f(x) \parallel f(x')]$.
     • Para embeddings 2D: Uma Rede Neural Convolucional (CNN) com três camadas convolucionais processa o par empilhado.
   • O auditor aprende padrões de alinhamento característicos da pertença ao treinamento sem acesso aos parâmetros do modelo alvo ou aos dados de treinamento.

4. Processo de Auditoria:

   • Dada uma faixa candidata $x$ e um modelo alvo de caixa-preta $M_t$, o auditor extrai a legenda $C_x$, consulta $M_t$ para obter $x' = M_t(C_x)$, calcula os embeddings e alimenta o par no auditor treinado.
   • Uma pontuação de pertencimento alta indica que o alinhamento entre $x$ e $x'$ assemelha-se aos padrões aprendidos a partir de membros do modelo sombra, sugerindo que $x$ estava no conjunto de treinamento.

Contribuições Principais

• Nova Estrutura de Caixa-Preta: O artigo introduz a primeira estrutura prática de auditoria de caixa-preta para música generativa que não requer acesso interno ao modelo, pontuações de verossimilhança ou estados de caixa-branca.
• Hipótese de Alinhamento Semântico: Estabelece que a pertença ao treinamento induz consistência semântica e estrutural mensurável entre uma faixa de origem e sua geração condicionada à legenda, um sinal que pode ser capturado no espaço de embeddings.
• Estratégia de Modelo Sombra: Os autores propõem um método robusto para construir pares de não-membros semanticamente correspondentes usando geração auxiliar, garantindo que as diferenças no alinhamento sejam devidas à exposição ao treinamento e não à variação semântica.
• Análise de Codificadores: O estudo avalia sistematicamente cinco codificadores de áudio distintos, identificando quais espaços de recursos são mais discriminativos para inferência de pertencimento em música.

Resultados Experimentais

A estrutura foi avaliada em três sistemas de texto-para-música de última geração: AudioLDM2, Stable Audio Open e Mustango, usando um protocolo de exclusão de um gerador por vez.

• Desempenho: O método alcança até 98,6% de precisão com uma Taxa de Falsos Positivos (FPR) de 1,9% e uma Taxa de Falsos Negativos (FNR) de 1,0% no Stable Audio Open usando o codificador DAC.
• Eficácia dos Codificadores:
  • DAC (artefatos acústicos) emergiu como o codificador mais eficaz e estável, alcançando uma precisão média de 97,7% em todos os alvos.
  • CLAP e MERT também performaram bem (precisão média >91%).
  • Music2Vec mostrou desempenho mais fraco (78,3% de precisão média) e taxas mais altas de falsos positivos.
  • Fx-Encoder++ exibiu instabilidade, particularmente no AudioLDM2.
• Transferibilidade: O auditor demonstrou forte transferibilidade cruzada entre geradores, particularmente entre AudioLDM2 e Stable Audio Open. No entanto, a transferência para/de Mustango (que gera clipes curtos de 10 segundos) mostrou uma lacuna de desempenho, provavelmente devido a deslocamentos de distribuição entre segmentos curtos e áudio de longa duração (150s).
• Eficiência de Amostra: O sistema é altamente eficiente em amostras. Em certas configurações (por exemplo, excluindo o AudioLDM2), a precisão excedeu 98% com apenas 100 pares de treinamento, atingindo o desempenho máximo com 1.000 pares.

Significado e Alegações

O artigo alega que auditoria confiável de dados de treinamento é viável em cenários realistas de implantação de caixa-preta. Ao demonstrar que sinais de pertencimento podem ser extraídos exclusivamente através de acesso por consulta e análise de alinhamento semântico, o trabalho fornece uma ferramenta prática para:

• Responsabilização: Permitir a verificação da proveniência dos dados para artistas e detentores de direitos autorais.
• Verificação de Consentimento: Ajudar reguladores e plataformas a avaliar se os modelos foram treinados com dados sem consentimento.
• Transparência: Oferecer um mecanismo para auditar sistemas de IA de "caixa-preta" sem exigir acesso proprietário.

Os autores mantêm uma postura modesta, reconhecendo que sua avaliação atual depende de modelos sombra parcialmente informados (onde legendas e metadados de verdade absoluta estão disponíveis) e que a construção de não-membros é uma aproximação prática. Eles observam que trabalhos futuros devem abordar a heterogeneidade de conjuntos de dados, reduzir a dependência de pipelines auxiliares fixos e desenvolver procedimentos de auditoria com garantias estatísticas principistas para implantação mais ampla.