Genre Controlled Music Generation via Activation Steering

Resumo Técnico: Geração de Música Controlada por Gênero via Direcionamento de Ativação

Declaração do Problema
A geração computacional de música está se movendo cada vez mais para estilos não convencionais, criando uma demanda por métodos que permitam uma mistura precisa e controlável de elementos musicais diversos. Embora trabalhos anteriores de geração condicional de música tenham utilizado prompts baseados em texto (por exemplo, descrições de gênero ou humor) ou ajuste fino para controle de instrumentos e acordes, essas abordagens frequentemente exigem recursos computacionais significativos ou carecem de controle granular. Técnicas existentes de intervenção no momento da inferência foram amplamente aplicadas a atributos discretos ou modelos de linguagem, deixando uma lacuna em métodos leves e eficazes para controlar conceitos contínuos e não binários, como gêneros musicais, em transformadores autoregressivos.

Metodologia
Os autores propõem um método para controle fino de gênero usando intervenções no momento da inferência no transformador generativo autoregressivo, MusicGen. A abordagem fundamenta-se na interpretabilidade mecânica e na engenharia de ativação, inspirando-se em técnicas usadas para interpretar Modelos de Linguagem de Grande Escala (LLMs).

1. Identificação de Conceitos e Sondagem Linear:

   • Os autores analisam as ativações do fluxo residual e as saídas das camadas de atenção do MusicGen para identificar onde conceitos musicais (especificamente gêneros: rock, clássico, eletrônico e jazz) são representados linearmente.
   • Eles aplicam agrupamento $k$-means nas ativações através das camadas e avaliam o Índice Rand Ajustado (ARI) e a Informação Mútua Normalizada (NMI) para determinar a camada onde a informação de gênero é mais distinta.
   • Sondas Lineares: Um classificador linear (sonda) é treinado nas ativações do fluxo residual ($h^l_a$) de camadas específicas para prever rótulos de gênero. A sonda aprende um mapeamento $\hat{y} = W^\top h^l_a + b$. A camada que produz a maior precisão da sonda é identificada como a localização ótima para a representação linear do conceito.

2. Direcionamento de Ativação:

   • Uma vez identificadas a camada ótima e o vetor de direcionamento (derivado dos pesos da sonda), os autores realizam intervenção no momento da inferência.
   • Um vetor de direcionamento de magnitude unitária $r^l$ é adicionado às ativações do fluxo residual antes da camada alvo. A intervenção é escalada por um hiperparâmetro $\alpha$ (buscado no intervalo $[0.3, 1.0]$) e normalizada:
     $$h^l_i \leftarrow h^l_i + \frac{\alpha r^l}{1 + \alpha}$$
   • Essa intervenção é aplicada seletivamente ao fluxo residual condicional, permitindo que o modelo direcione a geração para um gênero alvo enquanto preserva outros recursos, como andamento e linhas melódicas, que os autores hipotetizam serem representados em camadas diferentes.

3. Configuração Experimental:

   • Os experimentos utilizam o modelo musicgen-small e um conjunto de dados balanceado de segmentos de áudio de 10 segundos do conjunto de dados lewtun/music_genres (900 amostras por classe para rock, clássico, eletrônico e jazz).
   • Transições foram testadas em pares (por exemplo, Clássico $\to$ Eletrônico, Rock $\to$ Clássico) e comparadas contra uma linha de base onde as transições foram alcançadas exclusivamente por meio de prompts de texto.

Principais Contribuições
O artigo delineia três contribuições primárias:

1. Direcionamento Controlável pelo Usuário: Um método que permite aos usuários direcionar as ativações do MusicGen para alcançar controle específico de gênero sem retreinar o modelo.
2. Extensão para Conceitos Contínuos: A extensão de técnicas de direcionamento de ativação eficientes em computação, anteriormente usadas para atributos discretos, para conceitos contínuos e não binários, como gêneros musicais.
3. Validação: Uma avaliação abrangente usando métricas quantitativas (baseadas em CLAP) e estudos perceptivos humanos (testes de escuta 2AFC) para validar que o direcionamento de ativação aprimora o controle de gênero enquanto mantém a coerência musical.

Resultados
O estudo avaliou o método através de duas lentes:

• Quantitativo (Pontuações CLAP): Usando o modelo clap-htsat-unfused para classificação de áudio zero-shot, os autores mediram a similaridade do áudio gerado com os rótulos de gênero alvo. Os resultados mostraram que o direcionamento produziu consistentemente deslocamentos positivos maiores nas pontuações CLAP em comparação com prompts de texto. Por exemplo, na transição "Clássico $\to$ Eletrônico", o método direcionado resultou em um $\Delta$CLAP de $+0.2057$, comparado a $+0.1276$ para prompts.
• Qualitativo (Estudo de Escuta Humana): Um estudo de Escolha Forçada de 2 Alternativas (2AFC) envolvendo 24 participantes (7 músicos treinados e 17 não músicos) revelou uma preferência consistente por amostras direcionadas em relação às linhas de base com prompts em todas as transições de gênero. Músicos treinados mostraram alta precisão ao preferir amostras direcionadas (por exemplo, 80,5% para Rock $\to$ Clássico, $p < 0.0001$), e o público geral também mostrou preferência significativa na maioria dos casos.

Significado e Alegações
O artigo alega que o direcionamento de ativação oferece uma alternativa leve, interpretável e eficaz ao ajuste fino pesado ou à condicionamento apenas por texto para geração de música controlável. Ao enquadrar o direcionamento de ativação como uma interação controlável pelo humano, o trabalho demonstra que comportamentos de modelo interpretáveis podem capacitar fluxos de trabalho co-criativos.

Os autores notam modestamente que, embora as pontuações CLAP sirvam como um proxy útil para alinhamento de gênero, elas provavelmente capturam atributos musicais correlacionados (timbre, andamento, ritmo) em vez de semânticas de gênero explícitas. A força do direcionamento é apresentada como um parâmetro interativo para usuários, em vez de um hiperparâmetro fixo. O trabalho conclui que essa abordagem valida o potencial de intervenções no momento da inferência para manipular recursos musicais, mesmo na ausência de amostras claramente contrastantes, abrindo caminho para estratégias mais generalizáveis e interpretáveis na geração de música controlável.