Latent Space Disentanglement via Activation Steering for Interpretable Attribute Control in Symbolic Music Generation

Resumo Técnico: Desentrelaçamento do Espaço Latente via Direcionamento de Ativação para Controle Interpretável de Atributos na Geração de Música Simbólica

Definição do Problema
Embora as arquiteturas baseadas em Transformer tenham avançado na geração de sequências simbólicas complexas, persiste uma lacuna significativa no alcance de um controle granular e interpretável sobre atributos de sinais discretos. Os modelos existentes frequentemente funcionam como "caixas pretas", onde a relação entre ativações internas de alta dimensão e atributos de saída discretos (como altura e duração) é obscureta. As abordagens atuais para síntese controlável dependem frequentemente de retreinamento computacionalmente caro, modificações arquitetônicas complexas ou condicionamento global que carece da granularidade necessária para a manipulação específica de estados internos. Há uma necessidade premente de métodos de intervenção no tempo de inferência que não interrompam o processo generativo nem exijam otimização de pesos.

Metodologia
Este artigo investiga a interpretabilidade mecanística do Multitrack Music Transformer (MMT), uma arquitetura apenas-decodificador treinada no Symbolic Orchestal Database (SOD). Os autores propõem um framework para modulação determinística de atributos via direcionamento de ativação no tempo de inferência, fundamentado na Hipótese da Representação Linear.

1. Extração de Vetores (DiffMean): Os autores utilizam a metodologia de Diferença de Médias (DiffMean) para isolar direções latentes para atributos específicos — Altura Média de Nota (Average Note Pitch) e Duração Média de Nota (Average Note Duration) — dentro do fluxo residual do modelo. Ao analisar o corpus SOD, eles definem clusters de conceitos "Alto" e "Baixo" (baseados nos quantis 20 e 80) e computam vetores de direcionamento como a diferença de centroide entre esses clusters.
2. Análise de Sensibilidade de Camadas: Através de forward hooks, o estudo intercepta as ativações do fluxo residual em cada bloco do decodificador. A análise de sensibilidade revela que a Duração da Nota é mais linearmente separável em camadas iniciais (atingindo o pico na Camada 2), enquanto a Altura da Nota é mais separável em camadas mais profundas (atingindo o pico na Camada 11).
3. Mecanismo de Direcionamento (Steering): Durante a inferência, os estados ocultos são modificados pela injeção de vetores de direcionamento escalonados ($h^{(l)}_{steer} \leftarrow h^{(l)} + \alpha v^{(l)}$). Os autores avaliam estratégias de injeção, descobrindo que uma abordagem All-to-All (injetando vetores específicos de camada em cada camada) produz o equilíbrio mais robusto entre potência de direcionamento e qualidade de geração.
4. Direcionamento Duplo e Desentrelaçamento: Para abordar o entrelaçamento de características (ex: a correlação natural entre altura alta e duração curta), o artigo introduz um framework de Direcionamento Duplo. Ele compara a simples adição de vetores contra a Ortogonalização de Gram-Schmidt. Especificamente, a estratégia de "Prioridade de Altura" ortogonaliza o vetor de duração contra o vetor de altura para evitar interferência conceitual, permitindo a modulação independente de ambos os atributos.

Principais Contribuições

• Validação da Representação Linear na Música: O estudo confirma que conceitos musicais de alto nível (altura e duração) são representados como vetores lineares dentro do espaço latente do MMT, validando a Hipótese da Representação Linear no domínio da música simbólica.
• Controle Sem Treinamento: O framework proposto permite o controle preciso e determinístico sobre atributos musicais sem a necessidade de retreinar ou realizar o ajuste fino (fine-tuning) do modelo pré-treinado.
• Desacoplamento Geométrico: A introdução da Ortogonalização de Gram-Schmidt reduz com sucesso a interferência conceitual entre características correlacionadas, permitindo o controle independente mesmo contra um forte condicionamento autoregressivo.
• Insights por Camada: O trabalho fornece um mapa de sensibilidade por camada, identificando que características rítmicas são codificadas mais cedo na rede do que características melódicas.

Resultos Experimentais
Os autores avaliaram o framework através de geração incondicional e geração condicional (onde o direcionamento tenta sobrepor um prefixo de 16 batidas com fortes priors autoregressivos).

• Direcionamento de Atributo Único:
  • Altura (Pitch): Alcançou uma correlação de Pearson de $r = 0,9030$ entre a magnitude do direcionamento e o deslocamento do atributo, com uma resposta linear de aproximadamente +13,35 semitons por unidade de $\alpha$.
  • Duração (Duration): Alcançou uma correlação de Pearson de $r = 0,9263$, com uma resposta linear de +10,77 ticks por unidade de $\alpha$.
  • Sobreposição de Contexto (Context Override): O método sobrepôs com sucesso contextos locais fortes em 93,4% dos testes de altura e 91,7% dos testes de duração, deslocando atributos em até 2,6 oitavas ou expansões significativas de ticks.
• Direcionamento Duplo:
  • Em cenários de atributo duplo, o Gram-Schmidt (Prioridade de Altura) superou a adição simples e a ortogonalização simétrica, alcançando uma taxa de sucesso de 88,5% com a menor degradação de qualidade ($\delta = 2,14$).
  • O método demonstrou que, embora o direcionamento ascendente seja geralmente mais eficaz (96,1% de sucesso) do que o descendente (82,2%), a estratégia de ortogonalização mitiga efetivamente a interferência, permitindo combinações inéditas de altura e duração que a distribuição de treinamento do modelo pode não favorecer naturalmente.
  • A degradação da qualidade permaneceu baixa ($\delta \leq 3$) para faixas de direcionamento ideais, indicando coerência perceptiva, enquanto valores extremos de direcionamento levaram a uma degradação exponencial.

Significância
O artigo afirma que este trabalho preenche a lacão entre a geração autoregressiva de alta qualidade e o controle preciso e interpretável. Ao realizar a engenharia reversa das representações latentes de um MMT pré-treinado, os autores demonstram que atributos musicais complexos podem ser manipulados deterministicamente no tempo de inferência. A significância reside na capacidade de realizar uma intervenção granular e sem treinamento que respeita a estrutura interna do modelo enquanto supera as limitações do condicionamento global. A aplicação bem-sucedida do desacoplamento geométrico (Gram-Schmidt) para desentrelaçar características musicais entrelaçadas oferece um caminho para ferramentas de composição musical assistida por IA mais controláveis e transparentes. Os autores posicionam isso como um passo fundamental em direção a uma IA mais explicável no domínio da música simbólica, distinta dos métodos de síntese de áudio contínuo.