Genre Controlled Music Generation via Activation Steering

Resumen Técnico: Generación de Música Controlada por Género mediante Dirección de Activaciones

Enunciado del Problema
La generación musical computacional se dirige cada vez más hacia estilos no convencionales, creando una demanda de métodos que permitan una mezcla precisa y controlable de diversos elementos musicales. Si bien trabajos anteriores de generación musical condicional han utilizado indicaciones basadas en texto (por ejemplo, descripciones de género o estado de ánimo) o ajuste fino para el control de instrumentos y acordes, estos enfoques a menudo requieren recursos computacionales significativos o carecen de un control detallado. Las técnicas existentes de intervención en tiempo de inferencia se han aplicado en gran medida a atributos discretos o modelos de lenguaje, dejando un vacío en métodos ligeros y efectivos para controlar conceptos continuos y no binarios como los géneros musicales en transformadores autoregresivos.

Metodología
Los autores proponen un método para el control detallado de géneros utilizando intervenciones en tiempo de inferencia sobre el transformador generativo autoregresivo, MusicGen. El enfoque se basa en la interpretabilidad mecánica y la ingeniería de activaciones, tomando inspiración de técnicas utilizadas para interpretar Modelos de Lenguaje Grandes (LLM).

1. Identificación de Conceptos y Sondeo Lineal:

   • Los autores analizan las activaciones del flujo residual y las salidas de las capas de atención de MusicGen para identificar dónde se representan linealmente los conceptos musicales (específicamente géneros: rock, clásico, electrónico y jazz).
   • Aplican agrupamiento $k$-means a las activaciones a través de las capas y evalúan el Índice de Rand Ajustado (ARI) y la Información Mutua Normalizada (NMI) para determinar la capa donde la información del género es más distintiva.
   • Sondas Lineales: Se entrena un clasificador lineal (sonda) sobre las activaciones del flujo residual ($h^l_a$) de capas específicas para predecir etiquetas de género. La sonda aprende una mapeo $\hat{y} = W^\top h^l_a + b$. La capa que produce la mayor precisión de la sonda se identifica como la ubicación óptima para la representación lineal del concepto.

2. Dirección de Activaciones:

   • Una vez identificada la capa óptima y el vector de dirección (derivado de los pesos de la sonda), los autores realizan una intervención en tiempo de inferencia.
   • Se añade un vector de dirección de magnitud unitaria $r^l$ a las activaciones del flujo residual antes de la capa objetivo. La intervención se escala mediante un hiperparámetro $\alpha$ (buscado en el rango $[0.3, 1.0]$) y se normaliza:
     $$h^l_i \leftarrow h^l_i + \frac{\alpha r^l}{1 + \alpha}$$
   • Esta intervención se aplica selectivamente al flujo residual condicional, permitiendo que el modelo dirija la generación hacia un género objetivo mientras preserva otras características como el tempo y las líneas melódicas, que los autores hipotetizan que se representan en diferentes capas.

3. Configuración Experimental:

   • Los experimentos utilizan el modelo musicgen-small y un conjunto de datos equilibrado de segmentos de audio de 10 segundos del conjunto de datos lewtun/music_genres (900 muestras por clase para rock, clásico, electrónico y jazz).
   • Las transiciones se probaron en pares (por ejemplo, Clásico $\to$ Electrónico, Rock $\to$ Clásico) y se compararon con una línea base donde las transiciones se lograron únicamente mediante indicaciones de texto.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Dirección Controlable por el Usuario: Un método que permite a los usuarios dirigir las activaciones de MusicGen para lograr un control específico de género sin reentrenar el modelo.
2. Extensión a Conceptos Continuos: La extensión de técnicas de dirección de activaciones eficientes en cómputo, previamente utilizadas para atributos discretos, a conceptos continuos y no binarios como los géneros musicales.
3. Validación: Una evaluación exhaustiva utilizando tanto métricas cuantitativas (basadas en CLAP) como estudios perceptuales humanos (pruebas de escucha 2AFC) para validar que la dirección de activaciones mejora el control de género mientras mantiene la coherencia musical.

Resultados
El estudio evaluó el método a través de dos perspectivas:

• Cuantitativo (Puntuaciones CLAP): Utilizando el modelo clap-htsat-unfused para clasificación de audio sin entrenamiento previo, los autores midieron la similitud del audio generado con las etiquetas de género objetivo. Los resultados mostraron que la dirección produjo consistentemente desplazamientos positivos más grandes en las puntuaciones CLAP en comparación con las indicaciones de texto. Por ejemplo, en la transición "Clásico $\to$ Electrónico", el método dirigido arrojó un $\Delta$CLAP de $+0.2057$, en comparación con $+0.1276$ para las indicaciones.
• Cualitativo (Estudio de Escucha Humana): Un estudio de Elección Forzada de 2 Alternativas (2AFC) que involucró a 24 participantes (7 músicos entrenados y 17 no músicos) reveló una preferencia consistente por las muestras dirigidas sobre las líneas base de indicaciones en todas las transiciones de género. Los músicos entrenados mostraron una alta precisión al preferir muestras dirigidas (por ejemplo, 80.5% para Rock $\to$ Clásico, $p < 0.0001$), y la audiencia general también mostró una preferencia significativa en la mayoría de los casos.

Significado y Afirmaciones
El artículo afirma que la dirección de activaciones ofrece una alternativa ligera, interpretable y efectiva al ajuste fino pesado o a la condición solo de texto para la generación musical controlable. Al enmarcar la dirección de activaciones como una interacción controlable por el humano, el trabajo demuestra que los comportamientos del modelo interpretables pueden potenciar flujos de trabajo co-creativos.

Los autores notan modestamente que, si bien las puntuaciones CLAP sirven como un proxy útil para la alineación de género, es probable que capturen atributos musicales correlacionados (timbre, tempo, ritmo) en lugar de semánticas de género explícitas. La fuerza de la dirección se presenta como un parámetro interactivo para los usuarios en lugar de un hiperparámetro fijo. El trabajo concluye que este enfoque valida el potencial de las intervenciones en tiempo de inferencia para manipular características musicales incluso en ausencia de muestras claramente contrastantes, allanando el camino para estrategias más generalizables e interpretables en la generación musical controlable.