Latent Space Disentanglement via Activation Steering for Interpretable Attribute Control in Symbolic Music Generation

Resumen Técnico: Desentrelazamiento del Espacio Latente mediante la Dirección de Activaciones para el Control Interpretable de Atributos en la Generación de Música Simbólica

Planteamiento del Problema
Si bien las arquitecturas basadas en Transformers han avanzado en la generación de secuencias simbólicas complejas, persiste una brecha significativa para lograr un control fino e interpretable sobre los atributos de señales discretas. Los modelos existentes suelen funcionar como "cajas negras", donde la relación entre las activaciones internas de alta dimensión y los atributos de salida discretos (como el tono y la duración) resulta opaca. Los enfoques actuales para la síntesis controlable dependen frecuentemente de un reentrenamiento computacionalmente costoso, modificaciones arquitectónicas complejas o un condicionamiento global que carece de la granularidad requerida para la manipulación específica de estados internos. Existe una necesidad apremiante de métodos de intervención precisos en el tiempo de inferencia que no interrumpan el proceso generativo ni requieran la optimización de pesos.

Metodología
Este artículo investiga la interpretabilidad mecánica del Multitrack Music Transformer (MMT), una arquitectura de solo decodificador entrenada en la base de datos Symbolic Orchestral Database (SOD). Los autores proponen un marco para la modulación determinista de atributos mediante la dirección de activaciones en el tiempo de inferencia (inference-time activation steering), fundamentado en la Hipótesis de Representación Lineal.

1. Extracción de Vectores (DiffMean): Los autores utilizan la metodología de Diferencia de Medias (DiffMean) para aislar direcciones latentes para atributos específicos —Tono de Nota Promedio y Duración de Nota Promedio— dentro del flujo residual del modelo. Mediante el análisis del corpus SOD, definen clústeres de conceptos "Altos" y "Bajos" (basados en los cuantiles 20 y 80) y computan los vectores de dirección como la diferencia de centroides entre estos clústeres.
2. Análisis de Sensibilidad de Capas: A través de hooks de propagación hacia adelante (forward hooks), el estudio intercepta las activaciones del flujo residual en cada bloque del decodificador. El análisis de sensibilidad revela que la Duración de la Nota es más linealmente separable en las capas tempranas (alcanzando su pico en la Capa 2), mientras que el Tono de la Nota es más separable en las capas profundas (alcanzando su pico en la Capa 11).
3. Mecanismo de Dirección (Steering): Durante la inferencia, los estados ocultos se modifican inyectando vectores de dirección escalados ($h^{(l)}_{steer} \leftarrow h^{(l)} + \alpha v^{(l)}$). Los autores evalúan las estrategias de inyección, encontrando que un enfoque All-to-All (inyectar vectores específicos de capa en cada capa) produce el equilibrio más robusto entre la potencia de la dirección y la calidad de la generación.
4. Dirección Dual y Desentrelazamiento: Para abordar el entrelazamiento de características (por ejemplo, la correlación natural entre un tono alto y una duración corta), el artículo introduce un marco de Dirección Dual. Compara la simple suma de vectores contra la Ortogonalización de Gram-Schmidt. Específicamente, la estrategia de "Prioridad de Tono" ortogonaliza el vector de duración respecto al vector de tono para prevenir la interferencia conceptual, permitiendo la modulación independiente de ambos atributos.

Contribuciones Clave

• Validación de la Representación Lineal en la Música: El estudio confirma que los conceptos musicales de alto nivel (tono y duración) están representados como vectores lineales dentro del espacio latente del MMT, validando la Hipótesis de Representación Lineal en el dominio de la música simbólica.
• Control sin Reentrenamiento: El marco propuesto permite un control preciso y determinista sobre los atributos musicales sin necesidad de reentrenar o realizar un ajuste fino (fine-tuning) del modelo preentrenado.
• Desacoplamiento Geométrico: La introducción de la Ortogonalización de Gram-Schmidt logra reducir con éxito la interferencia conceptual entre características correlacionadas, permitiendo un control independiente incluso frente a un fuerte condicionamiento autorregresivo.
• Perspectivas por Capa: El trabajo proporciona un mapa de sensibilidad por capas, identificando que las características rítmicas se codifican antes en la red que las características melódicas.

Resultados Experimentales
Los autores evaluaron el marco mediante generación incondicional y generación condicional (donde la dirección intenta anular un prefijo de 16 pulsos con fuertes prioridades autorregresivas).

• Dirección de Atributo Único:
  • Tono: Logró una correlación de Pearson de $r = 0.9030$ entre la magnitud de la dirección y el cambio de atributo, con una respuesta lineal de aproximadamente +13.35 semitonos por unidad de $\alpha$.
  • Duración: Logró una correlación de Pearson de $r = 0.9263$, con una respuesta lineal de +10.77 ticks por unidad de $\alpha$.
  • Anulación de Contexto: El método logró anular con éxito contextos locales fuertes en el 93.4% de los ensayos de tono y el 91.7% de los de duración, desplazando los atributos hasta 2.6 octavas o expansiones significativas de ticks.
• Dirección Dual:
  • En escenarios de doble atributo, la Ortogonalización de Gram-Schmidt (Prioridad de Tono) superó a la suma simple y a la ortogonalización simétrica, alcanzando una tasa de éxito del 88.5% con la menor degradación de calidad ($\delta = 2.14$).
  • El método demostró que, si bien la dirección ascendente es generalmente más efectiva (96.1% de éxito) que la dirección descendente (82.2%), la estrategia de ortogonalización mitiga eficazmente la interferencia, permitiendo combinaciones novedosas de tono y duración que la distribución de entrenamiento del modelo podría no favorecer naturalmente.
  • La degradación de la calidad se mantuvo baja ($\delta \leq 3$) para los rangos de dirección óptimos, lo que indica coherencia perceptiva, mientras que los valores extremos de dirección provocaron una degradación exponencial.

Significado
El artículo sostiene que este trabajo cierra la brecha entre la generación autorregresiva de alta calidad y el control preciso e interpretable. Al realizar ingeniería inversa de las representaciones latentes de un MMT preentrenado, los autores demuestran que los atributos musicales complejos pueden manipularse de manera determinista durante el tiempo de inferencia. El significado radica en la capacidad de realizar una intervención de grano fino y sin reentrenamiento que respeta la estructura interna del modelo mientras supera las limitaciones del condicionamiento global. La aplicación exitosa del desacoplamiento geométrico (Gram-Schmidt) para desentrelazar características musicales entrelazadas ofrece una vía para herramientas de composición musical impulsadas por IA más controlables y transparentes. Los autores posicionan esto como un paso fundacional hacia una IA más explicable en el dominio de la música simbólica, diferenciándola de los métodos de síntesis de audio continua.