Resumen Técnico: LiveBand – Generación de Acompañamiento en Vivo en el Dominio del Audio

1. Definición del Problema

El artículo aborda el desafío de la generación de acompañamiento musical en tiempo real a partir de un flujo de entrada de audio en vivo. La dificultad central radica en la causalidad estricta: el modelo debe generar fotogramas de acompañamiento de alta fidelidad con baja latencia sin acceso al "futuro de la mezcla" (future mix).

Los enfoques existentes enfrentan dos limitaciones primarias en este entorno:

1. Sesgo de Exposición y Acumulación de Errores: Los modelos autorregresivos tradicionales entrenados con "teacher forcing" (alimentar con fotogramas pasados de verdad absoluta durante el entrenamiento) sufren un cambio de distribución durante la inferencia. Cuando el modelo utiliza sus propias predicciones pasadas como entrada, los pequeños errores se acumulan, lo que provoca deriva a largo plazo y asincronía musical.
2. Objetivos a Nivel de Fotograma vs. Nivel de Secuencia: Los objetivos estándar de predicción a nivel de fotograma penalizan rígidamente errores anticipatorios menores. Sin embargo, en un entorno de tiempo real donde el contexto futuro es desconocido, incluso los músicos expertos realizan pequeños ajustes de tiempo. Los objetivos rígidos a nivel de fotograma no logran capturar la coherencia holística necesaria para una sesión de improvisación (jam session) natural.
3. Dependencia de Lookahead (Mirada Adelantada): Trabajos recientes sugieren que una fuerte adherencia entre el acompañamiento generado y la mezcla de entrada puede requerir "lookahead" (acceso a futuros fotogramas de la mezcla), lo cual viola las restricciones estrictas de tiempo real.

2. Metodología: LiveBand

LiveBand es un sistema en tiempo real que genera acompañamientos en el espacio latente continuo de un autoencoder de audio causal preentrenado. La arquitectura y el paradigma de entrenamiento están diseñados para eliminar el desajuste entre el entrenamiento y la inferencia.

2.1 Componentes Principales

• Autoencoder de Audio Causal (AE): Una variante estrictamente causal de CoDiCodec, preentrenada. Codifica formas de onda estéreo (44.1 kHz) en secuencias latentes continuas (~10 Hz, dimensión 128) con una relación de submuestreo de 4096×. Ni el codificador ni el decodificador acceden al contexto de audio futuro.
• Generador (G): Un transformador causal que opera sobre fotogramas latentes.
  • Entradas: En cada paso de tiempo $t$, recibe un historial de la mezcla causal disponible ($m_{\le t}$) y un vector de ruido gaussiano independiente ($z_t$).
  • Arquitectura: Bloques de transformador pre-norm con normalización de capa adaptativa, atención de auto-atención múltiple causal (usando normalización de consulta-clave y Rotary Position Embeddings) y redes feed-forward SwiGLU.
  • Mecanismo: Predice un fotograma de acompañamiento futuro $a_{t+1+\delta}$ (donde $\delta$ es la anticipación en fotogramas latentes) sin acceder a información de la mezcla futura ni a los latentes objetivo de verdad absoluta.
• Discriminador (D): Una red convolucional 1D no causal (utilizada solo durante el entrenamiento) que califica el realismo de una secuencia de acompañamiento completa condicionada a la mezcla correspondiente. Evalúa la secuencia conjunta de los latentes de la mezcla y el acompañamiento.

2.2 Paradigma de Entrenamiento: Eliminación del Teacher Forcing

La innovación central es la eliminación del teacher forcing para asegurar la equivalencia entre entrenamiento e inferencia:

• Sin Retroalimentación de Verdad Absoluta: Durante el entrenamiento, el generador nunca recibe fotogramas de acompañamiento pasados de verdad absoluta como entrada. En su lugar, depende de la auto-atención interna sobre los estados ocultos y del vector de ruido independiente en cada paso.
• Pase Causal en Paralelo: Debido a que el generador no depende de sus propias salidas previas, toda la secuencia puede generarse en un único pase hacia adelante paralelo bajo una máscara causal. Esto es computacionalmente idéntico al proceso de inferencia paso a paso (usando un caché KV), eliminando así el sesgo de exposición por diseño.
• Supervisión Adversaria a Nivel de Secuencia: En lugar de minimizar el error de predicción fotograma a fotograma, el modelo se entrena utilizando un objetivo de GAN Relativista (R3GAN). El discriminador evalúa la secuencia generada completa frente a la secuencia real, proporcionando una supervisión a nivel de distribución que fomenta la coherencia musical global y tolera pequeñas desviaciones temporales locales.

2.3 Técnicas de Estabilización

• Sumideros de Atención (Attention Sinks): Para prevenir la deriva en transmisiones de larga duración causadas por la expulsión del caché KV, el modelo emplea un mecanismo de sumidero de atención escalar, asegurando que los tokens iniciales permanezcan accesibles.
• Penalización de Gradiente Adaptativa (AdaGP): Un mecanismo en línea que ajusta dinámicamente el peso de la penalización de gradiente ($\lambda$) en la pérdida del discriminador para mantener una ventaja objetivo fija ($a^*$) del discriminador sobre el generador. Esto estabiliza el entrenamiento adversarial sin necesidad de ajuste manual de hiperparámetros.

3. Contribuciones Clave

1. Transformador Estrictamente Causal con Supervisión Adversaria: La introducción de un modelo entrenado con supervisión adversaria a nivel de secuencia que opera sin lookahead, logrando una fuerte adherencia a la mezcla.
2. Equivalencia Entrenamiento-Inferencia: El primer modelo de acompañamiento de streaming que iguala completamente las condiciones de entrenamiento e inferencia por diseño, eliminando el sesgo de exposición y la acumulación de errores sin requerir costosos rollouts secuenciales durante el entrenamiento.
3. Penalización de Gradiente Adaptativa: Un método novedoso (AdaGP) que mantiene automáticamente la estabilidad del discriminador, eliminando la necesidad de ajuste manual de los pesos de la penalización de gradiente.

4. Resultados Experimentales

El modelo fue evaluado con el conjunto de datos Slakh2100 (y un corpus interno para una variante condicionada por CLAP) contra StreamMusicGen (SMG), un baseline autorregresivo de vanguardia.

• Métricas Objetivas: LiveBand supera a SMG en todas las métricas (FAD, Alineación de Pulso, COCOLA) tanto en configuraciones sincrónicas ($\tau=0$) como anticipatorias ($\tau=0.1s, 1s$).
  • Deriva: A diferencia de SMG, que muestra degradación de rendimiento con el tiempo, LiveBand exhibe una deriva cercana a cero o favorable, indicando que no acumula errores locales.
  • Anticipación: LiveBand mantiene un alto rendimiento incluso cuando genera con 1 segundo de antelación respecto a la mezcla de entrada, un régimen donde SMG tiene dificultades.
• Pruebas de Escucha Subjetiva: En un estudio con 19 participantes, LiveBand fue significativamente preferido sobre SMG en calidad de audio, consistencia temporal y adherencia a la mezcla.
• Desempeño en Tiempo Real: En una GPU RTX 3090 de consumo, LiveBand logra un Factor de Tiempo Real (RTF) de 1.1× (modo eager) y 2.1× (modo compilado) para un presupuesto de anticipación de 0.1s, confirmando su capacidad de despliegue en hardware de consumo.

5. Significado y Reivindicaciones

El artículo argumenta que la limitación de requerir lookahead para un acompañamiento en vivo de alta calidad no es fundamental para la tarea, sino que es el resultado de desajustes en el aprendizaje supervisado (teacher forcing y objetivos a nivel de fotograma).

• Resolución de la Deriva: Al reemplazar la supervisión predictiva de siguiente paso por la supervisión adversaria a nivel de secuencia y eliminar el teacher forcing, el modelo puede generar por delante de la entrada en vivo sin acumulación de errores.
• Coherencia Holística: El objetivo adversario fomenta que el modelo preserve la estructura musical de largo alcance, permitiéndole tolerar las pequeñas y naturales correcciones de tiempo requeridas en una interpretación en tiempo real.
• Viabilidad: El trabajo demuestra que se pueden construir modelos generativos robustos e interactivos en tiempo real utilizando entrenamiento adversarial a nivel de secuencia, permitiendo a los músicos improvisar con compañeros de IA que se adaptan al tempo, la tonalidad y la dinámica sin asincronía inducida por la latencia.

Los autores reconocen que, si bien el sistema logra una fuerte coherencia musical, la calidad de audio (fidelidad) aún deja margen de mejora respecto a la verdad absoluta, lo que sugiere que el trabajo futuro debería centrarse en autoencoders causales de mayor fidelidad.