A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models

Resumen Técnico: Un instrumento direccionable mediante texto para el bocetado de paisajes sonoros procedimentales mediante modelos de lenguaje

Declaración del Problema
Los sistemas actuales de generación de audio a partir de texto mediante redes neuronales (p. ej., MusicGen, MusicLM, Stable Audio) generan formas de onda de alta calidad, pero sufren limitaciones significativas en contextos de interpretación en vivo. Estos sistemas suelen presentar una alta latencia de generación (que a menudo requiere aceleración por GPU), producen audio bruto no interpretable que no puede editarse fácilmente tras la generación y carecen de "direccionabilidad" (la capacidad de un intérprete para realizar ajustes continuos y predecibles al sonido sin detener la transmisión). Esto crea un "problema de capacidad de ajuste" donde el intérprete no puede tratar el texto como una superficie de control en tiempo real.

Metodología
El artículo presenta un kit de desarrollo de software (SDK) y una arquitectura de instrumento que desacopla la resolución de las instrucciones de texto de la emisión de audio. En lugar de generar audio bruto, el sistema utiliza modelos de lenguaje (LLM) o mecanismos de recuperación para producir configuraciones de sintetizador simbólicas e interpretables.

• Arquitectura (El Generador en Vivo): La innovación central es una interfaz de transmisión asíncrona. Un intérprete cede instrucciones (prompts de texto, configuraciones absolutas o ajustes de parámetros relativos) a través de un generador de Python. El sistema emite continuamente audio de la configuración actual mientras la siguiente configuración se resuelve en segundo plano (mediante una API de LLM, un modelo local o recuperación de embeddings). Una vez resuelta, el sistema realiza un fundido cruzado (crossfade) fluido hacia la nueva configuración, asegurando un audio ininterrumpido incluso si la resolución toma entre 5 y 12 segundos.
• Esquema de Configuración: El sistema utiliza un esquema categórico de 34 campos dividido en cinco grupos: parámetros globales (tempo, brillo, espacio, etc.), seis capas de orquestación (bajo, pad, melodía, etc.), espacialidad/textura, generación de melodía y armonía. El esquema está diseñado para que la mayoría de las combinaciones válidas produzcan resultados musicalmente coherentes. Soporta tanto asignaciones absolutas como pasos relativos (p. ej., Step(-2) en brillo).
• Backends: El sistema admite tres backends intercambiables que emiten el mismo esquema:
  1. Modo Rápido (Predeterminado): Utiliza la recuperación de embeddings contra un mapa precomputado de aproximadamente 10,500 descripciones de escenas curadas. Esto se ejecuta en CPU con una latencia de subsegundo y sin dependencia de red.
  2. Modo Externo: Dirige los prompts a LLMs alojados (p. ej., vía API). Gestiona la latencia de red manteniendo el audio actual reproduciéndose durante la resolución.
  3. Modo Expresivo Local: Ejecuta un modelo de 270 millones de parámetros ajustado (fine-tuned) en el dispositivo (experimental).
     Construcción del Conjunto de Datos: El mapa de recuperación se construyó destilando descripciones de escenas del corpus Common Pile, generando configuraciones candidatas con un LLM, puntuándolas mediante LAION-CLAP (un modelo de contraste lenguaje-audio) para la similitud semántica texto-audio, y seleccionando las mejores coincidencias.

Contribuciones Clave

1. Arquitectura de Generador en Vivo: Un tiempo de ejecución que oculta la latencia de resolución tras un audio continuo, reencuadrando la generación de texto-a-música de una tarea de "un solo paso" a un flujo continuo y ejecutable.
2. Diseño de Mapeo: Un esquema de configuración categórica de 34 campos donde las combinaciones válidas están sesgadas hacia la coherencia musical, permitiendo un control detallado para el intérprete sin requerir conocimientos de procesamiento de señales digitales (DSP).
3. Lanzamiento de Código Abierto: El lanzamiento del SDK, los artefactos del conjunto de datos, el modelo ajustado y la interfaz de interpretación audiovisual.

Resultados y Evaluación

• Rendimiento: En un benchmark de 200 prompts no incluidos en el entrenamiento, el backend de recuperación de embeddings resolvió todos los prompts con éxito con una latencia total de ~1.2 segundos (incluyendo la síntesis). El backend de LLM externo resolvió 178/200 prompts (89% de tasa de éxito) con un tiempo de generación de ~5.6 segundos; los fallos recayeron elegantemente en el backend rápido para mantener la continuidad.
• Alineación Semántica: Una evaluación técnica utilizando LAION-CLAP sobre prompts no incluidos en el entrenamiento mostró que las configuraciones basadas en recuperación puntuaron más alto en similitud semántica texto-audio que las configuraciones válidas aleatorias. Los autores señalan que esta métrica sirve como un proxy para la fiabilidad y alineación del sistema, no como una medida de calidad perceptual, y que el mapa de recuperación fue construido utilizando esta misma métrica.
• Retroalimentación de Usuarios: Pruebas informales con cinco participantes sin conocimientos previos indicaron que el resultado fue percibido como "musicalmente intencional" en lugar de aleatorio, lo que respalda el objetivo de diseño del esquema. Los participantes señalaron que el sistema destaca en la evolución escénica gradual pero tiene dificultades con cambios estilísticos bruscos o peticiones tímbricas específicas (p. ej., "contrabajo").

Significancia y Reivindicaciones
El artículo afirma abordar la tensión entre la alta calidad del audio neuronal y la necesidad de un control de baja latencia, reproducible y direccionable en la interpretación en vivo. Al generar parámetros simbólicos en lugar de audio bruto, el sistema ofrece:

• Inmediatez y Continuidad: El audio nunca se detiene durante la resolución de la configuración.
• Reproducibilidad: Dada una configuración y una semilla, la salida es idéntica, abordando las preocupaciones sobre la longevidad y documentación de los modelos generativos profundos en la práctica de NIME (Nuevas Interfaces para la Expresión Musical).
• Eficiencia de Recursos: El backend predeterminado que solo requiere CPU amortiza los costos de los LLM en un paso de construcción de conjunto de datos de una sola vez, evitando la necesidad de una inferencia pesada en tiempo de ejecución.
• Extensibilidad: La naturaleza de código abierto y el vocabulario compartido del espacio de parámetros permiten a otros desarrolladores extender el sistema con nuevos conjuntos de estilos o backends de sintetizador.

Los autores posicionan el instrumento como una herramienta para el bocetado de paisajes sonoros procedimentales, particularmente efectivo para contextos ambientales, cinemáticos y adyacentes al bucle (loop), donde se priorizan la textura y el color armónico sobre la melodía de autor o la imitación estricta de géneros.