A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models

Resumo Técnico: Um Instrumento Controlável por Texto para Esboçar Paisagens Sonoras Procedurais via Modelos de Linguagem

Problema
Os atuais sistemas neurais de texto para áudio (ex: MusicGen, MusicLM, Stable Audio) geram formas de onda monolíticas de alta qualidade, mas sofrem de limitações significativas em contextos de performance ao vivo. Esses sistemas tipicamente exibem alta latência de geração (muitas vezes exigindo aceleração por GPU), produzem áudio bruto não interpretável que não pode ser facilmente editado após a geração e carecem de "controlabilidade" — a capacidade de um performer realizar ajustes contínuos e previsíveis ao som sem interromper o fluxo. Isso cria um "problema de ajuste fino" onde o performer não consegue tratar o texto como uma superfície de controle em tempo real.

Metodologia
O artigo apresenta um kit de desenvolvimento de software (SDK) e uma arquitetura de instrumento que desacopla a resolução da instrução de texto da emissão de áudio. Em vez de gerar áudio bruto, o sistema utiliza modelos de linguagem (LLMs) ou mecanismos de recuperação para produzir configurações de sintetizador interpretáveis e simbólicas.

• Arquitetura (O Gerador ao Vivo): A inovação central é uma interface de streaming assíncrona. Um performer fornece instruções (prompts de texto, configurações absolutas ou ajustes de parâmetros relativos) via um gerador Python. O sistema emite continuamente áudio da configuração atual enquanto a próxima configuração é resolvida em segundo plano (via API de LLM, um modelo local ou recuperação de embeddings). Uma vez resolvida, o sistema realiza um crossfade suave para a nova configuração, garantindo áudio ininterrupto mesmo se a resolução levar de 5 a 12 segundos.
• Esquema de Configuração: O sistema utiliza um esquema categórico de 34 campos dividido em cinco grupos: parâmetros globais (tempo, brilho, espaço, etc.), seis camadas de orquestração (baixo, pad, melodia, etc.), espacial/textura, geração de melodia e harmonia. O esquema é projetado para que a maioria das combinações válidas produza resultados musicalmente coerentes. Ele suporta tanto atribuições absolutas quanto passos relativos (ex: Step(-2) no brilho).
• Backends: O sistema suporta três backends intercambiáveis que emitem o mesmo esquema:
  1. Modo Rápido (Padrão): Utiliza recuperação de embeddings contra um mapa pré-computado de aproximadamente 10.500 descrições de cenas curadas. Isso roda em CPU com latência sub-segundo e sem dependência de rede.
  2. Modo Externo: Direciona os prompts para LLMs hospedados (ex: via API). Ele lida com a latência de rede mantendo o áudio atual tocando durante a resolução.
  3. Modo Expressivo Local: Executa um modelo de 270 milhões de parâmetros ajustado (fine-tuned) localmente (experimental).
• Construção do Dataset: O mapa de recuperação foi construído destilando descrições de cenas do corpus Common Pile, gerando configurações candidatas com um LLM, pontuando-as usando LAION-CLAP (um modelo de contraste linguagem-áudio) para similaridade semântica texto-áudio e selecionando as melhores correspondências.

Principais Contribuições

1. Arquitetura de Gerador ao Vivo: Um runtime que oculta a latência de resolução atrás de um áudio contínuo, redefinindo o texto para música de uma tarefa de "geração única" para um fluxo contínuo e performável.
2. Design de Mapeamento: Um esquema de configuração categórica de 34 campos onde as combinações válidas são enviesadas para a coerência musical, permitindo controle refinado do performer sem exigir conhecimento de processamento de sinal digital (DSP).
3. Lançamento Open-Source: O lançamento do SDK, dos artefatos do dataset, do modelo ajustado e da interface de performance audiovisual.

Resultados e Avaliação

• Performance: Em um benchmark de 200 prompts não utilizados, o backend de recuperação de embeddings resolveu todos os prompts com sucesso com uma latência total de ~1,2 segundo (incluindo síntese). O backend de LLM externo resolveu 178/200 prompts (89% de taxa de sucesso) com ~5,6 segundos de tempo de geração; falhas caíram graciosamente para o backend rápido para manter a continuidade.
• Alinhamento Semântico: Uma avaliação técnica usando LAION-CLAP em prompts não utilizados mostrou que as configurações baseadas em recuperação pontuaram mais alto em similaridade semântica texto-áudio do que configurações aleatórias válidas. Os autores observam que esta métrica serve como um proxy para a confiabilidade e alinhamento do sistema, não como uma medida de qualidade perceptual, e que o mapa de recuperação foi construído utilizando esta mesma métrica.
• Feedback do Usuário: Testes informais com cinco participantes leigos indicaram que o output foi percebido como "musicalmente intencional" em vez de aleatório, apoiando o objetivo de design do esquema. Os participantes notaram que o sistema se destaca na evolução gradual de cenas, mas tem dificuldade com mudanças estilísticas bruscas ou pedidos tímbricos específicos (ex: "contrabaixo acústico").

Significância e Alegações
O artigo afirma abordar a tensão entre a alta qualidade do áudio neural e a necessidade de controle de baixa latência, reproduzível e controlável em performance ao vivo. Ao gerar parâmetros simbólicos em vez de áudio bruto, o sistema oferece:

• Imediatez e Continuidade: O áudio nunca para durante a resolução da configuração.
• Reproduzibilidade: Dada uma configuração e um seed, o output é idêntico, abordando preocupações com a longevidade e documentação de modelos generativos profundos na prática de NIME (New Interfaces for Musical Expression).
• Eficiência de Recursos: O backend padrão apenas de CPU amortiza os custos de LLM em uma etapa de construção de dataset única, evitando a necessidade de inferência pesada em tempo de execução.
• Extensibilidade: A natureza open-source e o vocabulário compartilhado do espaço de parâmetros permitem que outros desenvolvedores estendam o sistema com novos conjuntos de estilos ou backends de sintetizador.

Os autores posicionam o instrumento como uma ferramenta para esboçar paisagens sonoras procedurais, particularmente eficaz para contextos ambientais, cinematográficos e de loops, onde textura e cor harmônica são priorizadas sobre melodia autoral ou imitação estrita de gênero.