A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models

Technische Samenvatting: Een Tekst-stuurbaar Instrument voor het Schetsen van Procedurele Soundscapes via Taalmodellen

Probleemstelling
Huidige neurale tekst-naar-audio systemen (bijv. MusicGen, MusicLM, Stable Audio) genereren hoogwaardige monolithische waveforms, maar lijden onder significante beperkingen in live-performance contexten. Deze systemen vertonen doorgaans een hoge generatielatentie (vaak GPU-acceleratie vereisend), produceren niet-interpreteerbare ruwe audio die niet eenvoudig na generatie bewerkt kan worden, en missen "stuurbaarheid" — het vermogen voor een performer om continue, voorspelbare aanpassingen aan het geluid te maken zonder de stream te onderbreken. Dit creëুত een "tweakbaarheidsprobleem" waarbij de performer tekst niet als een real-time controle-oppervlak kan behandelen.

Methodologie
Het artikel presenteert een software development kit (SDK) en een instrumentarchitectuur die de resolutie van tekstinstructies ontkoppelt van de audio-emissie. In plaats van ruwe audio te genereren, gebruikt het systeem taalmodellen (LLM's) of retrieval-mechanismen om interpreteerbare, symbolische synthesizerconfiguraties te produceren.

• Architectuur (De Live Generator): De kerninnovatie is een asynchrone streaminginterface. Een performer geeft instructies (tekstprompts, absolute configuraties of relatieve parameter-nudges) door via een Python-generator. Het systeem emitteert continu audio vanuit de huidige configuratie, terwijl de volgende configuratie op de achtergrond wordt opgelost (via een LLM API, een lokaal model of embedding retrieval). Zodra dit is opgelost, vervaagt het systeem naadloos naar de nieuwe configuratie via een crossfade, wat zorgt voor ononderbroken audio, zelfs als de resolutie 5 tot 12 seconden duurt.
• Configuratie Schema: Het systeem maakt gebruik van een schema met 34 categorische velden, verdeeld over vijf groepen: globale parameters (tempo, helderheid, ruimte, etc.), zes orkestratielagen (bas, pad, melodie, etc.), ruimtelijke/texturale aspecten, melodiegeneratie en harmonie. Het schema is zo ontworpen dat de meeste geldige combinaties muzikaal coherente resultaten opleveren. Het ondersteunt zowel absolute toewijzingen als relatieve stappen (bijv. Step(-2) op helderheid).
• Backends: Het systeem ondersteunt drie uitwisselbare backends die dezelfde schema emitteren:
  1. Fast Mode (Standaard): Gebruikt embedding retrieval tegen een vooraf berekende kaart van ongeveer 10.500 gecureerde scènebeschrijvingen. Dit draait op de CPU met sub-seconde latentie en zonder netwerkafhankelijkheid.
  2. External Mode: Routeert prompts naar gehoste LLM's (bijv. via API). Het vangt netwerklatentie op door de huidige audio te blijven afspelen tijdens de resolutie.
  3. Local Expressive Mode: Draait een gefinetuned model met 270 miljoen parameters op het apparaat zelf (experimenteel).
• Dataset Constructie: De retrieval-kaart werd geconstrueerd door scènebeschrijvingen uit de Common Pile corpus te distilleren, kandidaat-configuraties te genereren met een LLM, deze te scoren met behulp van LAION-CLAP (een contrastief taal-audio model) voor tekst-audio semantische gelijkenis, en de beste matches te selecteren.

Belangrijkste Bijdragen

1. Live Generator Architectuur: Een runtime die de resolutielatentie verbergt achter continue audio, waardoor tekst-naar-muziek wordt geherdefinieerd van een "one-shot" generatietaak naar een voortdurende, uitvoerbare stream.
2. Mapping Design: Een 34-veld categorisch configuratieschema waarbij geldige combinaties worden gestuurd naar muzikale coherentie, wat fijne controle voor de performer mogelijk maakt zonder dat kennis van digitale signaalverwerking (DSP) vereist is.
3. Open-Source Release: De release van de SDK, de dataset-artefacten, het gefinetunde model en de audiovisuele performance-interface.

Resultaten en Evaluatie

• Prestaties: In een benchmark met 200 uit de test gehouden prompts lost de embedding retrieval backend alle prompts succesvol op met een totale latentie van ongeveer 1,2 seconde (inclusief synthese). De externe LLM backend loste 178/200 prompts op (89% succespercentage) met een generatietijd van ongeveer 5,6 seconden; mislukkingen vielen elegant terug op de snelle backend om continuïteit te waarborgen.
• Semantische Uitlijning: Een technische evaluatie met behulp van LAION-CLAP op uit de test gehouden prompts toonde aan dat de retrieval-gebaseerde configuraties hoger scoorden op tekst-audio semantische gelijkenis dan willekeurige geldige configuraties. De auteurs merken op dat deze metriek dient als een proxy voor systeembetrouwbaarheid en uitlijning, en niet als een maatstaf voor perceptuele kwaliteit, en dat de retrieval-kaart met deze metriek is geconstrueerd.
• Gebruikersfeedback: Informele tests met vijf leken-deelnemers gaven aan dat de output werd waargenomen als "muzikaal intentioneel" in plaats van willekeurig, wat het ontwerpdoel van het schema ondersteunt. Deelnemers merkten op dat het systeem uitblinkt in geleidelijke scenische evolutie, maar moeite heeft met scherpe stilistische wendingen of specifieke timbrale verzoeken (bijv. "upright bass").

Betekenis en Claims
Het artikel beweert een oplossing te bieden voor de spanning tussen de hoge kwaliteit van neurale audio en de behoefte aan lage latentie, reproduceerbare en stuurbare controle in live-performances. Door symbolische parameters te genereren in plaats van ruwe audio, biedt het systeem:

• Onmiddellijkheid en Continuïteit: De audio stopt nooit tijdens de configuratieresolutie.
• Reproduceerbaarheid: Gegeven een configuratie en een seed, is de output identiek, wat de zorgen wegneemt over de duurzaamheid en documentatie van diepe generatieve modellen in de NIME-praktijk (New Interfaces for Musical Expression).
• Efficiëntie van Middelen: De standaard CPU-only backend amortiseert de kosten van LLM's naar een eenmalige stap in de datasetconstructie, waardoor zware inferentie tijdens runtime wordt vermeden.
• Uitbreidbaarheid: De open-source aard en de gedeelde vocabulaire van de parameterruimte stellen andere ontwikkelaars in staat om het systeem uit te breiden met nieuwe stijlen of synthesizer-backends.

De auteurs positioneren het instrument als een hulpmiddel voor het schetsen van procedurele soundscapes, wat bijzonder effectief is voor ambient, cinematische en loop-gerelateerde contexten waar textuur en harmonische kleur belangrijker zijn dan gecomponeerde melodie of strikte genre-imitatie.