A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models

Sintesi Tecnica: Uno Strumento Testo-Direzionabile per il Disegno di Paesaggi Sonori Procedurali tramite Modelli Linguistici

Problematica
Gli attuali sistemi neurali text-to-audio (ad esempio, MusicGen, MusicLM, Stable Audio) generano waveform di alta qualità, ma soffrono di limitazioni significative nei contesti di performance dal vivo. Questi sistemi presentano tipicamente un'elevata latenza di generazione (che spesso richiede l'accelerazione della GPU), producono audio grezzo non interpretabile che non può essere facilmente modificato post-generazione e mancano di "direzionabilità" (steerability) — ovvero la capacità per un performer di effettuare aggiustamenti continui e prevedibili al suono senza interrompere lo streaming. Ciò crea un "problema di modificabilità" (tweakability problem) in cui il performer non può trattare il testo come una superficie di controllo in tempo reale.

Metodologia
Il documento presenta un kit di sviluppo software (SDK) e un'architettura di strumento che scinde la risoluzione delle istruzioni testuali dall'emissione audio. Invece di generare audio grezzo, il sistema utilizza modelli linguistici (LLM) o meccanismi di recupero per produrre configurazioni di sintetizzatore interpretabili e simboliche.

• Architettura (Il Generatore Live): L'innovazione principale è un'interfaccia di streaming asincrona. Un performer fornisce istruzioni (prompt testuali, configurazioni assolute o piccoli spostamenti parametrici relativi) tramite un generatore Python. Il sistema emette continuamente audio dalla configurazione corrente mentre la configurazione successiva viene risolta in background (tramite un'API di un LLM, un modello locale o il recupero di embedding). Una volta risolta, il sistema esegue una transizione fluida (crossfade) verso la nuova configurazione, garantendo un audio ininterrotto anche se la risoluzione richiede dai 5 ai 12 secondi.
• Schema di Configurazione: Il sistema utilizza uno schema categorico di 34 campi suddiviso in cinque gruppi: parametri globali (tempo, brillantezza, spazio, ecc.), sei livelli di orchestrazione (basso, pad, melodia, ecc.), spazialità/tessitura, generazione melodica e armonia. Lo schema è progettato affinché la maggior parte delle combinazioni valide produca risultati musicalmente coerenti. Supporta sia assegnazioni assolute che passaggi relativi (ad esempio, Step(-2) sulla brillantezza).
• Backend: Il sistema supporta tre backend intercambiabili che emettono lo stesso schema:
  1. Fast Mode (Predefinito): Utilizza il recupero di embedding contro una mappa pre-calcolata di circa 10.500 descrizioni di scene curate. Funziona su CPU con latenza inferiore al secondo e senza dipendenza dalla rete.
  2. External Mode: Instrada i prompt verso LLM ospitati (ad esempio, tramite API). Gestisce la latenza di rete mantenendo l'audio corrente in riproduzione durante la risoluzione.
  3. Local Expressive Mode: Esegue un modello da 270 milioni di parametri fine-tuned sul dispositivo (sperimentale).
• Costruzione del Dataset: La mappa di recupero è stata costruita distillando descrizioni di scene dal corpus Common Pile, generando configurazioni candidate con un LLM, valutandole tramite LAION-CLAP (un modello contrastivo linguaggio-audio per la similarità semantica testo-audio) e selezionando i match migliori.

Contributi Chiave

1. Architettura del Generatore Live: Un runtime che nasconde la latenza di risoluzione dietro un audio continuo, trasformando il text-to-music da un compito di generazione "one-shot" in uno stream performativo continuo.
2. Design della Mappatura: Uno schema di configurazione categorico a 34 campi dove le combinazioni valide sono orientate verso la coerenza musicale, consentendo un controllo fine al performer senza richiedere la conoscenza del Digital Signal Processing (DSP).
3. Rilascio Open-Source: Il rilascio dell'SDK, degli artefatti del dataset, del modello fine-tuned e dell'interfaccia di performance audiovisiva.

Risultati e Valutazione

• Performance: In un benchmark di 200 prompt non utilizzati per il training, il backend di recupero degli embedding ha risolto tutti i prompt con successo con una latenza totale di circa 1,2 secondi (inclusa la sintesi). Il backend dell'LLM esterno ha risolto 178/200 prompt (tasso di successo dell'89%) con circa 5,6 secondi di tempo di generazione; i fallimenti sono rientrati con successo nel backend veloce per mantenere la continuità.
• Allineamento Semantico: Una valutazione tecnica utilizzando LAION-CLAP su prompt non utilizzati ha mostrato che le configurazioni basate sul recupero hanno ottenuto punteggi di similarità semantica testo-audio più alti rispetto alle configurazioni casuali valide. Gli autori osservano che questa metrica funge da proxy per l'affidabilità e l'allineamento del sistema, non come misura della qualità percettiva, e che la mappa di recupero è stata costruita utilizzando questa stessa metrica.
• Feedback Utente: Test informali con cinque partecipanti profani hanno indicato che l'output era percepito come "musicalmente intenzionale" piuttosto che casuale, supportando l'obiettivo di design dello schema. I partecipanti hanno notato che il sistema eccelle nell'evoluzione scenica graduale ma fatica con pivot stilistici netti o richieste timbriche specifiche (ad esempio, "contrabbasso").

Significatività e Rivendicazioni
Il documento sostiene di affrontare la tensione tra l'alta qualità dell'audio neurale e la necessità di controllo a bassa latenza, riproducibile e direzionabile nelle performance dal vivo. Generando parametri simbolici invece di audio grezzo, il sistema offre:

• Immediatezza e Continuità: L'audio non si interrompe mai durante la risoluzione della configurazione.
• Riproducibilità: Data una configurazione e un seed, l'output è identico, affrontando le preoccupazioni sulla longevità e la documentazione dei modelli generativi profondi nella pratica NIME (New Interfaces for Musical Expression).
• Efficienza delle Risorse: Il backend predefinito solo CPU ammortizza i costi dell'LLM in un passaggio di costruzione del dataset una tantum, evitando la necessità di inferenza pesante durante l'esecuzione.
• Estensibilità: La natura open-source e il vocabolario condiviso dello spazio dei parametri permettono ad altri sviluppatori di estendere il sistema con nuovi set di stili o backend di sintesi.

Gli autori posizionano lo strumento come uno strumento per il disegno di paesaggi sonori procedurali, particolarmente efficace per contesti ambientali, cinematografici e simili ai loop, dove la tessitura e il colore armonico sono prioritari rispetto alla melodia autoriale o alla stretta imitazione del genere.