Time-Varying Audio Effect Modeling by End-to-End Adversarial Training

Sintesi Tecnica: Modellazione di Effetti Audio Tempo-Varianti tramite Addestramento Avversariale End-to-End

Definizione del Problema
Il deep learning è diventato uno standard per la modellazione di effetti audio, tuttavia gli approcci puramente "black-box" faticano con i sistemi tempo-varianti (es. chorus, flanger, phaser). A differenza degli effetti tempo-invarianti (es. distorsione), gli effetti tempo-varianti si basano su parametri interni modulati nel tempo, spesso da un oscillatore a bassa frequenza (LFO). L'addestramento supervisionato standard richiede un allineamento temporale preciso tra input e output; tuttavia, in un contesto black-box, la fase iniziale dell'LFO varia tra le diverse registrazioni. L'addestramento su dati così disallineati tipicamente risulta in un modello che media il comportamento della modulazione sull'intero periodo dell'LFO, perdendo di fatto la dinamica tempo-variante. Le soluzioni esistenti richiedono spesso l'estrazione del segnale di modulazione (LFO) o limitano i dataset a fasi di modulazione fisse, limitandone l'applicabilità in scenari completamente black-box.

Metodologia
Gli autori propongono un framework di Rete Generativa Avversariale (GAN) che utilizza l'architettura SPTVMod (Series-Parallel Time-Varying Modulation), addestrata tramite una nuova strategia in due fasi:

1. Architettura (SPTVMod):

   • Generatore: Una rete convoluzionale-ricorrente dotata di due percorsi paralleli: un Percorso di Modulazione (ModBlocks) contenente strati LSTM per generare segnali di modulazione, e un Perccorso Audio (FXBlocks) dove l'audio viene elaborato e modulato tramite Feature-wise Linear Modulation (FiLM).
   • Discriminatore: Un classificatore convoluzionale (FeatBlocks) che valuta tuple di (input, controllo, output) per distinguere i dati reali da quelli generati.
   • Rete di Predizione dello Stato (SPN): Un modulo adattato da lavori precedenti per predire gli stati interni iniziali ($h_0$) degli strati LSTM. Riutilizza gli strati di estrazione delle caratteristiche del discriminatore per elaborare coppie input/output e predire gli stati necessari a sincronizzare il modello con il target.

2. Strategia di Addestramento:

   • Fase I (Addestramento Avversariale): Il modello viene addestrato utilizzando perdite avversarie (hinge loss) e una perdita spettrale a basso peso. Fondamentalmente, la SPN è disabilitata e gli stati LSTM sono inizializzati stocasticamente (tramite distribuzione normale o inizializzazione angolare). Ciò costringe il generatore a imparare la distribuzione generale del comportamento di modulazione senza vincoli di fase stretti. Per prevenire il collasso del modo (mode collapse, dove il generatore ignora l'input stocastico e produce una fase fissa), viene applicata una perdita di ricerca del modo (mode-seeking loss), che penalizza il modello se diversi stati iniziali producono output identici.
   • Fase II (Fine-tuning Supervisionato): L'obiettivo avversariale viene rimosso. La SPN viene istanziata e addestrata per predire gli stati iniziali corretti per i dati target. Il modello viene quindi sottoposto a fine-tuning utilizzando una perdita Multi-Resolution Short-Term Fourier Transform (MR-STFT) per allineare l'output generato con il target, sincronizzando efficacemente la modulazione appresa con la specifica registrazione.

3. Metrica di Modulazione:

   • Le perdite spettrali standard sono insufficienti per la fase avversariale poiché non possono distinguere tra una mancanza di modulazione e una modulazione correttamente appresa ma sfasata.
   • Gli autori introducono una metrica basata su chirp-train. Un segnale chirp-train (scansioni di frequenza logaritmiche ripetitive) viene fatto passare attraverso il modello. L'output viene analizzato per produrre uno spettro di modulazione (rappresentazione frequenza-frequenza). La metrica quantifica la presenza e la forza della modulazione periodica confrontando l'energia totale e la distribuzione dei picchi nello spettro di modulazione rispetto al riferimento.

Contributi Chiave

• Modellazione Black-Box di Effetti Tempo-Varianti: Un framework capace di modellare effetti guidati da LFO utilizzando solo registrazioni audio input-output, senza richiedere l'estrazione o la conoscenza del segnale di modulazione.
• Addestramento in Due Fasi: Una strategia che decoppia l'apprendimento della distribuzione di modulazione (avversariale) dalla sincronizzazione della fase (supervisionata), affrontando l'instabilità dell'addestramento delle GAN tempo-varianti.
• Adattamento della Rete di Predizione dello Stato (SPN): Estensione del concetto di SPN dai processi tempo-dipendenti a quelli tempo-varianti per facilitare la sincronizzazione.
• Nuova Metrica di Valutazione: Una metrica basata su chirp-train progettata specificamente per rilevare e quantificare la modulazione periodica nei modelli black-box, fungendo da criterio di arresto per la fase avversariale.

Risultati
Gli esperimenti sono stati condotti su un phaser hardware vintage (Ensoniq DP/4) utilizzando due dataset con diversi tassi di LFO (Slow: periodo di 1.3s; Fast: periodo di 0.3s).

• Fase Avversariale: Il modello ha imparato con successo a produrre output tempo-varianti. La perdita di ricerca del modo ha aiutato la convergenza sul dataset Slow-LFO, ma ha mostrato risultati misti sul dataset Fast-LFO. La metrica del chirp-train ha identificato efficacemente i modelli con modulazione periodica.
• Fase di Fine-Tuning: L'inclusione della SPN ha migliorato significativamente l'accuratezza spettrale (perdita MR-STFT).
• Limitazioni Osservate:
  • Ricerca del Modo: Sebbene utile nella fase avversariale per Slow-LFO, è stata ritenuta deleteria per la perdita spettrale finale nella fase di fine-tuning.
  • Sensibilità alla Fase: La perdita MR-STFT è altamente sensibile al disallineamento di fase; anche lievi spostamenti nella fase dell'LFO risultano in alti valori di errore, complicando la valutazione oggettiva.
  • Streaming: I modelli tendono a soffrire di "collasso della modulazione" durante l'inferenza in streaming (Streamed Target) quando la finestra di elaborazione è più corta del periodo dell'LFO, poiché il modello impara a sincronizzarsi solo all'interno della specifica finestra di addestramento.
  • Artefatti: Alcuni modelli hanno esibito attenuazioni statiche o artefatti, indicando che, sebbene la modulazione fosse catturata, l'accuratezza spettrale richiedeva un ulteriore raffinamento.

Significatività e Rivendicazioni
Il documento sostiene di aver dimostrato che gli effetti audio tempo-varianti possono essere modellati in un contesto completamente black-box senza estrarre segnali di modulazione, un compito che precedentemente richiedeva vincoli di dati significativi o elaborazione del segnale. La strategia di addestramento in due fasi proposta consente al modello di apprendere prima l'esistenza e la forma della distribuzione di modulazione e successivamente di sincronizzarla.

Gli autori rimangono modesti riguardo allo stato attuale del lavoro:

• La metrica di modulazione è empirica e il suo rapporto con la percezione umana non è ancora stabilito.
• Il metodo attualmente si basa su dataset "snapshot" (singole impostazioni di controllo) e non supporta ancora il controllo dinamico dell'utente.
• L'approccio è progettato per qualsiasi effetto tempo-variante, ma è stato validato solo su phaser guidati da LFO.
• È necessario ulteriore lavoro per affrontare la generalizzazione dello stato durante l'inferenza (rimuovendo la dipendenza dalla SPN durante la riproduzione) e per migliorare la stabilità nell'elaborazione in streaming.

Il lavoro rappresenta un passo avanti nella modellazione Virtual Analog, offrendo una via per emulare complessi comportamenti hardware tempo-varianti dove la modellazione circuitale tradizionale o l'apprendimento supervisionato falliscono a causa del disallineamento di fase.