Immaginate un mondo in cui il vostro computer non si limiti a riprodurre un brano che avete scaricato, ma impari davvero a suonare insieme a voi. Questo è il regno della metacreazione musicale, un termine altisonante per indicare l'uso dei computer per simulare la creatività umana. Al cuore di questo campo ci sono gli agenti musicali: programmi software progettati per agire come partner musicali. Possono ascoltare ciò che suonate, imparare il vostro stile e poi improvvisare le proprie parti in tempo reale. Pensateli come compagni di band digitali che non si stancano mai, non perdono mai il ritmo e possono adattarsi istantaneamente al vostro umore.

Per molto tempo, questi compagni di band digitali sono stati addestrati su montagne massicce di dati: migliaia di brani di ogni genere immaginabile. Sebbene potente, questo approccio è come cercare di imparare il jazz ascoltando ogni registrazione mai realizzata; potreste afferrare l'atmosfera generale, ma non suonerete mai davvero come voi. La grande domanda che i ricercatori si pongono è: Possiamo costruire un'IA che impari da una piccola collezione personale di suoni, diventando un vero riflesso della voce unica di uno specifico artista? Questo articolo approfondisce questa domanda, esplorando come costruire musicisti IA che siano etici, trasparenti e profondamente personali, piuttosto che semplici macchine generatrici di schemi generici.

Incontra la Jam Session Digitale: MACAT e MACataRT

In questo articolo, i ricercatori Keon Ju M. Lee e Philippe Pasquier introducono due nuovi agenti musicali, MACAT e MACataRT. Potete pensarli come due diversi tipi di assistenti digitali progettati per aiutare i musicisti umani a creare musica al volo. Invece di essere addestrati su tutto internet, questi agenti si basano su una filosofia di "piccoli dati" (small data). Immaginate di insegnare un trucco a un cane non mostrandogli un milione di video di altri cani, ma praticando con solo pochi premi e la vostra voce. È proprio questo che fanno questi sistemi: imparano da una piccola collezione curata di clip audio fornite dall'artista, permettendo loro di imitare perfettamente lo stile unico di quello specifico artista.

Le Due Personalità del Compagno di Band IA

L'articolo presenta questi due sistemi come dotati di diverse "personalità" e modi di lavorare, molto simile a due diversi tipi di musicisti in una band.

1. MACAT: Il Solista che Ascolta Sé Stesso
MACAT è progettato per situazioni in cui l'IA deve prendere il comando o guidare la performance. Funziona come un musicista che ascolta costantemente se stesso mentre suona.

• Come funziona: Utilizza una "mappa auto-organizzante", che è come una mappa mentale dove raggruppa suoni simili. Quando riproduce un suono, ascolta il risultato, controlla la sua mappa mentale e decide cosa suonare dopo in base ai pattern trovati nelle registrazioni dell'artista.
• La Magia: Utilizza uno strumento chiamato "Factor Oracle" per individuare pattern nella sequenza di suoni. Se l'artista ha suonato un rullo di tamburi veloce seguito da un mormorio sommesso, MACAT impara quella sequenza. Durante una performance dal vivo, può osservare i propri "pensieri" recenti (i suoni che ha appena suonato) e decidere di procedere verso una nuova idea o tornare indietro per ripetere un momento interessante, il tutto in tempo reale.
• Il Vibe: È ideale per performance soliste o quando il musicista umano vuole che l'IA sia il motore principale della musica, creando un paesaggio sonoro dinamico ed evolutivo che sembra vivo.

2. MACataRT: L'Artista del Mosaico Collaborativo
MACataRT è il partner più flessibile, progettato per l'improvvisazione collaborativa dove l'umano e l'IA si scambiano idee. Si basa sul concetto di "mosaico audio".

• L'Analogia del Mosaico: Immaginate di avere una scatola di migliaia di piccole tessere di colori diversi (clip audio). MACataRT può afferrare istantaneamente la tessera perfetta per incastrarsi in un quadro che state disegnando. Se suonate una nota acuta, prende una tessera che suona acuta. Se suonate un suono ruvido e graffiante, prende una tessera ruvida.
• Come funziona: Organizza queste tessere in uno spazio 2D basandosi sulle caratteristiche del suono (come l'altezza o la brillantezza). Il musicista umano può indicare un punto in questo spazio e l'IA estrarrà un suono da quell'area.
• Il Colpo di Scena: A differenza del suo predecessore (il sistema originale CataRT), MACataRT aggiunge un elemento di "macchina del tempo". Può imparare l'ordine in cui l'artista suona solitamente le cose. Quindi, non può solo scegliere il suono giusto, ma può anche prevedere il prossimo suono corretto per mantenere il ritmo e il flusso. Ha due modalità: Reattiva (risponde istantaneamente a ciò che suonate) e Proattiva (predice ciò che dovrebbe venire dopo basandosi sui pattern appresi).

Perché i "Piccoli Dati" Cambiano Tutto

La parte più importante di questa ricerca non è solo che la musica suoni bene, ma come ci riesce. Gli autori sostengono che addestrare l'IA su dataset massicci e anonimi (come l'intero internet) sia rischioso. È come un pittore che copia un po' di Van Gogh, un po' di Picasso e un po' di un cartello stradale casuale, ottenendo un pasticcio disordinato e privo di originalità. Inoltre, solleva questioni etiche: l'IA ha rubato lo stile di un musicista che non aveva mai acconsentito di essere incluso nei dati di addestramento?

Utilizzando dataset piccoli e personalizzati, questi agenti risolvono entrambi i problemi:

1. Etica e Trasparenza: Poiché l'IA è addestrata solo sulle registrazioni specifiche dell'artista, non c'è mistero su da dove provenga la musica. È una collaborazione chiara e onesta. L'artista sa esattamente da cosa ha imparato l'IA.
2. Vera Personalizzazione: L'IA diventa uno specchio dell'artista. Non suona solo "come musica"; suona come quel musicista specifico. L'articolo suggerisce che questo crei una connessione più profonda e significativa tra l'uomo e la macchina.

Jam Session nel Mondo Reale

L'articolo non resta confinato in laboratorio; mostra questi sistemi in azione.

• MACAT è stato utilizzato dal collettivo K-Phi-A al MusicAcoustica Festival di Hangzhou, in Cina. Lì, ha aiutato a creare una performance elettronica ambient dove l'IA e gli umani improvvisavano insieme, con l'IA che prendeva la guida nel plasmare il suono.
• MACataRT è stato utilizzato da un percussionista e un chitarrista (il duo KeRa) per creare un pezzo chiamato Echoes of Synthetic Forest. Quest'opera è stata così valida da raggiungere i dieci finalisti del concorso di musica AI 2024 ed è stata eseguita a Zurigo, in Svizzera. Questo dimostra che questi agenti basati su piccoli dati possono creare musica che risuona con il pubblico e i giudici.

Il Bonus Etico e Ambientale

C'è un superpotere nascosto in questi sistemi: sono ecologici. Addestrare modelli di IA massicci richiede enormi supercomputer e consuma molta elettricità, lasciando una grande impronta di carbonio. Questi agenti musicali, tuttavia, possono essere addestrati su un normale laptop (anche un modello datato con un Intel Core i7 o un Apple M2) senza la necessità di potenti schede grafiche esterne. Poiché utilizzano piccoli dataset, sono più veloci, economici e verdi da gestire.

Cosa C'è di Nuovo?

Gli autori sono chiari nel dire che si tratta di un lavoro in corso. Suggeriscono che, sebbene gli attuali sistemi siano bravi a individuare pattern brevi, potrebbero migliorare ulteriormente nella comprensione di narrazioni musicali a lungo termine. Le versioni future potrebbero utilizzare il deep learning per ricordare sequenze più lunghe e aggiungere la "spiegabilità", in modo che i musicisti possano vedere esattamente perché l'IA ha scelto una determinata nota. Pianificano anche di aggiungere un ciclo di feedback in cui l'IA impara dai propri errori in tempo reale, rendendo la jam session ancora più serrata.

In breve, questo articolo ci mostra che il futuro della musica IA non riguarda la sostituzione degli artisti umani con un enorme robot generico. Si tratta di fornire a ogni musicista un partner digitale personalizzato, etico ed ecologico che aiuti a esplorare nuovi suoni rimanendo fedeli alla propria voce unica. Non si tratta dell'IA che suona per te; si tratta dell'IA che suona con te.