Riassunto Tecnico: Audit dei Dati di Addestramento nei Modelli Generativi Musicali tramite Inferenza di Appartenenza in Black-Box

Enunciato del Problema

I recenti progressi nella generazione testo-musica (ad es. MusicGen, Stable Audio, Suno) hanno permesso la sintesi ad alta fedeltà di audio strutturato. Tuttavia, questi modelli sono tipicamente addestrati su corpora massicci e opachi aggregati da fonti online, senza una documentazione trasparente della provenienza dei dati o del consenso. Questa mancanza di trasparenza crea un vuoto critico di responsabilità: attualmente non esiste alcun meccanismo pratico per permettere ad artisti, titolari di diritti d'autore o regolatori di verificare se un campione audio specifico fosse incluso nel set di addestramento di un modello generativo deployato.

Sebbene gli Attacchi di Inferenza di Appartenenza (MIA) siano ben studiati nei domini delle immagini e del testo, la loro applicazione alla musica generativa rimane agli inizi. Gli approcci esistenti soffrono di limitazioni significative:

• Dipendenze da white-box: Alcuni metodi richiedono l'accesso agli stati interni del modello, ai punteggi di verosimiglianza o agli stati di diffusione, che non sono disponibili nelle implementazioni reali in black-box.
• Metriche black-box deboli: Gli approcci black-box attuali spesso si basano su statistiche scalari (ad es. punteggi del discriminatore, errori di ricostruzione) o partizioni fisse dei dati, non riuscendo a modellare esplicitamente l'allineamento semantico tra l'audio originale e gli output generati.
• Mancanza di affidabilità: Questi metodi faticano a fornire audit affidabili per singolo campione in contesti realistici, spesso ottenendo prestazioni vicine al caso casuale su modelli su larga scala.

Metodologia

Gli autori propongono un framework di inferenza di appartenenza in black-box che sfrutta l'ipotesi secondo cui l'appartenenza al set di addestramento induce un allineamento semantico e strutturale sistematicamente più forte tra un campione audio candidato e la generazione del modello quando condizionato dalla didascalia del campione.

Panoramica del Sistema

Il framework opera in due fasi: un Processo di Addestramento su modelli ombra e un Processo di Audit sul modello target.

1. Addestramento del Modello Ombra (Costruzione dei Dati):

   • L'auditor utilizza diversi modelli "ombra" testo-musica accessibili ($M_{si}$) con sottoinsiemi di addestramento noti ($D_{in}$).
   • Coppie Membri: Per una traccia $x \in D_{in}$, viene estratta una didascalia $C_{in}$. Il modello ombra genera $G_{in} = M_{si}(C_{in})$. La coppia $(x, G_{in})$ rappresenta un esempio "membro".
   • Coppie Non Membri: Per garantire la comparabilità semantica, la stessa didascalia $C_{in}$ viene utilizzata per condizionare un modello ausiliario ($M_{aux}$, distinto dai modelli target e ombra) per generare una traccia non membro $x'$. Viene estratta una didascalia $C_{out}$ da $x'$ e il modello ombra genera $G_{out} = M_{si}(C_{out})$. La coppia $(x', G_{out})$ rappresenta un esempio "non membro".
   • Questa costruzione crea quattro gruppi allineati ($D_{in}, D_{out}, G_{in}, G_{out}$) per isolare l'esposizione all'addestramento come fattore discriminante primario, controllando la variazione semantica.

2. Estrazione delle Caratteristiche:

   • I campioni audio vengono incorporati utilizzando cinque encoder audio diversi: MERT (semantica musicale), Music2Vec (struttura/tonalità), DAC (artefatti acustici), Fx-Encoder++ (effetti di produzione) e CLAP (semantica audio-testo).
   • Gli encoder producono o embedding globali 1D o mappe di embedding 2D (che preservano gli assi dei livelli/temporali).

3. Addestramento dell'Auditor Musicale:

   • Un classificatore leggero (l'"Auditor Musicale") viene addestrato per distinguere le coppie membri dalle coppie non membri basandosi sull'allineamento nello spazio degli embedding.
   • Architettura:
     • Per embedding 1D: Una Rete Neurale a Strati Multipli (MLP) con tre strati nascosti (256, 128, 64 unità) elabora la coppia concatenata $[f(x) \parallel f(x')]$.
     • Per embedding 2D: Una Rete Neurale Convoluzionale (CNN) con tre strati convoluzionali elabora la coppia impilata.
   • L'auditor apprende pattern di allineamento caratteristici dell'appartenenza all'addestramento senza accesso ai parametri del modello target o ai dati di addestramento.

4. Processo di Audit:

   • Data una traccia candidata $x$ e un modello target in black-box $M_t$, l'auditor estrae la didascalia $C_x$, interroga $M_t$ per ottenere $x' = M_t(C_x)$, calcola gli embedding e inserisce la coppia nell'auditor addestrato.
   • Un alto punteggio di appartenenza indica che l'allineamento tra $x$ e $x'$ assomiglia ai pattern appresi dai membri del modello ombra, suggerendo che $x$ era nel set di addestramento.

Contributi Chiave

• Framework Black-Box Innovativo: Il documento introduce il primo framework pratico di audit in black-box per la musica generativa che non richiede accesso al modello interno, punteggi di verosimiglianza o stati white-box.
• Ipotesi di Allineamento Semantico: Stabilisce che l'appartenenza all'addestramento induce una coerenza semantica e strutturale misurabile tra una traccia sorgente e la sua generazione condizionata dalla didascalia, un segnale che può essere catturato nello spazio degli embedding.
• Strategia del Modello Ombra: Gli autori propongono un metodo robusto per costruire coppie non membri semanticamente abbinati utilizzando la generazione ausiliaria, assicurando che le differenze nell'allineamento siano dovute all'esposizione all'addestramento e non alla variazione semantica.
• Analisi degli Encoder: Lo studio valuta sistematicamente cinque encoder audio distinti, identificando quali spazi di caratteristiche sono più discriminativi per l'inferenza di appartenenza nella musica.

Risultati Sperimentali

Il framework è stato valutato su tre sistemi testo-musica all'avanguardia: AudioLDM2, Stable Audio Open e Mustango, utilizzando un protocollo leave-one-generator-out.

• Prestazioni: Il metodo raggiunge fino al 98,6% di accuratezza con un Tasso di Falsi Positivi (FPR) dell'1,9% e un Tasso di Falsi Negativi (FNR) dell'1,0% su Stable Audio Open utilizzando l'encoder DAC.
• Efficacia degli Encoder:
  • DAC (artefatti acustici) si è rivelato l'encoder più efficace e stabile, raggiungendo un'accuratezza media del 97,7% su tutti i target.
  • CLAP e MERT hanno performance buone (accuratezza media >91%).
  • Music2Vec ha mostrato prestazioni inferiori (78,3% di accuratezza media) e tassi di falsi positivi più elevati.
  • Fx-Encoder++ ha esibito instabilità, in particolare su AudioLDM2.
• Trasferibilità: L'auditor ha dimostrato una forte trasferibilità cross-generator, in particolare tra AudioLDM2 e Stable Audio Open. Tuttavia, il trasferimento da/verso Mustango (che genera brevi clip di 10 secondi) ha mostrato un divario di prestazioni, probabilmente dovuto a spostamenti di distribuzione tra segmenti brevi e audio a lungo formato (150s).
• Efficienza del Campione: Il sistema è altamente efficiente in termini di campioni. In determinate configurazioni (ad es. tenendo fuori AudioLDM2), l'accuratezza ha superato il 98% con soli 100 coppie di addestramento, raggiungendo le prestazioni massime con 1.000 coppie.

Significato e Affermazioni

Il documento afferma che l'audit affidabile dei dati di addestramento è fattibile in scenari realistici di deployment in black-box. Dimostrando che i segnali di appartenenza possono essere estratti esclusivamente attraverso l'accesso alle query e l'analisi dell'allineamento semantico, il lavoro fornisce uno strumento pratico per:

• Responsabilità: Abilitare la verifica della provenienza dei dati per artisti e titolari di diritti d'autore.
• Verifica del Consenso: Aiutare regolatori e piattaforme a valutare se i modelli sono stati addestrati su dati senza consenso.
• Trasparenza: Offrire un meccanismo per auditare sistemi AI "black-box" senza richiedere accesso proprietario.

Gli autori mantengono una posizione modesta, riconoscendo che la loro valutazione attuale si basa su modelli ombra parzialmente informati (dove sono disponibili didascalie e metadati ground-truth) e che la costruzione dei non membri è un'approssimazione pratica. Sottolineano che il lavoro futuro dovrà affrontare l'eterogeneità dei dataset, ridurre la dipendenza da pipeline ausiliarie fisse e sviluppare procedure di audit con garanzie statistiche principiate per un deployment più ampio.