Technische Samenvatting: Auditing van Trainingsdata in Generatieve Muziekmodellen via Black-Box Lidmaatschapsinference

Probleemstelling

Recente vooruitgang in tekst-naar-muziekgeneratie (bijvoorbeeld MusicGen, Stable Audio, Suno) heeft hoogwaardige synthese van gestructureerde audio mogelijk gemaakt. Deze modellen worden echter doorgaans getraind op enorme, ondoorzichtige corpora die zijn samengesteld uit online bronnen, zonder transparante documentatie van dataherkomst of toestemming. Dit gebrek aan transparantie creëert een kritieke verantwoordelijkheidskloof: er is momenteel geen praktisch mechanisme voor artiesten, auteursrechthebbenden of regelgevers om te verifiëren of een specifiek audiomateriaal is opgenomen in de trainingsset van een ingezet generatief model.

Hoewel Lidmaatschapsinference-aanvallen (MIAs) goed bestudeerd zijn in de domeinen van afbeeldingen en tekst, blijft hun toepassing op generatieve muziek in de kinderschoenen. Bestaande benaderingen lijden onder aanzienlijke beperkingen:

• Afhankelijkheid van white-box: Sommige methoden vereisen toegang tot interne modelstaten, waarschijnlijkheidsscores of diffusiestaten, die niet beschikbaar zijn in real-world black-box-uitzettingen.
• Zwakke black-box-metrics: Huidige black-box-benaderingen vertrouwen vaak op scalair statistieken (bijvoorbeeld discriminator-scores, reconstructiefouten) of vaste dataset-partities, en slagen er niet in om expliciet de semantische uitlijning tussen originele audio en gegenereerde outputs te modelleren.
• Gebrek aan betrouwbaarheid: Deze methoden worstelen om betrouwbare auditing per sample te bieden in realistische omgevingen, en presteren vaak op het niveau van toeval bij grote schaalmodellen.

Methodologie

De auteurs stellen een black-box lidmaatschapsinference-framework voor dat gebruikmaakt van de hypothese dat lidmaatschap van de training systematisch sterkere semantische en structurele uitlijning induceert tussen een kandidaat-audiosample en de generatie van het model wanneer deze is geconditioneerd op de bijschrift van het sample.

Overzicht van het Systeem

Het framework werkt in twee fasen: een Trainingsproces op schaduwmodellen en een Auditingproces op het doelmodel.

1. Training van Schaduwmodellen (Dataconstructie):

   • De auditor maakt gebruik van verschillende toegankelijke tekst-naar-muziek "schaduwmodellen" ($M_{si}$) met bekende trainingssubsets ($D_{in}$).
   • Lid-paren: Voor een track $x \in D_{in}$ wordt een bijschrift $C_{in}$ geëxtraheerd. Het schaduwmodel genereert $G_{in} = M_{si}(C_{in})$. Het paar $(x, G_{in})$ vertegenwoordigt een "lid"-voorbeeld.
   • Niet-lid-paren: Om semantische vergelijkbaarheid te waarborgen, wordt hetzelfde bijschrift $C_{in}$ gebruikt om een hulpmodel ($M_{aux}$, verschillend van het doel- en schaduwmodel) te conditioneren voor het genereren van een niet-lid track $x'$. Een bijschrift $C_{out}$ wordt geëxtraheerd uit $x'$, en het schaduwmodel genereert $G_{out} = M_{si}(C_{out})$. Het paar $(x', G_{out})$ vertegenwoordigt een "niet-lid"-voorbeeld.
   • Deze constructie creëert vier uitgelijnde groepen ($D_{in}, D_{out}, G_{in}, G_{out}$) om trainingsblootstelling te isoleren als de primaire onderscheidende factor, waarbij controle wordt uitgeoefend op semantische variatie.

2. Feature-extractie:

   • Audiosamples worden ingebed met behulp van vijf diverse audio-encoders: MERT (muzieksemantiek), Music2Vec (structuur/toonladder), DAC (akoestische artefacten), Fx-Encoder++ (productie-effecten) en CLAP (audio-tekst semantiek).
   • Encoders geven ofwel 1D globale embeddings of 2D embedding-kaarten uit (waarbij de laag/temporele assen behouden blijven).

3. Training van de Muziek-Auditor:

   • Een lichtgewicht classifier (de "Muziek-Auditor") wordt getraind om lid-paren te onderscheiden van niet-lid-paren op basis van de uitlijning in de embedding-ruimte.
   • Architectuur:
     • Voor 1D embeddings: Een Multi-Layer Perceptron (MLP) met drie verborgen lagen (256, 128, 64 eenheden) verwerkt het samengevoegde paar $[f(x) \parallel f(x')]$.
     • Voor 2D embeddings: Een Convolutional Neural Network (CNN) met drie convolutielagen verwerkt het gestapelde paar.
   • De auditor leert uitlijningspatronen die kenmerkend zijn voor trainingslidmaatschap, zonder toegang tot de parameters of trainingsdata van het doelmodel.

4. Auditingproces:

   • Gegeven een kandidaat-track $x$ en een black-box doelmodel $M_t$, extrahert de auditor het bijschrift $C_x$, vraagt $M_t$ om $x' = M_t(C_x)$ te genereren, berekent embeddings en voert het paar in bij de getrainde auditor.
   • Een hoge lidmaatschapsscore geeft aan dat de uitlijning tussen $x$ en $x'$ lijkt op patronen die zijn geleerd van schaduwmodel-leden, wat suggereert dat $x$ in de trainingsset zat.

Belangrijkste Bijdragen

• Nieuw Black-Box Framework: Het artikel introduceert het eerste praktische black-box auditing-framework voor generatieve muziek dat geen toegang vereist tot interne modellen, waarschijnlijkheidsscores of white-box-staten.
• Hypothese over Semantische Uitlijning: Het stelt vast dat trainingslidmaatschap meetbare semantische en structurele consistentie induceert tussen een brontrack en zijn bijschrift-geconditioneerde generatie, een signaal dat kan worden vastgelegd in de embedding-ruimte.
• Strategie voor Schaduwmodellen: De auteurs stellen een robuuste methode voor voor het construeren van semantisch gematchte niet-lid-paren met behulp van hulpgeneratie, waardoor wordt gewaarborgd dat verschillen in uitlijning te wijten zijn aan trainingsblootstelling en niet aan semantische variatie.
• Encoder-analyse: De studie evalueert systematisch vijf verschillende audio-encoders en identificeert welke feature-ruimten het meest discriminerend zijn voor lidmaatschapsinference in muziek.

Experimentele Resultaten

Het framework werd geëvalueerd op drie state-of-the-art tekst-naar-muzieksystemen: AudioLDM2, Stable Audio Open en Mustango, met gebruik van een leave-one-generator-out protocol.

• Prestaties: De methode bereikt tot 98,6% nauwkeurigheid met een False Positive Rate (FPR) van 1,9% en een False Negative Rate (FNR) van 1,0% op Stable Audio Open met behulp van de DAC-encoder.
• Effectiviteit van Encoders:
  • DAC (akoestische artefacten) bleek de meest effectieve en stabiele encoder, met een gemiddelde nauwkeurigheid van 97,7% over alle doelen.
  • CLAP en MERT presteerden ook goed (gemiddelde nauwkeurigheid >91%).
  • Music2Vec vertoonde zwakkere prestaties (78,3% gemiddelde nauwkeurigheid) en hogere false-positive rates.
  • Fx-Encoder++ vertoonde instabiliteit, met name bij AudioLDM2.
• Transferbaarheid: De auditor toonde sterke cross-generator transferbaarheid, met name tussen AudioLDM2 en Stable Audio Open. Transfer naar/uit Mustango (dat korte 10-seconde clips genereert) toonde echter een prestatiekloof, waarschijnlijk door distributieschiften tussen korte segmenten en langformaat audio (150s).
• Sample-efficiëntie: Het systeem is zeer sample-efficiënt. In bepaalde configuraties (bijvoorbeeld het buiten houden van AudioLDM2) overschreed de nauwkeurigheid 98% met slechts 100 trainingsparen, en bereikte piekprestaties met 1.000 paren.

Betekenis en Claims

Het artikel beweert dat betrouwbare auditing van trainingsdata haalbaar is in realistische black-box-uitzettingsscenario's. Door aan te tonen dat lidmaatschapssignalen uitsluitend kunnen worden geëxtraheerd via query-toegang en analyse van semantische uitlijning, biedt het werk een praktisch instrument voor:

• Verantwoordelijkheid: Het mogelijk maken van verificatie van dataherkomst voor artiesten en auteursrechthebbenden.
• Toestemmingsverificatie: Het helpen van regelgevers en platforms om te beoordelen of modellen zijn getraind op data zonder toestemming.
• Transparantie: Het bieden van een mechanisme om "black-box" AI-systemen te auditeren zonder eigendomsrechten toegang te vereisen.

De auteurs houden een bescheiden standpunt, waarbij zij erkennen dat hun huidige evaluatie rust op gedeeltelijk geïnformeerde schaduwmodellen (waarbij ground-truth bijschriften en metadata beschikbaar zijn) en dat de constructie van niet-leden een praktische benadering is. Zij merken op dat toekomstig werk zich moet richten op dataset-heterogeniteit, de afhankelijkheid van vaste hulp-pijplijnen moet verminderen en auditingprocedures moet ontwikkelen met principiële statistische garanties voor bredere inzet.