🤖 machine learning

Auditing Training Data in Generative Music Models via Black-Box Membership Inference

Dieser Artikel schlägt eine Black-Box-Mitgliedsinferenzmethode vor, die durch Ausnutzung der stärkeren semantischen und strukturellen Abstimmung zwischen Trainingsdaten und kapitelbedingten Modellausgaben eine Genauigkeit von bis zu 98,6 % beim Auditieren generativer Musikmodelle erreicht, um die Datenherkunft ohne Zugriff auf Modellparameter zu verifizieren.

Ursprüngliche Autoren: Yi Chen Liu, Jiawei Yu, Kexin Cao, Syed Irfan Ali Meerza, Trishika Movva, Jian Liu

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yi Chen Liu, Jiawei Yu, Kexin Cao, Syed Irfan Ali Meerza, Trishika Movva, Jian Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, magische Musikmaschine. Sie können eine Beschreibung wie „ein trauriges Jazzstück mit Saxophon" eingeben, und die Maschine spuckt ein brandneues Lied aus. Doch hier liegt das Problem: Niemand weiß genau, welche Songs die Maschine „gefressen" hat, während sie lernte, Musik zu machen. Hat sie ohne Erlaubnis von einem Album eines berühmten Künstlers gelernt? Hat sie ein bestimmtes Lied einer kleinen Indie-Band auswendig gelernt?

Dieser Artikel handelt davon, ein Detektivwerkzeug zu entwickeln, um diese Frage zu beantworten. Das Werkzeug versucht herauszufinden, ob ein bestimmtes Lied Teil des Trainingsfutters der Maschine war, selbst wenn der Besitzer der Maschine sein Rezeptbuch nicht vorzeigen möchte.

So funktioniert die Methode des Artikels, aufgeschlüsselt in einfache Konzepte:

1. Die Grundidee: Der „Echo"-Effekt

Die Forscher entdeckten etwas Interessantes: Wenn die Maschine ein Lied zuvor gehört hat, „erinnert" sie sich in subtiler Weise daran.

Stellen Sie es sich wie einen Schüler vor, der eine Prüfung schreibt.

Das Szenario: Sie zeigen der Maschine eine Beschreibung eines Songs (z. B. „fröhlicher Pop-Track").
Der Test: Die Maschine generiert basierend auf dieser Beschreibung ein neues Lied.
Die Entdeckung: Wenn die Maschine das Originallied bereits aus ihren Trainingsdaten kannte, wird das neue generierte Lied einen seltsamen, starken „Echo"- oder „Fingerabdruck" des Originals aufweisen. Sie werden sich in Rhythmus, Melodie und Stil fast wie Zwillinge perfekt entsprechen.
Der Kontrast: Wenn die Maschine das Originallied noch nie gehört hat, wird das neue generierte Lied zwar der Beschreibung folgen, aber diesen spezifischen, tiefen strukturellen Abgleich nicht aufweisen. Es ist wie bei einem Schüler, der die Antwort errät; er mag die allgemeine Idee richtig haben, aber die Details stimmen nicht perfekt überein.

2. Das Werkzeug des Detektivs: Schattenmodelle

Da die Forscher nicht in die echte Maschine hineinschauen können (sie ist eine „Blackbox"), müssen sie ihre eigenen Detektiven trainieren. Sie verwenden „Schattenmodelle".

Stellen Sie sich vor, Sie möchten einem Detektiv beibringen, eine gefälschte Ausweis zu erkennen. Sie können ihm den echten Ausweis des Kriminellen nicht zeigen, also erstellen Sie eine Reihe von Übungsausweisen mit einer ähnlichen (aber bekannten) Maschine.

Die Forscher nehmen Songs, von denen sie wissen, dass sie zum Trainieren dieser Schattenmaschinen verwendet wurden.
Sie bitten die Schattenmaschinen, basierend auf Beschreibungen dieser Originaltracks neue Songs zu generieren.
Sie vergleichen den Originaltrack mit der neuen Generierung. Da die Schattenmaschine das Original gesehen hat, passen die beiden eng zusammen.
Sie machen dasselbe mit Songs, die die Schattenmaschine nicht gesehen hat. Die Übereinstimmung ist lockerer.

Indem sie Tausende dieser „engen Übereinstimmungen" im Vergleich zu „lockeren Übereinstimmungen" untersuchen, trainieren die Forscher einen Musik-Auditor (einen kleinen KI-Klassifizierer). Dieser Auditor lernt, die spezifische „Enge" zu erkennen, die nur dann auftritt, wenn ein Song Teil der Trainingsdaten war.

3. Der Untersuchungsprozess

Wenn die Forscher einen echten, unbekannten Song gegen einen echten, unbekannten Musikgenerator (wie Suno oder Stable Audio) prüfen möchten, gehen sie wie folgt vor:

Beschreiben Sie den Song: Sie verwenden ein Werkzeug, um eine Textbeschreibung (Caption) des Songs zu verfassen, den sie prüfen möchten.
Fragen Sie die Maschine: Sie füttern diese Beschreibung in den Ziel-Musikgenerator ein und erhalten ein neues Lied zurück.
Der Vergleich: Sie nehmen den Originalsong und das neu generierte Lied und führen sie durch ihren „Musik-Auditor".
Das Urteil: Der Auditor misst, wie gut die beiden Songs übereinstimmen. Wenn die Übereinstimmung super stark ist (wie bei den „engen Übereinstimmungen" der Schattenmodelle), sagt der Auditor: „Ja, dieses Lied war wahrscheinlich in den Trainingsdaten." Wenn die Übereinstimmung schwach ist, sagt er: „Nein, dieses Lied war wahrscheinlich nicht in den Trainingsdaten."

4. Wie gut ist der Detektiv?

Der Artikel testete diese Methode an drei verschiedenen hochmodernen Musikgeneratoren. Die Ergebnisse waren überraschend genau:

Genauigkeit: Das Werkzeug lag etwa 98,6 % der Zeit richtig.
Fehler: Es machte selten Fehler. Es beschuldigte ein Lied nur in 1,9 % der Fälle fälschlicherweise, Teil der Trainingsdaten zu sein, und verpasste eine echte Übereinstimmung nur in 1,0 % der Fälle.

5. Warum dies wichtig ist

Der Artikel kommt zu dem Schluss, dass wir nicht in die Server eines Unternehmens einbrechen oder ihren geheimen Code sehen müssen, um zu wissen, ob sie urheberrechtlich geschützte Musik zum Trainieren ihrer KI verwenden. Indem wir die KI einfach bitten, basierend auf einer Beschreibung ein Lied zu generieren und prüfen, wie stark das Ergebnis mit dem Original übereinstimmt, können wir die Trainingsdaten auditieren.

Kurz gesagt: Der Artikel beweist, dass eine KI, die ein Lied „auswendig gelernt" hat, einen nachweisbaren Fingerabdruck in den neuen Songs hinterlässt, die sie erstellt. Indem wir lernen, diesen Fingerabdruck zu erkennen, können wir KI-Musikgeneratoren für das, was sie gelernt haben, zur Rechenschaft ziehen, selbst wenn sie versuchen, ihre Trainingsgeheimnisse verborgen zu halten.

Technische Zusammenfassung: Auditierung von Trainingsdaten in generativen Musikmodellen mittels Black-Box-Mitgliedsinferenz

Problemstellung

Jüngste Fortschritte bei der Text-zu-Musik-Generierung (z. B. MusicGen, Stable Audio, Suno) haben eine hochfidele Synthese strukturierter Audioinhalte ermöglicht. Diese Modelle werden jedoch typischerweise auf massiven, intransparenten Korpora trainiert, die aus Online-Quellen aggregiert wurden, ohne eine transparente Dokumentation der Datenherkunft oder der Einwilligung. Dieser Mangel an Transparenz schafft eine kritische Lücke in der Verantwortlichkeit: Es gibt derzeit keinen praktischen Mechanismus, mit dem Künstler, Urheberrechtsinhaber oder Regulierungsbehörden verifizieren können, ob eine bestimmte Audiodatei im Trainingsset eines eingesetzten generativen Modells enthalten war.

Während Mitgliedsinferenzangriffe (Membership Inference Attacks, MIAs) in den Bereichen Bild und Text gut untersucht sind, bleibt ihre Anwendung auf generative Musik noch in den Kinderschuhen. Bestehende Ansätze leiden unter erheblichen Einschränkungen:

Abhängigkeit von White-Box-Zugriff: Einige Methoden erfordern Zugriff auf interne Modellzustände, Wahrscheinlichkeitswerte oder Diffusionszustände, die in realen Black-Box-Einsätzen nicht verfügbar sind.
Schwache Black-Box-Metriken: Aktuelle Black-Box-Ansätze verlassen sich oft auf skalare Statistiken (z. B. Diskriminatorwerte, Rekonstruktionsfehler) oder feste Datensatzpartitionen und modellieren die semantische Ausrichtung zwischen Originalaudio und generierten Ausgaben nicht explizit.
Mangelnde Zuverlässigkeit: Diese Methoden haben Schwierigkeiten, eine zuverlässige Auditierung pro Sample in realistischen Szenarien zu bieten und liegen bei großen Modellen oft nahe dem Zufallsniveau.

Methodik

Die Autoren schlagen ein Black-Box-Mitgliedsinferenz-Framework vor, das auf der Hypothese basiert, dass die Zugehörigkeit zum Trainingsset eine systematisch stärkere semantische und strukturelle Ausrichtung zwischen einem Kandidaten-Audiosample und der Generierung des Modells bewirkt, wenn diese durch die Beschriftung (Caption) des Samples konditioniert wird.

Systemübersicht

Das Framework arbeitet in zwei Phasen: einem Trainingsprozess an Schattenmodellen und einem Auditierungsprozess am Zielmodell.

Training von Schattenmodellen (Datenerstellung):
- Der Auditor nutzt mehrere zugängliche Text-zu-Musik-Schattenmodelle ( $M_{si}$ ) mit bekannten Trainingsuntergruppen ( $D_{in}$ ).
- Mitglieder-Paare: Für einen Track $x \in D_{in}$ wird eine Beschriftung $C_{in}$ extrahiert. Das Schattenmodell generiert $G_{in} = M_{si}(C_{in})$ . Das Paar $(x, G_{in})$ stellt ein „Mitglieder"-Beispiel dar.
- Nicht-Mitglieder-Paare: Um semantische Vergleichbarkeit sicherzustellen, wird dieselbe Beschriftung $C_{in}$ verwendet, um ein auxiliares Modell ( $M_{aux}$ , das sich vom Ziel- und den Schattenmodellen unterscheidet) zu konditionieren, um einen Nicht-Mitglieder-Track $x'$ zu generieren. Aus $x'$ wird eine Beschriftung $C_{out}$ extrahiert, und das Schattenmodell generiert $G_{out} = M_{si}(C_{out})$ . Das Paar $(x', G_{out})$ stellt ein „Nicht-Mitglieder"-Beispiel dar.
- Diese Konstruktion erzeugt vier ausgerichtete Gruppen ( $D_{in}, D_{out}, G_{in}, G_{out}$ ), um die Trainingsexposition als primären Unterscheidungsfaktor zu isolieren und semantische Variationen zu kontrollieren.
Feature-Extraktion:
- Audiosamples werden mittels fünf verschiedener Audio-Encoder eingebettet: MERT (Musiksemantik), Music2Vec (Struktur/Tonalität), DAC (akustische Artefakte), Fx-Encoder++ (Produktionseffekte) und CLAP (Audio-Text-Semantik).
- Die Encoder geben entweder 1D-globale Embeddings oder 2D-Embedding-Karten aus (unter Beibehaltung der Schicht-/Zeitachsen).
Training des Musik-Auditors:
- Ein leichter Klassifikator (der „Musik-Auditor") wird trainiert, um Mitglieder-Paare von Nicht-Mitglieder-Paaren basierend auf der Ausrichtung im Embedding-Raum zu unterscheiden.
- Architektur:
  - Für 1D-Embeddings: Ein Multi-Layer Perceptron (MLP) mit drei versteckten Schichten (256, 128, 64 Einheiten) verarbeitet das verkettete Paar $[f(x) \parallel f(x')]$ .
  - Für 2D-Embeddings: Ein Convolutional Neural Network (CNN) mit drei Faltungsschichten verarbeitet das gestapelte Paar.
- Der Auditor lernt Ausrichtungsmuster, die charakteristisch für die Trainingsmitgliedschaft sind, ohne Zugriff auf die Parameter oder Trainingsdaten des Zielmodells.
Auditierungsprozess:
- Gegeben ein Kandidaten-Track $x$ und ein Black-Box-Zielmodell $M_t$ , extrahiert der Auditor die Beschriftung $C_x$ , fragt $M_t$ ab, um $x' = M_t(C_x)$ zu erhalten, berechnet die Embeddings und speist das Paar in den trainierten Auditor ein.
- Ein hoher Mitgliedschaftswert deutet darauf hin, dass die Ausrichtung zwischen $x$ und $x'$ Mustern ähnelt, die von Schattenmodell-Mitgliedern gelernt wurden, was darauf hindeutet, dass $x$ im Trainingsset enthalten war.

Wichtige Beiträge

Neues Black-Box-Framework: Die Arbeit stellt das erste praktische Black-Box-Auditierungsframework für generative Musik vor, das keinen Zugriff auf interne Modelle, Wahrscheinlichkeitswerte oder White-Box-Zustände erfordert.
Hypothese zur semantischen Ausrichtung: Es wird festgestellt, dass die Mitgliedschaft im Trainingsset eine messbare semantische und strukturelle Konsistenz zwischen einem Quell-Track und seiner beschriftungskonditionierten Generierung bewirkt, ein Signal, das im Embedding-Raum erfasst werden kann.
Strategie der Schattenmodelle: Die Autoren schlagen eine robuste Methode zur Konstruktion semantisch abgestimmter Nicht-Mitglieder-Paare mittels auxiliares Generierung vor, um sicherzustellen, dass Unterschiede in der Ausrichtung auf Trainingsexposition und nicht auf semantische Variation zurückzuführen sind.
Encoder-Analyse: Die Studie evaluiert systematisch fünf verschiedene Audio-Encoder und identifiziert, welche Feature-Räume für die Mitgliedsinferenz in der Musik am aussagekräftigsten sind.

Experimentelle Ergebnisse

Das Framework wurde an drei state-of-the-art Text-zu-Musik-Systemen evaluiert: AudioLDM2, Stable Audio Open und Mustango, unter Verwendung eines Leave-One-Generator-Out-Protokolls.

Leistung: Die Methode erreicht auf Stable Audio Open unter Verwendung des DAC-Encoders eine Genauigkeit von bis zu 98,6 % mit einer False-Positive-Rate (FPR) von 1,9 % und einer False-Negative-Rate (FNR) von 1,0 %.
Wirksamkeit der Encoder:
- DAC (akustische Artefakte) erwies sich als der effektivste und stabilste Encoder und erreichte eine durchschnittliche Genauigkeit von 97,7 % über alle Ziele hinweg.
- CLAP und MERT schnitten ebenfalls gut ab (durchschnittliche Genauigkeit >91 %).
- Music2Vec zeigte schwächere Leistung (durchschnittliche Genauigkeit 78,3 %) und höhere False-Positive-Raten.
- Fx-Encoder++ zeigte Instabilität, insbesondere bei AudioLDM2.
Transferierbarkeit: Der Auditor zeigte eine starke Transferierbarkeit zwischen Generatoren, insbesondere zwischen AudioLDM2 und Stable Audio Open. Der Transfer zu/von Mustango (das kurze 10-Sekunden-Clips generiert) zeigte jedoch eine Leistungslücke, wahrscheinlich aufgrund von Verteilungsverschiebungen zwischen kurzen Segmenten und langformatigem Audio (150 s).
Sample-Effizienz: Das System ist hochgradig sample-effizient. In bestimmten Konfigurationen (z. B. beim Zurückhalten von AudioLDM2) überstieg die Genauigkeit 98 % mit nur 100 Trainingspaaren und erreichte ihre Spitzenleistung mit 1.000 Paaren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine zuverlässige Auditierung von Trainingsdaten in realistischen Black-Box-Einsatzszenarien machbar ist. Indem gezeigt wird, dass Mitgliedschaftssignale ausschließlich durch Query-Zugriff und Analyse der semantischen Ausrichtung extrahiert werden können, bietet die Arbeit ein praktisches Werkzeug für:

Verantwortlichkeit: Ermöglichung der Verifizierung der Datenherkunft für Künstler und Urheberrechtsinhaber.
Einwilligungsverifizierung: Unterstützung von Regulierungsbehörden und Plattformen bei der Bewertung, ob Modelle mit Daten ohne Einwilligung trainiert wurden.
Transparenz: Bereitstellung eines Mechanismus zur Auditierung von „Black-Box"-KI-Systemen ohne erforderlichen proprietären Zugriff.

Die Autoren nehmen eine bescheidene Haltung ein und räumen ein, dass ihre aktuelle Evaluierung auf teilweise informierten Schattenmodellen beruht (bei denen Ground-Truth-Beschriftungen und Metadaten verfügbar sind) und dass die Konstruktion der Nicht-Mitglieder eine praktische Approximation darstellt. Sie weisen darauf hin, dass zukünftige Arbeiten die Heterogenität von Datensätzen adressieren, die Abhängigkeit von festen auxiliares Pipelines reduzieren und Auditierungsverfahren mit prinzipiellen statistischen Garantien für einen breiteren Einsatz entwickeln müssen.