🤖 machine learning

Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

Diese Arbeit zeigt auf, dass Rectified Flows eine universelle, glockenförmige Lücke im Rekonstruktionsfehler zwischen Trainings- und Testdaten entlang ihres Interpolationspfades aufweisen, die an einer theoretisch ableitbaren Stelle ihren Höhepunkt erreicht und dazu genutzt werden kann, um Membership Inference Attacks trotz stabiler Validierungsmetriken durchzuführen.

Ursprüngliche Autoren: Thomas Sesmat, Gabriel Meseguer-Brocal, Geoffroy Peeters

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas Sesmat, Gabriel Meseguer-Brocal, Geoffroy Peeters

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Chefkoch, der jahrelang nach einem ganz bestimmten, geheimen Familienrezeptbuch gekocht hat. Sie stellen diesen Koch ein, um neue Gerichte zu kreieren. Normalerweise würden Sie sich Sorgen machen, ob er ein Gericht Wort für Wort aus dem Buch kopiert. Aber dieses Papier zeigt ein subtileres Problem auf: Selbst wenn der Koch Ihnen nie eine exakte Kopie serviert, könnte er dennoch winzige, unsichtbare Hinweise auf das ursprüngliche Rezeptbuch durch seine Art des Kochens „durchsickern“ lassen.

Die Forscher untersuchten ein spezielles KI-Kochsystem namens Rectified Flow. Betrachten Sie diese Systeme als eine Maschine, die eine Schüssel mit zufälligem, chaotischem Rauschen (wie das Rauschen auf einem Fernseher) in ein klares, strukturiertes Bild oder einen Klang verwandelt. Dazu folgt die Maschine einem bestimmten Pfad, einer „Interpolation“, bei der sie das Rauschen schrittweise mit den fertigen Daten vermischt.

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Der „Sweet Spot“ des Durchsickerns

Die Forscher fanden heraus, dass die KI diesen Mischprozess nicht auf die gleiche Weise behandelt.

Am Anfang (Reines Rauschen): Die KI starrt nur auf statisches Rauschen. Sie hat keine Vorstellung davon, wie das fertige Bild aussehen sollte, also kann sie keinen Unterschied zwischen einem Rezept, das sie kennt, und einem, das sie nicht kennt, feststellen.
Am Ende (Reine Daten): Die KI betrachtet das fertige Gericht. Das ist zu offensichtlich; sie betrachtet einfach nur das Ergebnis.
In der Mitte (Die Glockenkurve): Die Magie geschieht in der Mitte. Die Forscher entdeckten, dass das „Gedächtnis“ der KI bezüglich ihrer Trainingsdaten ein glockenförmiges Muster des Durchsickerns erzeugt. Es gibt einen ganz bestimmten Moment in diesem Mischprozess, in dem die KI am ehesten dazu neigt, versehentlich zu verraten: „Hey, das habe ich schon einmal gesehen!“

Sie nennen dies das „Membership Signal“ (Mitgliedschaftssignal). Es ist so, als wäre der Koch etwas selbstbewusster oder präziser beim Anrichten eines Gerichts, das einem Rezept ähnelt, das er auswendig gelernt hat, selbst wenn das fertige Gericht leicht anders aussieht.

2. Das Vorhersagen des Leaks

Das Papier geht nicht nur darum, das Leck zu finden; es geht darum, genau vorherzusagen, wo es passiert.

Die Analogie: Stellen Sie sich vor, Sie gehen einen Pfad zwischen einem Haufen Sand (Rauschen) und einem Haufen Gold (Daten) entlang. Die Forscher fanden heraus, dass das „Leck“ an einer ganz bestimmten Stelle auf dem Pfad auftritt.
Die Formel: Sie haben eine mathematische Formel abgeleitet, um diesen Punkt vorherzusagen. Wenn man weiß, wie „weit gestreut“ das Rauschen ist und wie „weit gestreut“ die Daten sind, kann man genau den Prozentsatz der Reise berechnen, an dem die KI am verwundbarsten ist.
Der Haken: Diese Formel funktioniert perfekt, wenn sich die Daten wie eine schöne, vorhersehbare Glockenkurve (Gauß-Verteilung) verhalten. Wenn die Daten unordentlich oder seltsam sind (wie bei bestimmten Arten von Bildern), tritt das Leck zwar immer noch in einer Glockenform auf, aber der „Sweet Spot“ kann sich leicht von der vorhergesagten Position verschieben.

3. Warum Standardprüfungen es übersehen

Sie könnten fragen: „Warum haben die Entwickler das nicht bemerkt?“

Die Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Wenn Sie sich seine Durchschnittsnote über die gesamte Prüfung hinweg ansehen, wirken sie vielleicht wie ein perfekter Schüler. Aber wenn Sie sich eine spezifische Frage ansehen, bei der er Schwierigkeiten hatte, könnten Sie sehen, dass er die Antwort für genau diese eine Frage auswendig gelernt hat.
Die Realität: Standardmäßige KI-Trainingskontrollen schauen auf die „Durchschnittsleistung“ über den gesamten Prozess hinweg. Die Forscher fanden heraus, dass das „Leck“ verborgen bleibt, weil es in diesem einen spezifischen mittleren Bereich konzentriert ist. Die Gesamtleistung der KI sieht großartig aus, aber genau an diesem Punkt unterscheidet sie heimlich zwischen „Dingen, die ich gelernt habe“ und „Dingen, die ich nicht gesehen habe“.

4. Der „Membership Inference Attack“

Die Forscher haben bewiesen, dass dies nicht nur Theorie ist, sondern ein praktisches Risiko darstellt.

Der Angriff: Sie bauten ein einfaches „Detektiv“-Werkzeug. Anstatt das fertige Bild oder den Klang zu analysieren, beobachtet der Detektiv die KI an genau diesem „Sweet Spot“ im Mischprozess.
Das Ergebnis: Durch die Analyse des Verhaltens der KI in diesem spezifischen Moment konnte der Detektiv mit hoher Genauigkeit (91 % in ihren Musikexperimenten) feststellen, ob ein bestimmter Datensatz Teil der „Ernährung“ der KI war oder nicht. Es ist wie ein Lügendetektortest, der funktioniert, indem er die KI in dem Moment ein Rätsel lösen lässt, in dem sie am wahrscheinlichsten aus dem Bunde fällt.

Zusammenfassung

Das Papier zeigt, dass Rectified-Flow-KI-Modelle einen strukturierten, vorhersagbaren „Fingerabdruck“ ihrer Trainingsdaten hinterlassen. Dieser Fingerabdruck ist nicht zufällig; er folgt einer Glockenkurve, die in einem berechenbaren Punkt in der Erzeugung kulminiert. Während Standard-Sicherheitsprüfungen dies übersehen könnten, da sie das große Ganze betrachten, kann eine gezielte Prüfung an genau diesem „Peak“ genau offenbaren, was die KI auswendig gelernt hat.

Was das Papier NICHT behauptet:

Es behauptet nicht, dass dies für jede Art von KI-Modell funktioniert (es konzentriert sich spezifisch auf Rectified Flows).
Es behauptet nicht, dass dies eine neue Methode ist, um urheberrechtlich geschützte Inhalte direkt zu stehlen (es geht darum, zu erkennen, ob Daten verwendet wurden, nicht unbedingt darum, die Daten selbst zu extrahieren).
Es bietet keine Allheilmittel-Lösung an, deutet aber darauf an, dass das Verständnis dieses „Peaks“ Entwicklern helfen könnte, in Zukunft bessere Datenschutzverteidigungen aufzubauen.

Technische Zusammenfassung: Wo Rectified Flows Informationen preisgeben: Charakterisierung von Membership-Signalen entlang des Interpolationspfads

Problemstellung
Der Einsatz generativer Modelle, insbesondere von Rectified Flows (verwendet in Systemen wie FLUX.1, VoiceBox und Stable Audio Open), wirft erhebliche rechtliche und datenschutzrelevante Bedenken hinsichtlich der Beibehaltung von Trainingsdaten auf. Während sich die bestehende Forschung auf die wortgetreue Reproduktion konzentriert, können Modelle subtilere „Membership-Signale“ kodieren – messbare Asymmetrien, bei denen das Modell Trainingsdaten anders behandelt als gehaltene Daten (held-out data), ohne sie explizit zu reproduzieren. Diese Signale bleiben oft durch Standard-Trainingsmetriken (z. B. Loss-Kurven) unentdeckt, die keinerlei Anzeichen von Overfitting zeigen. Der spezifische Ort und die strukturelle Natur dieser Signale innerhalb des iterativen Denoising-Trajektorien-Pfades von Rectified Flows sind bisher theoretisch nicht charakterisiert worden, insbesondere im Vergleich zu den iterativen Denoising-Trajektorien von Diffusionsmodellen.

Methodik
Die Autoren schlagen ein theoretisches und experimentelles Framework vor, um Membership-Signale entlang des linearen Interpolationspfads $X_\lambda = (1-\lambda)X_0 + \lambda X_1$ , der das Training von Rectified Flow definiert, zu charakterisieren.

Theoretischer Rahmen:
- Zerlegung: Der Trainingsverlust wird in Approximationsfehler, irreduzible Varianz und einen Kreuzkorrelationsterm $G_{train}(\lambda)$ zerlegt. Die Autoren identifizieren $G_{train}(\lambda)$ als das Membership-Signal, welches die Korrelation zwischen der Abweichung des Modells vom optimalen Prädiktor und trainingsspezifischen Residuen darstellt.
- Gaußsche Annahmen: Unter der Annahme, dass die Rauschverteilung $X_0$ und die Datendistribution $X_1$ unabhängig und Gauß-verteilt sind (mit Kovarianzen $\Sigma_0$ und $\Sigma_1$ ), leiten die Autoren einen geschlossenen Ausdruck für die Lage $\lambda^*_F$ her, an der das Membership-Signal seinen Höhepunkt erreicht. Dieser Peak tritt dort auf, wo die Kreuzkovarianz zwischen dem interpolierten Zustand und der Geschwindigkeit minimiert wird.
- Mechanismus: Das Signal peakt bei $\lambda^*_F$ , weil die lineare Komponente der Prädiktion dort verschwindet. Das Modell muss sich auf nichtlineare Merkmale verlassen, um das Ziel zu erklären, was zu einem Wettbewerb zwischen dem Erlernen generalisierbarer Nichtlinearitäten und dem Anpassen an sampelspezifische Residuen (Memorierung) führt.
Experimentelles Protokoll:
- Detektion: Für eine gegebene Probe $x_1$ interpolieren die Autoren mit Rauschen $x_0$ bei variierenden $\lambda$ , sagen die Geschwindigkeit voraus, rekonstruieren $x_1$ und messen den mittleren quadratischen Fehler (MSE).
- Metrik: Sie berechnen eine normalisierte Train-Test-Differenz $\Delta_{norm}(\lambda)$ , um das Membership-Signal zu isolieren.
- Validierung: Experimente wurden auf Audio- (MAESTRO v3, MTG-Jamendo, FMA Large) und Bilddatensätzen (CelebA) unter Verwendung verschiedener latenter Räume (Music2Latent, Stable Audio VAE, Stable Diffusion VAE), Architekturen (Transformer, UNet) und Modellkapazitäten durchgeführt.

Wesentliche Beiträge

Charakterisierung des Signals: Die Arbeit zeigt, dass die Train-Test-Rekonstruktionsdifferenz in Rectified Flows einer universellen glockenförmigen Kurve über $\lambda$ folgt. Das Signal ist an den Grenzen ( $\lambda=0, 1$ ) minimal und erreicht an einem intermediären Punkt sein Maximum.
Geschlossene Vorhersage: Eine theoretische Ableitung liefert einen geschlossenen Ausdruck für die Lage des Peaks $\lambda^*_F$ basierend auf den Daten- und Rauschkovarianzen:
$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$
Diese Vorhersage ist korrekt, wenn die Gaußschen isotropen Annahmen erfüllt sind (z. B. in Audio-Latent-Räumen).
Stille Akkumulation: Die Studie zeigt, dass sich dieses Membership-Signal während des gesamten Trainings akkumuliert, selbst wenn die Validierungsverluste sinken und Standarddiagnosen auf ein gesundes Lernen hindeuten. Das Signal wird durch die räumliche Mittelung über $\lambda$ in Standard-Trainingsprotokollen maskiert.
Membership Inference Attack (MIA): Als Proof-of-Concept nutzen die Autoren die $\lambda$ -aufgelöste Struktur des Rekonstruktionsfehlers aus. Durch die Einspeisung der vollständigen Kurve (oder eines Vektors von Fehlern über $\lambda$ ) in einen einfachen MLP-Klassifikator erreichen sie eine signifikant höhere AUC (0,91 bei MAESTRO) im Vergleich zu naiven Angriffen, die einen einzelnen $\lambda$ -Punkt oder adaptierte Diffusions-basierte Methoden verwenden (0,67).

Ergebnisse

Universalität: Die glockenförmige Struktur der Train-Test-Differenz erscheint universell über alle getesteten Konfigurationen hinweg, einschließlich unterschiedlicher Modalitäten (Audio/Bild), Architekturen (Transformer/UNet) und latenter Räume, selbst wenn die theoretischen Annahmen (Gauß-Verteilung/Isotropie) verletzt werden (z. B. CelebA).
Peak-Genauigkeit: Wenn die Gaußschen isotropen Annahmen gelten (Audio-Datensätze mit Music2Latent oder Stable Audio VAE), entspricht die beobachtete Peak-Lage innerhalb der Gitterauflösung dem theoretischen $\lambda^*_F$ . Wenn die Annahmen verletzt werden (CelebA mit SD VAE), bleibt die Glockenform bestehen, aber die Peak-Lage weicht von der geschlossenen Vorhersage ab.
Einflussfaktoren auf die Magnitude: Die Lage des Peaks wird ausschließlich durch die Geometrie der Daten ( $\Sigma_0, \Sigma_1$ ) bestimmt und ist unabhängig von der Modellarchitektur oder -kapazität. Die Magnitude des Signals nimmt jedoch mit der Modellkapazität zu und wird durch Log-Normal- $\lambda$ -Sampling-Scheduler verstärkt, die das Training nahe am Peak konzentrieren.
Reflow: Vorläufige Experimente deuten darauf hin, dass das „Reflow“-Verfahren (iterative Begradigung der Trajektorien) die Glockenform beibehält, aber die Magnitude des Signals erheblich abschwächt, was potenziell eine natürliche Abschwächung bietet.

Bedeutung und Ansprüche
Das Paper beansprucht, die erste theoretische Fundierung dafür geliefert zu haben, wo und warum sich Membership-Signale in Rectified Flows konzentrieren, und geht damit über rein empirische Beobachtungen hinaus.

Datenschutzrisiko: Es stellt fest, dass Standard-Trainingsmetriken unzureichend sind, um Memorierung in Rectified Flows zu detektieren, da das Signal stillschweigend akkumuliert wird. Die strukturierte Natur des Lecks macht es hochgradig ausnutzbar für Membership Inference Attacks.
Defensive Implikationen: Die Autoren schlagen vor, dass, da die Peak-Lage vorhersagbar und architekturoverunabhängig ist, datenschutzbewahrende Mechanismen (z. B. Regularisierung oder Rauschinjektion) gezielt auf $\lambda^*_F$ ausgerichtet werden könnten, anstatt sie einheitlich anzuwenden.
Trainingseffizienz: Der Peak $\lambda^*$ entspricht dem Punkt, an dem die Prädiktion am schwierigsten ist (ausgewogenes Verhältnis von Rauschen und Daten). Die Autoren merken an, dass Scheduler, die das Training nahe diesem Punkt konzentrieren, die Konvergenz verbessern (wie bei SD3 zu sehen), aber gleichzeitig die Privacy-Leakage verstärken, was einen fundamentalen Trade-off zwischen Trainingseffizienz und Datenschutz verdeutlicht.

Die Arbeit wird als Proof-of-Concept unter White-Box-Bedingungen präsentiert, wobei eingeräumt wird, dass stärkere Bedrohungsmodelle (Black-Box-Zugriff) und die Auswirkungen der bedingten Generierung (Text-Prompts) offene Fragen für zukünftige Untersuchungen bleiben.