Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

Technische Samenvatting: Waar Rectified Flows lekken: Karakterisering van lidmaatschapsignalen langs het interpolatiepad

Probleemstelling
De inzet van generatieve modellen, met name Rectified Flows (gebruikt in systemen zoals FLUX.1, VoiceBox en Stable Audio Open), roept belangrijke juridische en privacygerelateerde vragen op met betrekking tot de retentie van trainingsdata. Terwijl bestaand onderzoek zich richt op letterlijke reproductie, kunnen modellen subtielere "lidmaatschapsignalen" coderen—meetbare asymmetrieën waarbij het model trainingsdata anders behandelt dan niet-geïntroduceerde data zonder deze expliciet te reproduceren. Deze signalen blijven vaak ongedetecteerd door standaard trainingsmetrieken (bijv. loss-curves), die geen tekenen van overfitting vertonen. De specifieke locatie en de structurele aard van deze signalen binnen het interpolatiepad van Rectified Flows blijven theoretisch onkarakteristiek, vooral in vergelijking met de iteratieve denoising-trajecten van diffusiemodellen.

Methodologie
De auteurs stellen een theoretisch en experimenteel kader voor om lidmaatschapsignalen te karakteriseren langs het lineaire interpolatiepad $X_\lambda = (1-\lambda)X_0 + \lambda X_1$, dat de training van Rectified Flow definieert.

1. Theoretisch Kader:

   • Decompositie: De trainingsverlies wordt gedecomposeerd in een benaderingsfout, irreducibele variantie en een cross-correlatieterm $G_{train}(\lambda)$. De auteurs identificeren $G_{train}(\lambda)$ als het lidmaatschapsignaal, wat de correlatie vertegenwoordigt tussen de afwijking van het model van de optimale voorspeller en trainingsspecifieke residuen.
   • Gaussiaanse Aannames: Onder de aanname dat de ruisdistributie $X_0$ en de datadistributie $X_1$ onafhankelijk en Gaussisch zijn (met covarianten $\Sigma_0$ en $\Sigma_1$), leiden de auteurs een gesloten vormelijke expressie af voor de locatie $\lambda^*_F$ waar het lidmaatschapsignaal piekt. Deze piek vindt plaats waar de cross-covariantie tussen de geïntrapoleerde staat en de snelheid wordt geminimaliseerd.
   • Mechanisme: Het signaal piekt bij $\lambda^*_F$ omdat het lineaire component van de voorspelling daar verdwijnt. Het model moet vertrouwen op niet-lineaire kenmerken om de doelstelling te verklaren, wat leidt tot een competitie tussen het leren van generaliseerbare niet-lineariteiten en het fitten van samplespecifieke residuen (memorizatie).

2. Experimenteel Protocol:

   • Detectie: Voor een gegeven sample $x_1$ interpoleren de auteurs met ruis $x_0$ bij variërende $\lambda$, voorspellen zij de snelheid, reconstrueren zij $x_1$, en meten zij de Mean Squared Error (MSE).
   • Metriek: Zij berekenen een genormaliseerd train-test gat $\Delta_{norm}(\lambda)$ om het lidmaatschapsignaal te isoleren.
   • Validatie: Experimenten werden uitgevoerd op audio- (MAESTRO v3, MTG-Jamendo, FMA Large) en beelddatasets (CelebA) met diverse latente ruimtes (Music2Latent, Stable Audio VAE, Stable Diffusion VAE), architecturen (Transformer, UNet) en modelcapaciteiten.

Belangrijkste Bijdragen

• Karakterisering van het Signaal: Het artikel toont aan dat de train-test reconstructiegap in Rectified Flows een universele klokvormige curve volgt over $\lambda$. Het signaal is minimaal aan de grenzen ($\lambda=0, 1$) en maximaal op een intermediair punt.
• Gesloten Vormelijke Voorspelling: Een theoretische afleiding biedt een gesloten vormelijke expressie voor de pieklocatie $\lambda^*_F$ gebaseerd op de data- en ruis-covarianten:
  $$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$$
  Deze voorspelling is accuraat wanneer de Gaussische isotrope aannames worden voldaan (bijv. in audio latente ruimtes).
• Stille Accumulatie: De studie toont aan dat dit lidmaatschapsignaal gedurende de training accumuleert, zelfs terwijl validatie-losses dalen en standaard diagnostiek wijst op gezond leren. Het signaal wordt gemaskeerd door ruimtelijke middeling over $\lambda$ in standaard trainingsprotocollen.
• Membership Inference Attack (MIA): Als proof of concept exploiteren de auteurs de $\lambda$-opgeloste structuur van de reconstructiefout. Door de volledige curve (of een vector van fouten over $\lambda$) in een eenvoudige MLP-classifier te voeren, bereiken zij een aanzienlijk hogere AUC (0.91 op MAESTRO) vergeleken met naïeve aanvallen die gebruikmaken van een enkel $\lambda$-punt (0.67) of aangepaste diffusie-gebaseerde methoden.

Resultaten

• Universaliteit: De klokvormige structuur van het train-test gat verschijnt universeel in alle geteste configuraties, inclus�els verschillende modaliteiten (audio/beeld), architecturen (Transformer/UNet) en latente ruimtes, zelfs wanneer de theoretische aannames (Gaussianiteit/isotropie) worden geschonden (bijv. CelebA).
• Piek-accuratesse: Wanneer de Gaussische isotrope aannames standhouden (audio datasets met Music2Latent of Stable Audio VAE), komt de geobserveerde pieklocatie binnen de grid-resolutie overeen met de theoretische $\lambda^*_F$. Wanneer de aannames worden geschonden (CelebA met SD VAE), blijft de klokvorm behouden, maar wijkt de pieklocatie af van de gesloten vormelijke voorspelling.
• Factoren die de Grootte Beïnvloeden: De locatie van de piek wordt uitsluitend bepaald door de datageometrie ($\Sigma_0, \Sigma_1$) en is onafhankelijk van modelarchitectuur of capaciteit. Echter, de grootte van het signaal neemt toe met de modelcapaciteit en wordt versterkt door log-normale $\lambda$-sampling schedulers die de training concentreren nabij de piek.
• Reflow: Voorlopige experimenten suggereren dat de "reflow"-procedure (het iteratief rechtzetten van trajecten) de klokvorm behoudt maar de magnitude van het signaal substantieel vermindert, wat potentieel een natuurlijke mitigatie biedt.

Betekenis en Claims
Het artikel claimt de eerste theoretische onderbouwing te bieden voor waar en waarom lidmaatschapsignalen concentreren in Rectified Flows, waarmee het verder gaat dan empirische observatie.

• Privacyrisico: Het stelt vast dat standaard trainingsmetrieken onvoldoende zijn om memorizatie in Rectified Flows te detecten, aangezien het signaal stilzwijgend accumuleert. De gestructureerde aard van het lek maakt het zeer exploiteerbaar voor Membership Inference Attacks.
• Defensieve Implicaties: De auteurs suggereren dat omdat de pieklocatie voorspelbaar en architectuuronafhankelijk is, privacy-beschermende mechanismen (bijv. regularisatie of ruisinjectie) specifiek op $\lambda^*_F$ gericht kunnen worden in plaats van uniform toegepast te worden.
• Trainings-efficiëntie: De piek $\lambda^*$ komt overeen met het punt waar voorspelling het moeilijkst is (gebalanceerde ruis en data). De auteurs merken op dat schedulers die de training rond dit punt concentreren de convergentie verbeteren (zoals gezien bij SD3), maar tegelijkertijd de privacy-lekkage versterken, wat wijst op een fundamentele trade-off tussen trainings-efficiëntie en privacy.

Het werk wordt gepresenteerd als een proof of concept onder een white-box setting, waarbij wordt erkend dat sterkere dreigingsmodellen (black-box toegang) en de effecten van conditionele generatie (tekstprompts) openstaande vragen blijven voor toekomstig onderzoek.