Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

Résumé technique : Où les flux rectifiés fuient : caractérisation des signaux d'appartenance le long du chemin d'interpolation

Énoncé du problème
Le déploiement de modèles génératifs, particulièrement les Flux Rectifiés (utilisés dans des systèmes tels que FLUX.1, VoiceBox et Stable Audio Open), soulève des préoccupations juridiques et de confidentialité significatives concernant la rétention des données d'entraînement. Alors que la recherche existante se concentre sur la reproduction verbatim, les modèles peuvent encoder des « signaux d'appartenance » plus subtils — des asymétries mesurables où le modèle traite différemment les données d'entraînement par rapport aux données non vues, sans pour autant les reproduire explicitement. Ces signaux restent souvent indétectables par les métriques d'entraînement standard (par exemple, les courbes de perte), qui peuvent ne montrer aucun signe de surapprentissage. La localisation spécifique et la nature structurelle de ces signaux au sein de la trajectoire d'interpolation des Flux Rectifiés restent théoriquement non caractérisées, particulièrement par rapport aux trajectoires de débruitage itératives des modèles de diffusion.

Méthodologie
Les auteurs proposent un cadre théorique et expérimental pour caractériser les signaux d'appartenance le long du chemin d'interpolation linéaire $X_\lambda = (1-\lambda)X_0 + \lambda X_1$, qui définit l'entraînement par Flux Rectifié.

1. Cadre théorique :

   • Décomposition : La perte d'entraînement est décomposée en erreur d'approximation, variance irréductible et un terme de corrélation croisée $G_{train}(\lambda)$. Les auteurs identifient $G_{train}(\lambda)$ comme le signal d'appartenance, représentant la corrélation entre la déviation du modèle par rapport au prédicteur optimal et les résidus spécifiques à l'entraînement.
   • Hypothèses Gaussiennes : Sous l'hypothèse que la distribution du bruit $X_0$ et la distribution des données $X_1$ sont indépendantes et gaussiennes (avec des covariances $\Sigma_0$ et $\Sigma_1$), les auteurs dérivent une expression en forme close pour la localisation $\lambda^*_F$ où le signal d'appartenance culmine. Ce pic se produit là où la co-variance entre l'état interpolé et la vélocité est minimisée.
   • Mécanisme : Le signal culmine à $\lambda^*_F$ car la composante linéaire de la prédiction s'annule à cet endroit. Le modèle doit alors s'appuyer sur des caractéristiques non linéaires pour expliquer la cible, ce qui entraîne une compétition entre l'apprentissage de non-linéarités généralisables et l'ajustement des résidus spécifiques aux échantillons (mémorisation).

2. Protocole Expérimental :

   • Détection : Pour un échantillon $x_1$ donné, les auteurs effectuent une interpolation avec un bruit $x_0$ à différentes valeurs de $\lambda$, prédisent la vélocité, reconstruisent $x_1$, et mesurent l'erreur quadratique moyenne (MSE).
   • Métrique : Ils calculent un écart entraînement-test normalisé $\Delta_{norm}(\lambda)$ pour isoler le signal d'appartenance.
   • Validation : Des expériences ont été menées sur des ensembles de données audio (MAESTRO v3, MTG-Jamendo, FMA Large) et d'images (CelebA) en utilisant divers espaces latents (Music2Latent, Stable Audio VAE, Stable Diffusion VAE), architectures (Transformer, UNet) et capacités de modèles.

Contributions Clés

• Caractérisation du signal : L'article démontre que l'écart de reconstruction entraînement-test dans les Flux Rectifiés suit une courbe en forme de cloche universelle sur $\lambda$. Le signal est minimal aux limites ($\lambda=0, 1$) et maximal à un point intermédiaire.
• Prédiction en forme close : Une dérivation théorique fournit une expression en forme close pour la localisation du pic $\lambda^*_F$ basée sur les covariances des données et du bruit :
  $$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$$
  Cette prédiction est exacte lorsque les hypothèses gaussiennes isotropes sont satisfaites (par exemple, dans les espaces latents audio).
• Accumulation Silencieuse : L'étude montre que ce signal d'appartenance s'accumule tout au long de l'entraînement, même lorsque les pertes de validation diminuent et que les diagnostics standard indiquent un apprentissage sain. Le signal est masqué par le lissage spatial sur $\lambda$ dans les protocoles d'entraînement standard.
• Attaque d'Inférence d'Appartenance (MIA) : Comme preuve de concept, les auteurs exploitent la structure résolue en $\lambda$ de l'erreur de reconstruction. En injectant la courbe complète (ou un vecteur d'erreurs à travers $\lambda$) dans un classifieur MLP simple, ils obtiennent un AUC nettement plus élevé (0,91 sur MAESTRO) par rapport aux attaques naïves utilisant un seul point $\lambda$ (0,67) ou des méthodes adaptées à la diffusion.

Résultats

• Universalité : La structure en forme de cloche de l'écart entraînement-test apparaît universellement à travers toutes les configurations testées, incluant différentes modalités (audio/image), architectures (Transformer/UNet) et espaces latents, même lorsque les hypothèses théoriques (gaussianité/isotropie) sont violées (ex: CelebA).
• Précision du Pic : Lorsque les hypothèses gaussiennes isotropes sont respectées (ensembles de données audio avec Music2Latent ou Stable Audio VAE), la localisation observée du pic correspond à la prédiction théorique $\lambda^*_F$ selon la résolution de la grille. Lorsque les hypothèses sont violées (CelebA avec SD VAE), la forme de cloche persiste, mais la localisation du pic dévie de la prédiction en forme close.
• Facteurs influençant l'amplitude : La localisation du pic est régie uniquement par la géométrie des données ($\Sigma_0, \Sigma_1$) et est indépendante de l'architecture ou de la capacité du modèle. Cependant, l'amplitude du signal augmente avec la capacité du modèle et est amplifiée par les ordonnanceurs (schedulers) d'échantillonnage $\lambda$ de type log-normal qui concentrent l'entraînement près du pic.
• Reflow : Des expériences préliminaires suggèrent que la procédure de « reflow » (redressage itératif des trajectoires) préserve la forme de cloche mais atténue substantiellement l'amplitude du signal, offrant potentiellement une atténuation naturelle.

Signification et Revendications
L'article affirme fournir le premier fondement théorique pour savoir où et pourquoi les signaux d'appartenance se concentrent dans les Flux Rectifiés, allant au-delà de l'observation empirique.

• Risque de Confidentialité : Il établit que les métriques d'entraînement standard sont insuffisantes pour détecter la mémorisation dans les Flux Rectifiés, car le signal s'accumule silencieusement. La nature structurée de la fuite la rend hautement exploitable pour les attaques d'inférence d'appartenance.
• Implications Défensives : Les auteurs suggèrent que puisque la localisation du pic est prévisible et indépendante de l'architecture, les mécanismes de préservation de la confidentialité (par exemple, la régularisation ou l'injection de bruit) pourraient être ciblés spécifiquement sur $\lambda^*_F$ plutôt que d'être appliqués uniformément.
• Efficacité de l'Entraînement : Le pic $\lambda^*$ correspond au point où la prédiction est la plus difficile (équilibre entre bruit et données). Les auteurs notent que les ordonnanceurs concentrant l'entraînement près de ce point améliorent la convergence (comme vu dans SD3) mais amplifient simultanément la fuite de confidentialité, mettant en évidence un compromis fondamental entre efficacité d'entraînement et confidentialité.

Le travail est présenté comme une preuve de concept dans un cadre de boîte blanche, reconnaissant que des modèles de menace plus forts (accès boîte noire) et les effets de la génération conditionnelle (prompts textuels) restent des questions ouvertes pour de futures explorations.