Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

Resumen Técnico: Dónde filtran los Flujos Rectificados: Caracterización de las señales de membresía a lo largo de la trayectoria de interpolación

Planteamiento del problema
El despliegue de modelos generativos, particularmente los Flujos Rectificados (utilizados en sistemas como FLUX.1, VoiceBox y Stable Audio Open), plantea importantes preocupaciones legales y de privacidad con respecto a la retención de los datos de entrenamiento. Mientras que la investigación existente se centra en la reproducción literal, los modelos pueden codificar "señales de membresía" más sutiles: asimetrías mensurables donde el modelo trata de forma diferente los datos de entrenamiento frente a los datos no utilizados para el entrenamiento (held-out data) sin reproducirlos explícitamente. Estas señales suelen pasar desapercibidas para las métricas de entrenamiento estándar (por ejemplo, curvas de pérdida), las cuales pueden no mostrar signos de sobreajuste (overfitting). La ubicación específica y la naturaleza estructural de estas señales dentro de la trayectoria de interpolación del Flujo Rectificado permanecen sin caracterizar teóricamente, particularmente en comparación con las trayectorias de eliminación de ruido iterativas de los modelos de difusión.

Metodología
Los autores proponen un marco teórico y experimental para caracterizar las señales de membresía a lo largo de la trayectoria de interpolación lineal $X_\lambda = (1-\lambda)X_0 + \lambda X_1$, que define el entrenamiento de Flujo Rectificado.

1. Marco Teórico:

   • Descomposición: La pérdida de entrenamiento se descompone en error de aproximación, varianza irreducible y un término de correlación cruzada $G_{train}(\lambda)$. Los autores identifican $G_{train}(\lambda)$ como la señal de membresía, que representa la correlación entre la desviación del modelo respecto al predictor óptimo y los residuos específicos del entrenamiento.
   • Suposiciones Gaussianas: Bajo la suposición de que la distribución de ruido $X_0$ y la distribución de datos $X_1$ son independientes y gaussianas (con covarianzas $\Sigma_0$ y $\Sigma_1$), los autores derivan una expresión de forma cerrada para la ubicación $\lambda^*_F$ donde la señal de membresía alcanza su pico. Este pico ocurre donde la covarianza cruzada entre el estado interpolado y la velocidad se minimiza.
   • Mecanismo: La señal alcanza su pico en $\lambda^*_F$ porque el componente lineal de la predicción desaparece allí. El modelo debe confiar en características no lineales para explicar el objetivo, lo que conduce a una competencia entre el aprendizaje de no linealidades generalizables y el ajuste de los residuos específicos de la muestra (memorización).

2. Protocolo Experimental:

   • Detección: Para una muestra dada $x_1$, los autores interpolan con ruido $x_0$ en varios valores de $\lambda$, predicen la velocidad, reconstruyen $x_1$ y miden el Error Cuadrático Medio (MSE).
   • Métrica: Computan una brecha normalizada de entrenamiento-prueba $\Delta_{norm}(\lambda)$ para aislar la señal de membresía.
   • Validación: Los experimentos se realizaron en conjuntos de datos de audio (MAESTRO v3, MTG-Jamendo, FMA Large) e imagen (CelebA) utilizando diversos espacios latentes (Music2Latent, Stable Audio VAE, Stable Diffusion VAE), arquitecturas (Transformer, UNet) y capacidades de modelo.

Contribuciones Clave

• Caracterización de la Señal: El artículo demuestra que la brecha de reconstrucción de entrenamiento-prueba en los Flujos Rectificados sigue una curva de forma campana universal sobre $\lambda$. La señal es mínima en los límites ($\lambda=0, 1$) y máxima en un punto intermedio.
• Predicción de Forma Cerrada: Una derivación teórica proporciona una expresión de forma cerrada para la ubicación del pico $\lambda^*_F$ basada en las covarianzas de los datos y el ruido:
  $$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$$
  Esta predicción es precisa cuando se cumplen las suposiciones gaussianas isotrópicas (por ejemplo, en espacios latentes de audio).
• Acumulación Silenciosa: El estudio muestra que esta señal de membresía se acumula durante todo el entrenamiento, incluso mientras las pérdidas de validación disminuyen y los diagnósticos estándar indican un aprendizaje saludable. La señal es enmascarada por el promedio espacial sobre $\lambda$ en los protocolos de entrenamiento estándar.
• Ataque de Inferencia de Membresía (MIA): Como prueba de concepto, los autores explotan la estructura resuelta en $\lambda$ del error de reconstrucción. Al alimentar la curva completa (o un vector de errores a través de $\lambda$) a un clasificador MLP simple, logran un AUC significativamente mayor (0.91 en MAESTRO) en comparación con ataques ingenuos que utilizan un único punto de $\lambda$ (0.67) o métodos adaptados de difusión.

Resultados

• Universalidad: La estructura de forma de campana de la brecha de entrenamiento-prueba aparece universalmente en todas las configuraciones probadas, incluyendo diferentes modalidades (audio/imagen), arquitecturas (Transformer/UNet) y espacios latentes, incluso cuando las suposiciones teóricas (gaussianidad/isotropía) se violan (ej. CelebA).
• Precisión del Pico: Cuando las suposiciones gaussianas isotrópicas se cumplen (conjuntos de datos de audio con Music2Latent o Stable Audio VAE), la ubicación del pico observada coincide con el $\lambda^*_F$ teórico dentro de la resolución de la rejilla. Cuando las suposiciones se violan (CelebA con SD VAE), la forma de campana persiste, pero la ubicación del pico se desvía de la predicción de forma cerrada.
• Factores que Influyen en la Magnitud: La ubicación del pico está gobernada únicamente por la geometría de los datos ($\Sigma_0, \Sigma_1$) y es independiente de la arquitectura o capacidad del modelo. Sin embargo, la magnitud de la señal aumenta con la capacidad del modelo y es amplificada por programadores (schedulers) de muestreo $\lambda$ log-normal que concentran el entrenamiento cerca del pico.
• Reflow: Experimentos preliminares sugieren que el procedimiento de "reflow" (enderezar iterativamente las trayectorias) preserva la forma de campana pero atenúa sustancialmente la magnitud de la señal, ofreciendo potencialmente una mitigación natural.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera fundamentación teórica de dónde y por qué se concentran las señales de membresía en los Flujos Rectificados, yendo más allá de la observación empírica.

• Riesgo de Privacidad: Establece que las métricas de entrenamiento estándar son insuficientes para detectar la memorización en los Flujos Rectificados, ya que la señal se acumula silenciosamente. La naturaleza estructurada de la filtración la hace altamente explotable para Ataques de Inferencia de Membresía (MIA).
• Implicaciones Defensivas: Los autores sugieren que, dado que la ubicación del pico es predecible e independiente de la arquitectura, los mecanismos de preservación de la privacidad (por ejemplo, regularización o inyección de ruido) podrían dirigirse específicamente a $\lambda^*_F$ en lugar de aplicarse uniformemente.
• Eficiencia del Entrenamiento: El pico $\lambda^*$ corresponde al punto donde la predicción es más difícil (equilibrio entre ruido y datos). Los autores señalan que los programadores que concentran el entrenamiento cerca de este punto mejoran la convergencia (como se ve en SD3) pero simultáneamente amplifican la filtración de privacidad, resaltando un compromiso fundamental entre la eficiencia del entrenamiento y la privacidad.

El trabajo se presenta como una prueba de concepto bajo un entorno de caja blanca, reconociendo que los modelos de amenaza más fuertes (acceso de caja negra) y los efectos de la generación condicional (prompts de texto) siguen siendo preguntas abiertas para exploraciones futuras.