Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

Resumo Técnico: Onde os Fluxos Retificados Vazam: Caracterizando Sinais de Membros ao Longo do Caminho de Interpolação

Declaração do Problema
A implementação de modelos generativos, particularmente os Fluxos Retificados (usados em sistemas como FLUX.1, VoiceBox e Stable Audio Open), levanta preocupações significativas de ordem jurídica e de privacidade em relação à retenção de dados de treinamento. Enquanto a pesquisa existente foca na reprodução literal, os modelos podem codificar "sinais de membros" mais sutis — assimetrias mensuráveis onde o modelo trata os dados de treinamento de forma diferente dos dados não utilizados (held-out), sem reproduzi-los explicitamente. Esses sinais frequentemente permanecem indetectados por métricas de treinamento padrão (ex: curvas de perda), que podem não mostrar sinais de sobreajuste (overfitting). A localização específica e a natureza estrutural desses sinais dentro do caminho de interpolação do Fluxo Retificado permanecem teoricamente não caracterizadas, particularmente em comparação com as trajetórias de denoising iterativo dos modelos de difusão.

Metodologia
Os autores propõem um framework teórico e experimental para caracterizar sinais de membros ao longo do caminho de interpolação linear $X_\lambda = (1-\lambda)X_0 + \lambda X_1$, que define o treinamento de Fluxo Retificado.

1. Framework Teórico:

   • Decomposição: A perda de treinamento é decomposta em erro de aproximação, variância irredutível e um termo de correlação cruzada $G_{train}(\lambda)$. Os autores identificam $G_{train}(\lambda)$ como o sinal de membro, representando a correlação entre o desvio do modelo em relação ao preditor ótimo e os resíduos específicos do treinamento.
   • Suposições Gaussianas: Sob a suposição de que a distribuição de ruído $X_0$ e a distribuição de dados $X_1$ são independentes e Gaussianas (com covariâncias $\Sigma_0$ e $\Sigma_1$), os autores derivam uma expressão de forma fechada para a localização $\lambda^*_F$ onde o sinal de membro atinge o pico. Este pico ocorre onde a co-variância entre o estado interpolado e a velocidade é minimizada.
   • Mecanismo: O sinal atinge o pico em $\lambda^*_F$ porque o componente linear da predição desaparece ali. O modelo deve depender de características não lineares para explicar o alvo, levando a uma competição entre aprender não-linearidades generalizáveis e ajustar resíduos específicos da amostra (memorização).

2. Protocolo Experimental:

   • Detecção: Para uma amostra $x_1$ dada, os autores realizam a interpolação com ruído $x_0$ em vários $\lambda$, predizem a velocidade, reconstroem $x_1$ e medem o Erro Quadrático Médio (MSE).
   • Métrica: Eles computam um gap de treino-teste normalizado $\Delta_{norm}(\lambda)$ para isolar o sinal de membro.
   • Validação: Experimentos foram conduzidos em conjuntos de dados de áudio (MAESTRO v3, MTG-Jamendo, FMA Large) e imagem (CelebA) usando vários espaços latentes (Music2Latent, Stable Audio VAE, Stable Diffusion VAE), arquiteturas (Transformer, UNet) e capacidades de modelo.

Principais Contribuições

• Caracterização do Sinal: O artigo demonstra que o gap de reconstrução treino-teste em Fluxos Retificados segue uma curva em forma de sino universal ao longo de $\lambda$. O sinal é mínimo nos limites ($\lambda=0, 1$) e máximo em um ponto intermediário.
• Predição de Forma Fechada: Uma derivação teórica fornece uma expressão de forma fechada para a localização do pico $\lambda^*_F$ baseada na geometria dos dados e do ruído:
  $$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$$
  Esta predição é mantida com precisão quando as suposições gaussianas isotrópicas são satisfeitas (ex: espaços latentes de áudio).
• Acúmulo Silencioso: O estudo mostra que este sinal de membro se acumula durante todo o treinamento, mesmo enquanto as perdas de validação diminuem e os diagnósticos padrão indicam um aprendizado saudável. O sinal é mascarado pela média espacial sobre $\lambda$ em protocolos de treinamento padrão.
• Ataque de Inferência de Membro (MIA): Como prova de conceito, os autores exploram a estrutura resolvida em $\lambda$ do erro de reconstrução. Ao alimentar a curva completa (ou um vetor de erros através de $\lambda$) em um classificador MLP simples, eles alcançam um AUC significativamente maior (0.91 no MAESTRO) comparado a ataques ingênuos usando um único ponto de $\lambda$ (0.67) ou métodos adaptados de difusão.

Resultados

• Universalidade: A estrutura em forma de sino do gap treino-teste aparece universalmente em todas as configurações testadas, incluindo diferentes modalidades (áudio/imagem), arquiteturas (Transformer/UNet) e espaços latentes, mesmo quando as suposições teóricas (Gaussianidade/isotropia) são violadas (ex: CelebA).
• Precisão do Pico: Quando as suposições gaussianas isotrópicas são mantidas (datasets de áudio com Music2Latent ou Stable Audio VAE), a localização observada do pico coincide com o $\lambda^*_F$ teórico dentro da resolução de grade. Quando as suposições são violadas (CelebA com SD VAE), a forma de sino persiste, mas a localização do pico desvia da predição de forma fechada.
• Fatores que Influenciam a Magnitude: A localização do pico é governada exclusivamente pela geometria dos dados ($\Sigma_0, \Sigma_1$) e é independente da arquitetura ou capacidade do modelo. No entanto, a magnitude do sinal aumenta com a capacidade do modelo e é amplificada por schedulers de amostragem $\lambda$ log-normais que concentram o treinamento próximo ao pico.
• Reflow: Experimentos preliminares sugerem que o procedimento de "reflow" (endireitamento iterativo das trajetórias) preserva a forma de sino, mas atenua substancialmente a magnitude do sinal, oferecendo potencialmente uma mitigação natural.

Significância e Alegações
O artigo afirma fornecer o primeiro embasamento teórico para onde e por que os sinais de membros se concentram em Fluxos Retificados, indo além da observação empírica.

• Risco de Privacidade: Estabelece que as métricas de treinamento padrão são insuficientes para detectar memorização em Fluxos Retificados, pois o sinal se acumula silenciosamente. A natureza estruturada do vazamento o torna altamente explorável para Ataques de Inferência de Membro (MIA).
• Implicações Defensivas: Os autores sugerem que, como a localização do pico é previsível e independente de arquitetura, mecanismos de preservação de privacidade (ex: regularização ou injeção de ruído) poderiam ser direcionados especificamente para $\lambda^*_F$ em vez de aplicados uniformemente.
• Eficiência de Treinamento: O pico $\lambda^*$ corresponde ao ponto onde a predição é mais difícil (equilíbrio entre ruído e dados). Os autores observam que schedulers que concentram o treinamento próximo a este ponto melhoram a convergência (como visto no SD3), mas simultaneamente amplificam o vazamento de privacidade, destacando um compromisso fundamental entre eficiência de treinamento e privacidade.

O trabalho é apresentado como uma prova de conceito sob um cenário de caixa branca (white-box), reconhecendo que modelos de ameaça mais fortes (acesso de caixa preta/black-box) e os efeitos da geração condicional (prompts de texto) permanecem questões abertas para explorações futuras.