Contrastive-Augmented Flow Matching for Style-Content Disentanglement

Resumen Técnico: Flujo de Emparejamiento Aumentado por Contraste para el Desentrelazamiento de Estilo-Contenido

Planteamiento del Problema
El aprendizaje de representaciones que separen eficazmente el contenido y el estilo es fundamental para la generación controlable y la generalización composicional. Sin embargo, los enfoques existentes enfrentan una dicotomía:

• Métodos discriminativos (p. ej., aprendizaje contrastivo) optimizan la separabilidad de las características y los límites de decisión, pero típicamente modelan solo la distribución condicional $P(y|x)$. En consecuencia, tienen dificultades con la generalización composicional ante combinaciones de factores novedosos y no pueden generar muestras consistentes con la estructura subyacente de los datos.
• Métodos generativos (p. ej., modelos de difusión y de flujo como SCFlow) permiten la síntesis controlable y el transporte invertible, pero a menudo carecen de variables latentes explícitamente desentrelazadas. Entrenados principalmente con objetivos generativos, estos modelos exhiben un "desentrelazamiento no restringido", donde las representaciones de contenido y estilo se filtran entre sí, lo que resulta en factores semánticamente desalineados o incompletos. Esta limitación es particularmente pronunciada al manejar combinaciones no vistas de factores familiares.

Metodología: CAtFM
Los autores proponen el Emparejamiento de Flujo Aumentado por Contraste (CAtFM), un marco que integra la regularización contrastiva en una formulación de emparejamiento de flujo invertible. La innovación central radica en aplicar la supervisión contrastiva a los extremos predichos en lugar de a los latentes intermedios o a los campos de velocidad.

1. Fundamento de Emparejamiento de Flujo: CAtFM se basa en SCFlow, que modela la mezcla y el desentrelazamiento de estilo-contenido como un problema de transporte determinista entre una distribución de origen desentrelazada $p_0(x)$ y una distribución de destino fusionada $p_1(x)$. El modelo aprende un campo de velocidad $v_\theta(x_t, t)$ para transportar muestras a través de una Ecuación Diferencial Ordinaria (ODE).
2. Construcción de Extremos: Dado que no se dispone de factores de contenido y estilo puros de verdad absoluta, el método construye tripletas de entrenamiento utilizando pares de referencia de contenido-estilo. El extremo de origen $x_0$ se forma concatenando una referencia de contenido (con un estilo aleatorio) y una referencia de estilo (con un contenido aleatorio). El extremo de destino $x_1$ es la imagen fusionada (o su embedding).
3. Predicción Bidireccional de Extremos: A diferencia del emparejamiento de flujo estándar que predice la velocidad, CAtFM utiliza el campo de velocidad aprendido para reconstruir tanto el origen ($\hat{x}_0$) como el destino ($\hat{x}_1$) en un solo paso:
   • $\hat{x}_0 = x_t - t \cdot v_\theta(x_t, t)$
   • $\hat{x}_1 = x_t + (1-t) \cdot v_\theta(x_t, t)$
4. Regularización Contrastiva: Los objetivos contrastivos se aplican directamente a estas representaciones reconstruidas. La predicción concatenada se divide en mitades de contenido y estilo. Se aplican pérdidas contrastivas dentro del lote (p. ej., InfoNCE, Pérdida de Margen) de forma independiente a los componentes de contenido y estilo utilizando sus respectivas etiquetas. Esto impone una compacidad intra-factor y una separación inter-factor sin asumir representaciones estrictamente puras o totalmente factorizadas.
5. Objetivo de Entrenamiento: El objetivo total combina la pérdida estándar de Emparejamiento de Flujo ($\mathcal{L}_{FM}$) con la pérdida contrastiva ($\mathcal{L}_{cont}$), ponderada por un hiperparámetro $\lambda$:
   $$\mathcal{L}_{total} = \mathcal{L}_{FM} + \lambda \cdot \mathcal{L}_{cont}$$

Contribuciones Clave

• Formulación Novedosa: CAtFM es el primer marco para el desentrelazamiento de estilo-contenido basado en el emparejamiento de flujo que utiliza predicciones de extremos bidireccionales como señales de aprendizaje explícitas.
• Desentrelazamiento Implícito con Restricciones Explícitas: El método retiene la formulación de supervisión ligera e implícita de SCFlow (donde el desentrelazamiento surge de la invertibilidad del flujo) mientras añade restricciones discriminativas explícitas para evitar la filtración de factores.
• Robustez al Cambio de Distribución: Al acoplar restricciones discriminativas con el transporte determinista, el método logra una mayor robustez de conjunto abierto y generalización composicional en comparación con los baselines puramente generativos o discriminativos.
• Agnosticismo de Representación: El enfoque se valida a través de múltiples espacios de embedding congelados (CLIP, DINO, ALIGN), demostrando que el objetivo propuesto mejora la discriminación de estilo y la fidelidad de contenido independientemente del extractor de características subyacente.

Resultados Experimentales
Los autores evalúan CAtFM en datos sintéticos, estilos no vistos dentro del dominio y benchmarks del mundo real (ImageNet, WikiArt, DomainNet, DTD).

• Corrección Semántica: CAtFM supera a vanilla SCFlow y CLIP en la precisión de recuperación zero-shot tanto para contenido como para estilo. Logra una mayor similitud de coseno con descripciones de texto y puntuaciones FID más bajas para la generación hacia adelante.
• Desentrelazamiento: Las métricas cuantitativas muestran mejoras significativas en la Información Mutua Normalizada (NMI) y las puntuaciones de silueta, lo que indica un agrupamiento más estrecho y una mejor separación de los factores de contenido y estilo en el espacio latente en comparación con SCFlow y los baselines puramente discriminativos.
• Generalización: En conjuntos de datos fuera de dominio y clases de estilo no vistas, CAtFM demuestra un rendimiento superior en tareas de recuperación (puntuaciones F1) y clasificación de conjunto abierto (AUOC). Rechaza eficazmente las clases vistas cuando se presentan consultas no vistas, una capacidad en la que los modelos puramente generativos suelen fallar.
• Análisis Cualitativo: Los resultados visuales confirman que CAtFM produce salidas de estilo con una filtración de contenido mínima y representaciones de contenido que preservan pistas semánticas más amplias y el contexto de la escena en comparación con SCFlow.

Significancia y Reivindicaciones
El artículo afirma que CAtFM proporciona una "manera simple de acoplar restricciones discriminativas con transporte determinista". Los autores argumentan que, si bien los modelos de flujo generativos proporcionan un fuerte andamiaje para el desentrelazamiento mediante la invertibilidad, se benefician significamente de las restricciones contrastivas explícitas para evitar la filtración de factores. El trabajo demuestra que la integración de estos paradigmas produce representaciones que no solo son semánticamente consistentes y bien separadas, sino también robustas bajo cambios de distribución, abordando las limitaciones de usar enfoques puramente generativos o discriminativos de forma aislada. Los autores señalan que el método opera actualmente en espacios de embedding congelados y que el trabajo futuro puede extender esto al control a nivel de píxel mediante espacios latentes de VAE/difusión.