Resumen Técnico: EDDY – Diversificación de Marginal Exacta mediante Dinámicas sin Divergencia

Enunciado del Problema

Los modelos de difusión y de ajuste de flujo se han establecido como potentes herramientas generativas en modalidades como imágenes, moléculas y texto. Una estrategia común en el momento de la inferencia para mejorar la calidad de las muestras es la guía, donde el término de deriva se ajusta para satisfacer condiciones o restricciones. Sin embargo, al generar múltiples muestras para la misma condición, el muestreo independiente e idénticamente distribuido (I.I.D.) estándar a menudo produce baja diversidad, con salidas agrupadas alrededor de modos similares.

Los métodos existentes para abordar esta falta de diversidad suelen introducir interacciones entre muestras, como la optimización de latentes de ruido inicial o la adición de potenciales repulsivos durante el muestreo. Aunque estos enfoques pueden aumentar la diversidad, el artículo identifica un defecto crítico: a menudo distorsionan la distribución marginal de las muestras individuales. Esta distorsión conduce a una compensación donde el aumento de la diversidad se logra a costa de la fidelidad de la muestra, manifestándose como artefactos visibles, menor adherencia al prompt o degradación perceptual. El desafío central es introducir diversidad basada en partículas que fomente que las muestras exploren diferentes modos de la distribución condicional sin alterar la distribución marginal objetivo de ninguna muestra individual, e idealmente sin requerir entrenamiento adicional.

Metodología: EDDY

Los autores proponen EDDY (Diversificación de Marginal Exacta mediante Dinámicas sin Divergencia), un mecanismo de guía libre de entrenamiento que aprovecha las simetrías en la ecuación de Fokker–Planck (FPE).

Fundamento Teórico

El método se basa en la observación de que la FPE, que gobierna la evolución de la densidad de probabilidad $p_t$, admite simetrías no triviales. Específicamente, ciertas perturbaciones de la deriva pueden alterar las trayectorias de las partículas sin cambiar la densidad marginal en evolución.

• Simetría de la FPE: Los autores utilizan el operador de Stein matricial. Demuestran que si una perturbación de la deriva $\psi_t$ se construye a partir de un campo matricial suave y antisimétrico $A$ mediante el operador $A_p(A) = \text{div}(A) + A\nabla \log p$, la FPE resultante permanece inalterada. En consecuencia, la distribución marginal $p_t$ se preserva para todo tiempo $t$, incluso cuando la distribución conjunta de múltiples partículas interactuantes se modifica.

Construcción del Algoritmo

EDDY instaura este principio construyendo un campo de guía que induce interacciones repulsivas entre partículas mientras mantiene la preservación marginal:

1. Matrices Antisimétricas por Pares: Para cada par de partículas $(x_i, x_j)$, se construye una matriz antisimétrica $A^{(ij)}$ utilizando una dirección repulsiva $r^{(ij)} = -\nabla k(x_i, x_j)$ derivada de un kernel de similitud $k$, y un vector $v^{(j)}$ (típicamente la deriva o puntuación de la partícula $j$).
   $$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$$
2. Deriva sin Divergencia: El término de guía para la partícula $i$ es el promedio del operador de Stein aplicado a estas matrices sobre todos los vecinos:
   $$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$$
   Esto resulta en un campo de transporte localmente sin divergencia (de ahí el nombre "EDDY"), que empuja a las partículas a separarse para aumentar la diversidad, garantizando teóricamente que la marginal de partícula única permanezca como $p_t$.

Aproximaciones Prácticas para Dimensiones Altas

En configuraciones de alta dimensión como la generación de texto a imagen, calcular derivadas exactas de segundo orden de los kernels (requeridas para el término de divergencia) es computacionalmente prohibitivo. EDDY emplea dos aproximaciones prácticas:

• Diferencias Finitas: Utilizadas para aproximar productos de Hessiano-vector.
• Estimación de la Trazas de Hutchinson: Utilizada para aproximar el término Laplaciano.
  Estas aproximaciones permiten que el método opere en espacios de características perceptuales (por ejemplo, incrustaciones DINO o CLIP) en lugar del espacio de píxeles crudos. Si bien estas aproximaciones significan que la preservación marginal ya no es exacta en un sentido teórico, los autores argumentan que el método sigue siendo una estimación de muestra finita del campo demostrablemente preservador de marginales.

Para reducir aún más el costo computacional, la guía se aplica solo durante la porción temprana y de alto ruido de la trayectoria de muestreo (por ejemplo, los primeros 20% de pasos).

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Identificación Teórica: Identificación y demostración de simetrías de la FPE que permiten mecanismos de guía de partículas que preservan la distribución marginal subyacente.
2. Construcción Basada en Kernels: Introducción de una construcción específica utilizando matrices antisimétricas por pares para inducir interacciones repulsivas compatibles con estas simetrías.
3. Aproximaciones Escalables: Desarrollo de aproximaciones prácticas (diferencias finitas y estimadores de Hutchinson) que permiten el uso de kernels en espacios de características, haciendo que el método sea aplicable a tareas de alta dimensión como la generación de texto a imagen.
4. Validación Empírica: Evaluación en distribuciones sintéticas y modelos modernos de texto a imagen (FLUX.1-dev y SDXL), demostrando una diversidad mejorada con fidelidad distribucional mantenida en comparación con las líneas base.

Resultados Experimentales

Los autores evalúan EDDY frente al muestreo Independiente e Idénticamente Distribuido (I.I.D.), la Guía de Partículas (PG) y el Muestreo de Difusión con Recocido de Condición (CADS).

• Mezcla de Gaussianas 2D Sintética: En una mezcla 2D de gaussianas, EDDY-RBF (utilizando el kernel RBF exacto) aumenta exitosamente la cobertura de modos (diversidad) mientras supera pruebas estadísticas (Kolmogorov-Smirnov, Mann-Whitney, prueba t de Welch) que confirman que la distribución marginal es indistinguible de la línea base I.I.D.
• Generación de Texto a Imagen:
  • Diversidad vs. Fidelidad: EDDY logra consistentemente una frontera de Pareto mejor que PG. En niveles de diversidad coincidentes (medidos por la similitud par a par de DINO), EDDY produce una mayor alineación con el prompt (CLIPScore) y mejores puntuaciones estéticas.
  • Reducción de Artefactos: Mientras que PG a menudo introduce graves artefactos visuales (por ejemplo, estructuras distorsionadas) al buscar diversidad, EDDY mantiene el fotorealismo, con cualquier degradación manifestándose como un ligero desenfoque en lugar de artefactos estructurales.
  • Comparación con CADS: CADS mejora la diversidad perturbando las señales de condicionamiento, pero degrada significativamente la adherencia al prompt. EDDY mantiene una fuerte fidelidad al prompt mientras aumenta la diversidad.
  • Modelos Probados: Los experimentos se realizaron en FLUX.1-dev (ajuste de flujo) y Stable Diffusion XL (difusión).

Significado y Afirmaciones

El artículo afirma que EDDY proporciona una ruta fundamentada hacia la generación condicional diversa. Al aprovechar las simetrías de la ecuación de Fokker–Planck, desacopla la compensación entre diversidad y fidelidad que afecta a los métodos existentes de muestreo repulsivo.

Los autores enfatizan que EDDY es libre de entrenamiento, no requiriendo aprendizaje adicional del modelo, a diferencia de los métodos que dependen del aprendizaje de funciones de potencial o pesos de importancia. Si bien el método incurre en una sobrecarga computacional (un aumento de tiempo de ejecución de aproximadamente el 25% en FLUX.1-dev debido a evaluaciones de kernels y aproximaciones), los autores argumentan que este es un costo necesario para lograr muestras diversas y de alta calidad sin los graves artefactos observados en enfoques competidores. El trabajo sugiere que preservar la distribución marginal es una restricción crucial para mantener la calidad de las salidas generativas mientras se exploran los modos de la distribución condicional.