Resumen Técnico: Búsqueda de Evolución Espectral (SES)

1. Planteamiento del Problema

El escalado en el tiempo de inferencia ofrece un paradigma para alinear modelos generativos visuales con objetivos secundarios (p. ej., calidad estética, preferencia humana) sin requerir actualizaciones de parámetros o reentrenamiento. Sin embargo, los métodos existentes enfrentan ineficiencias significativas:

• Optimización de Trayectoria: Depende de intervenciones intrusivas en las rutas de eliminación de ruido, lo que a menudo se acopla con resolvedores de Ecuaciones Diferenciales Estocásticas (SDE), dificultando la compatibilidad con muestreadores de Ecuaciones Diferenciales Ordinarias (ODE) eficientes o modelos de Flow Matching.
• Optimización Basada en Gradientes: Requiere funciones de recompensa diferenciables, lo que impide el uso de métricas de preferencia humana no diferenciables y es susceptible al "ataque de recompensa" (reward hacking) mediante artefactos de alta frecuencia imperceptibles.
• Búsqueda de Ruido Inicial: Aunque tratar la inferencia como una búsqueda de caja negra sobre el ruido inicial es ampliamente compatible, los enfoques actuales sufren de la maldición de la dimensionalidad. Típicamente emplean una parametrización isotrópica implícita que trata todas las direcciones de búsqueda por igual. Esta suposición conduce a una redundancia computacional severa, ya que muchas direcciones de búsqueda (particularmente las perturbaciones de alta frecuencia) ejercen una influencia insignificante en la generación final, lo que resulta en rendimientos decrecientes.

2. Metodología: Búsqueda de Evolución Espectral (SES)

Los autores proponen la Búsqueda de Evolución Espectral (SES), un marco de trabajo plug-and-play para la optimización del ruido inicial que aborda estas ineficiencias explotando un sesgo espectral en la dinámica generativa. La idea central es que la sensibilidad del modelo a las perturbaciones iniciales disminuye rápidamente a medida que la frecuencia aumenta; las perturbaciones de baja frecuencia remodelan significativamente la estructura de la imagen, mientras que las perturbaciones de alta frecuencia de energía equivalente tienen un impacto visual mínimo.

SES opera a través de dos módulos principales:

A. Desacoplamiento Espectral Basado en Wavelets

Para mitigar la maldición de la dimensionalidad, SES restringe el espacio de búsqueda a un colector (manifold) compacto de baja frecuencia:

1. Descomposición: El ruido inicial $x_{init}$ se descompone utilizando una Transformada Wavelet Discreta (DWT) en coeficientes de baja frecuencia ($c_{LL}$) y detalles de alta frecuencia ($c_{H}$).
2. Congelación: Los componentes de alta frecuencia se congelan como un fondo estático.
3. Espacio de Optimización: La optimización se restringe exclusivamente al vector de baja frecuencia $u \equiv c_{LL}$. Esto reduce la dimensionalidad de la búsqueda por un factor de $4^J$ (donde $J$ es el nivel de descomposición).
4. Reconstrucción: Los vectores de baja frecuencia candidatos se combinan con el fondo de alta frecuencia congelado y se reconstruyen mediante la Transformada Wavelet Inversa (IDWT) para formar un ruido inicial válido para el muestreador.

B. Optimización de Entropía Cruzada (CEM)

Dentro del subespacio reducido de baja frecuencia, SES emplea una estrategia evolutiva libre de gradientes:

• Inicialización: Se inicializa una distribución Gaussiana $p(u; \mu, \Sigma)$ para coincidir con el prior de difusión preentrenado ($\mu=0, \Sigma=I$).
• Bucle de Muestreo-Evaluación-Actualización:
  1. Muestreo: Los candidatos se extraen de la distribución actual.
  2. Evaluación: Los candidatos se reconstruyen, se eliminan los ruidos y se califican mediante una función de recompensa $R$ (que puede ser no diferenciable).
  3. Actualización: Los parámetros de la distribución se actualizan utilizando las estadísticas de los mejores-$K$ candidatos "élite", empleando un factor de suavizado $\gamma$ para evitar la convergencia prematura.
• Generación Final: La imagen final se genera muestreando de la distribución optimizada.

3. Análisis Teórico

El artículo deriva la Predicción de Escalamiento Espectral para sustentar teóricamente el enfoque en las bajas frecuencias. Al analizar la dinámica de propagación de la perturbación en flujos generativos de tiempo continuo (modelados como ODEs), los autores demuestran que la ganancia acumulada $G(\omega)$ de una perturbación inicial sigue un escalamiento de ley de potencia inversa con respecto a la norma de frecuencia $\|\omega\|$:
$$G(\omega) \propto \|\omega\|^{-\beta/2}$$
Esta derivación, basada en la suposición de que el eliminador de ruido actúa como un filtro Wiener y que las imágenes naturales exhiben un decaimiento espectral de ley de potencia, confirma que los grados de libertad efectivos son intrínsecamente dispersos y están concentrados en la banda de baja frecuencia. Las perturbaciones de alta frecuencia exhiben una ganancia acumulada insignificante, lo que las convierte en variables de control ineficaces.

4. Resultados Experimentales

Se realizaron experimentos extensos en modelos principales (SDXL, FLUX.1-dev, Qwen-Image) a través de diversos objetivos de recompensa (CLIP, PickScore, HPS, ImageReward, Aesthetic Score).

• Desempeño: Bajo un presupuesto computacional fijo (NRE = 200), SES superó consistentemente a los fuertes modelos de referencia (baselines), incluyendo Best-of-N (BoN), Búsqueda de Orden Cero (ZO-N) y métodos basados en trayectoria (SMC, SVDD, Demon). SES alcanzó las puntuaciones de recompensa más altas en todas las métricas y arquitecturas.
• Comportamiento de Escalamiento: Mientras que BoN exhibió un escalamiento de tipo logarítmico que se estancó rápidamente, SES demostró una trayectoria de escalamiento continua y pronunciada hasta NRE = 1000, lo que indica un crecimiento sostenido del desempeño sin saturación.
• Estudios de Ablación:
  • Selección de Subespacio: La búsqueda en el subespacio de baja frecuencia superó significativamente a los subespacios de frecuencia completa, alta frecuencia y aleatorios de dimensionalidad equivalente, confirmando que las ganancias provienen de la autoridad de control específica de las bajas frecuencias, no solo de la reducción de dimensionalidad.
  • Estrategia de Optimización: El Método de Entropía Cruzada (CEM) superó sustancialmente a la búsqueda aleatoria dentro del subespacio fijo.
• Eficiencia: Un mecanismo de búsqueda guiado por proxy (usando LCM o ODEs de pasos reducidos) redujo los costos de evaluación en aproximadamente un 85% manteniendo la consistencia de clasificación y una alta fidelidad estructural.
• Generalización: SES se mantuvo efectivo incluso cuando se aplicó a modelos ya alineados mediante métodos de entrenamiento (DPO, SPO), demostando ortogonalidad a los paradigmas de entrenamiento. También mostró robustez tanto en muestreadores deterministas ODE como en estocásticos SDE.

5. Significación y Reivindicaciones

El artículo afirma que SES avanza significativamente la frontera de Pareto de la calidad de generación versus el costo computacional. Al identificar y explotar el sesgo espectral inherente en la dinámica generativa, SES proporciona una solución teóricamente fundamentada y agnóstica al modelo que:

1. Elimina la Redundancia: Se enfoca exclusivamente en los grados de libertad más influyentes (bajas frecuencias).
2. Garantiza la Compatibilidad: Funciona con recompensas no diferenciables y diversos tipos de muestreadores (ODE/SDE) sin modificaciones intrusivas en el proceso de generación.
3. Previene el Ataque de Recompensa: Al restringir la optimización al colector de baja frecuencia, SES regulariza implícitamente la búsqueda, evitando la explotación de artefactos de alta frecuencia imperceptibles que suelen afectar a los métodos basados en gradientes.

Los autores concluyen que SES ofrece un paradigma versátil y eficiente para el escalado en el tiempo de inferencia, permitiendo que los modelos estáticos se adapten a objetivos específicos de manera más efectiva que las estrategias de búsqueda existentes.