Resumen Técnico: NoiseTilt: Núcleos Inversos con Inclinación de Ruido para la Alineación de Recompensas en Difusión

Planteamiento del Problema

El escalado en tiempo de inferencia ha emergido como un mecanismo poderoso para alinear modelos de difusión preentrenados con las preferencias del usuario sin necesidad de un reentrenamiento costoso. Cuando las preferencias se expresan como funciones de recompensa, el proceso iterativo de eliminación de ruido de los modelos de difusión ofrece una forma agnóstica al modelo para dirigir el muestreo hacia regiones de alta recompensa. Sin embargo, los métodos existentes enfrentan un compromiso fundamental entre la guía de gradiente y la compatibilidad de ruido:

1. Métodos de Desplazamiento de la Media (Guía de Gradiente): Enfoques como DPS [10] inyectan gradientes de recompensa directamente en la media del núcleo gaussiano inverso. Aunque son efectivos para dirigir la generación, desplazan los estados muestreados fuera del "régimen de compatibilidad de ruido"—la estrecha región del espacio latente donde el modelo preentrenado fue entrenado para operar. Este desplazamiento provoca que los estados intermedios queden fuera de la distribución, degradando la calidad de la generación y haciendo que el sistema sea propenso al reward hacking (aprovechamiento de la recompensa).
2. Métodos Basados en Búsqueda: Enfoques como SVDD [38] preservan la media inversa base extrayendo $K$ candidatos del núcleo estocástico y seleccionando el mejor. Si bien esto mantiene la compatibilidad de ruido y la calidad de la muestra, renuncia a la guía directa por gradiente, dependiendo del muestreo aleatorio para encontrar direcciones que mejoren la recompensa. Esto es computacionalmente ineficiente, requiriendo un número prohibitivamente grande de muestras para lograr una alineación sólida.

Ningún método previo logra simultáneamente la guía de gradiente y la compatibilidad de ruido.

Metodología: Núcleo Inverso con Inclinación de Ruido (NTRK)

Los autores proponen los Núcleos Inversos con Inclinación de Ruido (NTRK), un muestreador que resuelve este compromiso manteniendo fija la media inversa y dirigiendo la información de la recompensa exclusivamente a través del término de ruido.

Mecanismo Central

El paso inverso estándar se define como $\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \bm{\epsilon}_t$, donde $\bm{\epsilon}_t \sim \mathcal{N}(\bm{0}, \bm{I})$.
NTRK modifica el término de ruido a:
$$\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \tilde{\bm{\epsilon}}_t$$
donde el ruido guiado $\tilde{\bm{\epsilon}}_t$ es una mezcla de una dirección de recompensa blanqueada y estocasticidad sin sesgo:
$$\tilde{\bm{\epsilon}}_t = \sqrt{\rho_t} \, \mathcal{W}(\nabla_{\bm{x}_t} r(\hat{\bm{x}}_{0|t})) + \sqrt{1-\rho_t} \, \bm{\epsilon}_t$$
Aquí, $\rho_t \in [0, 1]$ controla la fuerza de la guía, y $\hat{\bm{x}}_{0|t}$ es la estimación de Tweedie de la imagen limpia.

El Operador de Blanqueo ($\mathcal{W}$)

El desafío central es que un gradiente de recompensa bruto es estructurado y determinista, lo cual viola las propiedades estadísticas del típico ruido gaussiano requerido por el modelo preentrenado. Inyectarlo directamente crearía un "ruido atípico", provocando artefactos.

Para resolver esto, los autores introducen un operador de blanqueo $\mathcal{W}$ que transforma el gradiente de recompensa en un vector de ruido "típico" antes de su inyección. Este operador asegura que la perturbación permanezca dentro del régimen de compatibilidad de ruido mientras preserva la señal direccional del gradiente. El operador se construye mediante una secuencia de proyecciones sobre conjuntos de alta confianza derivados de la estadística gaussiana estándar:

1. Proyección de Orden Estadístico de Dos Niveles (2OS): El vector de entrada se reorganiza en teselas (tiles). Los valores se ordenan dentro de cada tesela y luego a través de las teselas. Las estadísticas doblemente ordenadas resultantes se recortan a intervalos de confianza del 99.99% derivados de la distribución Beta. Esto suprime artefactos estructurales localizados mientras mantiene el histograma global.
2. Estadísticas por Tesela: El operador restringe además la media y la energía centrada de cada tesela para que coincidan con las distribuciones esperadas del ruido gaussiano estándar.
3. Dominios de Transformación Ortogonal: Las proyecciones de intervalo de confianza también se aplican en dominios transformados (por ejemplo, mezclas compactas de Fourier y tipo Hadamard) para suprimir estructuras globales residuales que no son visibles en el dominio espacial.

Crucialmente, para entradas que ya son ruido gaussiano típico, $\mathcal{W}$ las deja casi sin cambios, mientras que las entradas estructuradas son sustancialmente blanqueadas.

Contribuciones Clave

1. Resolución del Compromiso: NTRK es el primer método que logra simultáneamente la guía basada en gradientes y la compatibilidad de ruido. Preserva la media inversa preentrenada (a diferencia de los métodos de desplazamiento de la media) utilizando una sola muestra por paso (a diferencia de los métodos de búsqueda).
2. El Operador de Blanqueo: El artículo identifica que la calidad de la alineación de la recompensa está directamente ligada a la calidad del operador de blanqueo. Se demuestra que el operador de proyección basado en 2OS propuesto es superior a la simple proyección de norma o a las restricciones de igualdad estricta (como WGNC [24]), ya que equilibra la supresión de estructura con la preservación de la variabilidad natural del ruido.
3. Eficiencia: Al dirigir los gradientes a través del término de ruido, NTRK logra un rendimiento de vanguardia con significativamente menos evaluaciones de función (NFE).

Resultados Experimentales

Los autores evaluaron NTRK a través de tres tareas principales utilizando FLUX [35] para imágenes y Wan2.1 [70] para video:

• Generación de Imágenes Estéticas: NTRK alcanzó la recompensa objetivo más alta (Puntuación Estética) entre todos los modelos de referencia. Notablemente, NTRK con solo 25 NFEs superó la recompensa del mejor modelo de referencia (SVDD) que utilizó 500 NFEs, lo que representa una reducción de 20$\times$ en cómputo. También mantuvo o mejoró métricas de control como ImageReward y HPSv2.
• Generación de Imágenes Alineadas con Texto: En prompts compositivos complejos (T2I-CompBench++), NTRK superó a los modelos de referencia en PickScore (recompensa objetivo) y en métricas de control como VQA Score y HPSv2.
• Generación de Video Alineada con Preferencias: Utilizando VideoReward como objetivo, NTRK generó videos con mejor alineación de texto, calidad de movimiento y calidad visual en comparación con DPS y FreeDoM.
• Aplicaciones Adicionales: El método se aplicó con éxito a la generación consciente de cantidad (conteo de objetos) y a la alineación de recompensa basada en VLM (posicionamiento de horizonte y profundidad), demostiendo una amplia aplicabilidad.
• Integración con Ajuste Fino (Fine-Tuning): Se demostró que NTRK es ortogonal al ajuste fino (por ejemplo, MixGRPO [37]), proporcionando ganancias adicionales cuando se aplica sobre modelos ya ajustados.

Significado y Afirmaciones

El artículo afirma que NTRK ofrece un mecanismo simple y ampliamente aplicable para la alineación de recompensas en tiempo de inferencia que deja intacta la dinámica de muestreo preentrenada. Al tratar el gradiente de recompensa como una perturbación para ser blanqueada en lugar de un desplazamiento de la media, NTRK evita los problemas de fuera de la distribución que afectan a la guía basada en gradientes.

Los autores enfatizan que la efectividad del método depende fuertemente del operador de blanqueo. Sus estudios de ablación muestran que los operadores más débiles no logran eliminar la estructura dañina, mientras que los operadores excesivamente rígidos distorsionan el ruido genuino. El enfoque propuesto basado en 2OS navega con éxito este compromiso, permitiendo una generación de alta recompensa sin sacrificar la calidad inherente al modelo preentrenado.

El trabajo sugiere que el escalado en tiempo de inferencia futuro puede ir más allá de la búsqueda de fuerza bruta o los desplazamientos destructivos de la media, aprovechando en su lugar las propiedades estadísticas del ruido para guiar la generación de manera eficiente.