Résumé Technique : NoiseTilt : Noyaux Inverses à Inclinaison de Bruit pour l'Alignement des Récompenses de Diffusion

Énoncé du Problème

Le passage à l'échelle au moment de l'inférence est devenu un mécanisme puissant pour aligner les modèles de diffusion pré-entraînés avec les préférences des utilisateurs sans réentraînement coûteux. Lorsque les préférences sont exprimées sous forme de fonctions de récompense, le processus de débruitage itératif des modèles de diffusion offre une méthode agnostique au modèle pour orienter l'échantillonnage vers des régions à haute récompense. Cependant, les méthodes existantes font face à un compromis fondamental entre guidage par gradient et compatibilité avec le bruit :

1. Méthodes à Décalage de Moyenne (Guidage par Gradient) : Les approches comme DPS [10] injectent directement les gradients de récompense dans la moyenne du noyau gaussien inverse. Bien qu'efficaces pour orienter la génération, elles déplacent les états échantillonnés en dehors du « régime compatible avec le bruit » — la zone étroite de l'espace latent dans laquelle le modèle pré-entraîné a été conçu pour opérer. Ce déplacement provoque un déphasage des états intermédiaires hors distribution, dégradant la qualité de la génération et rendant le système vulnérable au détournement de récompense (reward hacking).
2. Méthodes Basées sur la Recherche : Les approches comme SVDD [38] préservent la moyenne inverse de base en tirant $K$ candidats à partir du noyau stochastique et en sélectionnant le meilleur. Bien que cela maintienne la compatibilité avec le bruit et la qualité des échantillons, cela renonce au guidage direct par gradient, s'appuyant sur un échantillonnage aléatoire pour trouver des directions améliorant la récompense. Cela est inefficace sur le plan computationnel, nécessitant un nombre prohibitif d'échantillons pour obtenir un alignement fort.

Aucune méthode préalable ne parvient simultanément au guidage par gradient et à la compatibilité avec le bruit.

Méthodologie : Noyau Inverse à Inclinaison de Bruit (NTRK)

Les auteurs proposent les Noyaux Inverses à Inclinaison de Bruit (NTRK), un échantillonneur qui résout ce compromis en gardant la moyenne inverse fixe et en acheminant l'information de récompense exclusivement à travers le terme de bruit.

Mécanisme Central

L'étape inverse standard est définie par $\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \bm{\epsilon}_t$, où $\bm{\epsilon}_t \sim \mathcal{N}(\bm{0}, \bm{I})$.
NTRK modifie le terme de bruit pour :
$$\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \tilde{\bm{\epsilon}}_t$$
où le bruit guidé $\tilde{\bm{\epsilon}}_t$ est un mélange d'une direction de récompense blanchie et d'une stochasticité non biaisée :
$$\tilde{\bm{\epsilon}}_t = \sqrt{\rho_t} \, \mathcal{W}(\nabla_{\bm{x}_t} r(\hat{\bm{x}}_{0|t})) + \sqrt{1-\rho_t} \, \bm{\epsilon}_t$$
Ici, $\rho_t \in [0, 1]$ contrôle la force du guidage, et $\hat{\bm{x}}_{0|t}$ est l'estimation de Tweedie de l'image propre.

L'Opérateur de Blanchiment ($\mathcal{W}$)

Le défi central est que le gradient de récompense brut est structuré et déterministe, ce qui viole les propriétés statistiques du bruit gaussien typique requis par le modèle pré-entraîné. Son injection directe créerait un « bruit atypique », entraînant des artefacts.

Pour résoudre cela, les auteurs introduisent un opérateur de blanchiment $\mathcal{W}$ qui transforme le gradient de récompense en un vecteur de bruit « typique » avant l'injection. Cet opérateur garantit que la perturbation reste dans le régime compatible avec le bruit tout en préservant le signal directionnel du gradient. L'opérateur est construit via une séquence de projections sur des ensembles de haute confiance dérivés des statistiques gaussiennes standard :

1. Projection par Statistiques d'Ordre à Deux Niveaux (2OS) : Le vecteur d'entrée est remodelé en tuiles (tiles). Les valeurs sont triées au sein de chaque tuile, puis à travers les tuiles. Les statistiques doublement triées résultantes sont tronquées à des intervalles de confiance de 99,99 % dérivés de la distribution Beta. Cela supprime les artefacts structurés localisés tout en maintenant l'histogramme global.
2. Statistiques par Tuile : L'opérateur contraint également la moyenne et l'énergie centrée de chaque tuile pour correspondre aux distributions attendues du bruit gaussien standard.
3. Domaines de Transformation Orthogonale : Les mêmes projections d'intervalles de confiance sont appliquées dans des domaines transformés (par exemple, des mélanges de Fourier compacts et de type Hadamard) pour supprimer les structures globales résiduelles qui ne sont pas visibles dans le domaine spatial.

Crucialement, pour les entrées qui sont déjà un bruit gaussien typique, $\mathcal{W}$ les laisse presque inchangées, tandis que les entrées structurées sont substantiellement blanchies.

Contributions Clés

1. Résolution du Compromis : NTRK est la première méthode qui atteint simultanément le guidage par gradient et la compatibilité avec le bruit. Elle préserve la moyenne inverse pré-entraînée (contrairement aux méthodes à décalage de moyenne) tout en utilisant un seul échantillon par étape (contrairement aux méthodes de recherche).
2. L'Opérateur de Blanchiment : L'article identifie que la qualité de l'alignement de la récompense est directement liée à la qualité de l'opérateur de blanchiment. La projection basée sur la 2OS proposée est montrée comme étant supérieure à une simple projection de norme ou à des contraintes d'égalité strictes (comme WGNC [24]), car elle équilibre la suppression de la structure et la préservation de la variabilité naturelle du bruit.
3. Efficacité : En acheminant les gradients à travers le terme de bruit, NTRK atteint des performances de pointe avec nettement moins d'évaluations de fonction (NFE).

Résultats Expérimentaux

Les auteurs ont évalué NTRK à travers trois tâches principales en utilisant FLUX [35] pour les images et Wan2.1 [70] pour la vidéo :

• Génération d'Images Esthétiques : NTRK a obtenu la récompense cible la plus élevée (Score Esthétique) parmi tous les modèles de référence. Notamment, NTRK avec seulement 25 NFE a surpassé la récompense du meilleur modèle de référence (SVDD) qui utilisait 500 NFE, représentant une réduction de calcul de 20$\times$. Il a également maintenu ou amélioré les métriques hors échantillon comme ImageReward et HPSv2.
• Génération d'Images Alignées sur le Texte : Sur des invites compositionnelles complexes (T2I-CompBench++), NTRK a surpassé les modèles de référence en PickScore (récompense cible) et dans les métriques hors échantillon comme le score VQA et HPSv2.
• Génération de Vidéo Alignée sur les Préférences : En utilisant VideoReward comme cible, NTRK a généré des vidéos avec un meilleur alignement textuel, une meilleure qualité de mouvement et une meilleure qualité visuelle par rapport à DPS et FreeDoM.
• Applications Additionnelles : La méthode a été appliquée avec succès à la génération sensible à la quantité (comptage d'objets) et à l'alignement de récompense basé sur les VLM (positionnement de l'horizon et de la profondeur), démontrant une large applicabilité.
• Intégration avec le Fine-Tuning : NTRK s'est révélé orthogonal au fine-tuning (ex: MixGRO [37]), apportant des gains supplémentaires lorsqu'il est appliqué sur des modèles déjà affinés.

Signification et Revendications

L'article affirme que NTRK offre un mécanisme simple et largement applicable pour l'alignement de la récompense au moment de l'inférence, laissant intact la dynamique d'échantillonnage pré-entraînée. En traitant le gradient de récompense comme une perturbation à blanchir plutôt que comme un décalage de la moyenne, NTRK évite les problèmes de hors-distribution qui affectent le guidage par gradient.

Les auteurs soulignent que l'efficacité de la méthode repose fortement sur l'opérateur de blanchiment. Leurs études d'ablation montrent que des opérateurs plus faibles échouent à supprimer la structure nuisible, tandis que des opérateurs trop rigides défor l'aspect naturel du bruit. L'approche proposée basée sur la 2OS navigue avec succès ce compromis, permettant une génération à haute récompense sans sacrifier la qualité inhérente au modèle pré-entraîné.

Le travail suggère que le passage à l'échelle à l'inférence peut aller au-delà de la recherche par force brute ou des décalages de moyenne destructeurs, en exploitant plutôt les propriétés statistiques du bruit pour guider la génération efficacement.