Technisches Resümee: NoiseTilt: Noise-Tilted Reverse Kernels für die Diffusion-Reward-Ausrichtung

Problemstellung

Das Scaling zur Inferenzzeit hat sich als ein leistungsstarker Mechanismus erwiesen, um vortrainierte Diffusionsmodelle ohne kostspieliges Retraining an Nutzerpräferenzen anzupassen. Wenn Präferenzen als Belohnungsfunktionen (Reward Functions) ausgedrückt werden, bietet der iterative Entrauschungsprozess von Diffusionsmodellen eine modellagnostische Möglichkeit, das Sampling in Regionen mit hoher Belohnung zu steuern. Bestehende Methoden stehen jedoch vor einem grundlegenden Kompromiss zwischen Gradientenführung (Gradient Guidance) und Rauschkompatibilität (Noise Compatibility):

1. Mean-Shifted Methoden (Gradient Guidance): Ansätze wie DPS [10] injizieren Belohnungsgradienten direkt in den Mittelwert des reversen Gaußschen Kernels. Während dies effektiv beim Steuern der Generierung ist, verschiebt es die Stichprobenzustände aus dem „rauschkompatiblen Regime“ heraus – jener engen Region im latenten Raum, für die das vortrainierte Modell operieren sollte. Diese Verschiebung führt dazu, dass Zwischenzustände außerhalb der Verteilung (Out-of-Distribution) liegen, was die Generierungsqualität verschlechtert und das System anfällig für Reward Hacking macht.
2. Suchbasierte Methoden (Search-Based Methods): Ansätze wie SVDD [38] bewahren den ursprünglichen reversen Mittelwert, indem sie $K$ Kandidaten aus dem stochastischen Kernel ziehen und den besten auswählen. Dies erhält die Rauschkompatibilität und die Stichprobenqualität, verzichtet jedoch auf direkte Gradientenführung und verlässt sich stattdessen auf zufälliges Sampling, um belohnungsverbessernde Richtungen zu finden. Dies ist rechenintensiv und erfordert eine prohibitiv hohe Anzahl an Stichproben, um eine starke Ausrichtung zu erreichen.

Bisherige Methoden haben nicht gleichzeitig Gradientenführung und Rauschkompatibilität erreicht.

Methodik: Noise-Tilted Reverse Kernel (NTRK)

Die Autoren schlagen Noise-Tilted Reverse Kernels (NTRK) vor, einen Sampler, der diesen Kompromiss löst, indem er den reversen Mittelwert fix hält und die Belohnungsinformationen ausschließlich über den Rauschterm leitet.

Kernmechanismus

Der Standard-Reverse-Schritt ist definiert als $\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \bm{\epsilon}_t$, wobei $\bm{\epsilon}_t \sim \mathcal{N}(\bm{0}, \bm{I})$.
NTRK modifiziert den Rauschterm zu:
$$\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \tilde{\bm{\epsilon}}_t$$
wobei das geführte Rauschen $\tilde{\bm{\epsilon}}_t$ eine Mischung aus einem geweißten Belohnungsvektor und unvoreingenommener Stochastik ist:
$$\tilde{\bm{\epsilon}}_t = \sqrt{\rho_t} \, \mathcal{W}(\nabla_{\bm{x}_t} r(\hat{\bm{x}}_{0|t})) + \sqrt{1-\rho_t} \, \bm{\epsilon}_t$$
Hierbei steuert $\rho_t \in [0, 1]$ die Stärke der Führung, und $\hat{\bm{x}}_{0|t}$ ist die Tweedie-Schätzung des sauberen Bildes.

Der Whitening-Operator ($\mathcal{W}$)

Die zentrale Herausforderung besteht darin, dass ein roher Belohnungsgradient strukturiert und deterministisch ist, was die statistischen Eigenschaften typischer Gaußscher Rauschverteilungen verletzt, die vom vortrainierten Modell benötigt werden. Die direkte Injektion würde „atypisches Rauschen“ erzeugen, was zu Artefakten führt.

Um dies zu lösen, führen die Autoren einen Whitening-Operator $\mathcal{W}$ ein, der den Belohnungsgradienten in einen „typischen“ Rauschvektor transformiert, bevor dieser injiziert wird. Dieser Operator stellt sicher, dass die Perturbation innerhalb des rauschkompatiblen Regimes bleibt, während das Richtungsignal des Gradienten erhalten bleibt. Der Operator wird durch eine Sequenz von Projektionen auf Konfidenz-Sets konstruiert, die aus Standard-Gaußschen Statistiken abgeleitet sind:

1. Two-Level Order-Statistic (2OS) Projektion: Der Eingangsvektor wird in Tiles (Kacheln) umgeformt. Die Werte werden innerhalb jedes Tiles und anschließend über die Tiles hinweg sortiert. Die resultierenden doppelt sortierten Statistiken werden auf 99,99 % Konfidenzintervalle gekappt, die aus der Beta-Verteilung abgeleitet wurden. Dies unterdrückt lokalisierte strukturierte Artefakte, während das globale Histogramm beibehalten wird.
2. Tile-weise Statistiken: Der Operator beschränkt zudem den Mittelwert und die zentrierte Energie jedes Tiles, um sie an die erwarteten Verteilungen von Standard-Gaußschem Rauschen anzupassen.
3. Orthogonale Transformationsdomänen: Dieselben Konfidenzintervall-Projektionen werden in transformierten Domänen angewendet (z. B. kompakte Fourier- und Hadamard-ähnliche Mischungen), um verbleibende globale Strukturen zu unterdrücken, die im räumlichen Bereich nicht sichtbar sind.

Entscheidend ist, dass $\mathcal{W}$ für Eingaben, die bereits typisches Gaußsches Rauschen sind, diese nahezu unverändert lässt, während strukturierte Eingaben substanziell „geweißelt“ werden.

Zentrale Beiträge

1. Lösung des Kompromisses: NTRK ist die erste Methode, die gleichzeitig gradientenbasierte Führung und Rauschkompatibilität erreicht. Sie bewahrt den vortrainierten reversen Mittelwert (im Gegensatz zu Mean-Shifted Methoden) und nutzt dabei nur eine einzige Stichprobe pro Schritt (im Gegensatz zu Suchmethoden).
2. Der Whitening-Operator: Die Arbeit identifiziert, dass die Qualität der Belohnungsausrichtung direkt mit der Qualität des Whitening-Operators verknüpft ist. Die vorgeschlagene 2OS-basierte Projektion erweist sich als überlegen gegenüber einfacher Normprojektion oder harten Gleichheitsbeschränkungen (wie WGNC [24]), da sie die Balance zwischen Strukturunterdrückung und Erhalt der natürlichen Rauschvariabilität hält.
3. Effizienz: Durch die Leitung der Gradienten durch den Rauschterm erreicht NTRK eine State-of-the-Art-Performance mit signifikant weniger Funktionsaufrufen (NFE).

Experimentelle Ergebnisse

Die Autoren evaluierten NTRK über drei Primäraufgaben hinweg unter Verwendung von FLUX [35] für Bilder und Wan2.1 [70] für Videos:

• Ästhetische Bildgenerierung: NTRK erreichte die höchste Zielbelohnung (Aesthetic Score) unter allen Baselines. Bemerkenswert ist, dass NTRK mit nur 25 NFEs die Belohnung der besten Baseline (SVDD) übertraf, welche 500 NFEs benötigte, was einer 20-fachen Reduktion der Rechenleistung entspricht. Zudem wurden held-out Metriken wie ImageReward und HPSv2 beibehalten oder verbessert.
• Text-ausgerichtete Bildgenerierung: Bei komplexen kompositorischen Prompts (T2I-CompBench++) übertraf NTRK die Baselines in PickScore (Zielbelohnung) sowie in held-out Metriken wie VQA Score und HPSv2.
• Präferenz-ausgerichtete Videogenerierung: Unter Verwendung von VideoReward als Ziel generierte NTRK Videos mit besserer Textausrichtung, Bewegungsqualität und visueller Qualität im Vergleich zu DPS und FreeDoM.
• Zusätzliche Anwendungen: Die Methode wurde erfolgreich auf quantitätsbewusste Generierung (Zählen von Objekten) und VLM-basierte Belohnungsausrichtung (Horizont- und Tiefenpositionierung) angewendet, was ihre breite Anwendbarkeit demonstriert.
• Integration mit Fine-Tuning: Es wurde gezeigt, dass NTRK orthogonal zum Fine-Tuning (z. B. MixGRPO [37]) ist und zusätzliche Gewinne bietet, wenn es auf bereits feinabgestimmte Modelle angewendet wird.

Bedeutung und Behauptungen

Das Paper behauptet, dass NTRK einen einfachen, breit anwendbaren Mechanismus für die Reward-Ausrichtung zur Inferenzzeit bietet, der die Dynamik des vortrainierten Samplings intakt lässt. Indem NTRK den Belohnungsgradienten als eine zu weißelnde Perturbation statt als Verschiebung des Mittelwerts behandelt, vermeidet es die Out-of-Distribution-Probleme, die die Gradientenführung plagen.

Die Autoren betonen, dass die Effektivität der Methode maßgeblich vom Whitening-Operator abhängt. Ihre Ablationsstudien zeigen, dass schwächere Operatoren nicht in der Lage sind, schädliche Strukturen zu entfernen, während zu starre Operatoren das echte Rauschen verzerren. Der vorgeschlagene 2OS-basierte Ansatz navigiert erfolgreich durch diesen Kompromiss und ermöglicht eine hochgradig belohnungsorientierte Generierung, ohne die inhärente Qualität des vortrainierten Modells zu opfern.

Die Arbeit legt nahe, dass zukünftiges Scaling zur Inferenzzeit über brute-force Suche oder destruktive Mean-Shifts hinausgehen kann, indem es stattdessen die statistischen Eigenschaften von Rauschen nutzt, um die Generierung effizient zu steuern.