🤖 AI

Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling

Dieses Papier stellt DiNa-LRM vor, ein rechnerisch effizientes, diffusions natives latentes Belohnungsmodell, das Präferenzlernen direkt auf verrauschten Diffusionszuständen formuliert, um die Domänenfehlanpassung und hohen Kosten von auf Vision-Sprach-Modellen basierenden Belohnungen zu überwinden und dabei eine überlegene Ausrichtungsleistung mit deutlich geringeren Ressourcenanforderungen zu erreichen.

Ursprüngliche Autoren: Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter-Künstler, der Bilder basierend auf Ihren Beschreibungen malt. Der Roboter verwendet ein komplexes internes System (ein Diffusionsmodell), das mit einem verschwommenen, verrauschten Rauschen beginnt und dieses langsam bereinigt, bis ein klares Bild erscheint.

Um diesen Roboter zu lehren, das zu malen, was Sie tatsächlich mögen, benötigen Sie einen „Lehrer" (ein Belohnungsmodell), der die Entwürfe des Roboters betrachtet und sagt: „Gut gemacht!" oder „Versuch es noch einmal."

Das Problem: Der alte Lehrer war zu schwer und fehl am Platz

Derzeit sind die besten „Lehrer" riesige Vision-Language-Modelle (VLMs). Stellen Sie sich diese als superintelligente, gigantische Bibliotheken vor, die jedes Buch gelesen und jedes Bild der Welt gesehen haben.

Das Problem: Diese gigantischen Bibliotheken sind schwer. Sie benötigen viel Rechenleistung zum Ausführen und sind langsam.
Die Diskrepanz: Der Roboter-Künstler arbeitet in einer „komprimierten, abstrakten Welt" (Latent Space), aber der riesige Bibliotheks-Lehrer betrachtet das finale, hochauflösende Foto (Pixel Space). Es ist, als würde man einen Koch bitten, eine Suppe zu beurteilen, indem er die rohen Zutaten nachdem sie gekocht wurden probiert, anstatt die Suppe zu probieren, während sie köchelt. Diese Diskrepanz macht das Unterrichten ineffizient und verwirrend.

Die Lösung: DiNa-LRM (Der native Lehrer)

Die Autoren dieses Papers haben eine neue Art von Lehrer namens DiNa-LRM entwickelt. Anstatt eine riesige externe Bibliothek zu engagieren, verwandelten sie das eigene innere Gehirn des Roboter-Künstlers in den Lehrer.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „rauschkalibrierte" Auge

Der Roboter-Künstler erstellt Bilder, indem er mit Rauschen (Statik) beginnt und es im Laufe der Zeit bereinigt.

Alte Methode: Der Lehrer betrachtet nur das finale, saubere Bild.
DiNa-LRM-Methode: Dieser neue Lehrer ist damit vertraut, das Bild zu betrachten, während es noch verrauscht und verschwommen ist.
Die Analogie: Stellen Sie sich einen Musikproduzenten vor, der eine Band unterrichtet. Ein traditioneller Lehrer wartet, bis der Song vollständig gemischt und gemastert ist, um ihn zu kritisieren. DiNa-LRM ist wie ein Produzent, der während der Aufnahme im Studio sitzt und die rohen, verrauschten Spuren hört. Da der Lehrer das „Rauschen" natürlich versteht, weiß er genau, wie viel Unsicherheit er in jedem Stadium erwarten muss. Wenn das Bild sehr verschwommen ist, sagt der Lehrer: „Ich bin mir noch nicht zu 100 % sicher, also werde ich bei meiner Bewertung etwas vorsichtiger sein." Wenn das Bild klar ist, bewertet der Lehrer es mit hoher Zuversicht.

2. Das „Zeitreise"-Ensembling

Wenn der Lehrer eine endgültige Punktzahl für ein fertiges Bild vergeben muss, betrachtet er es nicht nur einmal.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Handlung eines Films zu erraten. Sie könnten nur die letzte Szene ansehen, aber das könnte irreführend sein. Oder Sie könnten den Film bei 10 %, 50 % und 90 % Fertigstellung ansehen und diese Ansichten kombinieren, um ein besseres Verständnis zu erlangen.
Wie DiNa-LRM es macht: Es betrachtet das Bild in mehreren verschiedenen Stadien der „Sauberkeit" (unterschiedliche Rauschniveaus) und kombiniert alle diese Meinungen zu einer einzigen, supergenauen Punktzahl. Dies wird als Rausch-Ensembling bezeichnet. Es macht den Lehrer viel robuster und zuverlässiger, ohne ein größeres Gehirn zu benötigen.

3. Die Ergebnisse: Schneller, günstiger und intelligenter

Das Paper testete diesen neuen Lehrer gegen die alten gigantischen Bibliotheken und andere Versuche.

Leistung: DiNa-LRM ist fast genauso gut wie die besten gigantischen Bibliotheken darin, zu beurteilen, welche Bilder Menschen bevorzugen.
Effizienz: Da es in der eigenen „komprimierten Welt" des Roboters lebt, muss es das Bild nicht in ein vollständiges Foto dekodieren, um es zu beurteilen.
- Es benötigt 51 % weniger Speicher (wie die Hälfte des RAM auf Ihrem Computer).
- Es benötigt 71 % weniger Rechenleistung für die eigentliche Bewertung.
Training: Wenn es verwendet wird, um den Roboter-Künstler zu trainieren, lernt der Roboter schneller und wird nicht durch die Diskrepanz zwischen der Sicht des Lehrers und der Sicht des Künstlers verwirrt.

Zusammenfassung

Das Paper stellt DiNa-LRM vor, ein Belohnungsmodell, das dieselbe „Sprache" spricht wie der Bildgenerator, den es unterrichtet. Anstatt einen riesigen externen Experten zu zwingen, seine Gedanken in die Sprache des Generators zu übersetzen, nutzt DiNa-LRM die eigene interne Struktur des Generators, um seine Arbeit zu bewerten. Es ist intelligenter im Umgang mit Unsicherheit (Rauschen), kann ein Werk in Arbeit betrachten, um bessere endgültige Urteile zu fällen, und tut all dies, während es deutlich weniger Rechenleistung verbraucht.

Technische Zusammenfassung: DiNa-LRM – Diffusion-Native Latent Reward Modeling

1. Problemstellung

Die Ausrichtung von Diffusions- und Flow-Matching-Modellen an menschlichen Präferenzen hängt stark von Belohnungsfunktionen ab. Aktuelle State-of-the-Art-Ansätze nutzen überwiegend Vision-Language-Modelle (VLMs) als Rückgrat für die Belohnung. Obwohl VLMs robuste diskriminierende Fähigkeiten bieten, weisen sie zwei kritische Einschränkungen für die Ausrichtung von Diffusionsmodellen auf:

Rechen- und Speicherüberlastung: VLM-basierte Belohnungen sind teuer, um sie während der Optimierung wiederholt abzufragen, was einen Engpass für die Trainingseffizienz schafft.
Domäneninkongruenz: VLMs arbeiten typischerweise im Pixelraum, während latente Diffusionsgeneratoren im latenten Raum trainiert und optimiert werden. Diese Pixel-zu-latente Inkongruenz erschwert die Ausrichtung, insbesondere für Belohnungs-Gradienten-Methoden, und führt zu unnötigem Systemaufwand.

Im Gegensatz dazu haben Diffusionsmodelle zwar Potenzial als diskriminierende Rückgrate gezeigt, doch frühere Versuche, sie als Belohnungen zu nutzen, waren oft an spezifische Optimierungsalgorithmen auf Schrittniveau gebunden oder konzentrierten sich auf verrauschte Zwischenzustände, ohne ein allgemeingültiges Framework zu etablieren, das mit VLMs zum Bewerten sauberer Proben vergleichbar wäre.

2. Methodik: DiNa-LRM

Die Autoren schlagen DiNa-LRM (Diffusion-Native Latent Reward Model) vor, ein Framework, das Präferenzlernen direkt auf verrauschten Diffusionszuständen innerhalb des latenten Raums formuliert. Die Methode besteht aus drei Kernkomponenten:

A. Diffusion-Native Präferenzformulierung

Anstatt saubere Proben ( $x_0$ ) direkt zu bewerten, erweitert DiNa-LRM das Thurstone-Modell auf verrauschte Diffusionszustände ( $x_t$ ).

Rauschkalibrierte Unsicherheit: Die Autoren erkennen, dass Präferenzurteile über verrauschte Zustände inhärent weniger sicher sind, wenn das Rauschniveau steigt. Sie führen eine rauschkalibrierte Vergleichsunsicherheit $\sigma_u^2(t)$ ein, die mit dem Diffusionsrauschniveau $\sigma^2(t)$ skaliert:
$\sigma_u^2(t) = k\sigma^2(t) + \sigma_u^2$
Diese Formulierung stellt sicher, dass das Belohnungsziel konsistent mit dem verrauschten Mannigfaltigkeitsverlauf bleibt, der während des Diffusions-Pretrainings angetroffen wird. Sie wirkt als unsicherheitsbewusster Regularisierer und verhindert, dass hochvarianzige Gradienten das Training in hochrauschenden Regimen destabilisieren.
Trainingsziel: Das Modell wird unter Verwendung eines Fidelity-Verlusts über Präferenzpaare $(x_t^+, x_t^-)$ optimiert, wobei die Vergleichswahrscheinlichkeit durch die timestepsabhängige Unsicherheit moduliert wird.

B. Latente Belohnungsarchitektur

DiNa-LRM wird auf einem vortrainierten latenten Diffusionsrückgrat (z. B. SD3.5-Medium) mit einem leichten, abfragebasierten Scoring-Kopf implementiert.

Mehrschichtige Merkmalsextraktion: Visuelle und textuelle Merkmale werden aus mehreren Schichten des Rückgrats extrahiert.
Timesteps-konditionierte Anpassung: Merkmale werden mittels FiLM (Feature-wise Linear Modulation) durch Timesteps-Embeddings moduliert, um den Belohnungskopf explizit für das Rauschniveau zu sensibilisieren.
Gated Q-Former Scoring: Ein gated Q-Former aggregiert diese mehrschichtigen, timesteps-konditionierten Merkmale, um einen skalaren Belohnungswert zu erzeugen. Diese Architektur arbeitet vollständig im VAE-latenten Raum und vermeidet die Dekodierung im Pixelraum.

C. Skalierung zur Inferenzzeit durch Rauschen-Ensembling

Um die Robustheit zu verbessern und die Empfindlichkeit gegenüber einem spezifischen Bewertungstimestep zu verringern, unterstützt DiNa-LRM Rauschen-Ensembling.

Anstatt eine saubere Probe bei einem einzigen festen Rauschniveau zu bewerten, evaluiert das Modell die Probe bei mehreren Timesteps $\{t_k\}$ .
Merkmale, die zu diesen verschiedenen Timesteps extrahiert wurden, werden verkettet und vom selben Q-Former-Kopf verarbeitet, um einen aggregierten Wert zu erzeugen. Dies dient als ein „diffusion-natives" Skalierungsmechanismus zur Laufzeit.

3. Hauptbeiträge

Diffusion-Native Präferenzformulierung: Die Arbeit erweitert das Thurstone-Präferenzmodell auf verrauschte Diffusionszustände durch die Einführung einer rauschkalibrierten Unsicherheit, die mit dem Diffusionsrauschniveau skaliert, und schließt so die Verteilungslücke zwischen Pretraining und Belohnungslernen.
Skalierung zur Inferenzzeit: Die Autoren schlagen eine Rauschen-Ensembling-Strategie vor, die Merkmale mehrerer Timesteps aggregiert und einen Mechanismus für die Skalierung zur Laufzeit bietet, der die globale Diffusionstrajektorie nutzt, anstatt einer einzelnen Punktschätzung.
Empirische Validierung: Die Arbeit zeigt, dass diffusion-native Belohnungen konkurrenzfähige Leistung mit starken VLM-basierten Bewertern erzielen können, während sie nativ im latenten Raum operieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DiNa-LRM über mehrere Benchmarks und Ausrichtungsszenarien hinweg:

Genauigkeit der Belohnungsmodellierung:
- DiNa-LRM übertrifft bestehende diffusionsbasierte Belohnungs-Baselines (z. B. LRM-SD1.5, LRM-SDXL) bei ImageReward, HPDv2, HPDv3 und GenAI Bench erheblich.
- Es erzielt im Durchschnitt eine Leistung, die mit State-of-the-Art-VLM-basierten Belohnungen (z. B. HPSv3, UnifiedReward) konkurrieren kann, wobei sich die Lücke bei bestimmten Datensätzen wie HPDv2 und HPDv3 deutlich verringert.
- Rauschen-Ensembling: Die Anwendung von Rauschen-Ensembling verbessert die durchschnittliche Genauigkeit weiter (z. B. von 71,49 % auf 72,48 % im Durchschnitt) und validiert den Nutzen der Aggregation von Evidenz über Rauschniveaus hinweg.
Präferenz-Ausrichtung (ReFL):
- In Nachtrainings-Ausrichtungsexperimenten mit ReFL (Reward Feedback Learning) an SD3.5-M zeigte DiNa-LRM eine schnellere Konvergenz bei Proxy-Werten und verbesserte „goldene" Metriken (zurückgehaltener PickScore) im Vergleich zu HPSv3.
- Effizienz: DiNa-LRM reduziert die Ressourcenkosten im Vergleich zu VLM-basierten Belohnungen erheblich. Es reduziert die Spitzen-VRAM-Auslastung um 51,4 %, die FLOPs für die Belohnungsberechnung um 71,1 % und die FLOPs in der Optimierungsphase um 46,4 %.
Generalisierung:
- Die Formulierung generalisiert über verschiedene Diffusionsrückgrate hinweg (SDXL, FLUX.1-Dev, Z-Image-Turbo) und übertrifft konsistent frühere diffusionsbasierte Baselines.
- Transferexperimente zeigen, dass ein auf SD3.5-M trainiertes Belohnungsmodell SD3.5-L innerhalb desselben latenten Raums effektiv ausrichten kann.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DiNa-LRM eine praktische und effiziente Alternative zu pixelraum-basierten VLM-Belohnungen für die Präferenz-Ausrichtung bietet. Ihre primäre Bedeutung liegt in:

Struktureller Vorteil: Durch die native Operation im latenten Raum eliminiert es die Inkongruenz zwischen latentem Raum und Pixelraum sowie den Rechenoverhead der Dekodierung, was es hochgradig kompatibel mit Belohnungs-Gradienten-Ausrichtungsmethoden macht.
Optimierungsfreundlich: Es liefert ein differenzierbares, effizientes Signal, das die Trainingsdynamik verbessert und den Ressourcenbedarf senkt, ohne die Qualität der Ausrichtung zu beeinträchtigen.
Skalierbarkeit: Der Rauschen-Ensembling-Mechanismus bietet einen neuartigen, diffusion-nativen Weg zur Skalierung der Leistung zur Inferenzzeit.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Belohnung an spezifische latente Räume gebunden ist (was die über-Rückgrat-Transferfähigkeit ohne Nachtraining einschränkt) und dass die Modellierung im latenten Raum bestimmte Artefakte auf Pixelebene möglicherweise unterbetont, was potenziell zu Belohnungshack-Verhalten (z. B. spurlose menschliche Einfügung oder stilistische Drift) während der Optimierung über lange Horizonte führen kann. Sie schlagen vor, dass zukünftige Arbeiten sich auf stärkere vereinheitlichte Rückgrate und die Integration einer leichten Regularisierung im Pixelraum konzentrieren sollten.