💬 NLP

SRUM: Fine-Grained Self-Rewarding for Unified Multimodal Models

SRUM führt ein selbstbelohnendes Post-Training-Framework für vereinheitlichte multimodale Modelle ein, das das eigene Verständnismodul des Modells als internen Evaluator mit einem global-lokalen dualen Belohnungssystem nutzt, um die visuelle Generierungsfidelität signifikant zu steigern, ohne externe Belohnungsmodelle oder menschlich annotierte Daten zu benötigen.

Ursprüngliche Autoren: Weiyang Jin, Yuwei Niu, Jiaqi Liao, Chengqi Duan, Aoxue Li, Shenghua Gao, Xihui Liu

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Weiyang Jin, Yuwei Niu, Jiaqi Liao, Chengqi Duan, Aoxue Li, Shenghua Gao, Xihui Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler, der gleichzeitig auch ein sehr strenger Kunstkritiker ist. Dieser Künstler lebt in einem einzigen Computerprogramm namens Unified Multimodal Model (UMM).

Hier ist das Problem, das die Arbeit identifiziert:
Dieser Künstler ist fantastisch darin, Bilder zu kritisieren. Wenn man ihm eine Zeichnung zeigt und fragt: „Entspricht dies der Beschreibung ‚ein roter Apfel auf einem blauen Tisch‘?“, kann er einen Fehler sofort erkennen. Wenn man ihn jedoch bittet, genau dieses Bild zu zeichnen, macht er oft Fehler. Er zeichnet vielleicht einen grünen Apfel oder platziert den Tisch an der falschen Stelle. Sein „Kritiker-Gehirn“ ist klüger als seine „Künstler-Hand“.

SRUM (Self-Rewarding for Unified Multimodal Models) ist eine neue Trainingsmethode, die diese Lücke schließt. Sie lehrt den Künstler, sein eigenes „Kritiker-Gehirn“ zu nutzen, um seine eigene „Künstler-Hand“ zu coachen, ohne einen menschlichen Lehrer oder ein separates Computerprogramm zu benötigen, das seine Arbeit bewertet.

So funktioniert SRUM, unterteilt in einfache Schritte:

1. Die „Versuchen, Beurteilen und Korrigieren“-Schleife

Anstatt darauf zu warten, dass ein Mensch die Zeichnungen bewertet, bewertet das Modell sich selbst:

Schritt 1 (Der Künstler): Das Modell versucht, ein Bild basierend auf einem Prompt (z. B. „ein roter Apfel auf einem blauen Tisch“) zu zeichnen.
Schritt 2 (Der Kritiker): Das eigene „Verständnis“-Modul des Modells betrachtet die gerade erstellte Zeichnung. Es fungt als interner Richter. Es sagt nicht nur „Gut“ oder „Schlecht“. Es vergibt eine Punktzahl und erklärt, warum.
Schritt 3 (Die Lektion): Das Modell nutzt diese selbst generierte Punktzahl, um seine zukünftigen Zeichnungen anzupassen. Wenn der Kritiker sagt: „Der Apfel ist zu grün“, lernt der Künstler, den Apfel beim nächsten Mal röter zu machen.

2. Die „Globale und Lokale“ Bewertungsskala

Das Papier argumentiert, dass ein einfaches „Gut gemacht“ nicht ausreicht. Um wirklich gut zu werden, benötigt der Künstler zwei spezifische Arten von Feedback, die SRUM bereitstellt:

Die globale Belohnung (Das große Ganze): Dies ist wie ein Galerist, der durch den Raum geht. Er prüft, ob die gesamte Szene Sinn ergibt. Ist der Tisch tatsächlich unter dem Apfel? Ist der Himmel über dem Boden? Dies stellt sicher, dass das allgemeine Layout korrekt ist.
Die lokale Belohnung (Die feinen Details): Dies ist wie eine Lupe. Sie zoomt auf bestimmte Objekte. Ist der Apfel tatsächlich rot? Ist die Textur des Holzes am Tisch realistisch? Dies korrigiert kleine, spezifische Fehler, die das große Ganze vielleicht übersieht.

Durch die Kombination dieser beiden erhält das Modell ein vollständiges Zeugnis: „Der Raum sieht richtig aus (global), aber der Apfel muss röter sein (lokal).“

3. Warum das eine große Sache ist

Normalerweise benötigt man, um eine KI besser zeichnen zu lassen:

Tausende von menschlichen Experten, die Bilder betrachten und sagen: „Das ist gut, das ist schlecht.“
Oder ein separates, massives KI-Programm, das als Richter fungiert.

SRUM macht beides überflüssig. Es nutzt das eigene interne Wissen des Modells, um sich selbst zu bewerten. Es ist wie ein Schüler, der einen Übungsaufsatz schreibt, dann seinen eigenen Aufsatz mit demselben Lehrbuch bewertet, das er zum Lernen benutzt hat, und dann den Aufsatz umschreibt, um eine bessere Note zu bekommen.

Die Ergebnisse

Das Papier testete dies bei komplexen Aufgaben, wie dem Zeichnen einer spezifischen Anzahl von Objekten oder der Anordnung von Gegenständen im 3D-Raum (z. B. „eine rote Banane auf einem gelben Apfel“).

Vor SRUM war das Modell gut im Verstehen, aber schlecht im Zeichnen dieser komplexen Szenen.
Nach SRUM sprang die Zeichenfähigkeit des Modells signifikant an. Es lernte, sein starkes Verständnis in eine bessere Generierung zu übersetzen.

Kurz gesagt: SRUM ist ein System zur Selbstverbesserung, das es einem multimodalen Modell ermöglicht, sein eigenes „Gehirn“ zu nutzen, um seinen eigenen „Händen“ beizubringen, besser zu zeichnen, indem es ein duales System nutzt, das sowohl das große Ganze als auch die winzigen Details überprüft.

Technisches Resümee: SRUM – Feingranulares Self-Rewarding für vereinheitlichte multimodale Modelle

1. Problemstellung

Vereinheitlichte multimodale Modelle (Unified Multimodal Models, UMMs) haben sich durch die Integration von visuellem-sprachlichem Verständnis und Generierung innerhalb eines einzigen Frameworks signifikant weiterentwickelt. Dennoch besteht ein grundlegendes Paradoxon fort: Die Verständnisleistung aktueller UMMs übertrifft oft ihre Generierungsfähigkeit. Ein Modell kann korrekt identifizieren, dass ein generiertes Bild nicht mit einem komplexen Prompt übereinstimmt (was ein starkes Verständnis demonstriert), aber dennoch nicht in der Lage sein, ein originalgetreues Bild aus demselben Prompt zu generieren.

Diese Lücke deutet darauf hin, dass der „Lehrer“ (Verständnismodul) fähiger ist als der „Schüler“ (Generierungsmodul). Bestehende Post-Training-Methoden verlassen sich oft auf externe Belohnungsmodelle (Reward Models), menschliche Präferenzlabels oder regelbasierte Belohnungen, welche ressourcenintensiv sind, kuratierte gepaarte Daten erfordern oder keine Universalität über verschiedene Aufgaben hinweg aufweisen. Das Paper postuliert, dass die Lösung in der eigenen Architektur des Modells liegt: die Nutzung des internen Verständnismoduls, um das Generierungsmodul ohne externe Aufsicht zu leiten und zu verbessern.

2. Methodik: SRUM-Framework

Die Autoren schlagen SRUM (Self-Rewarding for Unified Multimodal Models) vor, ein Post-Training-Framework, das eine synergetische Feedbackschleife schafft, in der das Modell seine eigenen Generationen bewertet und belohnt. Der Prozess besteht aus drei Hauptphasen:

A. Selbstbelohnende Datengenerierung (Self-Rewarding Data Generation)

Das UMM nutzt seinen „Think“-Modus (Chain-of-Thought), um Kandidatenbilder basierend auf Text-Prompts zu generieren. Um eine feingranulare Evaluierung zu ermöglichen, generiert das Modell (unterstützt durch externe Segmentierungswerkzeuge wie SAM für einige Architekturen oder natives Grounding für andere) Bounding Boxes für relevante Regionen. Entscheidend ist, dass die externe Komponente lediglich als Lokalisierungshilfe dient; die semantische Bewertung erfolgt vollständig durch das eigene Verständnismodul des UMM.

B. Global-Lokales duales Belohnungssystem (Global-Local Dual Reward System)

Um die Unzulänglichkeit ganzheitlicher Scores für detaillierte Verbesserungen zu adressieren, setzt SRUM ein zweistufiges Belohnungsmechanismus ein:

Lokale Belohnung (Local Reward): Bewertet die Objekttreue, Attributbindung und visuelle Artefakte auf einer strengen Skala von $[-1.0, 1.0]$ . Sie enthält ein obligatorisches „Reason“-Feld, um interpretierbare Begründungen (ähnlich wie Chain-of-Thought) zu provozieren, was die Zuverlässigkeit erhöht. Eine nichtlineare Strafe wird auf schwere Verzerrungen angewendet, um die menschliche visuelle Sensibilität widerzuspiegeln.
Globale Belohnung (Global Reward): Bewertet die allgemeine Komposition, räumliche Ausrichtung und Szenenplausibilität. Für Prompts, denen spezifische kompositorische Anweisungen fehlen, wird ein neutraler Score-Bereich angewendet, um Fairness zu gewährleisten.

Diese Scores werden in eine dichte Reward-Map ( $R$ ) für lokale Regionen und einen globalen Skalar ( $\alpha$ ) für das gesamte Bild umgewelt. Das Verständnismodul bleibt während dieser Phase eingefroren und fungiert ausschließlich als Evaluator.

C. Belohnungsgewichtetes Training (Reward-Weighted Training)

Das zentrale Trainingsziel überträgt die Erkenntnisse des Verständnismoduls auf die Parameter des Generierungsmoduls. Die Verlustfunktion ( $\mathcal{L}_{Total}$ ) kombiniert zwei Terme:

Belohnungsgewichteter Verlust ( $\mathcal{L}_r$ ): Dieser Term moduliert den Standard-Velocity-Prediction-Loss in Flow-basierten Frameworks. Er gewichtet den quadratischen Fehler zwischen der vorhergesagten Geschwindigkeit und der Zielgeschwindigkeit durch das Produkt aus globaler und lokaler Belohnung ( $\alpha \cdot R$ $α \cdot R$ ).
- Wenn das Feedback positiv ist ( $\alpha \cdot R > 0$ ), wird das Modell dazu ermutigt, die aktuelle Generierung beizubehalten.
- Wenn das Feedback negativ ist ( $\alpha \cdot R < 0$ ), wird das Modell bestraft, um Veränderungen zu fördern.
Referenzbeschränkung (Reference Constraint): $\mathcal{L}_{ref}$ : Ein Regularisierer, der die quadratische $\ell_2$ -Distanz zur Zielgeschwindigkeit des artefaktenfreien Latents bestraft. Dies verhindert „Reward Hacking“ und gewährleistet die Trainingsstabilität, ein Konzept, das mit Methoden wie Direct Preference Optimization (DPO) übereinstimmt.

Das finale Ziel ist:
$\mathcal{L}_{Total} = \mathcal{L}_r + \lambda_c \cdot \mathcal{L}_{ref}$
wobei $\lambda_c$ ein Hyperparameter ist (in Experimenten auf 0,5 optimiert).

3. Zentrale Beiträge

Erstes umfassendes Self-Rewarding-Framework für UMMs: Das Paper führt das erste Post-Training-Framework ein, das speziell darauf ausgelegt ist, die Verständnis-Generierungs-Lücke in UMMs unter Nutzung ihrer internen Fähigkeiten zu schließen, wodurch die Abhängigkeit von externen Belohnungsmodellen oder menschlichen Labels entfällt.
Global-Lokales duales Belohnungsdesign: Die Autoren schlagen eine neuartige Belohnungsstruktur vor, die eine hochgradige kompositorische Bewertung mit feingranularer, objektbezogener Rückmeldung kombiniert. Diese mehrskalige Anleitung erweist sich als entscheidend für komplexe Generierungsaufgaben.
Demonstrierte Generalisierung: Das Framework wird über verschiedene UMM-Architekturen (Bagel, BLIP3o) validiert und zeigt eine starke Übertragbarkeit sowohl in In-Domain- (kompositorisch) als auch in Out-of-Domain- (reasoning-basiert) Settings.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SRUM auf den Benchmarks T2I-CompBench und T2I-ReasonBench unter Verwendung von QwenVL-2.5 als primärem Evaluator.

Leistungssteigerungen:
- Auf T2I-CompBench verbesserte SRUM den Gesamtwert der Bagel (CoT)-Baseline von 82,18 auf 88,37.
- Auf T2I-ReasonBench stieg der Wert von 43,82 auf 46,75.
- Signifikante Verbesserungen wurden bei räumlichem Denken, 3D-Räumlichkeiten und komplexen kompositorischen Aufgaben beobachtet.
Ablationsstudien: Das Entfernen entweder der lokalen oder der globalen Belohnung führte zu signifikanten Leistungseinbußen, was die Notwendigkeit beider Skalen bestätigt. Das Entfernen der Referenzbeschränkung verschlechterte ebenfalls die Leistung, was deren Rolle für die Stabilität unterstreicht.
Vergleich mit externen Belohnungen: SRUM übertraf Methoden, die externe VLMs (z. B. QwenVL-7B/32B) als Belohnungsmodelle nutzen. Der interne Scorer zeigte eine bessere Kalibrierung und Trennung zwischen akzeptierten und abgelehnten Proben, was darauf hindeutet, dass ein intrinsisches mehrskaliges Design effektiver ist als die bloße Skalierung externer Parameter.
Effizienz: Der Self-Rewarding-Prozess ist recheneffizient und benötigt weniger als 4 GPU-Stunden, um 6.000 Kandidatenbilder auf einer NVIDIA H100 zu bewerten, mit vernachlässigbarem Overhead im Vergleich zum Standard-Supervised Fine-Tuning (SFT).
Erhalt des Verständnisses: Die Methode beeinträchtigte die Kernverständnisfähigkeiten des Modells auf Benchmarks wie MME, MM-Vet und MMMU nicht, und in einigen Fällen (MMVP) verbesserte sich die Leistung sogar leicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SRUM ein mächtiges Paradigma etabliert, um UMMs zu einer Selbstverbesserung zu befähigen. Indem das Verständnismodul als interner Lehrer behandelt wird, gelingt es dem Framework erfolgreich, die Lücke zwischen Komprehension und Generierung zu schließen.

Die Autoren betonen, dass dieser Ansatz:

Die Verbesserung von externen Daten entkoppelt: Es entfernt die Abhängigkeit von mühsamer menschlicher Labeling-Arbeit oder externen Belohnungsmodellen.
Mehrskalige Verfeinerung ermöglicht: Das duale Belohnungssystem adressiert die spezifischen Fehlermodi traditioneller T2I-Modelle hinsichtlich räumlicher Beziehungen und Attributbindung.
Einen skalierbaren Pfad bietet: Die Methode ist auf verschiedene UMM-Designs anwendbar und zeigt eine robuste Generalisierung, was auf einen lebensfähigen Weg für zukünftige Forschung zu selbstkorrigierenden multimodalen Systemen hindeutet.

Die Arbeit kommt zu dem Schluss, dass SRUM zwar eine vorläufige Untersuchung ist, aber das Prinzip des Self-Rewarding als vielversprechende Richtung für die synergetische Entwicklung von Verständnis und Generierung innerhalb eines einzelnen Modells validiert. Zukünftige Arbeiten könnten die Prompting-Strategien für das Scoring-Modul verfeinern und die Methode auf größere Datensätze skalieren.