🤖 machine learning

MIRO: MultI-Reward cOnditioned pretraining improves T2I quality and efficiency

MIRO ist eine neuartige Vortrainierungsmethode, die Text-zu-Bild-Generatoren gleichzeitig auf mehrere Belohnungen konditioniert und dadurch die visuelle Qualität, die Trainingseffizienz und die Vielfalt verbessert, während sie gleichzeitig State-of-the-Art-Leistung auf Benchmarks für Komposition und Benutzerpräferenzen erzielt.

Ursprüngliche Autoren: Nicolas Dufour, Lucas Degeorge, Arijit Ghosh, Vicky Kalogeiton, David Picard

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nicolas Dufour, Lucas Degeorge, Arijit Ghosh, Vicky Kalogeiton, David Picard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter-Künstler im Malen.

Der alte Weg: Die „Filter und Bestrafen"-Methode
Traditionell nutzten Forscher beim Training dieser KI-Künstler einen dreistufigen Prozess, der einem harten Schulsystem ähnelte:

Das chaotische Klassenzimmer: Zuerst betrachtet der Roboter Millionen zufälliger Bilder aus dem Internet (einige sind Meisterwerke, andere Kritzeleien). Er lernt, wie Bilder aussehen, aber er weiß nicht wirklich, was Menschen mögen.
Der Zensor: Als nächstes werfen die Lehrer alle „schlechten" Bilder weg und behalten nur die „guten", um den Roboter erneut zu unterrichten. Das ist so, als würde man eine Bibliothek voller Bücher wegwerfen, weil ein paar Seiten zerrissen sind; man verliert den Kontext, wie die Geschichte aufgebaut wurde.
Die Bestrafung: Schließlich verwenden sie eine Technik namens Reinforcement Learning (Bestärkendes Lernen). Sie zeigen dem Roboter ein Bild, fragen einen Menschen: „Gefällt dir das?", und wenn die Antwort „nein" lautet, bestrafen sie den Roboter. Wenn der Roboter versucht, das System zu manipulieren, um ein „ja" zu erhalten, ohne tatsächlich ein gutes Bild zu erstellen, lernt er, den Test zu „tricksen" (ein Problem, das als Reward Hacking bekannt ist).

Was ist das Ergebnis? Der Roboter wird gut darin, eine bestimmte Art von „perfektem" Bild zu erstellen, wird aber langweilig, verliert seine Kreativität und braucht lange zum Lernen.

Der neue Weg: MIRO (Der „Multitasking-Mentor")
Die Studie stellt MIRO vor, was das Spiel komplett verändert. Anstatt die „schlechten" Daten herauszufiltern oder den Roboter später zu bestrafen, lehrt MIRO den Roboter, Qualitätswerte von Anfang an zu verstehen.

So funktioniert es, anhand einer einfachen Analogie:

1. Der „Qualitäts-Bericht"

Stellen Sie sich vor, jedes einzelne Bild, das der Roboter sieht, kommt mit einem Zeugnis. Dieses Zeugnis sagt nicht nur „Bestanden" oder „Durchgefallen". Es gibt spezifische Noten für sieben verschiedene Dinge:

Ist es hübsch? (Ästhetik)
Mögen es Menschen? (Nutzerpräferenz)
Entspricht das Bild der Beschreibung? (Text-Bild-Übereinstimmung)
Ist die Logik korrekt? (Visuelles Schlussfolgern)
Ist es wissenschaftlich korrekt? (Wissenschaftliche Richtigkeit)
Und ein paar weitere.

2. Lernen des gesamten Spektrums

Bei der alten Methode warfen die Lehrer die Noten „C" und „D" weg. Bei MIRO behält der Roboter jede einzelne Note.

Er lernt, wie eine „C" in der Ästhetik aussieht.
Er lernt, wie eine „A" in der wissenschaftlichen Richtigkeit aussieht.
Er lernt, dass ein Bild eine „B" in der Schönheit, aber eine „A" in der Textübereinstimmung sein kann.

Indem es das gesamte Spektrum der Qualität sieht, lernt der Roboter die tiefe Struktur, wie Bilder entstehen, anstatt nur die „perfekten" auswendig zu lernen. Es ist wie ein Schüler, der jede Prüfungsarbeit studiert, einschließlich der durchgefallenen, um genau zu verstehen, warum eine Antwort falsch war, anstatt nur die richtigen Antworten auswendig zu lernen.

3. Der „Lautstärkeregler" am Ende

Das ist der coolste Teil. Da der Roboter gelernt hat, spezifische Werte mit bestimmten visuellen Stilen zu verknüpfen, können Sie die Ausgabe wie an einem Mischpult oder einem Lautstärkeregler steuern.

Wenn Sie den Roboter bitten, ein Bild zu malen, sagen Sie nicht nur „Mach es gut". Sie können genau einstellen, was Sie wollen:

„Ich möchte, dass der Ästhetik-Regler auf 10 steht, aber der Wissenschaft-Regler bei 5 bleibt."
„Ich möchte, dass die Textübereinstimmung perfekt ist, auch wenn die Farben etwas seltsam sind."

Die Studie zeigt, dass der Roboter durch Drehen dieser Regler sofort zwischen der Erzeugung einer chaotischen, vielfältigen Bildmenge und einem hochglanzpolierten, spezifischen Bild wechseln kann, und das alles aus demselben einzelnen Modell. Sie müssen den Roboter nicht für jede neue Anfrage neu trainieren.

Warum das wichtig ist (laut der Studie)

Geschwindigkeit: Da der Roboter aus allen Daten lernt (nicht nur aus den „guten") und die Regeln der Qualität sofort versteht, lernt er 19-mal schneller als frühere Methoden.
Effizienz: Ein kleiner Roboter (0,36 Milliarden Parameter), der mit MIRO trainiert wurde, kann einen riesigen Roboter (12 Milliarden Parameter) wie FLUX-dev schlagen und dabei 370-mal weniger Rechenleistung verbrauchen. Es ist wie ein intelligenter, gut ausgebildeter Lehrling, der eine massive, langsame Fabrik übertrifft.
Kein Betrug: Da der Roboter sieben verschiedene Werte gleichzeitig ausbalanciert, kann er nicht einfach „betrügen", um nur bei einem einzigen Wert eine hohe Punktzahl zu erzielen (wie etwa ein Bild hübsch aussehen zu lassen, aber den Text zu ignorieren). Er muss einen Ausgleich finden, was zu besseren, ehrlicheren Ergebnissen führt.

Auf den Punkt gebracht:
MIRO hört auf, das KI-Training wie ein Spiel von „Bestanden oder Durchgefallen" zu behandeln. Stattdessen behandelt es es wie das Erlernen einer komplexen Sprache der Qualität. Indem es der KI beibringt, für jedes Bild ein mehrdimensionales Zeugnis zu lesen, schafft es einen intelligenteren, schnelleren und besser kontrollierbaren Künstler, der mit einem einfachen Regler genau auf Ihre Bedürfnisse abgestimmt werden kann.

Technische Zusammenfassung: MIRO (MultI-Reward cOnditioned pretraining)

1. Problemstellung

Aktuelle Text-zu-Bild (T2I)-Generierungspipelines folgen typischerweise einem dreistufigen Paradigma: (1) Vorabtraining auf verrauschten Webdaten zum Erlernen der Bildstruktur, (2) überwachtes Feinabstimmen auf kuratierten Teilmengen zur Eingrenzung der Verteilung und (3) Reinforcement Learning aus menschlichem Feedback (RLHF) zur Ausrichtung an Benutzerpräferenzen. Die Autoren argumentieren, dass dieses Paradigma unter drei kritischen Ineffizienzen leidet:

Verwerfen von Daten: Beim Feinabstimmen werden „qualitativ minderwertige" Daten verworfen, wodurch die strukturellen Signale verloren gehen, die in der vollständigen Datenverteilung vorhanden sind.
Mode Collapse & Verlust der Fidelity: RLHF optimiert für eine einzelne skalare Belohnung, was häufig zu einem Zusammenbruch der Verteilung (Verringerung der Vielfalt) führt und die semantische Fidelity beeinträchtigt.
Inflexibilität: Der Trade-off der Belohnung wird zum Trainingszeitpunkt festgelegt und verhindert, dass Benutzer Präferenzen während der Inferenz anpassen können.
Ineffizienz: Der mehrstufige Prozess erfordert erhebliche Rechenressourcen und Hyperparameter-Abstimmung für jede Stufe.

Die Arbeit geht davon aus, dass die Ausrichtung mehrerer Belohnungen bereits während der Vorabtrainingsphase selbst – und nicht als nachgelagerte Stufe – das vollständige Datenspektrum bewahren und eine kontrollierbare Generierung ermöglichen kann.

2. Methodik: MIRO

MIRO (MultI-Reward cOnditioned pretraining) ist ein Framework, das die Ausrichtung direkt in die Vorabtrainingsphase integriert, indem es das generative Modell auf einen Vektor von Belohnungswerten konditioniert.

2.1. Datenaugmentierung

Anstatt Daten zu filtern, annotiert MIRO jedes Trainingsbild $(x, c)$ mit einem Vektor von $N$ Belohnungswerten $s = [s_1, s_2, \dots, s_N]$ . Die Autoren nutzen sieben komplementäre Belohnungsmodelle:

Aesthetic Score: Visuelle Attraktivität.
HPSv2 & PickScore: Ausrichtung an menschlichen Präferenzen.
ImageReward: Befolgung von Anweisungen und Benutzerpräferenzen.
VQAScore: Visuelles Verständnis.
JINA CLIP Score: Text-Bild-Ausrichtung (optimiert für lange Bildunterschriften).
SciScore: Wissenschaftliche Korrektheit.

Rohwerte werden normalisiert und in $B$ diskrete Bins eingeteilt, um eine ausgewogene Repräsentation über alle Qualitätsstufen hinweg sicherzustellen und unterschiedliche Skalen verschiedener Belohnungsmodelle zu handhaben.

2.2. Multi-Reward Conditioned Flow Matching

Das zentrale Trainingsziel modifiziert die Standard-Formulierung von Flow Matching. Das Modell $v_\theta$ lernt, das Geschwindigkeitsfeld vorherzusagen, konditioniert auf die verrauschte Stichprobe $x_t$ , den Text-Prompt $c$ und den Belohnungsvektor $s$ :
$\mathcal{L} = \mathbb{E}_{(x,c,s) \sim \tilde{D}, \epsilon \sim \mathcal{N}(0,I), t \sim U(0,1)} \left[ \| v_\theta(x_t, c, \hat{s}) - (\epsilon - x) \|_2^2 \right]$
Durch das Training auf dem gesamten Spektrum der Belohnungsstufen lernt das Modell die bedingte Verteilung $p(x|c, s)$ , verbindet spezifische visuelle Merkmale mit spezifischen Belohnungsstufen und verwirft dabei keine Daten.

2.3. Belohnungsgesteuerte Inferenz

Während der Inferenz ermöglicht MIRO eine feinkörnige Steuerung durch Multi-Reward Classifier-Free Guidance (CFG). Der Guidance-Vektor wird berechnet, indem ein positiver Belohnungszielwert $\hat{s}^+$ (z. B. maximale Belohnungen) und ein negativer Zielwert $\hat{s}^-$ (z. B. minimale Belohnungen) kontrastiert werden:
$\hat{v}_\theta(x_t, c) = (1 + \omega)v_\theta(x_t, c, \hat{s}^+) - \omega v_\theta(x_t, c, \hat{s}^-)$
Theoretisch entspricht dies dem Abtasten einer belohnungsgekippten Verteilung $p_\omega(x|c) \propto p(x|c, s^+) \left( \frac{p(s^+|x, c)}{p(s^-|x, c)} \right)^\omega$ . Dies ermöglicht Benutzern:

Alle Belohnungen gleichzeitig zu maximieren.
Trade-offs zu navigieren (z. B. Priorisierung von Ästhetik vor Textausrichtung), indem spezifische Komponenten von $\hat{s}^+$ angepasst werden.
Reward Hacking zu vermeiden, indem mehrere Ziele ausgeglichen werden.

3. Hauptbeiträge

MIRO-Framework: Eine Vorabtrainingsmethode, die auf einem Vektor von Belohnungswerten konditioniert und damit die Notwendigkeit separater Filterung, Feinabstimmung oder nachgelagerter RLHF-Stufen eliminiert.
Effizienz & Leistung: Ein MIRO-Modell mit 0,36B Parametern erzielt State-of-the-Art-Ergebnisse auf GenEval und Benchmarks für Benutzerpräferenzen (PickScore, ImageReward, HPSv2) und übertrifft dabei das 12B-Parameter-Modell FLUX-dev, während es 370-mal weniger Trainings-Rechenleistung benötigt.
Konvergenzgeschwindigkeit: MIRO konvergiert bis zu 19-mal schneller als das Baseline-Vorabtraining bei ästhetischen und Präferenzmetriken.
Inferenz-Effizienz: Unter sample-basiertem Scaling erzielt MIRO vergleichbare oder überlegene Leistung gegenüber Baselines mit 3-mal weniger Inferenz-Rechenleistung.
Theoretische Garantien: Die Arbeit liefert Beweise, dass MIRO die vollständige Datenverteilung bewahrt (Erhaltung der Entropie) und den Mode Collapse sowie die in RL-basierter Ausrichtung (DDPO) inhärenten Gradientenkonflikte vermeidet.

4. Experimentelle Ergebnisse

GenEval (Zusammengesetzter Benchmark): MIRO erreicht eine Gesamtpunktzahl von 57 (vs. Baseline 52), mit signifikanten Gewinnen bei anspruchsvollen Aufgaben wie Color Attribution (+31%) und Two Objects (+24%). In Kombination mit synthetischen Bildunterschriften erreicht MIRO 68 und übertrifft FLUX-dev (67).
Benutzerpräferenz: MIRO führt bei den Benchmarks ImageReward, HPSv2 und PickScore.
Trainingsdynamik: Eine qualitative Analyse zeigt, dass MIRO bereits nach 50k Schritten erkennbare, hochwertige Bilder generiert, während Baselines für eine ähnliche Qualität 200k–400k Schritte benötigen.
Reward Hacking: Modelle mit einzelnen Belohnungen (z. B. nur auf Aesthetic Score optimiert) zeigen eine starke Verschlechterung bei semantischen Metriken. Die Multi-Reward-Konditionierung von MIRO verhindert dies und erhält eine ausgewogene Leistung über alle Metriken hinweg.
Scaling zur Laufzeit: MIRO zeigt eine überlegene Sample-Effizienz; für Metriken wie PickScore erreicht MIRO mit 4 Samples die Leistung der Baseline mit 128 Samples (ein Effizienzgewinn von 32×).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MIRO einen Paradigmenwechsel von der „Optimierung für eine Belohnung" hin zum „Lernen der Verteilung von Belohnungen" darstellt. Indem Belohnungswerte während des Vorabtrainings als steuerbare Eingaben behandelt werden, ermöglicht MIRO:

Entkopplung von Inhalt und Qualität: Das Modell lernt, auf jedem gewünschten Qualitätsniveau zu generieren, ohne neu trainiert werden zu müssen.
Eliminierung des Trade-offs „Filterung vs. Signal": Es nutzt das vollständige Datenspektrum und bewahrt die strukturellen Signale natürlicher Bilder, die in kuratierten Datensätzen oft verworfen werden.
Prinzipielle Steuerung: Benutzer können Trade-offs zwischen konkurrierenden Zielen (z. B. Ästhetik vs. semantische Ausrichtung) explizit zur Laufzeit justieren, eine Fähigkeit, die in Standard-RLHF-Pipelines nicht verfügbar ist.
Reduzierung der Rechenkosten: Die Methode erzielt State-of-the-Art-Ergebnisse mit deutlich kleineren Modellen und weniger Rechenleistung und adressiert damit die Effizienz- und Umweltbedenken beim Scaling von T2I-Modellen.

Die Autoren schließen, dass dieser Ansatz neue Forschungsrichtungen für belohnungsbewusstes Vorabtraining eröffnet und eine stabile, effiziente und kontrollierbare Alternative zu aktuellen mehrstufigen Ausrichtungs-Pipelines bietet.