Technische Samenvatting: MIRO (MultI-Reward cOnditioned pretraining)

1. Probleemstelling

Huidige text-naar-beeld (T2I) generatiepijplijnen volgen doorgaans een drie-trapsparadigma: (1) pretraining op ruisachtige webdata om beeldstructuur te leren, (2) supervised finetuning op gecureerde subsets om de distributie te verkleinen, en (3) Reinforcement Learning from Human Feedback (RLHF) om af te stemmen op gebruikersvoorkeuren. De auteurs betogen dat dit paradigma lijdt aan drie kritieke inefficiënties:

• Data-verwerp: Finetuning verwierpt "laagwaardige" data, waardoor de structurele signalen die aanwezig zijn in de volledige data-distributie verloren gaan.
• Mode Collapse & Fideliteitsverlies: RLHF optimaliseert voor een enkele scalair beloning, wat vaak leidt tot het instorten van de distributie (vermindering van diversiteit) en schade aan semantische fideliteit.
• Ondeelsbaarheid: De beloningtrade-off is vastgezet tijdens het trainen, wat gebruikers verhindert om voorkeuren aan te passen tijdens de inferentie.
• Inefficiëntie: Het meertrapsproces vereist aanzienlijke rekenkracht en hyperparameter-tuning voor elke fase.

Het artikel stelt dat het afstemmen van meerdere beloningen tijdens de pretrainingsfase zelf, in plaats van als een post-hoc-fase, het volledige dataspectrum kan behouden terwijl het gecontroleerde generatie mogelijk maakt.

2. Methodologie: MIRO

MIRO (MultI-Reward cOnditioned pretraining) is een raamwerk dat afstemming direct integreert in de pretrainingsfase door de generatieve model te conditioneren op een vector van beloningsscores.

2.1. Dataset Augmentatie

In plaats van data te filteren, annoteert MIRO elke trainingsafbeelding $(x, c)$ met een vector van $N$ beloningsscores $s = [s_1, s_2, \dots, s_N]$. De auteurs maken gebruik van zeven complementaire beloningsmodellen:

1. Aesthetic Score: Visuele aantrekkingskracht.
2. HPSv2 & PickScore: Afstemming op menselijke voorkeuren.
3. ImageReward: Opvolging van instructies en gebruikersvoorkeur.
4. VQAScore: Visueel begrip.
5. JINA CLIP Score: Tekst-beeld afstemming (geoptimaliseerd voor lange bijschriften).
6. SciScore: Wetenschappelijke correctheid.

Rauwe scores worden genormaliseerd en in $B$ discrete bins ingedeeld om een gebalanceerde representatie over kwaliteitsniveaus te garanderen en om te gaan met variërende schalen tussen verschillende beloningsmodellen.

2.2. Multi-Reward Conditioned Flow Matching

Het kerntrainingsdoel wijzigt de standaard Flow Matching-formulering. Het model $v_\theta$ leert om het snelheidsveld te voorspellen, geconditioneerd op het ruisachtige voorbeeld $x_t$, de tekstprompt $c$, en de beloningsvector $s$:
$$\mathcal{L} = \mathbb{E}_{(x,c,s) \sim \tilde{D}, \epsilon \sim \mathcal{N}(0,I), t \sim U(0,1)} \left[ \| v_\theta(x_t, c, \hat{s}) - (\epsilon - x) \|_2^2 \right]$$
Door te trainen op het volledige spectrum van beloningsniveaus, leert het model de conditionele distributie $p(x|c, s)$, waarbij specifieke visuele kenmerken worden geassocieerd met specifieke beloningsniveaus zonder data te verwerpen.

2.3. Beloningsgeleide Inferentie

Tijdens inferentie stelt MIRO fijne controle mogelijk via Multi-Reward Classifier-Free Guidance (CFG). De guidance-vector wordt berekend door een positieve beloningsdoel $\hat{s}^+$ (bijv. maximale beloningen) en een negatieve doel $\hat{s}^-$ (bijv. minimale beloningen) te contrasteren:
$$\hat{v}_\theta(x_t, c) = (1 + \omega)v_\theta(x_t, c, \hat{s}^+) - \omega v_\theta(x_t, c, \hat{s}^-)$$
Theoretisch komt dit overeen met het stalen uit een belonings-gekipte distributie $p_\omega(x|c) \propto p(x|c, s^+) \left( \frac{p(s^+|x, c)}{p(s^-|x, c)} \right)^\omega$. Dit stelt gebruikers in staat om:

• Alle beloningen gelijktijdig te maximaliseren.
• Trade-offs te navigeren (bijv. prioriteit geven aan esthetiek boven tekstafstemming) door specifieke componenten van $\hat{s}^+$ aan te passen.
• Belonings-hacking te voorkomen door meerdere doelen in balans te houden.

3. Belangrijkste Bijdragen

1. MIRO Framework: Een pretrainingsmethode die conditioneert op een vector van beloningsscores, waardoor de behoefte aan aparte filtering, finetuning of post-hoc RLHF-fases wordt geëlimineerd.
2. Efficiëntie & Prestaties: Een MIRO-model met 0,36B parameters bereikt state-of-the-art resultaten op GenEval en gebruikersvoorkeur-benchmarks (PickScore, ImageReward, HPSv2), en overtreft het FLUX-dev-model met 12B parameters terwijl het 370× minder trainingsrekenkracht vereist.
3. Convergentiesnelheid: MIRO convergeert tot 19× sneller dan baseline pretraining op esthetische en voorkeursmetrieken.
4. Inferentie-efficiëntie: Onder sample-based scaling bereikt MIRO vergelijkbare of superieure prestaties dan baselines met 3× minder inferentie-rekenkracht.
5. Theoretische Waarborgen: Het artikel levert bewijzen dat MIRO de volledige data-distributie behoudt (entropiebehoud) en het instorten van modes en gradiëntconflicten inherent aan RL-gebaseerde afstemming (DDPO) vermijdt.

4. Experimentele Resultaten

• GenEval (Compositional Benchmark): MIRO bereikt een totaalscore van 57 (tegenover baseline 52), met aanzienlijke winsten in uitdagende taken zoals Color Attribution (+31%) en Two Objects (+24%). Wanneer gecombineerd met synthetische bijschriften, bereikt MIRO 68, en presteert het beter dan FLUX-dev (67).
• Gebruikersvoorkeur: MIRO staat bovenaan de ImageReward, HPSv2 en PickScore benchmarks.
• Trainingsdynamiek: Kwalitatieve analyse toont aan dat MIRO herkenbare, hoogwaardige afbeeldingen genereert tegen 50k stappen, terwijl baselines 200k–400k stappen vereisen voor vergelijkbare kwaliteit.
• Belonings-hacking: Modellen met één beloning (bijv. geoptimaliseerd alleen voor Aesthetic Score) tonen ernstige degradatie in semantische metrieken. MIRO's multi-reward conditioning voorkomt dit en behoudt gebalanceerde prestaties over alle metrieken.
• Test-Time Scaling: MIRO demonstreert superieure sample-efficiëntie; voor metrieken zoals PickScore, komt MIRO met 4 samples overeen met de prestaties van de baseline met 128 samples (een efficiëntiewinst van 32×).

5. Betekenis en Claims

Het artikel stelt dat MIRO een paradigma-shift vertegenwoordigt van "optimaliseren voor een beloning" naar "het leren van de distributie van beloningen". Door beloningsscores te behandelen als controleerbare inputs tijdens pretraining, doet MIRO het volgende:

• Ontkoppelt inhoud van kwaliteit: Het model leert om te genereren op elk gewenst kwaliteitsniveau zonder hertraining.
• Elimineert de "Filtering vs. Signaal" trade-off: Het maakt gebruik van het volledige dataspectrum, waardoor de structurele signalen van natuurlijke afbeeldingen worden behouden die vaak worden verworpen in gecureerde datasets.
• Biedt Principiële Controle: Gebruikers kunnen expliciet trade-offs tussen concurrerende doelen (bijv. esthetiek versus semantische afstemming) instellen tijdens de inferentie, een mogelijkheid die niet beschikbaar is in standaard RLHF-pijplijnen.
• Vermindert Rekenkosten: De methode bereikt state-of-the-art resultaten met aanzienlijk kleinere modellen en minder rekenkracht, waardoor de efficiëntie- en milieuproblemen van het schalen van T2I-modellen worden aangepakt.

De auteurs concluderen dat deze aanpak nieuwe onderzoeksrichtingen opent voor beloningsbewuste pretraining, en een stabiel, efficiënt en controleerbaar alternatief biedt voor huidige meertraps-afstemmingspijplijnen.