💻 computer science

OP-GRPO: Efficient Off-Policy GRPO for Flow-Matching Models

Dit paper introduceert OP-GRPO, het eerste off-policy GRPO-framework voor flow-matching-modellen dat via actieve selectie, sequentie-level importance sampling en het bijsnijden van trajecten de trainingsstappen met 65,8% reduceert terwijl de generatiekwaliteit behouden blijft.

Oorspronkelijke auteurs: Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

OP-GRPO: De Slimme Leermeester voor Kunstmatige Creativiteit

Stel je voor dat je een kunstenaar traint om prachtige afbeeldingen of video's te maken. In de wereld van kunstmatige intelligentie (AI) gebruiken we hiervoor speciale modellen die werken met "flow-matching". Dit is een ingewikkelde manier om te zeggen: de AI leert hoe ze van een wazig, statisch beeld (zoals ruis) naar een scherp, duidelijk plaatje kan "vloeien".

Tot nu toe was de beste manier om deze kunstenaars nog beter te maken, een methode genaamd GRPO. Maar deze methode had een groot nadeel: het was extreem inefficiënt. Het was alsof je een student elke dag een nieuwe toets gaf, de resultaten corrigeerde, en daarna alle antwoorden in de prullenbak gooide, ook de goede. De volgende dag begon je weer helemaal opnieuw, alsof de student niets had geleerd. Dit kostte enorme hoeveelheden tijd en rekenkracht.

De auteurs van dit paper hebben een oplossing bedacht: OP-GRPO. Laten we uitleggen hoe dit werkt met een paar creatieve vergelijkingen.

1. De "Geheime Bibliotheek" (De Replay Buffer)

In de oude methode (Flow-GRPO) werd elke creatieve poging van de AI na één keer gebruiken weggegooid.
OP-GRPO introduceert een replay buffer. Stel je dit voor als een slimme bibliotheek of een "hoogtepunten-reel" van een sporter.

Wanneer de AI iets moois maakt, wordt dat niet weggegooid.
In plaats daarvan wordt het zorgvuldig geselecteerd en opgeslagen in deze bibliotheek.
Bij de volgende trainingssessie haalt de AI niet alleen nieuwe, verse ideeën op, maar leest ze ook terug uit deze bibliotheek.
Het resultaat: De AI herhaalt niet dezelfde fouten en bouwt voort op haar beste momenten, net zoals een student die haar oude, goed beantwoorde examens bestudeert in plaats van ze te vergeten.

2. De "Vertaalboer" (Importance Sampling)

Er is een probleem als je oude antwoorden gebruikt: de AI is in de tussentijd veranderd. Een antwoord dat gisteren perfect was, is misschien vandaag alweer een beetje "verouderd" voor de huidige versie van de AI. Als je dit niet corrigeert, raakt de AI in de war (dit noemen ze distributional shift).

De auteurs hebben een slimme vertaalboer bedacht (sequence-level importance sampling).

Stel je voor dat je een gesprek voert met iemand die een andere taal spreekt. Als je een oude zin van die persoon gebruikt, moet je die eerst even "vertalen" naar de huidige context van het gesprek, zodat het nog zinvol blijft.
Deze vertaalboer zorgt ervoor dat de oude, opgeslagen voorbeelden correct worden gewaardeerd.
Het resultaat: De AI kan veilig leren van het verleden zonder dat ze in de war raakt of onnodig veel goede voorbeelden weggooit (van 40% weggegooid naar slechts 12%).

3. De "Laatste Hap" (Traject Truncatie)

Bij het maken van een afbeelding doorloopt de AI een proces van "ruis" naar "helderheid".

De eerste stappen (van ruig naar vaag) zijn belangrijk en stabiel.
Maar de laatste stappen (van vaag naar perfect scherp) zijn heel gevoelig. Op dat moment is de wiskunde zo ingewikkeld dat kleine foutjes enorme problemen veroorzaken. Het is alsof je probeert een heel dunne draad te snijden met een zware hamer; het werkt niet goed.

De auteurs zeggen: "Laten we die laatste, lastige stappen van de oude voorbeelden gewoon overslaan."

Ze gebruiken de oude voorbeelden tot een bepaald punt, en dan laat de AI de laatste kleine details zelf opnieuw bedenken met haar huidige kennis.
Het resultaat: Dit voorkomt dat de training instabiel wordt door die gevoelige laatste stappen, terwijl de kwaliteit van het eindbeeld nauwelijks verandert.

Wat levert dit op?

Het resultaat is verbluffend. Met OP-GRPO heeft de AI:

Snelheid: Ze heeft slechts 34% van de tijd nodig die de oude methode nodig had om even goed te worden. Het is alsof je een marathonloper hebt die in de helft van de tijd de finish haalt.
Kwaliteit: De afbeeldingen en video's zijn net zo mooi, of zelfs beter, dan met de oude methode.
Toepasbaarheid: Het werkt zowel voor foto's (zoals het maken van een stoel naast een zebra) als voor video's (zoals tekst die in een video beweegt).

Kortom:
OP-GRPO is als het geven van een slimme studiegids aan een kunstenaar. In plaats van elke dag opnieuw te beginnen, mag ze kijken naar haar beste oude werk, krijgt ze uitleg over hoe ze dat werk moet interpreteren in de huidige context, en wordt ze beschermd tegen de lastigste, meest gevoelige details. Hierdoor leert ze sneller, stabieler en beter dan ooit tevoren.

Probleemstelling

Flow-matching-modellen (zoals Stable Diffusion 3.5 en Wan) hebben de staat van de kunst voor generatieve AI aanzienlijk verbeterd. Om deze modellen beter af te stemmen op menselijke voorkeuren, wordt vaak Group Relative Policy Optimization (GRPO) gebruikt. Hoewel GRPO effectief is, lijdt het onder twee fundamentele beperkingen die de schaalbaarheid en efficiëntie belemmeren:

Lage steekproefficiëntie (On-Policy Beperking): GRPO volgt een strikt on-policy paradigma. Dit betekent dat bij elke iteratie nieuwe trajecten (generaties) worden gegenereerd onder het huidige beleid en deze direct worden verworpen na de training. Zelfs hoogwaardige steekproeven kunnen niet worden hergebruikt, wat leidt tot enorme rekenkosten (duizenden GPU-uren) voor convergentie.
Instabiliteit bij moeilijke taken: Wanneer taken te moeilijk zijn, produceert het model zelden succesvolle trajecten, waardoor beloningen naar nul degenereren. Hierdoor vallen de voordelen (advantages) uiteen en verdwijnen de gradiëntsignalen, wat het leren stopt.

Een natuurlijke oplossing zou het gebruik van off-policy leren zijn (hergebruik van historische data), maar dit is niet triviaal toe te passen op flow-matching-modellen vanwege:

Verschuiwing in verdeling (Distributional Shift): Het hergebruiken van data van oudere beleidsmodellen verstoort de geknipte doelstelling van GRPO en kan de stabiliteit ondermijnen.
Numerieke instabiliteit: In de latere stappen van het ontdoofingsproces (waar de ruis laag is) worden de verdelingen bijna deterministisch. Dit leidt tot slecht geconditioneerde importance weights, wat de training instabiel maakt.

Methodologie: OP-GRPO

De auteurs stellen OP-GRPO voor, het eerste off-policy GRPO-framework specifiek ontworpen voor flow-matching-modellen. De methode bestaat uit drie kerncomponenten:

1. Kwaliteitsbewaarde Replay Buffer

In plaats van alle data te verwerpen, onderhoudt OP-GRPO een replay buffer ( $B_{off}$ ) die hoogwaardige trajecten opslaat.

Selectie: Tijdens de rollout worden de trajecten met de hoogste beloning geselecteerd voor opslag.
Vernieuwing: De buffer gebruikt een strategie op basis van beloning met stapsgewijze verval (decay). Oudere steekproeven krijgen een lagere effectieve beloning, waardoor ze makkelijker worden vervangen door nieuwere, hogere kwaliteitsteekproeven.
Hybride Rollout: Tijdens het trainen wordt een deel van de on-policy steekproeven vervangen door steekproeven uit de buffer, waardoor een mix van nieuwe en hergebruikte data ontstaat.

2. Sequence-Level Importance Sampling Correctie

Om de verschuiving in verdeling tussen het oude beleid ( $\pi_{old}$ ) en het buffer-beleid ( $\pi_{off}$ ) te corrigeren zonder de stabiliteit van GRPO te schaden, wordt een unieke correctiemethode voorgesteld:

Het probleem: Een naïeve toepassing van importance sampling per stap zou de clipping-mechanisme van GRPO verstoren, waardoor de ratio's tussen het huidige beleid en het referentiebeleid ( $\pi_{old}$ ) verloren gaan. Dit zou leiden tot dat meer dan 40% van de steekproeven wordt afgeknipt (clipped).
De oplossing: OP-GRPO behoudt de oorspronkelijke per-stap ratio tussen het huidige beleid en $\pi_{old}$ (voor de clipping). Tegelijkertijd wordt een sequence-level correctieterm toegevoegd aan de objectieve functie:
$\frac{P_{\pi_{old}}(\tau)}{P_{\pi_{off}}(\tau)}$
Deze term compenseert voor de totale verdelingsverschillen over het hele traject. Dit zorgt ervoor dat de clipping alleen de updategrootte ten opzichte van $\pi_{old}$ meet, terwijl de correctie de onbevooroordeeldheid van de update garandeert. Hierdoor daalt het percentage afgeknepen off-policy steekproeven van >40% naar slechts 11,8%.

3. Traject-Truncatie voor Numerieke Stabiliteit

De auteurs identificeren dat de numerieke instabiliteit voornamelijk optreedt in de late ontdoofingsstappen (laagruisregime), waar de overgangsverdeling bijna deterministisch wordt en de log-kansen extreem worden.

Strategie: Off-policy trajecten worden slechts tot een bepaald truncatiepunt ( $t_{off}$ ) gebruikt. De resterende stappen (van $t_{off}$ tot 0) worden opnieuw gegenereerd door het huidige beleid.
Effect: Dit elimineert de slecht geconditioneerde termen in de lage-ruisregio, stabiliseert de importance weights en heeft een verwaarloosbaar effect op de uiteindelijke visuele kwaliteit, aangezien deze late stappen weinig bijdragen aan de perceptuele kwaliteit.

Belangrijkste Resultaten

De methode is getest op Stable Diffusion 3.5-Medium (afbeeldingen) en Wan2.1-1.4B (video) voor drie taken: compositie-gegenereerde afbeeldingen, visuele tekstweergave en afstemming op menselijke voorkeuren.

Trainings-efficiëntie: OP-GRPO bereikt de uiteindelijke prestaties van Flow-GRPO (de on-policy baseline) met slechts 34,2% van de benodigde trainingsstappen (voor afbeeldingen) en 30,1% voor video.
Prestaties: OP-GRPO behaalt gelijke of superieure resultaten op alle benchmarks vergeleken met Flow-GRPO, zowel op specifieke taken (zoals OCR-accuraatheid en GenEval) als op algemene kwaliteitsmetrieken (zoals PickScore en ImageReward).
Stabiliteit: De ablatiestudies tonen aan dat zonder de sequence-correctie of zonder truncatie de training instabiel wordt en divergeert. De volledige methode zorgt voor stabiele en snelle convergentie.
Generalisatie: Modellen getraind met OP-GRPO tonen betere generalisatie op ongezette benchmarks (zoals T2I-CompBench++), wat aangeeft dat de methode niet overpast op de specifieke beloningssignalen.

Significantie en Conclusie

OP-GRPO is een doorbraak in het trainen van flow-matching modellen met versterking leren. Het lost het fundamentele probleem van lage steekproefficiëntie op door een zorgvuldig ontworpen off-policy framework te introduceren dat de stabiliteit van GRPO behoudt.

De belangrijkste bijdragen zijn:

Het eerste succesvolle toepassen van off-policy GRPO op flow-matching-modellen.
Een innovatieve correctiemethode die verdelingsverschillen corrigeert zonder de GRPO-clipping te verstoren.
Het inzicht dat late ontdoofingsstappen numeriek instabiel zijn voor off-policy data, en de oplossing hiervoor via truncatie.

Dit onderzoek opent de deur voor veel efficiëntere en schaalbare training van generatieve AI-modellen, wat leidt tot aanzienlijke besparingen in rekentijd en energie, terwijl de kwaliteit van de gegenereerde inhoud (afbeeldingen en video) wordt behouden of zelfs verbeterd.