🤖 machine learning

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

Dit artikel introduceert multi-axis max@K, een op groepen gebaseerde reinforcement learning-doelstelling die de diversiteit en demografische eerlijkheid van tekst-naar-afbeelding-generatie verbetert door krediet toe te kennen aan monsters alleen wanneer zij uniek de dekking van specifieke semantische modi binnen een batch verbeteren, waardoor hogere eerlijkheidsscores worden bereikt zonder de beeldkwaliteit of prompt-overeenstemming in gevaar te brengen.

Oorspronkelijke auteurs: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Gepubliceerd 2026-07-17

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, magische kunststudio binnenloopt waar een robotkunstenaar direct elke afbeelding kan schilderen die jij kunt beschrijven. Je zegt: "Teken een detective" en poef! Er verschijnt een detective. Je zegt het opnieuw en er verschijnt nog een detective. Maar hier komt de adder onder het gras: elke keer dat je vraagt, schildert de robot exact hetzelfde soort detective—misschien altijd een lange man in een trenchcoat. Het is alsof de robot een favoriet kostuum heeft en weigert ook iets anders te proberen. Dit is een veelvoorkomend probleem bij moderne "tekst-naar-afbeelding" AI. Hoewel deze robots ongelooflijk goed zijn in het maken van plaatjes die er echt uitzien en bij je woorden passen, raken ze vaak in een sleur en produceren ze steeds dezelfde paar variaties. Dit is een groot probleem, want als je vraagt om een "arts" of een "leider", en de robot laat je altijd slechts één specifiek type persoon zien, versterkt dit een nauwe en onrechtvaardige kijk op de wereld. Wetenschappers noemen dit een gebrek aan "diversiteit".

Om dit op te lossen, proberen onderzoekers meestal tegen de robot te zeggen: "Maak het anders!" Maar vaak, wanneer ze de robot dwingen om anders te zijn, beginnen de plaatjes er vreemd, wazig of gewoon fout uit te zien. De robot raakt in de war en stopt met luisteren naar je instructies. Dit papier introduceert een slimme nieuwe manier om de robot divers te leren zijn zonder dat hij de controle verliest. De auteurs stellen een methode voor genaamd "Multi-Axis Max@K". Denk aan een talentenjacht waarbij je niet alleen de beste zanger kiest; in plaats daarvan kijk je naar een hele groep deelnemers en zeg je: "Oké, deze is de beste zanger, deze is de beste danser en deze is de beste goochelaar." Het doel is niet dat één persoon alles perfect doet; het doel is dat de hele groep alle kanten belicht. De onderzoekers hebben deze methode getest en ontdekten dat het de AI helpt om een veel grotere variëteit aan mensen en kleuren te genereren, wat de resultaten eerlijker en interessanter maakt, terwijl de plaatjes scherp en trouw aan je beschrijving blijven.

Het Probleem: Het "Favoriete" Kostuum van de Robot

Stel je voor dat je een vriend hebt die graag tekent. Je vraagt hem om een "kat" te tekenen. Hij tekent een pluizige oranje tabby. Je vraft hem opnieuw en hij tekent exact dezelfde oranje tabby. Je vraagt het een derde keer en het is nog steeds de oranje tabby. Je vriend is niet slecht in tekenen; hij zit gewoon in een lus. Hij heeft een "favoriete modus" voor het tekenen van katten, en hij blijft daarop terugvallen.

In de wereld van Kunstmatige Intelligentie (AI), specifiek "Tekst-naar-Afbeelding" modellen, gebeurt dit de hele tijd. Deze modellen zijn getraind op miljarden afbeeldingen van het internet. Als het internet meer foto's heeft van witte mannen als arts dan van vrouwen of mensen van andere rassen, leert de AI dat "arts" gelijkstaat aan "witte man". Wanneer je om een arts vraagt, put de AI uit die smalle geheugenbank.

De gebruikelijke oplossing is om de AI te vertellen: "Wees divers!" Maar als je alleen maar "wees divers!" roept, kan de AI in de war raken. De AI kan beginnen met het tekenen van een dokter die op een aardappel lijkt of een kat met een stethoscoop. De AI probeert anders te zijn, maar vergeet hoe ze goed moet zijn in het opvolgen van je instructies. De onderzoekers wilden een manier vinden om de AI een hele groep verschillende opties te laten tonen—sommige artsen die vrouwen zijn, sommige die mannen zijn, sommige die zwart zijn, sommige die Aziatisch zijn—zonder dat de plaatjes er slecht uitzien.

De Oplossing: De "Beste van de Batch" Talentenjacht

De auteurs van dit papier kwamen met een nieuwe regel voor hoe de AI leert. Ze noemen het Multi-Axis Max@K. Dat klinkt ingewikkeld, maar laten we het afbreken met een simpel verhaal.

Stel je voor dat je een leraar bent die een klas leerlingen beoordeelt. Je hebt een lijst met "vaardigheden" die je wilt zien: Wiskunde, Kunst, Muziek en Sport.

De Oude Manier (Scalar Reward): Je kijkt naar elke leerling individueel. "Leerling A is geweldig in Wiskunde maar slecht in de rest. Leerling B is geweldig in Kunst maar slecht in de rest." Als je alleen hun scores bij elkaar optelt, eindig je misschien met de leerling die overal "oké" in is maar nergens geweldig. Of je kiest de wiskundige genie en negeert het feit dat de klas geen muzikanten heeft.
De Nieuwe Manier (Multi-Axis Max@K): Je kijkt naar de hele klas als een groep. Je vraagt: "Wie is de beste wiskundestudent in deze groep?" Je kiest Leerling A. "Wie is de beste muziekstudent?" Je kiest Leerling B. "Wie is de beste sportstudent?" Je kiest Leerling C.

De magie gebeurt hier: de groep krijgt een hoge score omdat het een wiskundig genie, een muziekgenie en een sportgenie heeft, zelfs als niemand van hen alle drie de dingen perfect beheerst. De AI leert dat ze niet één perfect beeld hoeft te maken dat alles doet. In plaats daarvan leert ze dat een "batch" (een reeks) van plaatjes succesvol is als verschillende plaatjes in die batch verschillende dingen vertegenwoordigen.

Het "Max"-gedeelte betekent dat de AI zoekt naar het beste voorbeeld van elke categorie in de groep. Het "K"-gedeelte betekent dat het naar een groep van K plaatjes kijkt (zoals een batch van 7 of 10). Het "Multi-Axis" gedeelte betekent dat het tegelijkertijd naar veel verschillende categorieën controleert (zoals verschillende huidtinten, geslachten of kleuren).

Hoe Ze Het Testten: Van Pixels tot Mensen

De onderzoekers hebben niet alleen gegokt dat dit zou werken; ze hebben het op drie verschillende manieren getest, waarbij het telkens complexer werd.

1. Het Kleurenspel (Synthetische Test)
Eerst speelden ze een spel met een eenvoudig computerprogramma. Ze zeiden tegen het programma dat het afbeeldingen moest genereren die ofwel Rood, Groen, Blauw of andere kleuren waren. Ze stelden een regel op waarbij het programma punten kreeg als de groep afbeeldingen alle kleuren besloeg.

Wat er gebeurde: Wanneer ze de oude "enkele score"-methode gebruikten, werd het programma lui en maakte het een heleboel rode afbeeldingen, omdat dat de makkelijkste manier was om punten te scoren. Maar toen ze de nieuwe "Multi-Axis Max@K"-methode gebruikten, realiseerde het programma zich dat het een rode afbeelding, een groene afbeelding en een blauwe afbeelding moest maken om te winnen. Het begon zijn kansen te spreiden en maakte een kleurrijke mix.

2. De Pixelpuzzel (Regelgebaseerde Test)
Vervolgens gebruikten ze een echte beeldgenerator genaamd SD3.5-M (een populaire AI-kunstmodellen). Deze keer gebruikten ze geen mens om de plaatjes te beoordelen. In plaats daarvan gebruikten ze een computerprogramma dat naar de pixels keek en kleuren telde. Ze vroegen de AI om plaatjes te maken met specifieijke kleurthema's (zoals "warme kleuren" of "donkere kleuren").

Het Resultaat: De AI leerde om een batch te produceren waarin één plaatje helder en warm was, een andere koel en blauw, en een andere donker. Het slaagde erin om alle "assen" van kleur te dekken zonder dat een mens hoefde te zeggen wat goed was.

3. De Rechtvaardigheidstest (Waargenomen Verschijning)
Ten slotte pakten ze het grote, echte probleem aan: Rechtvaardigheid (Fairness). Ze vroegen de AI om plaatjes te genereren van mensen met verschillende beroepen (zoals "arts", "kunstenaar", "wetenschapper"). Ze wilden zien of de AI een diverse mix van rassen en geslachten zou laten zien.

De Opzet: Ze gebruikten automatische tools om het ras en geslacht van de mensen in de gegenereerde plaatjes te "raden". Ze definieerden "doelmodi" zoals "zwarte vrouw", "Aziatische man", "Latino vrouw", enz.
De Uitkomst: Wanneer ze de nieuwe methode gebruikten, begon de AI een veel meer gebalanceerde groep te genereren.
- Vóór de fix had een batch van 16 foto's van een "arts" misschien 13 witte mannen en 3 mensen van andere achtergronden.
- Na de fix had een batch van 16 foto's misschien 4 witte mannen, 3 zwarte mensen, 4 Aziatische mensen, 2 Indiase mensen en 3 Latino mensen.
- De onderzoekers maten dit met een "Fairness Score". Hun nieuwe methode verbeterde de score met 0,23 tot 0,36 vergeleken met het basismodel. Dat is een enorme sprong! En het beste van alles? De plaatjes zagen er nog steeds goed uit. De "tekst-alignement" (hoe goed de afbeelding bij het woord "arts" paste) bleef hoog, en de beeldkwaliteit daalde niet.

Wat Dit Betekent (en Wat Niet)

Het papier laat zien dat door te veranderen in hoe we de AI belonen, we haar natuurlijk diverser kunnen maken. In plaats van de AI te dwingen om anders te zijn (wat het vreemd maakt), belonen we de groep omdat ze verschillende vertegenwoordigers heeft.

De auteurs zijn echter voorzichtig in wat dit niet doet.

Het creëert geen nieuwe mensen uit het niets. Als de AI nog nooit een foto van een specifiek type persoon heeft gezien, kan ze die niet magisch uitvinden. Ze kan alleen de mensen verspreiden die ze al weet te tekenen.
Het vertrouwt op de "score" die de AI krijgt. Als het hulpmiddel dat de plaatjes beoordeelt (de "evaluator") bevooroordeeld is, kan de AI de verkeerde les leren. De onderzoekers gebruikten automatische tools om de plaatjes te beoordelen, en hoewel ze hun werk met verschillende tools controleerden om te zorgen dat het consistent was, geven ze toe dat menselijke ogen de ultieme test zouden zijn.
Het werkt het best wanneer je een duidelijke lijst hebt van hoe "diversiteit" eruitziet (zoals een lijst van specifieke rassen of kleuren). Het is een hulpmiddel om de AI te helpen een specifieke set doelen te bereiken, geen toverstaf die elk rechtvaardigheidsprobleem in de wereld oplost.

De Kernboodschap

Dit papier is alsoer je de robotkunstenaar een nieuw regelboek geeft. In plaats van te zeggen: "Je moet één perfect plaatje maken," zegt het: "Maak een hele groep plaatjes, en ik geef je een gouden ster als de groep een beetje van alles heeft."

Het resultaat? De AI wordt minder saai en eerlijker. Het stopt met het steeds opnieuw laten zien van diezelfde "standaardpersoon" en begint de rijke, kleurrijke variëteit van de echte wereld te tonen. En dat doet het zonder dat de plaatjes een glitchy puinhoop worden. Het is een kleine verandering in de wiskunde, maar het kan leiden tot een veel grotere verandering in hoe we onszelf zien in de kunst die we met machines creëren.

Probleemstelling

Text-to-image (T2I) modellen, met name diffusie-gebaseerde generatoren, produceren vaak monsters voor een enkele prompt die slechts een smalle subset van visueel onderscheidende modi beslaan. Hoewel deze modellen realistische afbeeldingen synthetiseren, missen ze vaak representatieve diversiteit. Deze beperking is cruciaal wanneer het doel is om een diverse set alternatieven te bieden in plaats van een enkele plausibele afbeelding. Bij mensgerichte prompts kan deze concentratie reflecterende of versterkende demografische scheefheid (bijv. met betrekking tot ras of geslacht) veroorzaken, omdat het model er niet in slaagt om sterke vertegenwoordigers voor ondervertegenwoordigde categorieën te genereren.

Bestaande interventies voor diversiteit verminderen vaak de beeldkwaliteit, en standaard Reinforcement Learning (RL) benaderingen met scalaire beloningen zijn slecht geschikt voor dit probleem. Scalaire beloningen aggregeren scores binnen een enkele afbeelding voordat monsters worden vergeleken, wat faalt wanneer het doel is om verschillende onderling uitsluitende doelcategorieën (bijv. verschillende kleurmodi of demografische labels) over een groep monsters heen te dekken. Een enkele afbeelding kan niet tegelijkertijd alle onderling uitsluitende modi representeren; daarom zou een gegenereerde groep de voorkeur moeten krijgen als verschillende monsters binnen die groep dienen als sterke vertegenwoordigers voor verschillende modi.

Methodologie: Multi-Axis Max@K

De auteurs formaliseren het probleem als target-mode coverage (doelmodus-dekking) en stellen multi-axis max@k voor, een groep-gebaseerde reinforcement learning-doelstelling ontworig voor diffusiemodellen.

1. Formulering van de doelstelling:
In plaats van eerst de beloningsdimensies binnen een afbeelding te aggregeren, aggregeert deze methode eerst over de monsters. Voor een prompt $c$ wordt een set van $k$ monsters $S_k(c)$ gegenereerd. Gegeven $D$ vooraf gedefinieerde doelmodi (assen) en een score $r_d(x, c) \in [0, 1]$ voor elke modus $d$ geretourneerd door een vaste evaluator, wordt de doelstelling-score $G_k$ gedefinieerd als:
$G_k(S_k, c) = \sum_{d=1}^{D} w_d(c) \max_{x_i \in S_k(c)} r_d(x_i, c)$
Hier wordt de maximale score per as geselecteerd over de gesamplede set, en deze maxima worden vervolgens opgeteld. Deze structuur zorgt ervoor dat een monster krediet krijgt voor een specifieke categorie alleen als het de maximale score van de groep voor die categorie verbetert, waardoor verschillende monsters aan verschillende categorieën kunnen bijdragen.

2. Mechanisme voor krediettoewijzing (Credit Assignment):
Om deze set-niveau doelstelling te optimaliseren, leiden de auteurs een policy gradient estimator af.

Leave-One-Out (L2O) Marginale Bijdrage: Voor een monster $x_i$ en as $d$ wordt het krediet bepaald door de vraag of het verwijderen van $x_i$ de maximale score van de groep voor die as verlaagt.
Expected Improvement (EI) + L2O: In de praktijk, waar de trainingsbatchgrootte $m$ kan verschillen van de doelvenstergrootte $k$ , gebruiken de auteurs een Expected Improvement estimator met een leave-two-out baseline. Dit schat het voordeel per monster in door de verbeteringen te middelen over alle mogelijke subsets van grootte $k$ die uit de $m$ kandidaten worden getrokken.
As-behoudende Aggregatie: De voordelen worden onafhankelijk voor elke as berekend en vervolgens opgeteld om een enkele policy weight voor het monster te vormen. Dit behoudt de scheiding van beloningsassen tot de laatste aggregatiestap.

3. Trainingslus:
De methode maakt gebruik van een standaard GRPO-stijl (Group Relative Policy Optimization) update voor diffusiemodellen.

Genereer een on-policy groep van $m$ kandidaten voor een prompt.
Scoor alle kandidaten op $D$ beloningsassen.
Bereken de as-specifieke representatieve kredieten (max@K) en zet deze om naar per-monster voordelen.
Update de policy met deze voordelen met KL-regularisatie tegenover het basismodel.

Belangrijkste Bijdragen

Formulering van Representatieve Diversiteit: Het artikel definieert representatieve diversiteit als target-mode coverage, waarbij het wordt geframed als een set-niveau doelstelling in plaats van een individuele beeldeigenschap.
Multi-Axis Max@K Algoritme: Ze introduceren een specifieke RL-doelstelling die max-selectie per beloningsas uitvoert vóór aggregatie. Dit wordt gepresenteerd als een gespecialiseerd geval van de ReMax-doelstelling, afgestemd op generatieve modellering waar modi onderling uitsluitend zijn.
As-behoudende Krediettoewijzing: De methode implementeert een groep-gebaseerd diffusie RL-algoritme dat krediet toeweist aan monsters op basis van hun vermogen om de "beste vertegenwoordiger" voor een specifieke modus te zijn, wat de ineenstorting van de waarschijnlijkheidsmassa op een enkele modus voorkomt.
Uitgebreide Validatie: De methode wordt gevalideerd in drie verschillende settings:
- Een gecontroleerde synthetische mengeling van Gaussische modi.
- Een deterministische, regelgebaseerde kleurbeloningssetting op Stable Diffusion 3.5 Medium (SD3.5-M).
- Een setting voor waargenomen uiterlijke eerlijkheid (ras en geslacht) op SD3.5-M.

Experimentele Resultaten

1. Synthetische en Kleurmodus Experimenten:

In een synthetische setting met negen onderling uitsluitende Gaussische modi, slaagde multi-axis max@k erin de waarschijnlijkheidsmassa te herverdelen om alle doelmodi te dekken. In contrast hiermee zorgden scalaire single-mode beloningen voor een ineenstorting van de distributie naar één geprefereerde modus.
Op SD3.5-M met zeven regelgebaseerde kleurassen (bijv. rood, groen, warm, koel), verbeterde de methode de batch-niveau dekking aanzienlijk. Met een trainingsvenster van $k=7$ bereikte het model een toename van 57% in batch-max dekking ( $C_{pix}$ ) vergeleken met het basismodel, terwijl een $k=1$ baseline (standaard single-image GRPO) geen verbetering liet zien.

2. Waargenomen Uiterlijke Eerlijkheid (Perceived-Appearance Fairness):
De methode werd toegepast om de eerlijkheid in mensgerichte prompts te verbeteren, waarbij waargenomen ras (5 categorieën) en waargenomen geslacht (2 categorieën) als doelmodi werden gebruikt.

Verbetering van Eerlijkheid: Multi-axis max@k verbeterde de Fairness Score (die de nabijheid tot een uniforme distributie meet) met 0,23–0,36 ten opzichte van het basis SD3.5-M model over drie automatische evaluatoren (CLIP, VLM en FairFace).
Vergelijking met Baselines: De methode presteerde beter dan gematchte RL-baselines die gebruikmaken van count-based credit (Fair-GRPO) en inference-time interventies (FairImagen, Weak Guidance). Opvallend genoeg, terwijl andere methoden de eerlijkheid verbeterden ten koste van tekst-alignement (CLIP-T scores daalden), behield of verbeterde multi-axis max@k de beeldkwaliteit en de tekst-alignement metrieken.
Kwalitatieve Verschuiving: Visuele inspectie van gegenereerde batches toonde een verschuiving van dominantie door een enkele categorie (bijv. "Wit") naar een gebalanceerde distributie over alle vijf de waargenomen ras-categorieën binnen een enkele prompt-batch.

3. Ablatie-studies:

Venstergrootte ( $k$ ): De hyperparameter $k$ (het aantal monsters dat wordt overwogen voor max-selectie) is cruciaal. De Fairness Score verbeterde scherp naarmate $k$ toenam van 1 naar 5 (overeenkomend met het aantal ras-categorieën), en vlakt daarna af. Een $k=1$ setting (geen set-niveau credit) slaagde er niet in om diversiteit te verbeteren.
Credit-mechanisme: De methode presteerde beter dan hard-assignment count baselines, wat de auteurs toeschrijven aan het vermogen van soft scores om bewijs onder de drempelwaarde te vangen voor zeldzame categorieën en het expliciete krediet dat wordt gegeven aan de "beste beschikbare" vertegenwoordiger per as.

Betekenis en Claims

Het artikel claimt dat multi-axis max@k een algemeen mechanisme biedt voor het verbeteren van diversiteit in generatieve modellering door diversiteit te behandelen als een dekkingprobleem over een vooraf gedefinieerde set modi.

Validiteit van het Mechanisme: De kernbijdrage is de credit assignment regel die toestaat dat verschillende monsters in een batch specialiseren in verschillende beloningsassen, waardoor het probleem van "onderling uitsluitende modi" effectief wordt opgelost, waar scalaire beloningen falen.
Praktische Impact: De methode demonstreert dat het mogelijk is om de demografische eerlijkheid in T2I-generatie aanzienlijk te verbeteren zonder de beeldkwaliteit of tekst-alignement op te offeren, een trade-off die vaak wordt waargenomen bij eerdere fairness-interventies.
Beperkingen en Omvang: De auteurs merken bescheiden op dat de methode meetbare scores voor doelmodi vereist en alleen modi kan crediteren die de generator al in staat is om te samplen; het creëert geen afwezige modi vanuit het niets. Bovendien hangen de resultaten af van automatische evaluatoren, en is de keuze van de doelassen (bijv. specifieke ras/geslacht categorieën) een taakspecifieke ontwerpbeslissing die bepaalt welke diversiteit wordt bereikt. De methode wordt gepresenteerd als een set-niveau alignment primitief dat toepasbaar is op diverse domeinen waar kandidaat-sets specifieke assen moeten dekken.