Resolving the Identity Crisis in Text-to-Image Generation

Titel: Resolving the Identity Crisis in Text-to-Image Generation

Auteurs: Shubhankar Borse, Farzad Farhadzadeh, Munawar Hayat, Fatih Porikli (Qualcomm AI Research)

1. Het Probleem: De Identiteitscrisis

State-of-the-art (SOTA) tekst-naar-beeldmodellen (zoals diffusion- en flow-matching modellen) kampen met een fundamenteel tekortkoming bij het genereren van scènes met meerdere mensen, een fenomeen dat de auteurs de "Identity Crisis" noemen. Hoewel de algemene beeldkwaliteit hoog is, falen deze modellen in het handhaven van unieke identiteiten:

• Dubbele gezichten: Het genereren van identieke gezichten binnen één afbeelding.
• Identiteitsfusie: Het samenvoegen van verschillende personen tot één visueel entiteit.
• Foutieve telling: Het niet kunnen genereren van het juiste aantal personen zoals gevraagd in de prompt.
• Gebrek aan diversiteit: Het hergebruiken van dezelfde identiteiten over verschillende gegenereerde voorbeelden heen (cross-sample), zelfs bij complexe prompts.

Deze beperkingen ondermijnen de bruikbaarheid van synthetische data voor toepassingen zoals groepsfotografie, consistent personage-genereren, storytelling en simulaties voor sociaal onderzoek.

2. Methodologie: DISCO

De auteurs stellen DISCO (Reinforcement with DiverSity Constraints) voor, een nieuw reinforcement learning (RL) framework dat specifiek is ontworpen om identiteitsdiversiteit te optimaliseren, zowel binnen één afbeelding als over een groep gegenereerde samples heen.

Kerncomponenten van de methode:

• Flow-GRPO: DISCO fine-tunes flow-matching modellen (zoals FLUX en Krea) met behulp van Group-Relative Policy Optimization (GRPO). Dit is een RL-algoritme dat de denoising-proces als een Markov Decision Process (MDP) behandelt en gebruikmaakt van een groep van trajecten om de voordelen (advantages) te normaliseren, wat de stabiliteit en efficiëntie verbetert.

• Compositional Reward Functie: In plaats van alleen te focussen op esthetiek, gebruikt DISCO een samengestelde beloning die vier componenten combineert:

  1. Intra-image Diversiteit ($r^d_{img}$): Straft gelijkenis tussen gezichten binnen één afbeelding af. Het doel is om te voorkomen dat dezelfde persoon meerdere keren voorkomt in één scène.
  2. Groeps-Diversiteit ($r^d_{grp}$): Dit is een innovatieve component. Het straft het hergebruik van identiteiten af over een groep van gegenereerde afbeeldingen voor dezelfde prompt. De auteurs ontdekten dat alleen intra-image diversiteit leiden tot "reward hacking" waarbij dubbele identiteiten stilzwijgend naar andere samples verschuiven. Deze component gebruikt een counterfactual "remove-one" statistiek om de bijdrage van een afbeelding aan de totale groepdiversiteit te meten.
  3. Telling Control ($r^c_{img}$): Een harde beloning die ervoor zorgt dat het aantal gedetecteerde gezichten exact overeenkomt met het aantal mensen in de prompt. Dit voorkomt dat het model "oplossingen" vindt door minder mensen te genereren om de diversiteitsbeloning makkelijker te halen.
  4. Kwaliteit en Uitlijning ($r^q_{img}$): Gebruikt de HPSv3 (Human Preference Score) om de visuele kwaliteit, prompt-uitlijning en esthetiek te behouden. Dit zorgt ervoor dat de diversiteitsoptimalisatie niet ten koste gaat van de realisme.

• Single-Stage Curriculum Learning: Om de complexiteit van multi-mensige scènes aan te pakken, wordt een curriculum-strategie gebruikt. Het trainen begint met eenvoudige prompts (2-4 personen) en annealt geleidelijk naar uniform sampling over het volledige bereik (tot 7 personen). Dit is cruciaal voor specialistische modellen om stabiel te convergeren.

3. Belangrijkste Bijdragen

• Identificatie van een nieuw probleem: De auteurs benoemen en kwantificeren de "Identity Crisis" als een specifiek falen van SOTA-modellen, zelfs bij hoge beeldkwaliteit.
• Cross-sample optimalisatie: Ze tonen aan dat het optimaliseren van diversiteit binnen één afbeelding niet genoeg is; er moet expliciet worden gestraft voor herhaling over een groep samples (global identity spread).
• Reward Hacking detectie: Ze identificeren dat diversiteitsoptimalisatie zonder regulering leidt tot "reward hacking" (zoals het genereren van minder mensen of onnatuurlijke rasterpatronen van gezichten) en loss dit op met count-control en HPS-rewards.
• Annotation-vrij: De methode vereist geen extra menselijke annotaties of real-world data; het werkt puur op synthetische data en RL.
• Generalisatie: Het framework generaliseert niet alleen tot gezichten, maar verbetert ook per ongeluk de diversiteit in kleding en lichaamstypes, en behoudt de algemene compositional capabilities van het basismodel.

4. Resultaten

DISCO werd getest op twee benchmarks: DiverseHumans (een nieuw testset van 1.200 prompts) en MultiHuman-TestBench (MHTB).

• Unieke Gezichtsaccuratie (UFA): DISCO (gebaseerd op FLUX) bereikt 98,6%, vergeleken met 48,2% voor het basis-FLUX-model en 85,1% voor het proprietary GPT-Image-1.
• Global Identity Spread (GIS): DISCO bereikt 98,3%, wat aangeeft dat het bijna nooit dezelfde identiteit herhaalt over verschillende gegenereerde afbeeldingen. Dit is een enorme verbetering ten opzichte van de baselines (bijv. 50,5% voor FLUX).
• Telling Accurate: De nauwkeurigheid om het juiste aantal mensen te genereren stijgt van 70,8% (basis) naar 92,4% (DISCO).
• Kwaliteit: De perceptuele kwaliteit (gemeten via HPSv2) blijft concurrerend of verbetert zelfs, wat aantoont dat diversiteit niet ten koste gaat van realisme.
• Scalabiliteit: DISCO behoudt zijn hoge prestaties zelfs bij scènes met 6-7 personen, terwijl basismodellen hier sterk in prestaties dalen.

5. Betekenis en Conclusie

DISCO positioneert zich als een schaalbare, annotatie-vrije oplossing voor multi-mensige beeldsynthese. Het paper toont aan dat Reinforcement Learning, wanneer correct gestuurd met een compositiebeloning en curriculum learning, fundamentele beperkingen van generatieve modellen kan oplossen die eerder als onvermijdelijk werden beschouwd.

De methode stelt een nieuwe standaard voor in de generatieve AI, waarbij het niet alleen de visuele kwaliteit behoudt, maar ook de semantische en identiteits-gerelateerde consistentie van complexe scènes drastisch verbetert. Dit opent de deur voor betrouwbaardere toepassingen in creatieve industrieën, educatie en sociale simulaties, zonder afhankelijk te zijn van dure menselijke datasets.