Technisch Overzicht: DivRL – Disentangled Self-Similarity Rewards voor Diverse Subject-Driven Generatie

1. Probleemstelling: De Identiteit-Diversiteit Paradox

Subject-gestuurde beeldgeneratie beoogt nieuwe afbeeldingen van een specifiek onderwerp te synthetiseren, terwijl de visuele identiteit behouden blijft over diverse contexten, poses en stijlen. Ondanks de getrouwheid van recente diffusie-gebaseerde modellen, bestaat er een fundamentele spanning die bekend staat als de "Identiteit-Diversiteit Paradox."

• Het Conflict: Modellen die identiteitspreservatie sterk afdwingen, neigen naar het genereren van bijna identieke afbeeldingen van de referentie, met rigide poses, standpunten en expressies. Omgekeerd leiden methoden die structurele diversiteit stimuleren vaak tot "identiteitsdrift", waarbij het gegenereerde onderwerp zijn kenmerkende eigenschappen verliest.
• Oorzaak: Deze paradox ontstaat omdat identiteitsbepalende visuele attributen verstrengeld zijn met de ruimtelijke structuur in de referentie-afbeelding. Wanneer modellen identiteit proberen te behouden, bewaren ze onbedoeld de verstrengelde structurele informatie, wat de diversiteit vermindert. Wanneer zij de structuur proberen te wijzigen, riskeren zij identiteitsbepalende attributen aan te passen.
• Beperkingen van Huidige Beloningen: Bestaande identiteitsgebaseerde beloningen stimuleren vaak structurele imitatie, aangezien modellen de identiteitsscores kunnen maximaliseren door de exacte ruimtelijke configuratie van de referentie te reproduceren, in plaats van nieuwe, identiteitsconsistente variaties te verkennen.

2. Methodologie: DivRL Framework

De auteurs stellen DivRL voor, een post-training framework gebaseerd op Reinforcement Learning (specifiek Flow-GRPO) dat identiteitsconsistentie en structurele diversiteit gezamenlijk optimaliseert. De kerninnovatie ligt in het ontwarren (disentanglement) van deze doelstellingen door middel van specifieke beloningsontwerpen en een "Explore-and-Suppress" optimalisatiestrategie.

2.1 Beloningsontwerp

Het framework maakt gebruik van twee afzonderlijke beloningssignalen afgeleid van ontwarde visuele kenmerken (specifiek gebruikmakend van de MTG visuele kenmerken van een robuust gelijkenismodel):

1. Visual Semantic Matching (VSM) voor Identiteitsconsistentie:

   • VSM evalueert identiteitsbehoud door semantische en visuele gelijkenismatrices tussen de referentie- en gegenereerde afbeeldingen te berekenen.
   • Het identificeert semantisch consistente regio's (waar de semantische gelijkenis een drempelwaarde $\tau_s$ overschrijdt) en beoordeelt de visuele consistentie binnen die regio's.
   • Een hogere VSM-score duidt op een betere preservatie van de identiteit van het onderwerp onder variërende omstandigheden.

2. Negative Self-Similarity Measure (nSSM) voor Structurele Diversiteit:

   • In tegen tegenstelling tot globale feature-verschilmetrieken, kwantificeert nSSM diversiteit door de interne relaties van visuele kenmerken te analyseren.
   • Het berekent Self-Similarity Matrices (SSM) voor de visuele feature-grids van zowel de referentie- als de gegenereerde afbeeldingen. Deze matrices leggen de intrinsieke ruimtelijke organisatie van objectdelen vast.
   • De nSSM wordt gedefinieerd als $1 - \rho$, waarbij $\rho$ de Pearson correlatiecoëfficiënt is tussen de SSM's van de referentie- en gegenereerde afbeeldingen.
   • Logica: Een hoge correlatie impliceert vergelijkbare structurele lay-outs (lage diversiteit), terwijl een lagere correlatie overeenkomt met structureel diverse contexten (bijv. andere poses of standpunten). Het maximaliseren van nSSM stimuleert het model om structureel verschillende configuraties te verkennen.
   • Stabilisatie: Om hoogfrequente texturele artefacten te voorkomen (een vorm van reward hacking waarbij het model lokale correlaties nabootst zonder de globale structuur te veranderen), worden de visuele kenmerken gedownsampled via $2\times2$ average pooling voordat de SSM wordt berekend.

2.2 Optimalisatiestrategie: "Explore-and-Suppress"

Het direct optimaliseren van beide doelstellingen via lineaire weging leidt tot instabiele training en reward hacking. In plaats daarvan hanteert DivRL een twee-fasen gated optimalisatiestrategie:

• Fase 1 (Explore): Het model wordt getraind met nSSM als enige beloning. Dit moedigt het model aan om vrijelijk de latente ruimte te verkennen en structureel diverse configuraties te generen, waardoor de rigiditeit van het pre-trained model wordt doorbroken.
• Fase 2 (Suppress): Het model wordt getraind met een gated beloningsformulering.
  • VSM fungeert als een beperking (gate/poort).
  • Als de VSM-score van een sample boven een drempelwaarde $s$ ligt, ontvangt het de nSSM-beloning.
  • Als de VSM-score onder $s$ valt, wordt een kwadratische hinge loss penalty toegepast: $R = \text{nSSM} - \lambda(s - \text{VSM})^2$.
  • Effect: Dit zet identiteitsbehoud om van een concurrerende doelstelling naar een haalbaarheidsbeperking (feasibility constraint). Het model is vrij om diverse structuren te verkennen, zolang deze zich binnen de identiteitsconsistente regio bevinden. Dit ontkoppelt de optimalisatie, waardoor zowel nSSM als VSM gezamenlijk kunnen verbeteren zonder dat de gradiënten van de één de ander vernietigen.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. nSSM Metriek: De introductie van de negative Self-Similarity Measure, een feature-space metriek die structurele diversiteit kwantificeert door de zelfgelijkeniscorrelaties van ontwarde visuele kenmerken te analyseren, in plaats van globale feature-verschillen.
2. Explore-and-Suppress Strategie: Een nieuwe optimalisatieaanpak die diversiteitsexploratie ontkoppelt van identiteitsbehoud via een gated beloningsformulering, waardoor identiteitsbehoud effectief wordt getransformeerd van een conflicterende doelstelling naar een beperking.
3. Empirische Validatie: Demonstratie op de DreamBench++ benchmark met de Flux-Kontext backbone, waaruit blijkt dat de methode de structurele diversiteit verbetert terwijl een concurrerende identiteitsconsistentie behouden blijft. De auteurs merken op dat de nSSM-formulering en de twee-fasen optimalisatie backbone-agnostisch zijn.

4. Experimentele Resultaten

De methode werd geëvalueerd op de DreamBench++ benchmark (150 identiteiten, 9 prompts per stuk) tegen sterke baselines inclusief Flux-IP-Adapter, OmniGen, OmniGen2, UNO en PaCo-RL.

• Kwantitatieve Prestaties:

  • Balans: DivRL bereikt een superieur evenwicht tussen identiteitsconsistentie en structurele diversiteit vergeleken met baselines. Terwijl het optimaliseren van enkel VSM de consistentie verbetert maar de diversiteit schaadt, en nSSM alleen de diversiteit verbetert maar de consistentie schaadt, behoudt de gecombineerde aanpak een hoge consistentie (vergelijkbaar met Flux-Kontext) terwijl de diversiteitsmetrieken (MTG-nSSM, DINO-nSSM) aanzienlijk worden verhoogd.
  • Prompt Following: Opvallend genoeg verbetert de methode ook de prompt-alignment. De auteurs schrijven dit toe aan de versoepeling van de "geometrische rigiditeit" die door pre-training wordt geïnduceerd; door structurele diversiteit te stimuleren, past het model het onderwerp effectiever aan de contextuele prompt-instructies aan.
  • Consistentie vs. Diversiteit Trade-off: Plots van Consistency Ratio vs. Diversity-over-Consistency laten zien dat DivRL de hoog-nuttige regio bevolkt waar beide doelstellingen samen bestaan, waarmee het lineaire combinaties van beloningen overtreft die er niet in slagen beide tegelijkertijd te verbeteren.

• Kwalitatieve Observaties:

  • Baselines zoals Flux-Kontext en PaCo-RL produceren vaak rigide outputs of falen in het volgen van prompt-interacties (bijv. het niet plaatsen van een onderwerp in een specifieke scène).
  • Andere modellen (bijv. OmniGen) produceren diverse outputs maar lijden aan identiteitsdrift.
  • DivRL slaagt erin afbeeldingen te genereren met uiteenlopende poses, standpunten en expressies, terwijl de fijnmazige visuele details van het referentiesubject behouden blijven.

5. Betekenis en Beperkingen

Betekenis:
Het artikel identificeert structurele imitatie als een kritieke foutmodus in bestaande subject-gestuurde generatiemethoden. Door structurele diversiteit expliciet te scheiden van identiteitsbehoud, lost DivRL de Identiteit-Diversiteit Paradox op. De "Explore-and-Suppress" strategie laat zien dat het behandelen van identiteit als een haalbaarheidsbeperking in plaats van een concurrerende doelstelling, modellen in staat stelt om hoogwaardige latente ruimtes te verkennen waar identiteit en nieuwheid naast elkaar bestaan.

Beperkingen:
De auteurs erkennen bescheiden enkele beperkingen:

• Omvang van de Metriek: De diversiteitsmetriek (nSSM) richt zich op structurele variaties (pose, standpunt) en legt mogelijk niet volledig hogere-orde semantische diversiteit of complexe compositionele veranderingen vast.
• Computationele Kosten: Het vertrouwen op Reinforcement Learning voor post-training introduceert extra computationele overhead vergeleken met puur feed-forward methoden.
• Input Beperkingen: Het basismodel (Flux-Kontext) accepteert een enkele referentie-afbeelding, wat de effectiviteit kan beperken wanneer de referentie ambigue identiteitskenmerken of complexe occlusies bevat.

Het artikel concludeert dat toekomstig werk deze beperkingen kan aanpakken door rijkere diversiteitsmetrieken, efficiëntere optimalisatiestrategieën en multi-referentie conditionering.