Technisches Resümee: DivRL – Disentangled Self-Similarity Rewards für diverse subjektgesteuerte Generierung

1. Problemstellung: Das Identitäts-Diversitäts-Paradoxon

Subjektgesteuerte Bildgenerierung zielt darauf ab, neuartige Bilder eines spezifischen Subjekts zu synthetisieren, während die visuelle Identität über diverse Kontexte, Posen und Stile hinweg bewahrt wird. Trotz der hohen Treue aktueller Diffusionsmodelle existiert ein grundmänklicher Konflikt, bekannt als das „Identitäts-Diversitäts-Paradoxon“.

• Der Konflikt: Modelle, die die Identität stark erzwingen, neigen dazu, nahezu identische Bilder des Referenzobjekts zu erzeugen, was zu starren Posen, Blickwinkeln und Ausdrücken führt. Umgekehrt leiden Methoden, die strukturelle Diversität fördern, häufig unter einem „Identitätsdrift“, bei dem das Subjekt seine definierenden Merkmale verliert.
• Ursache: Dieses Paradoxon entsteht, weil identitätsdefinierende visuelle Attribute mit der räumlichen Struktur des Referenzbildes verknüpft (entangled) sind. Wenn Modelle versuchen, die Identität zu bewahren, bewahren sie unbeabsichtigt auch die verknüpfte strukturelle Information, was die Diversität reduziert. Wenn sie versuchen, die Struktur zu verändern, riskieren sie, identitätsdefinierende Attribute zu modifizieren.
• Einschränkungen aktueller Belohnungen: Bestehende identitätsbasierte Belohnungen fördern oft strukturelle Mimikry, da Modelle die Identitätswerte maximieren können, indem sie die exakte räumliche Konfiguration des Referenzbildes reproduzieren, anstatt neuartige, identitätskonsistente Variationen zu explorieren.

2. Methodik: DivRL-Framework

Die Autoren schlagen DivRL vor, ein Post-Training-Framework basierend auf Reinforcement Learning (speziell Flow-GRPO), das Identitätskonsistenz und strukturelle Diversität gemeinsam optimiert. Die zentrale Innovation liegt in der Entkopplung dieser Ziele durch spezifische Reward-Designs und eine „Explore-and-Suppress“-Optimierungsstrategie.

2.1 Reward-Design

Das Framework nutzt zwei unterschiedliche Belohnungssignale, die aus entkoppelten visuellen Merkmalen (speziell den MTG-Merkmalen eines robusten Ähnlichkeitsmodells) abgeleitet werden:

1. Visual Semantic Matching (VSM) für Identitätskonsistenz:

   • VSM evaluiert die Identitätsbewahrung durch die Berechnung semantischer und visueller Ähnlichkeitsmatrizen zwischen dem Referenz- und dem generierten Bild.
   • Es identifiziert semantisch konsistente Regionen (wo die semantische Ähnlichkeit einen Schwellenwert $\tau_s$ überschreitet) und bewertet die visuelle Konsistenz innerhalb dieser Regionen.
   • Ein höherer VSM-Score deutet auf eine bessere Bewahrung der Identität des Subjekts unter variierenden Bedingungen hin.

2. Negative Self-Similarity Measure (nSSM) für strukturelle Diversität:

   • Im Gegensatz zu globalen Feature-Differenzmetriken quantifiziert nSSM Diversität durch die Analyse der internen Beziehungen visueller Merkmale.
   • Es berechnet Selbstähnlichkeitsmatrizen (Self-Similarity Matrices, SSM) für die visuellen Feature-Grids sowohl der Referenz- als auch der generierten Bilder. Diese Matrizen erfassen die intrinsische räumliche Organisation von Objektteilen.
   • nSSM ist definiert als $1 - \rho$, wobei $\rho$ der Pearson-Korrelationskoeffizient zwischen den SSMs des Referenz- und des generierten Bildes ist.
   • Logik: Eine hohe Korrelation impliziert ähnliche strukturelle Layouts (geringe Diversität), während eine geringere Korrelation mit strukturell diversen Kontexten (z. B. andere Posen oder Blickwinkel) korrespondiert. Die Maximierung von nSSM ermutigt das Modell, strukturell unterschiedliche Konfigurationen zu explorieren.
   • Stabilisierung: Um hochfrequente Texturartefakte zu verhindern (eine Form von Reward Hacking, bei der das Modell lokale Korrelationen imitiert, ohne die globale Struktur zu ändern), werden die visuellen Merkmale vor der Berechnung der SSM mittels $2\times2$ Average Pooling herunterskaliert.

2.2 Optimierungsstrategie: „Explore-and-Suppress“

Die direkte gleichzeitige Optimierung beider Ziele über eine lineare Gewichtung führt zu instabilem Training und Reward Hacking. Stattdessen setzt DivRL eine zweistufige Gated-Optimierungsstrategie ein:

• Stufe 1 (Explore): Das Modell wird unter Verwendung von nSSM als alleiniger Belohnung trainiert. Dies ermutigt das Modell, den latenten Raum frei zu explorieren und strukturell diverse Konfigurationen zu generieren, um die Starrheit des vortrainierten Modells zu durchbrechen.
• Stufe 2 (Suppress): Das Modell wird unter Verwendung einer gated Reward-Formulierung trainiert.
  • VSM fungiert als Constraint (Gate).
  • Wenn der VSM-Score eines Samples über einem Schwellenwert $s$ liegt, erhält es die nSSM-Belohnung.
  • Liegt der VSM-Score unter $s$, wird ein quadratischer Hinge-Loss-Penalty angewendet: $R = \text{nSSM} - \lambda(s - \text{VSM})^2$.
  • Effekt: Dies verwandelt die Identitätsbewahrung von einem konkurrierenden Ziel in eine Machbarkeitsbeschränkung (Feasibility Constraint). Das Modell ist frei, diverse Strukturen zu explorieren, solident diese innerhalb des identitätskonsistenten Bereichs bleiben. Dies entkoppelt die Optimierung und ermöglicht es, dass sich sowohl nSSM als als auch VSM gemeinsam verbessern, ohne dass die Gradienten des einen das andere zerstören.

3. Kernbeiträge

Das Paper skizziert drei primäre Beiträge:

1. nSSM-Metrik: Die Einführung der negativen Self-Similarity Measure, einer Metrik im Feature-Raum, die strukturelle Diversität durch die Analyse der Selbstähnlichkeitskorrelationen entkoppelter visueller Merkmale quantifiziert, statt globale Feature-Differenzen zu nutzen.
2. Explore-and-Suppress-Strategie: Ein neuartiger Optimierungsansatz, der die Diversitätsexploration von der Identitätsbewahrung durch eine Gated-Reward-Formulierung entkoppelt und die Identitätsbewahrung effektiv in eine Beschränkung statt in ein konkurrierendes Ziel verwandelt.
3. Empirische Validierung: Demonstration auf dem DreamBench++ Benchmark unter Verwendung des Flux-Kontext Backbones, die zeigt, dass die Methode die strukturelle Diversität verbessert und gleichzeitig eine wettbewerbsfähige Identitätskonsistenz beibehält. Die Autoren merken an, dass die nSSM-Formulierung und die zweistufige Optimierung Backbone-agnostisch sind.

4. Experimentelle Ergebnisse

Die Methode wurde auf dem DreamBench++ Benchmark (150 Identitäten, 9 Prompts pro Identität) gegen starke Baselines wie Flux-IP-Adapter, OmniGen, OmniGen2, UNO und PaCo-RL evaluiert.

• Quantitative Leistung:

  • Balance: DivRL erreicht eine überlegene Balance zwischen Identitätskonsistenz und struktureller Diversität im Vergleich zu den Baselines. Während die Optimierung von VSM allein die Konsistenz verbessert, aber die Diversität schwächt, und nSSM allein die Diversität erhöht, aber die Konsistenz beeinträchtigt, hält der kombinierte Ansatz eine hohe Konsistenz (vergleichbar mit Flux-Kontext) bei gleichzeitiger signifikanter Steigerung der Diversitätsmetriken (MTG-nSSM, DINO-nSSM) aufrecht.
  • Prompt-Folgsamkeit: Interessanterweise verbessert die Methode auch die Prompt-Ausrichtung. Die Autoren führen dies auf die Lockerung der „geometrischen Rigidität“ zurück, die durch das Pre-training induziert wurde; durch die Förderung struktureller Diversität kann das Modell das Subjekt effektiver an die kontextuellen Prompt-Anweisungen anpassen.
  • Konsistenz-Diversitäts-Trade-off: Diagramme von Consistency Ratio vs. Diversity-over-Consistency zeigen, dass DivRL den Bereich hoher Nützlichkeit besetzt, in dem beide Ziele koexistieren, und damit die lineare Kombination von Belohnungen übertrifft, die beide Ziele nicht gleichzeitig verbessern kann.

• Qualitative Beobachtungen:

  • Baselines wie Flux-Kontext und PaCo-RL produzieren oft starre Outputs oder scheitern an der Interaktion mit dem Prompt (z. B. das Platzieren eines Subjekts in einer spezifischen Szene).
  • Andere Modelle (z. B. OmniGen) produzieren diverse Outputs, leiden aber unter Identitätsdrift.
  • DivRL generiert erfolgreich Bilder mit variierenden Posen, Blickwinkeln und Ausdrücken, während es die feingliedrigen visuellen Details des Referenzsubjekts bewahrt.

5. Bedeutung und Limitationen

Bedeutung:
Das Paper identifiziert strukturelle Mimikry als einen kritischen Fehlermodus bestehender Methoden der subjektgesteuerten Generierung. Durch die explizite Trennung von struktureller Diversität und Identitätsbewahrung löst DivRL das Identitäts-Diversitäts-Paradoxon auf. Die „Explore-and-Suppress“-Strategie zeigt, dass die Behandlung der Identität als Machbarkeitsbeschränkung statt als konkurrierendes Ziel es Modellen ermöglicht, hochwertige latente Räume zu explorieren, in denen Identität und Neuartigkeit koexistieren.

Limitationen:
Die Autoren räumen bescheiden gewisse Einschränkungen ein:

• Metrik-Umfang: Die Diversitätsmetrik (nSSM) konzentriert sich auf strukturelle Variationen (Pose, Blickwinkel) und erfasst möglicherweise nicht vollständig höhere semantische Diversität oder komplexe kompositorische Änderungen.
• Rechenaufwand: Die Abhängigkeit von Reinforcement Learning für das Post-Training führt zu zusätzlichem Rechenaufwand im Vergleich zu rein Feed-Forward-Methoden.
• Input-Beschränkungen: Das Basismodell (Flux-Kontext) akzeptiert ein einzelnes Referenzbild, was die Effektivität einschränken kann, wenn das Referenzbild ambivalente Identitätsmerkmale oder komplexe Verdeckungen enthält.

Das Paper schließt mit dem Hinweis, dass zukünftige Arbeiten diese Limitationen durch reichhaltigere Diversitätsmetriken, effizientere Optimierungsstrategien und Multi-Referenz-Konditionierung adressieren könnten.