Technische Samenvatting: CopyCat

Probleemstelling

Recente subject-to-image (S2I) modellen hebben gepersonaliseerde beeldgeneratie geavanceerd, maar worstelen met het behoud van fijnmazige, subjectspecifieke details. Hoewel deze modellen de grove identiteit van een referentie-onderwerp kunnen behouden, falen ze vaak in het reproduceren van subtiele, onderscheidende kenmerken. De primaire flessenhals is het gebrek aan hoogwaardig, fijnmazig identiteits-toezicht. Echte gepaarde data (een referentieafbeelding en een doelafbeelding van hetzelfde onderwerp in verschillende contexten) is evenredig duur om te verzamelen. Bijgevolg vertrouwen modellen op gesynthetiseerde trainingsparen die effectief grove verschijning aanleren, maar falen in het vastleggen van subtiele subjectspecifieke details. Bestaande oplossingen die de schaal van data verbeteren, vereisen het hertrainen van dure modellen, terwijl optimalisatiegebaseerde personalisatiemethoden (bijv. DreamBooth) hoge kosten met zich meebrengen voor elk nieuw subject.

Methodologie

Het paper stelt CopyCat voor, een lichtgewicht model-verfijningsframework dat ontworpen is om de ontbrekende fijnmazige consistentie in vooraf getrainde S2I-modellen binnen enkele seconden te herstellen. Het framework bestaat uit twee onafhankelijke componenten:

1. Fijnmazige Consistentie LoRA (FCLoRA) Verfijning

In plaats van het verzamelen van nieuwe grootschalige datasets, voert CopyCat een eenmalige verfijning uit op een bestaand vooraf getraind S2I-model met behulp van een enkele proxy-afbeelding.

• Exacte Zelf-reconstructie Doelstelling: De kerninnovatie is het gebruik van de proxy-afbeelding als zowel de conditionerende afbeelding ($I_{ref}$) als de reconstructiedoelstelling ($I_{target}$), zodanig dat $I_{ref} = I_{target}$ op pixelniveau.
• Mechanisme: Door de conditionerende en de doelafbeelding perfect op elkaar af te stemmen, elimineert de optimalisatietaak de noodzaak om posevariaties, kijkhoekveranderingen of verlichtingsverschuivingen te modelleren. De doelstelling wordt een pure fijnmazige reconstructieprobleem.
• Efficiëntie: Een lichtgewicht LoRA ($\Delta\theta_{FC}$) met een rank die aanzienlijk kleiner is dan de originele S2I LoRA wordt aan het bevroren model toegevoegd. Deze wordt geoptimaliseerd voor slechts enkele stappen (ongeveer 3 seconden op een enkele GPU) om fouten in de fijnmazige visuele correspondentie te corrigeren die inherent zijn aan het vooraf getrainde model.
• Generalisatie: De verfijning codeert niet de specifieke identiteit van de proxy-afbeelding. In plaats daarvan leert het een overdraagbare capaciteit om fijnmazige details te bewaren, waardoor het verfijnde model kan worden toegepast op diverse ongeziene subjects en prompts zonder verdere subjectspecifieke optimalisatie.

2. Visueel-alleen Subject-to-Image LoRA

De auteurs herzien de architectuur van S2I-modellen op basis van double-stream diffusion transformers (bijv. FLUX backbone).

• Observatie: Subjectspecifieke kennis wordt primair gecodeerd in de visuele verschijning, terwijl tekstprompts de scène of attributen definiëren.
• Strategie: Het paper stelt voor om LoRA-adapters te verwijderen uit de toegewijde tekststroom van de Double-Stream Blocks, terwijl ze behouden blijven in de beeldstroom en de daaropvolgende gedeelde Single-Stream Blocks.
• Resultaat: Deze "Visueel-alleen" strategie vermindert het aantal trainbare parameters en verbetert de subjectconsistentie consequent vergeleken met het aanpassen van beide stromen.

Belangrijkste Bijdragen

1. CopyCat Framework: Een lichtgewicht, eenmalige verfijningsmethode die de fijnmazige subjectconsistentie in seconden aanzienlijk verbetert met behulp van een enkele afbeelding.
2. Exacte Zelf-reconstructie Paradigma: De identificatie dat het gebruik van een identieke afbeelding voor zowel conditionering als reconstructie de sleutel is tot effectieve verfijning in enkele seconden. Deze eenvoudige doelstelling stelt het model in staat om zich uitsluitend te concentreren op het versterken van de fijnmazige visuele correspondentie zonder semantische variaties te modelleren.
3. Visueel-alleen LoRA Ontwerp: Een demonstratie dat het aanpassen van alleen de visuele stroom in double-stream diffusion transformers beter presteert dan de conventionele strategie van het aanpassen van zowel de tekst- als de visuele stroom, wat een sterkere baseline biedt voor S2I-training.

Experimentele Resultaten

De auteurs evalueerden CopyCat op DreamBench en XVerseBench in single-subject en multi-subject settings met behulp van representatieve modellen (UNO, UMO, USO, OmniGen, etc.).

• Kwantitatieve Verbeteringen: CopyCat verbeterde de identiteitsbehoud-metrieken ($ID_{single}$, $ID_{multi}$, $ID_{INO}$) consistent over alle geteste backbones, terwijl de tekstalignement ($T_{CLIP}$) vergelijkbaar bleef. Bijvoorbeeld, op XVerseBench verbeterde UNO+CopyCat $ID_{single}$ van 59.24 naar 69.31 en $IP_{single}$ van 80.75 naar 84.95.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen tonen aan dat CopyCat fijnmazige details (bijv. gelaatstrekken, textuurpatronen) beter bewaart en identiteitsverwarring in multi-subject composities (bijv. het onderscheiden tussen vergelijkbare dieren zoals katten en honden) vermindert.
• Menselijke Gezichtspersonalisatie: Ondanks dat het is getraind zonder gezichtsspecifieke data, verbeterde CopyCat de gelaatsidentiteitsconsistentie aanzienlijk en behaalde resultaten die vergelijkbaar zijn met gespecialiseerde modellen zoals UMO.
• Ablatie-studies:
  • Het gebruik van een andere afbeelding van hetzelfde subject als doel (in plaats van de identieke afbeelding) leverde geen merkbare verbetering op.
  • Excessieve optimalisatie leidde tot overfitting; de optimale verfijning werd bereikt in ongeveer 3 seconden (4 stappen).
  • De Visueel-alleen LoRA strategie presteerde consequent beter dan Full LoRA op het gebied van subjectconsistentie-metrieken.

Betekenis en Claims

Het paper claimt dat CopyCat een eenvoudige en praktische richting biedt voor het verbeteren van toekomstige subject-to-image personalisatiemodellen. De betekenis ligt in:

• Efficiëntie: Het maakt het mogelijk om de fijnmazige consistentie in seconden te herstellen zonder dat er extra grootschalige trainingsdata of subjectspecifieke optimalisatie voor elk nieuw doel nodig is.
• Generaliseerbaarheid: Het verfijnde model is een "eenmalige" verbetering die generaliseert naar ongeziene subjects en prompts, en fungeert effectief als een universele enhancer voor bestaande S2I-modellen.
• Architecturaal Inzicht: De bevinding rondom de Visueel-alleen LoRA suggereert dat aanpassing van de tekststroom niet nodig is voor het leren van subjectspecifieke visuele kenmerken, wat een efficiënter trainingsparadigma biedt voor double-stream diffusion transformers.

De auteurs benadrukken dat deze aanpak niet de noodzaak vervangt voor hoogwaardige trainingsdata tijdens de initiële pretraining fase, maar dient als een effectieve post-training verfijning om de reeds aanwezige, maar onderbenutte fijnmazige consistentie-capaciteiten van vooraf getrainde modellen te ontsluiten.