🤖 AI

Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

Dit artikel stelt FPDM voor, een nieuw op diffusie gebaseerd raamwerk voor pose-gestuurde menselijke beeldsynthese dat een expliciete Image-Pose Fusion-module en contrastief leren gebruikt om bron-pose-embeddings af te stemmen op doelafbeeldingen, waardoor de textuurfideliteit en de consistentie van de generatie over verschillende poses en uiterlijkheden aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto hebt van een vriend die een specifieke outfit draagt (de Bronafbeelding) en een stokfiguur-tekening van een andere houding (de Doelhouding). Je doel is om een nieuwe foto van diezelfde vriend te maken, die precies dezelfde outfit draagt, maar in de nieuwe houding staat. Dit heet Pose-Gestuurde Menselijke Afbeeldingssynthese.

Lange tijd hadden computers hier moeite mee. Ze kregen de houding wel goed, maar verprutsten de kleding, of ze hielden de kleding goed, maar verloren de identiteit van de persoon.

Hieronder wordt uitgelegd hoe de auteurs van dit artikel, FPDM, het probleem hebben opgelost met een nieuw "recept" voor AI-afbeeldingsgeneratie.

1. Het Probleem: De "Verwarde Chef"

Eerdere methoden waren als een chef die twee aparte instructies krijgt: "Maak een pizza" (de outfit) en "Maak het rond" (de houding). De chef probeert deze instructies terwijl het koken gaat met elkaar te mengen. Omdat de instructies door elkaar in de pot zitten, is het resultaat vaak rommelig. Soms lijkt de pizza op een vierkant, of raken de toppings verloren.

In technische termen probeerden oudere AI-modellen de "uitstraling" van de persoon en de "vorm" van de houding pas op het allerlaatste moment van creatie te mengen. Dit leidde tot inconsistente resultaten: als je dezelfde houding vroeg met een lichtelijk andere bronfoto, raakte de AI in de war en veranderde het de identiteit van de persoon of de textuur van de kleding.

2. De Oplossing: De "Meesterblauwdruk" (Fusie-Embedding)

De auteurs stellen een nieuwe methode voor genaamd FPDM. In plaats van de instructies tijdens het koken te mengen, maken ze een Meesterblauwdruk voordat het koken begint.

Denk hierbij aan het volgende:

De Oude Manier: Je geeft de chef een foto van een overhemd en een schets van een houding, en zegt: "Kijk maar hoe je het voor elkaar krijgt."
De FPDM-Manier: Je neemt eerst de foto van het overhemd en de schets van de houding, en gebruikt een speciale vertaler om ze te combineren tot één perfecte Blauwdruk. Deze blauwdruk zegt precies: "Dit is het overhemd, en zo ziet het eruit wanneer de persoon in deze houding staat."

3. Hoe Ze De Blauwdruk Maken: De "Matchmaker"

Hoe maken ze deze perfecte blauwdruk? Ze gebruiken een techniek genaamd Contrastief Leren, die fungeert als een strenge Matchmaker.

De AI maakt een blauwdruk door de "Bronfoto" en de "Houdingsschets" te mengen.
De Matchmaker vergelijkt deze blauwdruk vervolgens met de Echte Doelfoto (de grondwaarheid).
Als de blauwdruk niet perfect overeenkomt met de echte foto, zegt de Matchmaker: "Nee, dat is fout!" en duwt ze uit elkaar.
Als ze op elkaar lijken, trekt de Matchmaker ze dichter bij elkaar.

Cruciaal is dat de auteurs een speciale truc hebben toegevoegd: ze tonen de Matchmaker ook de Bronfoto en zeggen: "Dit is niet het doel; verwar ze niet." Dit dwingt de AI om het verschil te leren tussen "hoe de persoon eruitziet" en "hoe ze poseren", zodat de blauwdruk de relatie tussen de twee vastlegt, en niet zomaar een wazige mix van beide.

4. Het Kookproces: Het "Denoisingsnetwerk"

Zodra de AI deze perfecte Fusieblauwdruk heeft, gebruikt het een krachtige engine genaamd een Diffusiemodel.

Stel je voor dat het Diffusiemodel als een beeldhouwer is die begint met een blok modderig, met ruis gevuld klei. De Blauwdruk fungeert als een gids voor de beeldhouwer.

De beeldhouwer verwijdert langzaam de ruis (het "denoising"-deel).
Omdat de Blauwdruk zo precies en vooraf uitgelijnd is, weet de beeldhouwer precies waar elke rimpel in het overhemd en elke vouw in de stof moet komen.
Het resultaat is een hoogwaardige afbeelding waarbij de identiteit van de persoon behouden blijft, de kleding er echt uitziet en de houding precies is zoals gevraagd.

5. Werkt Het? (De Resultaten)

De auteurs hebben dit getest op twee hoofdonderwerpen:

Modefoto's: Ze gebruikten een enorme dataset van kledingfoto's (DeepFashion). Hun methode was beter in het behouden van de textuur van de kleding (zoals strepen of patronen) consistent, zelfs wanneer de persoon zich omdraaide of van houding veranderde.
Taal van Gebaren: Ze testten het op video's van mensen die gebaren maken (RWTH-PHOENIX dataset). Dit is lastig omdat handdetails klein en complex zijn. Hun methode leverde duidelijkere handen en nauwkeurigere bewegingen op dan eerdere AI-modellen.

Samenvattende Analogie

Oude AI: Als proberen een portret te schilderen terwijl iemand tegelijkertijd schreeuwt met instructies over de houding en de kleding. Je eindigt met een wazige rommel.
FPDM: Als een meester-architect een perfecte, gedetailleerde blauwdruk tekent die de stijl van de klant en de vorm van het gebouw combineert voordat de bouw begint. Het bouwteam (het Diffusiemodel) volgt gewoon de blauwdruk, wat elke keer een perfect gebouw oplevert.

Het artikel concludeert dat door eerst deze expliciete "Fusieblauwdruk" te maken, de AI consistente, hoogwaardige afbeeldingen kan genereren die zowel de identiteit van de persoon als de nieuwe houding respecteren, waarmee een grote hoofdpijn in computer vision wordt opgelost.

Technische Samenvatting: Fusion Embedding voor Pose-Gestuurde Mensafbeeldingssynthese met Diffusiemodel (FPDM)

Probleemstelling
Pose-Gestuurde Mensafbeeldingssynthese (PGPIS) heeft tot doel een fotorealistische afbeelding van een persoon in een specifieke doel-pose te genereren, waarbij de identiteit, kleding en textuur van een bronafbeelding behouden blijven. Hoewel recente op diffusie gebaseerde benaderingen de beeldkwaliteit hebben verbeterd, vertrouwen zij doorgaans op impliciete feature-aggregatie binnen het ontdrukkingsproces. In deze bestaande methoden worden bron-uitstraling en doel-pose-embeddings direct in het ontdrukkingsnetwerk (bijv. UNet) geïnjecteerd zonder expliciete voorafgaande uitlijning. Bijgevolg wordt de interactie tussen uitstraling en pose impliciet aangeleerd, wat vaak leidt tot "verstrengeling" waarbij de relatie afhankelijk wordt van het specifieke ontdrukkingspad. Dit resulteert in inconsistente generatie-uitkomsten voor dezelfde identiteit wanneer de bron-uitstraling of doel-pose varieert, wat zich manifesteert als vervormde texturen, wazige contouren of identiteitsdrift.

Methodologie
De auteurs stellen FPDM (Fusion Embedding for PGPIS with Diffusion Model) voor, een raamwerk dat expliciet uitgelijnde gefuseerde bron-pose-embeddings met doel-afbeeldingsembeddings aligneert voordat het diffusieproces plaatsvindt. De architectuur bestaat uit twee hoofdfasen:

Image-Pose Fusion (IPF) Module (Pre-Diffusie Fase):
- Deze module leert een verenigde representatie door de bron-afbeeldingsembedding en de doel-pose-embedding te fuseren.
- Het maakt gebruik van een Combiner Network (aangepast van CLIP4CIR) om features te integreren van een op CLIP gebaseerde Image Encoder en een op CLIP gebaseerde Pose Encoder.
- Contrastieve Leerstrategie: De kerninnovatie is de Source-Enhanced Pose Fusion Approach. In tegenstelling tot basislijn contrastief leren, dat de gefuseerde embedding eenvoudigweg uitlijnt met de doel-afbeelding, behandelt deze aanpak de bron-afbeeldingsembedding expliciet als een negatief voorbeeld tijdens het trainen.
- Door het construeren van een batch-geaugmenteerde InfoNCE-verliesfunctie waarbij de gefuseerde embedding dicht bij de doel-afbeelding moet liggen, maar expliciet ver weg van de bron-afbeelding (onder de voorwaarde van de doel-pose), dwingt het model een pose-bewuste scheiding af. Dit voorkomt dat de gefuseerde embedding instort tot een representatie die uitsluitend door de bron-uitstraling wordt gedomineerd, en zorgt ervoor dat het pose-geconditioneerde onderscheidingen vastlegt.
Conditioneel Diffusiemodel (Generatiefase):
- Gebaseerd op het Stable Diffusion (SD) raamwerk, wordt het generatieve model geleid door drie distincte invoeren:
  - Bron-uitstraling: Geëxtraheerd via een DINOv2-encoder en geïnjecteerd in UNet-transformerblokken als key/value-features.
  - Doel-pose: Geëxtraheerd via een CNN-gebaseerde encoder (ControlNet-stijl) en geconcateneerd met de ruisige latent.
  - Fusie-embedding ( $e_f$ ): De output van de vooraf getrainde IPF-module, geïnjecteerd in ResNet-blokken naast timestep-embeddings.
- Tijdens inferentie maakt het model gebruik van een uitgebreid Classifier-Free Guidance (CFG)-schema om de bijdragen van de bron-pose-conditionering en de fusie-embedding onafhankelijk te wegen.

Belangrijkste Bijdragen

Expliciete Uitlijning via Contrastief Leren: FPDM is het eerste op diffusie gebaseerde PGPIS-raamwerk dat gefuseerde bron-pose-embeddings expliciet uitlijnt met doel-afbeeldingsembeddings met behulp van contrastief leren, waarmee de beperkingen van impliciete conditionering worden aangepakt.
Source-Enhanced Pose Fusion: De auteurs introduceren een nieuw contrastief leerdoel dat expliciet onderscheid maakt tussen bron- en doel-representaties door de bron-embedding als negatief voorbeeld te behandelen. Dit zorgt ervoor dat de fusie-embedding invariant is voor variaties in bron-uitstraling, terwijl het gevoelig blijft voor pose.
Robuust Conditioneel Signaal: De geleerde fusie-embedding dient als een stabiel conditioneel signaal gedurende het ontdrukkingsproces, wat consistente identiteitsbehoud mogelijk maakt over variërende poses en bronafbeeldingen heen.

Experimentele Resultaten
De methode werd geëvalueerd op twee benchmarks: DeepFashion (synthese van modeafbeeldingen) en RWTH-PHOENIX-Weather 2014T (generatie van gebarentaalvideo's).

Kwantitatieve Prestaties: Op DeepFashion behaalde FPDM concurrerende prestaties ten opzichte van state-of-the-art methoden (zoals MCLD, PCDM, XMDPT). Het toonde superieure LPIPS-scores aan (wat betere perceptuele gelijkenis en textuurbehoud aangeeft) en sterke FIDt-scores (Fréchet Inception Distance op de testset), wat betere generalisatie suggereert. Op de Phoenix-dataset behaalde FPDM de hoogste Hand SSIM (0,682) en concurrerende Hand Pose Error, wat cruciaal is voor de betrouwbaarheid van gebarentaal.
Kwalitatieve Prestaties: Visuele vergelijkingen toonden het vermogen van FPDM om fijnmazige details te reconstrueren (bijv. specifieke kledingpatronen, logo's) en structurele consistentie te behouden, zelfs wanneer de bronafbeelding slechts gedeeltelijke weergaven bood (bijv. het afleiden van rugweergaven vanuit voorweergaven).
Ablatiestudies:
- De Source-Enhanced Pose Fusion-strategie (A3) presteerde aanzienlijk beter dan basislijn fusie (A2) en embeddings alleen op basis van de bron (A1) in ophaalprecisie (Recall@1 van 99,7% versus 5,0% voor de basislijn).
- Het volledige model (B6) presteerde consequent beter dan varianten zonder de IPF-module of met verschillende fusiestrategieën op het gebied van textuurtrouw en pose-consistentie.
- Convergentieanalyse gaf aan dat hoewel de IPF-module aanvankelijke optimalisatiecomplexiteit toevoegt, dit leidt tot superieure uiteindelijke prestaties op het gebied van perceptuele kwaliteit.

Betekenis en Claims
Het artikel claimt dat FPDM een fundamentele beperking in huidige op diffusie gebaseerde PGPIS aanpakt: het gebrek aan expliciete uitlijning tussen heterogene conditionele signalen (uitstraling en pose). Door het uitlijnproces te ontkoppelen van het generatieproces via een vooraf getrainde fusie-embedding, zorgt de methode ervoor dat identiteitsbehoud robuust is tegen variaties in pose en bron-uitstraling.

De auteurs positioneren FPDM niet als een algemeen doel video-generatiemodel, maar als een taakspecifieke oplossing voor Pose-Gestuurde Mensafbeeldingssynthese. Zij benadrukken de praktische toepasbaarheid in:

Virtueel Passen en Digitale Avatars: Vanwege hoge-fideliteit textuur en identiteitsbehoud.
Gebarentaalgeneratie: Specifiek voor het genereren van gebarenconsistente videoframes, waarbij het behoud van handstructuur en identiteit over verschillende poses heen cruciaal is. Het artikel merkt op dat hoewel FPDM werkt op het niveau van afbeeldingssynthese, de sterke prestaties op op handen gerichte metrieken het een haalbaar kerncomponent maken voor gebarentaalvideopipelines.

De auteurs erkennen beperkingen, waaronder de moeilijkheid om fijnmazige tekst of logo's te reproduceren en de inherente rekenkosten van iteratieve diffusie-sampling in vergelijking met single-pass GAN's. Zij concluderen dat toekomstig werk zich moet richten op het uitbreiden van deze expliciete uitlijnstrategie naar temporair gestructureerde video-generatietaken.