💻 computer science

Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation

Dit artikel introduceert een dual-branch framework, versterkt door een Dynamic Balancing Scaling (DBS) strategie om de afweging tussen gezichtsgetrouwheid en algehele verschijningsconsistentie bij gepersonaliseerde persoon-afbeeldingsgeneratie op te lossen, samen met de release van de Pexels-100 benchmark voor holistische identiteitsevaluatie.

Oorspronkelijke auteurs: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Gepubliceerd 2026-07-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een regisseur bent in een filmstudio, maar in plaats van acteurs in te huren, heb je een magische camera die elk personage kan oproepen dat je beschrijft. Je wilt een held die precies lijkt op je beste vriend—dezelfde glimlach, dezelfde ogen, dezelfde eigenzinnige neus—maar die een ruimtepak draagt op Mars, of misschien een draak berijdt in een middeleeuws bos. Dit is de droom van "gepersonaliseerde beeldgeneratie." Lange tijd moesten AI-kunstenaars kiezen tussen twee frustrerende opties: ofwel het personage exact op het gezicht van je vriend laten lijken, maar daarbij vergeten wat hij droeg of hoe zijn lichaam eruitzag; ofwel hem in de perfecte outfit en houding kleden, maar eindigen met het gezicht van een vreemde. Het was alsof je een taart probeerde te bakken waarbij je óf de glazuur perfect kon krijgen, óf de spons perfect, maar nooit beide tegelijkertijd. Dit artikel duikt in die specifieke hoek van kunstmatige intelligentie en pakt het lastige probleem aan van het consistent houden van iemands "gehele zelf"—hun gezicht én hun volledige outfit en uitstraling—wanneer de AI wordt gevraagd hen in nieuwe situaties te plaatsen.

De onderzoekers achter deze studie, onder leiding van Yuxuan Xiao en collega's, besloten geen partij te kiezen. Ze begonnen met het bouwen van een "Naive Dual-Branch" systeem, wat in essentie een tweebaanssnelweg is voor de AI. De ene baan richt zich op het grote plaatje (de kleding, de lichaamsvorm, het kapsel), en de andere baan zoomt in op de minuscule details van het gezicht. Ze ontdekten dat hoewel deze tweebaansbenadering een goed begin was, het een beetje chaotisch was. De "gezichtslaan" reed veel te hard en nam de hele auto over, terwijl de "verschijningslaan" in de achteruitkijkspiegel verdwaalde. Het resultaat? Geweldige gezichten, maar de kleding veranderde soms in iets vreemds, of de lichaamsvorm werd samengedrukt.

Om dit verkeersprobleem op te lossen, heeft het team een slim verkeersregelsysteem uitgevonden genaamd Dynamic Balancing Scaling (DBS). Zie dit als een slimme dirigent voor een orkest. De dirigent gebruikt twee belangrijke trucs. Ten eerste gebruiken ze Adaptive Temporal Gating, wat als een dimmer werkt die het volume van de gezichts- en lichaammusici op verschillende momenten tijdens het nummer verandert. In het begin van het proces laat de dirigent het gezicht misschien een gestage, betrouwbare melodie spelen om de identiteit vast te leggen, maar naarmate het nummer vordert, draait hij het volume van het lichaam en de kleding voorzichtig omhoog zodat ze niet worden overstemd. Ten tweede introduceerden ze Region-Aware Optimization. Stel je voor dat de AI een schilderij maakt en meestal de hele canvas met dezelfde druk van de penseel beschildert. Deze nieuwe truc vertelt de AI: "Hé, wees super voorzichtig en nauwkeurig bij het schilderen van het gezicht, maar vergeet de kleding en de achtergrond niet evenveel aandacht te geven." Dit zorgt ervoor dat de AI niet geobsedeerd raakt door de ogen en de blouse negeert.

Het team testte hun nieuwe methode op een eigen benchmark die ze creëerden genaamd Pexels-100, die 100 verschillende full-body afbeeldingen bevat om te zien hoe goed de AI de identiteit van een persoon intact kan houden in verschillende scènes. De resultaten waren veelbelovend. Hun methode slaagde erin om een veel betere balans te vinden dan andere open-source tools, waarbij het gezicht herkenbaar bleef terwijl ook de kleding en het lichaam er goed uitzagen. Sterker nog, hun aanpak presteerde zo goed dat het zelfs wedijverde met sommige dure, gesloten commerciële systemen. De auteurs merken echter voorzichtig op dat dit nog geen toverstaf is voor elk probleem. Als je de AI vraagt een persoon te tekenen die een complexe gymnastische salto maakt of ingewikkelde handbewegingen maakt, kan de afbeelding nog steeds een beetje wankel of vervormd raken, omdat het onderliggende AI-model nog steeds worstelt met die lastige fysieke structuren. Maar voor de meeste alledaagse scenario's helpt deze nieuwe "dirigent" de AI om eindelijk in harmonie te zingen, waardoor de hele persoon op zichzelf lijkt, en niet alleen het gezicht.

Technische Samenvatting: Voorbij Faciale Consistentie: Gepersonaliseerde Persoonsbeeldgeneratie met Holistische Identiteitsbehoud

Probleemstelling
Gepersonaliseerde persoonsbeeldgeneratie streeft naar het synthetiseren van afbeeldingen die overeenkomen met de identiteit van een gebruiker op basis van een referentieafbeelding en tekstuele prompts. Huidige methoden worden geconfronteerd met een fundamentele afruil: ze leggen doorgaans de nadruk op ofwel onderwerpsconsistentie (het behoud van het globale uiterlijk, kleding en lichaamsvorm) ofwel faciale consistentie (het behoud van lokale gezichtsstructuur en details), maar zelden beide tegelijkertijd. Bestaande benaderingen lijden vaak aan instabiliteit wanneer zij proberen beide te combineren, wat leidt tot scenario's waarin de faciale identiteit wordt behouden ten koste van het algehele uiterlijk, of vice versa. Deze onbalans komt voort uit de heterogene representatieruimtes en injectiemechanismen van verschillende identiteitsvertakkingen, die leiden tot ongecoördineerde interacties en een hardnekkige overdominantie van de faciale vertakking tijdens het denoisingsproces.

Methodologie
De auteurs stellen een verenigd framework voor, gebouwd op de FLUX.1-dev diffusie-transformer backbone, waarbij een Naive Dual-Branch (NDB) baseline wordt geïntroduceerd en verfijnd met een Dynamic Balancing Scaling (DBS) fine-tuning strategie.

Naive Dual-Branch (NDB) Baseline:
Het framework integreert twee onderscheidende conditioneringstrajecten:
- Appearance Branch (Uiterlijk-vertakking): Gebaseerd op InstantCharacter [23], legt deze vertakking globale identiteitskenmerken vast (haardracht, lichaamsverhoudingen, kleding) met behulp van gefuseerde DINOv2- en SigLIP-features die via een Q-Former worden geprojecteerd en via cross-attention worden geïnjecteerd.
- Face Branch (Gezichts-vertakking): Gebaseerd op InfiniteYou [10], richt deze vertakking zich op fijnmazige gezichtsgeometrie en textuur met behulp van een vooraf getrainde face encoder, geïnjecteerd via een ControlNet-stijl residu-pad.
  Hoewel deze combinatie veelbelovende resultaten oplevert, vertoont het instabiliteit waarbij de gezichtsvertakking domineert, wat leidt tot een inconsistent uiterlijk.
Dynamic Balancing Scaling (DBS):
Om de twee vertakkingen te coördineren en de dominantie van de gezichtsvertakking te mitigeren, introduceert DBS twee complementaire componenten:
- Adaptive Temporal Gating (ATG): Een tijd-bewust mechanisme dat de bijdragekracht van de uiterlijk- en gezichtsvertakkingen dynamisch moduleert gedurende het denoising-traject. De gezichtsvertakking dient als een stabiel referentieanker, terwijl de bijdrage van de uiterlijkvertakking geleidelijk wordt versoepeld ten opzichte van dit anker. Dit voorkomt onstabiele optimalisatie in de vroege training en zorgt voor gebalanceerde sturing over verschillende tijdstappen.
- Region-Aware Optimization (RAO): Een verliesfunctie ontworpen om ruimtelijke onbalans aan te pakken. Omdat gezichtsregio's klein zijn en uiterlijk-regio's groot, biedt standaard globale Mean Squared Error (MSE) uniforme supervisie die er niet in slaagt specifieke regio's effectief te optimaliseren. RAO deelt de denoising-fout op in drie regionale doelstellingen: faciaal ( $L_f$ ), uiterlijk ( $L_a$ ) en globaal ( $L_g$ ). Het maakt gebruik van een referentie-gestuurde Pareto-stijl aggregatie waarbij faciale en uiterlijke verliezen pas geactiveerd worden wanneer ze onderpresteren ten opzichte van een exponential moving average (EMA) referentie, terwijl de globale loss een persistent achtergronddoel blijft. Dit beschermt regio-specifieke identiteitskenmerken zonder dat een enkele vertakking het optimalisatietraject domineert.

Belangrijkste Bijdragen

NDB-methode: De voorstel van het expliciet modelleren van uiterlijke en lokale gezichtskenmerken afzonderlijk binnen een gedeeld generatief framework om holistische identiteitsconsistentie aan te pakken.
Dynamic Balancing Scaling (DBS): Een fine-tuning strategie bestaande uit Adaptive Temporal Gating en Region-Aware Optimization. Deze strategie verlicht de onvoldoende handhaving van holistische consistentie veroorzaakt door sterke signaaldominantie in de NDB-baseline, en bereikt een betere afruil tussen faciale getrouwheid en uiterlijke consistentie.
Pexels-100 Benchmark: De constructie van de eerste testbenchmark specifiek voor het evalueren van holistische identiteitsconsistentie in gepersonaliseerde persoonsbeeldgeneratie, waarbij volledige lichaamsafbeeldingen en tekstuele prompts worden gebruikt om prestaties over zowel faciale als uiterlijke dimensies te beoordelen.

Experimentele Resultaten
De methode werd geëvalueerd op de Pexels-100 benchmark met metrieken waaronder Face Similarity (ArcFace), Person Re-identification (ReID), DINOv2 score en CLIP-T.

Kwantitatieve Prestaties: De voorgestelde methode presteert beter dan bestaande open-source baselines (bijv. InstantCharacter, InfiniteYou, UNO, Kontext) op het gebied van holistische identiteitsconsistentie. Specifiek behaalt het een Face Score van 0,7875 en een DINOv2 score van 0,3202, waarmee het de meeste open-source modellen overtreft en concurrerend blijft met gesloten commerciële systemen (bijv. GPT-Image-2).
Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat hoewel sommige methoden uitblinken in ofwel de faciale gelijkenis of de kledingconsistentie, de voorgestelde methode een gunstiger evenwicht handhaaft door zowel de faciale identiteit als de algemene uiterlijke coherentie in diverse scenario's te bewaren.
Ablatie-studies: Experimenten bevestigen dat zowel ATG als RAO bijdragen aan de verbetering van de prestaties. Het volledige DBS-model bereikt de beste holistische consistentie, wat valideert dat de componenten complementair zijn in plaats van redundant.

Betekenis en Claims
Het artikel claimt een controleerbaar basisframework voor holistische identiteitsmodellering te bieden. Door de inherente afruil tussen faciale getrouwheid en uiterlijke consistentie aan te pakken, biedt de voorgestelde methode een stabielere en interpreteerbare benadering voor gepersonaliseerde persoonsgeneratie vergeleken met bestaande open-source oplossingen. De auteurs benadrukken dat hun aanpak niet probeert de faciale gelijkenis in isolatie te maximaliseren, maar eerder de coherentie van de gehele identiteitsrepresentatie te verbeteren. Hoewel de methode vertrouwt op gating-gebaseerde modulatie zonder de onderliggende feature-lering van de backbone te wijzigen (wat de prestaties op complexe poses of fijnmazige structuren zoals handen beperkt), vormt het een significante stap voorwaarts in het verenigen van globale en lokale identiteitsrestricties in diffusie-gebaseerde beeldgeneratie.

Meer zoals dit