💻 computer science

FG-Portrait: 3D Flow Guided Editable Portrait Animation

Dit paper introduceert FG-Portrait, een methode die 3D-vloeistromen en dieptegestuurde bemonstering gebruikt om binnen een diffusion-model nauwkeurige, bewerkbare portretanimaties te genereren met behoud van de bronidentiteit.

Oorspronkelijke auteurs: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

FG-Portrait: De "3D-Flow" die je foto's laat dansen

Stel je voor dat je een oude foto van jezelf hebt, maar je wilt dat die foto precies doet wat een andere persoon doet in een video. Misschien wil je dat je foto ook lacht, knipoogt of zijn hoofd kantelt, terwijl je eigen gezicht er nog steeds op staat. Dit heet "portretanimatie".

Het probleem is dat dit tot nu toe vaak leek op een slechte poppenkast: de bewegingen waren onnatuurlijk, het gezicht leek te vervormen, of je herkende de persoon in de foto niet meer.

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd FG-Portrait. Laten we uitleggen hoe het werkt met een paar simpele vergelijkingen.

1. Het oude probleem: Gokken in het donker

Vroeger probeerden computers te raden hoe een gezicht moet bewegen. Ze keken naar de foto van de persoon (de "bron") en de video van de beweging (de "drijver").

De analogie: Stel je voor dat je probeert een poppetje te laten dansen door alleen naar de danser te kijken, zonder de poppetjes zelf te begrijpen. De computer probeerde dan te gokken: "Oh, als de neus naar links gaat, moet de mond ook een beetje naar links."
Het resultaat: Omdat de computer de diepte en de echte 3D-vorm niet goed begreep, werden de bewegingen vaak raar of onnatuurlijk. Het was alsof je probeerde een balletje te vangen in het donker; je mist vaak.

2. De nieuwe oplossing: Een 3D-landkaart (3D Flow)

Deze nieuwe methode, FG-Portrait, gebruikt geen gokken. In plaats daarvan bouwen ze eerst een 3D-landkaart van het gezicht.

De analogie: In plaats van blind te gissen, maken ze een exacte 3D-scan van het gezicht (een soort digitale klei). Ze weten precies waar elke punt op het gezicht zit: de neuspunt, de hoek van de lippen, het voorhoofd.
De "Flow": Ze tekenen onzichtbare pijltjes (de "3D Flow") van elke punt op het nieuwe gezicht naar de oude plek op het originele gezicht.
- Voorbeeld: Als de drijvende persoon zijn hoofd naar rechts kantelt, weten de pijltjes precies: "De punt van de neus moet 5 millimeter naar links en 2 millimeter naar boven bewegen om op de juiste plek op het originele gezicht te blijven."

Dit is leervrij en meetbaar. Ze hoeven niet te leren hoe een gezicht beweegt; ze meten het gewoon op basis van de wiskunde van de 3D-vorm. Het is alsof je een poppetje niet meer laat dansen door te gissen, maar door een onzichtbaar touwtje te trekken dat perfect is vastgemaakt aan de juiste plek.

3. Diepte is de sleutel (Depth-Guided Sampling)

Er is nog een klein probleem: een foto is plat (2D), maar een gezicht is bol (3D). Als je een punt op een foto ziet, weet je niet hoe ver het van de camera af staat. Is het een neus die dichtbij komt, of een wang die verder weg is?

De oplossing: De auteurs gebruiken een slimme truc genaamd "Diepte-gestuurde steekproef".
De analogie: Stel je voor dat je een duiker bent die een schat zoekt op de zeebodem. Als je alleen naar het oppervlak kijkt, weet je niet waar de schat ligt. Maar als je een sonar gebruikt (de dieptekaart), weet je precies hoe diep je moet duiken om de schat te vinden.
- De computer gebruikt een "sonar" (een dieptekaart van het gezicht) om te weten waar hij de bewegingspijltjes moet zoeken. Zo voorkomen ze dat de neus van de persoon ineens in zijn oor belandt.

4. Je bent de regisseur (Bewerkbaar)

Het mooiste aan deze nieuwe methode is dat je niet alleen een video kunt kopiëren, maar dat je zelf de regisseur kunt zijn.

De analogie: Stel je voor dat je een poppenkast hebt, maar je kunt ook zelf de poppenkast besturen. Je kunt zeggen: "Ik wil dat hij lacht, maar niet zo breed als in de video," of "Ik wil dat hij zijn hoofd kantelt, maar dan ietsje meer."
Omdat ze werken met de 3D-landkaart, kun je tijdens het proces de instellingen voor de "glimlach" of de "hoofdkanteling" aanpassen. Je kunt de animatie dus aanpassen aan je eigen wensen, zonder dat de foto er raar uitziet.

Samenvatting

Kortom, FG-Portrait is als het verschil tussen:

Oude methode: Een kind dat probeert een poppetje te laten dansen door er met zijn handen omheen te zwaaien (vaak onnatuurlijk en rommelig).
Nieuwe methode: Een professionele poppenspeler die elke beweging van het poppetje berekent met een onzichtbaar, perfect afgesteld touwsysteem (precies, natuurlijk en aanpasbaar).

Het resultaat? Foto's die leven, die je eigen gezicht behouden, maar die precies doen wat je wilt dat ze doen, zelfs als de bewegingen heel groot zijn.

Probleemstelling

Het doel van portretanimatie is het herscheppen van een persoon op een bronafbeelding (source) met de koppositie en expressie van een sturende afbeelding (driving). Hoewel recente diffusion-based modellen (zoals X-Portrait en Face-Adapter) hoge kwaliteit beelden kunnen genereren, kampen ze met twee fundamentele beperkingen:

Gebrek aan expliciete correspondentie: Bestaande methoden conditioneren vaak alleen op de beweging van de sturende afbeelding zonder de ruimtelijke relatie tussen de bron en de sturende afbeelding expliciet te modelleren. Dit leidt tot suboptimale bewegingsoverdracht, vooral bij grote variaties in houding of uiterlijk.
Onnauwkeurige 2D-bewegingsschatting: Methoden die proberen dichte bewegingsvelden (motion fields) te voorspellen vanuit 2D-beelden, hebben te maken met het inherent onoplosbare (ill-posed) karakter van het schatten van 3D-beweging vanuit 2D-input. Dit resulteert in onnauwkeurige animaties en identiteitsverlies.

Methodologie

De auteurs introduceren FG-Portrait, een framework dat gebruikmaakt van 3D-flow als een leer-vrije (learning-free) en geometrie-gedreven bewegingscorrespondentie. Het framework bestaat uit de volgende kerncomponenten:

3D Flow (Bewegingscorrespondentie):
- In plaats van een netwerk te trainen om beweging te voorspellen, gebruiken de auteurs een parametrisch 3D hoofdmodel (FLAME).
- Ze schatten de FLAME-parameters (vorm, houding, expressie) voor zowel de bron- als de sturende afbeelding.
- Een doel-3D hoofd ( $M_{tgt}$ ) wordt geassembleerd door de vorm van de bron te combineren met de houding en expressie van de sturende afbeelding.
- De 3D flow wordt berekend als het 3D-displacement tussen een punt op het doel-3D hoofd en het corresponderende punt op het bron-3D hoofd. Dit wordt gedaan via een oppervlakteveld (surface field) zoektocht, wat zorgt voor semantisch correcte punt-tot-punt correspondenties, ongeacht grote houdingsveranderingen.
3D Flow Encoding & Depth-Guided Sampling:
- Om deze 3D-flow in te zetten voor een 2D diffusion-model, wordt een 3D flow encoding gegenereerd.
- Voor elke pixel in de doelafbeelding wordt deze teruggeprojecteerd (backprojected) naar de 3D-ruimte.
- Depth-Guided Sampling: In plaats van uniform te bemonsteren langs de projectiestraal, wordt er dieptegeleid bemonsterd. De dieptekaart van het doel-3D hoofd wordt gebruikt om punten te selecteren die dicht bij de werkelijke 3D-locatie van de pixel liggen. Dit zorgt ervoor dat de gegenereerde 3D-flow nauwkeurig overeenkomt met de 2D-beweging in het beeld.
- Deze flow wordt gestapeld als een nieuwe conditionele input voor de ControlNet van het diffusion-model.
Architectuur:
- Het model gebruikt Stable Diffusion (U-Net) als generatieve backbone.
- Er zijn drie takken: een Appearance Network (voor identiteit en achtergrond), een ControlNet (voor beweging via de 3D flow encoding), en de diffusion U-Net zelf.
- Tijdens het trainen wordt het doelbeeld gereconstrueerd uit de bron en de sturende beweging.
Bewerkbaarheid (Editing):
- Tijdens de inferentie ondersteunt het model gebruikersgespecificeerde bewerkingen. Gebruikers kunnen de FLAME-expressie- en houdingsparameters ( $\Delta\psi$ en $\Delta\theta$ ) aanpassen. Het model herberekent vervolgens de 3D flow encoding op basis van deze nieuwe parameters en genereert een bewerkte afbeelding zonder opnieuw te hoeven trainen.

Belangrijkste Bijdragen

3D Flow als Motion Condition: Introductie van een leer-vrije, geometrie-gedreven bewegingscorrespondentie die nauwkeurig de 3D-displacement tussen bron en doel beschrijft, in tegenstelling tot voorspelde 2D-velden.
3D Flow Encoding met Depth-Guided Sampling: Een nieuwe methode om 3D-beweging te vertalen naar een conditionele input voor diffusion-modellen, waarbij diepte-informatie wordt gebruikt om de alignering met 2D-beweging te maximaliseren.
Editable Animation: Ondersteuning voor voorwaartse (feed-forward) bewerking van gezichtsuitdrukking en hoofdpositie tijdens de inferentie, gebaseerd op de onderliggende 3D-parametrische structuur.
Superieure Prestaties: Het model behaalt state-of-the-art resultaten in zowel zelf-herleving (self-reenactment) als kruis-herleving (cross-reenactment) op de VFHQ en FFHQ datasets.

Resultaten

De auteurs evalueren hun methode op de VFHQ (video) en FFHQ (foto) datasets, zowel voor zelf-herleving als voor animatie van verschillende personen (cross-reenactment).

Kwantitatieve resultaten:
- Bewegingsnauwkeurigheid: FG-Portrait behaalt de laagste APD (Average Pose Distance) en AED (Average Expression Distance) in vergelijking met concurrenten zoals X-Portrait, Face-Adapter en HunyuanPortrait. Dit betekent dat de gegenereerde beweging veel dichter bij de sturende beweging ligt.
- Identiteitsbehoud: De methode behoudt een hoge CSIM (Cosine Similarity) score, wat aangeeft dat de identiteit van de bronpersoon goed bewaard blijft, zelfs bij grote bewegingsverschillen.
- Kwaliteit: De LPIPS (beoordeling van beeldkwaliteit) en FID scores zijn concurrerend of superieur.
Kwalitatieve resultaten:
- Visuele vergelijkingen tonen aan dat FG-Portrait beter in staat is om complexe bewegingen (zoals grote koprotaties) na te bootsen zonder artefacten of identiteitsverlies.
- Bestaande diffusion-methoden vertonen vaak "over-smoothing" of onrealistische vervormingen bij grote bewegingsverschillen.
- De methode slaagt erin om de achtergrond coherent mee te laten bewegen met de beweging van het hoofd, in tegenstelling tot methoden die alleen het hoofd segmenteren.
Ablatie studies:
- Het verwijderen van de "Depth-Guided Sampling" leidt tot een significante daling in bewegingsnauwkeurigheid (hoge APD/AED), wat de noodzaak van deze stap bevestigt.
- Het gebruik van voorspelde 2D-flowvelden als input presteert slechter dan de directe 3D-flow berekening.

Betekenis

FG-Portrait markeert een belangrijke stap voorwaarts in het veld van digitale menselijke animatie. Door de afhankelijkheid van datagedreven bewegingsvoorspelling te vervangen door een geometrisch onderbouwde 3D-flow, lost het paper het probleem van onnauwkeurige bewegingsoverdracht op bij grote variaties in houding.

De innovatie is dubbelzijdig:

Technisch: Het koppelt parametrische 3D-modellen (FLAME) direct aan diffusion-modellen via een nieuwe encoding-methode, wat de brug slaat tussen 3D-geometrie en 2D-generatie.
Praktisch: Het biedt gebruikers controle over de animatie (bewerking van houding en expressie) zonder dat er extra training nodig is, wat het zeer bruikbaar maakt voor toepassingen zoals filmproductie, digitale menselijke creatie en portretbewerking.

De beperkingen die worden genoemd zijn voornamelijk gerelateerd aan de resolutie van de FLAME-mesh, wat de weergave van zeer fijne expressiedetails kan beperken, maar dit biedt een duidelijk pad voor toekomstig onderzoek.