💻 computer science

FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision

FlexAvatar is een methode die hoge kwaliteit, volledige 3D-hoofdavataren uit één afbeelding genereert door een transformer-model met 'bias sinks' te gebruiken om monokulaire en multiview-data te combineren, waardoor de beperkingen van eerdere methoden bij het extrapoleren van gezichtsuitdrukkingen en het reconstrueren van volledige 3D-structuren worden overwonnen.

Oorspronkelijke auteurs: Tobias Kirschstein, Simon Giebenhain, Matthias Nießner

Gepubliceerd 2026-04-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tobias Kirschstein, Simon Giebenhain, Matthias Nießner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto van jezelf hebt en je wilt dat die foto tot leven komt als een 3D-poppetje. Je wilt dat je kunt draaien, knipperen, lachen en dat het eruitziet alsof het echt is, zelfs als je eromheen loopt.

Vroeger was dit heel moeilijk. Als je alleen maar één foto had, werd het poppetje vaak "halve" of leek het op een platte sticker die je niet van alle kanten kon bekijken. Als je veel foto's van alle kanten had, werkte het wel, maar dat is voor de meeste mensen onmogelijk te regelen.

FlexAvatar is de nieuwe oplossing die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: De "Eenzame Foto"

Stel je voor dat je een schilderij maakt van een persoon die alleen naar voren kijkt. Als je later vraagt: "Hoe ziet zijn rug eruit?", moet je het raden.
Bij eerdere methoden leerden computers dit door naar duizenden video's van mensen te kijken die alleen naar voren kijken. Het probleem? De computer werd lui. Hij leerde: "Ah, als de mond lacht, is het gezicht naar voren gericht." Hij leerde de mond en de camera-hoek aan elkaar koppelen.
Dus als je hem vroeg om de persoon van opzij te tekenen, wist hij het niet meer en maakte hij een lelijke, onvolledige kop.

2. De Oplossing: Twee Leermeesters in Eén

FlexAvatar is slim genoeg om twee soorten leraren tegelijkertijd te gebruiken:

De Eenzame Meester: Kijkt naar de duizenden video's van mensen die alleen naar voren kijken. Deze meester is goed in het herkennen van gezichten en uitdrukkingen (generalisatie).
De 3D-Meester: Kijkt naar de zeldzame, dure video's waar mensen van alle kanten worden gefilmd. Deze meester weet precies hoe een volledig 3D-hoofd eruitziet.

Het probleem was dat deze twee meesters elkaar verwarden. De computer dacht: "Omdat de ene leraar zegt dat de mond naar voren kijkt, moet ik dat ook doen voor de andere leraar."

3. De Magische Sleutel: "Bias Sinks" (Vooroordelen-putten)

De onderzoekers hebben een slimme truc bedacht: Bias Sinks.
Stel je voor dat je een robot hebt die twee verschillende talen spreekt. Als je de robot een opdracht geeft in het Nederlands, geef je hem een Nederlandse hoed op. Als je hem een opdracht geeft in het Frans, geef je hem een Franse hoed.

Bij het trainen met de "eenzame video's" (Nederlands), zetten ze een speciale token (de hoed) op de robot. De robot leert dan: "Oké, met deze hoed mag ik een onvolledig hoofd maken, want ik heb maar één hoek gezien."
Bij het trainen met de "3D-video's" (Frans), zetten ze een andere hoed op. De robot leert: "Met deze hoed moet ik een volledig, rond hoofd maken."

Het geniale deel:
Wanneer je later een nieuwe foto van iemand uploadt, doen ze de robot alleen de Franse hoed op (de 3D-hoed).
De robot zegt dan: "Ah, ik heb de 3D-hoed op! Dan moet ik een volledig, rond hoofd maken, zelfs als ik maar één foto heb!"
Maar hij gebruikt wel de kennis die hij van de "eenzame video's" heeft geleerd over hoe gezichten eruitzien. Zo krijg je het beste van twee werelden: het herkennen van iedereen (van de eenzame video's) en het maken van een volledig 3D-hoofd (van de 3D-video's).

4. Het Resultaat: Een Pop die Leert en Beweegt

Wat krijg je aan het einde?

Eén foto is genoeg: Je uploadt een selfie, en binnen een paar minuten heb je een 3D-pop.
Volledig rond: Je kunt eromheen draaien. De achterkant van het hoofd is niet leeg; hij is er gewoon, omdat de robot het "weet" dankzij de 3D-hoed.
Draaibaar en expressief: Je kunt de pop laten praten, lachen of kijken naar links en rechts. Het ziet er realistisch uit.
Mensenmixen: Omdat de poppen in een "gladde ruimte" worden opgeslagen, kun je zelfs de neus van de ene persoon mengen met het glimlachje van de andere. Het is alsof je klei kunt vormen tussen twee verschillende gezichten.

Samenvattend

FlexAvatar is als een slimme kunstenaar die eerst duizenden foto's van mensen heeft gezien (om gezichten te herkennen) en daarna een paar dagen heeft geoefend met een 3D-scanner (om de diepte te begrijpen). Door een slimme "hoed" (de Bias Sink) op te zetten, weet de kunstenaar precies wanneer hij moet denken als een 3D-expert, zelfs als hij alleen maar een platte foto voor zich heeft.

Hierdoor kun jij nu met je telefoon een perfecte, draaibare 3D-versie van jezelf maken, zonder dat je in een dure studio hoeft te staan met twintig camera's.

1. Het Probleem

Het creëren van hoogwaardige, volledig animerbare 3D-head avatars op basis van slechts één enkele foto is een fundamenteel uitdagend probleem. Er zijn twee hoofdbeperkingen:

Onvolledige data: Een enkele afbeelding bevat geen informatie over de achterkant van het hoofd of andere hoeken, wat leidt tot incompleta 3D-reconstructies.
Entanglement (Verstrengeling) in monocular training: Bestaande methoden die trainen op monocular (enkel-kamer) videodata uit het wild, lijden onder een verstrengeling tussen het drijfsignaal (de gezichtsuitdrukking) en het doelkijkpunt. Omdat in monocular video's de camera en het gezicht vaak statisch zijn of samen bewegen, leert het model dat het alleen hoeft te reconstrueren wat zichtbaar is vanuit dat specifieke hoekpunt. Dit resulteert in avatars die "incompleet" zijn (bijv. ontbrekende achterkant) zodra ze vanuit een nieuw perspectief worden gerenderd.

Bestaande oplossingen vertrouwen vaak op sterke geometrische priors (zoals 3DMM-modellen zoals FLAME), wat de expressiviteit beperkt, of vereisen dure multi-view opnames die niet voor iedereen beschikbaar zijn.

2. Methodologie: FlexAvatar

FlexAvatar introduceert een encoder-decoder architectuur die 3D-head avatars leert te genereren door een slimme combinatie van monocular en multi-view data te gebruiken, zonder afhankelijk te zijn van restrictieve 3DMM-priors.

Kernarchitectuur

Encoder (E): Gebruikt een transformer-based cross-attention mechanisme om een ingekorte, 2D-latente code ( $A$ ) te extraheren uit de inputafbeelding. Deze code is agnostisch ten opzichte van het gezicht en het kijkpunt.
Decoder (D): Decodeert de avatar-code naar een set van 3D Gaussians (3DGS) die gearticuleerd kunnen worden door expressie-codes ( $z_{exp}$ ).
Upsampler: Een efficiënte architectuur gebaseerd op een combinatie van PixelShuffle en StyleGAN2-blokken om de resolutie te verhogen en scherpe details (zoals ogen en mond) te genereren.
Rendering: De gegenereerde 3D Gaussians worden gerenderd via een differentieerbare rasterizer naar een willekeurig doelkijkpunt ( $\pi$ ).

De Innovatie: Bias Sinks

Het meest cruciale technische onderdeel is de introductie van leerbare "bias sinks" (token-embeddings).

Het Mechanisme: Tijdens het trainen worden twee specifieke tokens aan de expressie-sequentie toegevoegd:
- $z_{2D}$ : Voor samples afkomstig uit monocular datasets.
- $z_{3D}$ : Voor samples afkomstig uit multi-view datasets.
De Werking: Het model leert dat wanneer het $z_{2D}$ ziet, het mag "gissen" naar een incompleet hoofd (wat de generalisatie van monocular data behoudt). Wanneer het echter $z_{3D}$ ziet, leert het een volledig, 360-graden hoofd te genereren.
Inference: Tijdens het gebruik (inference) wordt altijd de $z_{3D}$ token gebruikt. Hierdoor forceert het model het gedrag van de multi-view supervisie (volledige 3D-compleetheid), terwijl het nog steeds profiteert van de brede generalisatie die is opgedaan tijdens de training met de enorme monocular datasets.

Fitting voor Few-Shot Scenarios

FlexAvatar leert een gladde latente ruimte. Als er meer dan één afbeelding beschikbaar is (bijv. een korte video of meerdere foto's), kan de initiële avatar-code worden geoptimaliseerd ("gefit") tegen alle waarnemingen om de identiteit en details verder te verbeteren, zonder het decoder-netwerk te hertrainen.

3. Belangrijkste Bijdragen

Nieuwe Pipeline: Een efficiënte methode om hoogwaardige, complete 3D-head avatars te genereren vanuit één enkele afbeelding.
Bias Sinks: Een innovatieve techniek die de sterke punten van monocular data (generalisatie) en multi-view data (3D-compleetheid) combineert door dataset-specifieke biases expliciet te scheiden en te onderdrukken tijdens inferentie.
Hoogwaardige Upsampling: Een nieuwe upsampler-architectuur (StyleGAN + PixelShuffle) die visuele kwaliteit verbetert, vooral in gevoelige gebieden zoals de ogen.
Flexibiliteit: Het systeem werkt niet alleen voor single-image input, maar ook voor few-shot en monocular video scenario's, en ondersteunt interpolatie tussen verschillende identiteiten.

4. Resultaten

FlexAvatar werd geëvalueerd op diverse taken en datasets (VFHQ, Ava256, NeRSemble, Cafca) en presteerde overtuigend op bestaande state-of-the-art methoden (zoals GAGAvatar, LAM, Portrait4D, CAP4D):

3D Portrait Animation: Verbeterde prestaties op PSNR, SSIM en LPIPS, met name bij cross-reenactment (animatie van een persoon door een andere persoon).
Single-Image Avatar Creation: Significant betere resultaten bij het renderen vanuit nieuwe hoeken. Waar andere methoden vaak "incompleet" zijn (ontbrekende achterkant), genereert FlexAvatar een volledig 3D-hoofd.
Few-Shot & Monocular Creation: Op de NeRSemble benchmark (monocular video) overtrof FlexAvatar alle baselines, inclusief methoden die zware multi-view priors gebruiken, terwijl het veel minder frames nodig had en sneller convergerde (~10 minuten vs. uren).
Kwaliteit: De avatars tonen realistische gezichtsuitdrukkingen en zijn scherp, zelfs bij grote hoofdrotaties.

5. Betekenis en Impact

FlexAvatar lost een fundamenteel probleem op in het domein van 3D-vision: hoe je volledige 3D-geometrie kunt leren uit data die per definitie onvolledig is (enkel-kamer video's).

Toegang tot 3D: Het democratiseert het maken van 3D-avatars. Gebruikers hoeven geen dure multi-camera setups meer; een enkele foto of een smartphone-video volstaat.
Generalisatie: Door de bias sinks te gebruiken, kan het model trainen op enorme, openbare datasets (monocular) zonder in te leveren op de kwaliteit van de 3D-reconstructie.
Toepassingen: De technologie is direct toepasbaar in virtuele vergaderingen, gaming, AR/VR en persoonlijke contentcreatie, waar real-time en hoogwaardige 3D-avatars essentieel zijn.

Kortom, FlexAvatar bewijst dat het mogelijk is om "compleet" 3D te leren uit "partiële" supervisie door slimme architecturale keuzes die de dataset-bias expliciet modelleren en manipuleren.