Instant Expressive Gaussian Head Avatars at Over 100 FPS

Technische Samenvatting: Instant Expressieve Gaussian Head Avatars op meer dan 100 FPS

Probleemstelling
Het artikel adresseert de "portretanimatie-trilemma", een uitdaging waarbij bestaande methoden er niet in slagen om gelijktijdig een hoge snelheid, 3D-consistentie en expressieve details in gezichtsanimatie te bereiken.

• 2D-methoden: Benaderingen gebaseerd op video-diffusiemodellen of GANs bieden een hoge expressiviteit, maar lijden aan 3D-inconsistentie (bijv. identiteitsdrift, gehallucineerde kenmerken) en trage inferentiesnelheden door dure denoising-processen, wat ze ongeschikt maakt voor real-time toepassingen zoals telepresence of digitale tweelingen.
• 3D-methoden: Methoden die gebruikmaken van 3D-representaties (NeRFs, 3D Gaussians) garanderen 3D-consistentie en hogere snelheden, maar vertrouwen vaak op parametrische modellen (3DMM's) die de expressiviteit beperken, of gebruiken computationeel dure globale fusiemechanismen (bijv. dense attention layers) om structuur en beweging te combineren, wat resulteert in inferieure expressiedetails en lagere framerates.

Methodologie
De auteurs stellen een feed-forward pijplijn voor die instantaan een enkele "in-the-wild" afbeelding omzet in een 3D-consistente, animeerbare avatar met behulp van 3D Gaussian Splatting. De kerncomponenten zijn:

1. 3D Gaussian Representatie & Encoder:

   • Het systeem past een state-of-the-art 2D-naar-3D lifting encoder (oorspronkelijk ontworpen voor neurale triplanes) aan om een enkele invoerafbeelding te coderen naar een set 3D Gaussians.
   • In plaats van volumetrische velden samplet de methode 3D Gaussians uit gecodeerde triplanes. Een lichtgewicht MLP-decoder brengt feature vectoren in kaart naar Gaussian attributen (positie, schaling, rotatie, opacity, kleur).
   • Sampling wordt uitgevoerd via een twee-staps importance sampling strategie op stralen, waarbij ongeveer 200K Gaussians worden gegenereerd die voldoende zijn voor 512×512 resolutie rendering.

2. Feature-Space Deformatie voor Animatie:

   • In tegenstelling tot eerdere werken die Gaussians direct in de 3D ruimtelijke ruimte vervormen (door positie/schaal vectoren bij te werken), vervormt deze methode Gaussians in een hoogdimensionale feature-ruimte.
   • Motion Basis Vectoren: Elke gesamplede Gaussian locatie is geassocieerd met een geleerde "motion basis vector" ($m_i$) die ruimtelijk variërende deformatiecapaciteiten codeert (analoog aan gepersonaliseerde blendshapes).
   • Lokale Fusie: Een motion encoder extraheert 1D motion coëfficiënten van zowel de bron- als de sturende afbeeldingen. Een lichtgewicht motion decoder (met behulp van AdaLN) voorspelt een residuele feature vector ($\delta f_i$) voor elke Gaussian op basis van de motion coëfficiënten en de specifieke motion basis vector.
   • De uiteindelijke Gaussian attributen worden gedecodeerd uit de som van de originele feature vector en de voorspelde residu ($\text{f}_i + \delta \text{f}_i$). Deze lokale fusiestrategie vermijdt computationeel dure globale attention mechanismen, wat zorgt voor hoge snelheid bij de inferentie.

3. Trainingsstrategie met Diffusie-sturing:

   • Om het gebrek aan real-world 3D-consistente expressiegegevens te overwinnen, construeren de auteurs een synthetische dataset met behulp van een state-of-the-art 2D diffusiemodel (X-NeMo).
   • Frontalisatie: Om hallucinaties en viewpoint inconsistenties die gebruikelijk zijn bij diffusiemodellen te voorkomen, worden bron- en sturende afbeeldingen eerst gefrontaliseerd. Expressies worden alleen op deze frontale weergaven gesynthetiseerd.
   • Multi-view Supervisie: Een pre-trained 2D-naar-3D netwerk genereert multi-view afbeeldingen van de gefrontaliseerde synthetische portretten tijdens de training, wat cross-view geometrische consistentie afdwingt.
   • Het model wordt getraind via een self-reenactment objectief, waarbij de reconstructie loss, perceptual loss, identity loss en adversarial loss tussen de gerenderde output en de doelafbeeldingen worden geminimaliseerd.

Belangrijkste Bijdragen

• Efficiënte Animatie Representatie: Een nieuwe representatie die de 3D-structuur ontkoppelt van de animatie-representatie. Door features in een hoogdimensionale ruimte te vervormen met behulp van geleerde motion basis vectoren, legt de methode asymmetrische expressies, rimpels en schaduwveranderingen effectiever vast dan ruimtelijke deformatie methoden.
• Lichtgewicht Lokale Fusie: Het ontwerp vervangt zware globale fusiemechanismen door een efficiënte lokale fusiestrategie, waardoor een hoge expressiviteit wordt bereikt zonder de computationele kosten van herhaalde attention layers.
• Synthetische Trainingspijplijn: Een praktische strategie om 2D diffusiemodellen te benutten voor 3D animatietraining, terwijl hun inherente 3D-inconsistenties worden gemitigeerd door frontalisatie en multi-view supervisie.
• Prestaties: De methode is de eerste die gelijktijdig top-tier 3D-consistentie, gedetailleerde expressie-transfer en real-time inferentiesnelheden bereikt.

Resultaten

• Snelheid: De methode draait op 107,31 FPS voor animatie en pose controle op een NVIDIA 6000 Ada GPU. Dit vertegenwoordigt een versnelling van 3–4 orde grootte vergeleken met diffusie-gebaseerde methoden en presteert aanzienlijk beter dan bestaande 3D-bewuste methoden (bijv. Portrait4D-v2 op ~14,5 FPS).
• Kwaliteit: In kwantitatieve benchmarks (VOODOO-XP test set) behaalt de methode de beste 3D-consistentie (MEt3R) en 3D vorm nauwkeurigheid (IoU) van alle baselines. Het bereikt ook een state-of-the-art expressie-transfer nauwkeurigheid (AED) en emotie gelijkenis (EMO), waarmee zelfs het 2D diffusie-gebaseerde docentmodel (X-NeMo) wordt overtroffen in cross-reenactment taken.
• Visuele Getrouwheid: Kwalitatieve resultaten tonen een getrouwe transfer van extreme expressies, inclusief neusrimpels en oogbewegingen, zonder de identiteitsvervorming of gehallucineerde kenmerken (bijv. neppe snorren) die bij andere methoden worden gezien.

Significantie
Het artikel beweert het portretanimatie-trilemma op te lossen, waardoor de creatie van 4D digitale tweelingen uit een enkele afbeelding met real-time prestaties mogelijk wordt. Door een hoge expressiviteit te bereiken zonder concessies te doen aan 3D-consistentie of snelheid, faciliteert de methode real-world toepassingen zoals AR/VR, videoconferencing en agentic AI, waarbij controleerbaarheid en real-time responsiviteit cruciaal zijn. De auteurs merken op dat hoewel de methode momenteel beeldgestuurd is, de architectuur ondersteuning biedt voor het coderen van andere condities (audio, tekst) in motion coëfficiënten voor toekomstige expansie.