Technische Samenvatting: FiCA - Feed-forward Instant Gaussian Codec Avatars

Probleemstelling

Het creëren van fotorealistische, aanstuurbare 3D menselijke avatars vanuit een enkele portretfoto is een zeer slecht gestelde (ill-posed) opgave vanwege de schaarste aan visuele informatie die nodig is om 3D-geometrie en uiterlijk af te leiden. Bestaande oplossingen kampen met een afruil tussen de overvloed aan data en de computationele belasting:

• Hoge-getrouwheidsmethoden vertrouwen op dichte, multi-view capturesystemen en offline optimalisatie, wat tijdrovend en hulpbronnenintensief is.
• Recente single-image methoden vereisen vaak omslachtige optimalisatie tijdens de testtijd (bijv. GAN-inversie of fine-tuning) om een universele prior af te stemmen op een specifieke identiteit, wat de toegankelijkheid en snelheid beperkt.
• Huidige feed-forward benaderingen lijden vaak aan visuele artefacten, een gebrek aan identiteitsbehoud of een beperkte expressiviteit bij het animeren van avatars.

Het doel is om een systeem te ontwikkelen dat authentieke, real-time aanstuurbare avatars genereert uit een enkele informele portretfoto binnen enkele seconden, zonder persoonspecifieke optimalisatie tijdens de testtijd.

Methodologie: FiCA Pipeline

FiCA (Feed-forward Instant Gaussian Codec Avatar) is een modulaire, feed-forward pipeline die een enkele portretfoto omzet in een set van 3D Gaussians die in staat zijn tot real-time animatie. Het proces bestaat uit drie primaire fasen:

1. Conditionering via Vision Foundation Models

Om het gebrek aan 3D-informatie in een enkele afbeelding aan te pakken, maakt het systeem gebruik van mensgerichte vision foundation models om rijke kenmerken te extraheren:

• CLIP Embedding: Extraheert hoogwaardige visuele semantische informatie ($f_{CLIP}$) uit de invoerafbeelding.
• Sapiens Modellen: Fine-tuned versies van Sapiens voorspellen per-pixel UV-coördinaten, mesh-vertexcoördinaten en oppervlaktenormalen.
• Partiële Observatie: Deze voorspellingen worden uitgevouwen naar vier partiële UV-kaarten: RGB-textuur, zichtbaarheidsmasker, normaal kaart en vertexcoördinaten ($UV_{partial}$). Deze dienen als de conditionering-signalen voor het generatieve model.

2. Diffusie-gebaseerde Textuur- en Geometrie-generatie

Een latent diffusiemodel (gebaseerd op de DiT-architectuur) genereert volledige UV-textuur- en geometrie-kaarten vanuit de partiële observaties.

• Input: Het model neemt de CLIP-embedding, partiële UV-kaarten, een domain switcher (om onderscheid te maken tussen textuur- en geometrie-taken), diffusie-timesteps en willekeurige ruis als input.
• Trainingsdoel: Het model wordt getraind met een conditional flow matching-doelstelling om een generatieve mapping te leren van imperfecte partiële observaties naar volledige, authentieke 3D-mesh representaties. In tegen tegenstelling tot inpainting-modellen is dit diffusiemodel getraind om volledige geometrie en textuur te "verbeelden" (inclusclusief zelf-geoccludeerde regio's zoals de binnenkant van de mond) terwijl de identiteit behouden blijft.
• Output: Een volledige canonieke getextureerde mesh ($\tilde{T}, \tilde{G}$).

3. Feed-forward Mesh Verfijning

Om de getrouwheid en identiteitsbehoud te verbeteren zonder optimalisatie tijdens de testtijd, wordt een geleerd feed-forward verfijningsnetwerk ($R_\phi$) geïntroduceerd.

• Mechanisme: Het netwerk neemt de initieel door diffusie gegenereerde textuur en geometrie, samen met dichte visuele kenmerken geëxtraheerd uit zowel de originele invoerafbeelding als de gerenderde diffusie-mesh (via Sapiens ViT).
• Architectuur: Een U-Net met cross-attention lagen stelt het netwerk in staat om beeldkenmerken te raadplegen om de UV-kaarten te verfijnen.
• Verliesfunctie: De training maakt gebruik van een gewogen som van fotometrische loss, 2D-keypoint loss, mask loss en regularisatie-termen om ervoor te zorgen dat de verfijnde mesh overeenkomt met de invoerafbeelding en overfitting op zichtbare delen voorkomt.
• Resultaat: Een verfijnde canonieke mesh ($T, G$) met gecorrigeerde huidtinten en geometrische details.

4. Decoderen naar 3D Gaussians via Universal Prior Model (UPM)

De laatste stap zet de verfijnde canonieke mesh om in een real-time aanstuurbare avatar met behulp van een Universal Prior Model.

• Identiteit Encoder ($E_{\psi}^{id}$): Een CNN-gebaseerde hypernetwork codeert de verfijnde UV-textuur en geometrie in identiteit-specifieke bias-kaarten ($\Psi_{id}$).
• 3D Gaussian Decoder ($D_{\psi}^{dec}$): Deze decoder neemt de bias-kaarten en driving-signalen (expressie-codes, kijkvectoren, gaze-vectoren) en genereert een set 3D Gaussians.
• Output: Een "Codec Avatar" gerepresenteerd door 3D Gaussians die met willekeurige expressies in real-time kan worden geanimeerd.

Belangrijkste Bijdragen

1. FiCA Systeem: Een volledig feed-forward pipeline die authentieke, aanstuurbare Gaussian Codec Avatars genereert uit een enkele informele portretfoto in ongeveer 5 seconden, waardoor de noodzaak voor persoonspecifieke optimalisatie tijdens de testtijd wordt geëlimineerd.
2. Diffusiemodel voor Avatar Generatie: Een nieuw diffusiemodel dat een generatieve mapping leert van partiële visuele observaties (afgeleid van foundation models) naar volledige 3D-mesh textuur en geometrie, waarbij zelf-geoccludeerde regio's effectief worden afgehandeld.
3. Feed-forward Verfijningsnetwerk: Een geleerd module die de avatar-getrouwheid en identiteitsbehoud verbetert door subtiele details (bijv. huidskleur, kleding) te corrigeren via cross-attention met beeldkenmerken, waardoor de computationele kosten van iteratieve optimalisatie worden vermeden.

Experimentele Resultaten

De auteurs evalueerden FiCA op ongeziene identiteiten met diverse attributen (ras, geslacht, leeftijd, kapsels) en nieuwe expressies.

• Kwalitatieve Prestaties: FiCA produceert avatars met een hoge visuele getrouwheid, waarbij invoerdetails (bijv. tatoeages, accessoires) worden behouden en plausibele ongeziene regio's (bijv. de binnenkant van de mond) worden gegenereerd. Het presteert beter dan PanoHead wat betreft view-consistentie en reductie van artefacten (bijv. geen "ghost faces" in zijwaartse aanzichten).
• Kwantitatieve Prestaties: Vergeleken met recente concurrerende methoden (GPAvatar, VOODOO 3D, Portrait4D, GAGAvatar) bereikt FiCA een superieure fotometrische kwaliteit (hogere PSNR en SSIM) en aanzienlijk betere identiteitsbehoud (hogere ID-CSIM scores).
  • PSNR: FiCA (Mesh) behaalde 24.281 versus de op één na beste (GAGAvatar) met 22.157.
  • ID-CSIM: FiCA behaalde 0.5867 versus de op één na beste met 0.4339.
• Efficiëntie: De pipeline genereert een getextureerde mesh in ~5 seconden, vergeleken met ~80 seconden voor de per-subject GAN-inversie van PanoHead.

Betekenis en Claims

Het artikel beweert dat FiCA een belangrijke stap vormt naar de democratisering van hoogwaardige avatarcreatie. Door mensgerichte foundation models te combineren met generatieve diffusie en een feed-forward verfijningsstrategie, overbrugt het systeem de kloof tussen de beperkte informatie van een enkele afbeelding en de behoefte aan een volledige, animeerbare 3D-geometrie.

De auteurs benadrukken dat hun aanpak:

• De barrière van complexe capture-opstellingen en urenlange optimalisatieprocessen wegneemt.
• Real-time animatie met willekeurige expressies mogelijk maakt, in tegen tegenstelling tot statische reconstructiemethoden.
• Demonstreert dat een universele prior, wanneer deze correct wordt geconditioneerd via diffusie en verfijning, kan generaliseren naar diverse identiteiten zonder per-gebruiker fine-tuning.

Het artikel merkt ook beperkingen op, zoals kwetsbaarheid voor extreme verlichting of bewegingsonscherpte in invoerafbeeldingen, en suggereert toekomstig werk voor lichtnormalisatie, blur-correctie en de gezamenlijke generatie van accessoires zoals brillen.