Technische Samenvatting: Loki – Representatie boven Architectuur voor Diffusie-gebaseerde Portretanimatie

Probleemstelling

Portretanimatie heeft tot doel gezichtsuitdrukkingen en hoofdpositie over te nemen van een driver-video naar een enkele referentieafbeelding, terwijl de identiteit van de referentie behouden blijft. De praktische uitdaging ligt in heractivering over identiteit heen, waarbij de driver en de referentie verschillende personen zijn.

Huidige state-of-the-art diffusie-gebaseerde systemen lossen dit op door aparte, getrainde modules voor identiteit, expressie en pose te stapelen. Deze systemen conditioned doorgaans op RGB-signalen (of audio). Het artikel betoogt dat RGB fundamenteel identiteit, pose en expressie verstrengelt op elk pixel. Bijgevolg is de ontkoppeling die door deze gestapelde modules wordt uitgevoerd statistisch in plaats van structureel, wat leidt tot problemen zoals het lekken van de driver-identiteit in de output en de verzwakking van fijnmazige expressiedetails naar een generieke prior. Bovendien vereisen deze complexe architecturen enorme trainingsdatasets en aanzienlijke parameteraantallen.

Methodologie: Loki

Loki stelt een paradigma-verschuiving voor van architecturale complexiteit naar keuze van representatie. In plaats van te leren features uit RGB te ontkoppelen, conditioneert Loki de diffusie-ruggengraat op een parametrisch gezichtmodel (FLAME), waarvan de assen voor identiteit, expressie en pose per constructie onafhankelijk zijn.

1. Het Driver-pad (Expressie en Pose)

Loki rasteriseert FLAME-parameters tot een ruimtelijke driver-kaart die dient als conditioneel signaal voor expressie en hoofdpositie. Deze kaart bestaat uit twee distincte kanaalgroepen:

• Positieve Encoding (42 kanalen): Encodeert de canonieke coördinaten in de template-ruimte van de FLAME-mesh-vertices met behulp van sinusvormige positieve encoding. Dit identificeert welk punt op het gezicht op elk pixel zichtbaar is. Cruciaal zijn deze waarden, omdat ze zijn afgeleid van de template-ruimte, identiteitsinvariant; hetzelfde anatomische punt (bijvoorbeeld de punt van de neus) produceert altijd dezelfde encoding, ongeacht de identiteit van de persoon.
• Expressie-Deformatie (3 kanalen): Encodeert de 3D-verplaatsingsvectoren ($\Delta x, \Delta y, \Delta z$) van de mesh-vertices ten opzichte van een neutrale expressie. Dit vangt hoe het gezicht is bewogen (bijvoorbeeld het strekken van de mondhoeken, het laten zakken van de kaak). Aangezien de expressie-basis van FLAME orthogonaal is aan de identiteitsbasis, hangen deze deformaties uitsluitend af van de expressie-coëfficiënten, niet van de identiteit of pose.

Deze driver-kaart wordt gedownsampt door een lichtgewicht encoder en geïnjecteerd in de genererende UNet. Omdat de kaart per constructie geen identiteitsinformatie bevat, hoeft het model niet te leren identiteit te scheiden van expressie.

2. Het Identiteits-pad

Identiteit wordt afzonderlijk geleid via de eigen voorgetrainde features van de diffusie-ruggengraat. Een bevroren kopie van de Stable Diffusion 2.1 UNet verwerkt de referentieafbeelding, en zijn self-attention features worden geïnjecteerd in de genererende UNet via key-value injectie. Dit maakt gebruik van de bestaande generatieve prior van de ruggengraat om identiteit te behouden zonder een dedicated, getrainde identiteitsadapter of -verlies te vereisen.

3. Inferentie over Identiteit heen via Parametrische Substitutie

Het kernmechanisme dat heractivering over identiteit heen mogelijk maakt zonder specifieke trainingsdata, is parametrische substitutie. Tijdens inferentie construeert het systeem een driver-kaart met behulp van:

• De identiteitsvorm ($\vec{\beta}_{ref}$) en camera van de referentie.
• De expressie ($\vec{\psi}_{drv}$) en pose ($\vec{\theta}_{drv}$) van de driver.

Omdat de kanalen voor positieve encoding identiteitsinvariant zijn en de deformatie-kanalen uitsluitend van expressie afhangen, is de resulterende driver-kaart structureel identiek aan wat het model tijdens training met dezelfde identiteit zag, slechts gelegd op een andere gezichtsgéometrie. De genererende UNet voert dezelfde forward pass uit waarvoor het is getraind, en transporteert effectief de beweging van de driver naar de vorm van de referentie.

Belangrijkste Bijdragen

1. Ontkoppelde Parametrische Conditionering: Een kader dat de noodzaak voor aparte getrainde modules voor expressie, pose en identiteit elimineert. Door een geroasteriseerde FLAME-representatie te gebruiken, worden expressie en pose aangeleverd via een enkel ruimtelijk signaal, terwijl identiteit wordt afgehandeld door de prior van de ruggengraat. Dit reduceert de inferentieparameters met ~43% in vergelijking met toonaangevende diffusie-baselines.
2. Trainings-efficiëntie: Het model is getraind op 1.496× minder videodata (ongeveer 1,7 uur versus duizenden uren voor baselines) en bereikt capaciteiten over identiteit heen puur door parametrische substitutie, zonder dat er trainingsparen over identiteit heen nodig zijn.
3. Nieuwe Evaluatiemetrics: Het artikel introduceert twee metrics die zijn geworteld in het parametrische gezichtmodel om direct de trouw aan de driver te meten, waarmee het gat in bestaande metrics wordt gedicht die falen in het meten van bewegingstracking:
   • Head Pose Follow (HPF): Meet de geodetische hoekafstand tussen de rotatietrajecten van de driver en de gegenereerde hoofdpositie.
   • Expression Follow (HEF): Meet het pixel-voor-pixel verschil in expressie-deformatiekaarten wanneer de expressie van de driver wordt vervangen in de pose en vorm van het doel.

Resultaten

Geëvalueerd op de HDTF-dataset voor heractivering over identiteit heen:

• Bewegingstrouw: Loki leidt of deelt de leiding op de voorgestelde HPF- en HEF-metrics. Het bereikt een HEF van 0,0828 (lager is beter), wat beter is dan visueel gedreven baselines zoals HunyuanPortrait (0,0850) en aanzienlijk beter dan audio-gedreven methoden (0,11–0,12).
• Kwalitatieve Prestaties: Loki reproduceert grote hoofdrotaties, wijd open monden en asymmetrische expressies met hogere trouw dan baselines, die de neiging hebben hoofdrotaties te onderschatten of expressie-amplitude te verzwakken naar een gematigde prior.
• Ressource-efficiëntie: Loki traint op 10.649 clips (ongeveer 1,7 uur) met 1,77B parameters, terwijl toonaangevende baselines trainen op 166.000+ clips (tot 2.543 uur) met 2,18B–3,11B parameters.
• Ablatiestudies: Het verwijderen van de rasterisatie (het gebruik van ruwe vectoren) of de kanalen voor positieve encoding degradeert de prestaties over identiteit heen aanzienlijk, wat bevestigt dat de ruimtelijke inductieve bias en het identiteitsinvariante coördinatenstelsel kritiek zijn.

Betekenis en Beperkingen

Het artikel beweert dat de architecturale complexiteit van recente portretanimatiesystemen kan worden vervangen door een keuze van representatie: conditioneren op een parametrisch model met onafhankelijke assen. Deze benadering maakt heractivering over identiteit heen mogelijk als een natuurlijke substitutie van coëfficiënten in plaats van een geleerde capaciteit.

Echter, de auteurs zijn bescheiden wat betreft de grenzen van het systeem:

• FLAME-afhankelijkheid: De conditionering is begrensd door de trouw van de onderliggende FLAME-aanpassingen. Expressies buiten de basis van het model, afgedekte gezichten of aanpassingsfouten worden direct doorgegeven in de driver-kaart.
• Pixel-metrics: Het systeem scoort lager op traditionele pixel-gealigneerde metrics (PSNR, SSIM, LPIPS) in vergelijking met RGB-geconditioneerde baselines. De auteurs schrijven dit toe aan het feit dat pixel-metrics systemen belonen die de ground-truth framing behouden, terwijl de trouwe driver-volging van Loki pose- en expressievariaties introduceert die door pixel-metrics worden bestraft.
• Toekomstig Werk: Het overbruggen van het gat in pixel-metrics zonder opnieuw identiteitsverstrengeling in te voeren, wordt geïdentificeerd als een richting voor toekomstig onderzoek.