MoCoTalk: Multi-Conditional Diffusion with Adaptive Router for Controllable Talking Head Generation

Technische Samenvatting: MoCoTalk

Probleemstelling
Het genereren van pratende hoofden beoogt statische portretten te animeren met behulp van sturingssignalen (beweging of spraak), waarbij de identiteit van de bron behouden blijft en natuurlijke, audio-visueel afgestemde dynamiek wordt gewaarborgd. Bestaande benaderingen staan voor twee primaire beperkingen:

1. Beperkte Controle: De meeste methoden adresseren slechts een subset van kritieke factoren (bijvoorbeeld alleen audio- of alleen video-sturing), waardoor ze er niet in slagen om identiteit, hoofdpositie, gezichtsuitdrukking en mond-dynamiek gezamenlijk te modelleren binnen een verenigd raamwerk.
2. Uitdagingen bij Fusie: Wanneer meerdere condities betrokken zijn, vertrouwen huidige methoden doorgaans op fusiestrategieën met vaste gewichten of heuristieken. Dit leidt vaak tot destructieve interferentie tussen heterogene signalen (bijvoorbeeld audio, sleutelpunten, 3D-meshes), wat resulteert in driftende kenmerken, mismatchende geometrie of een gebrek aan onafhankelijke attributencontrole. Bovendien onderfitten parametrische modellen zoals 3DMM's vaak fijne mond-dynamiek, wat tijdelijke trillingen en structurele mismatches in lip-articulatie veroorzaakt.

Methodologie
De auteurs stellen MoCoTalk voor, een multi-conditie video-diffusieramewerk gebaseerd op Stable Video Diffusion (SVD). Het systeem integreert vier complementaire sturingssignalen: een referentieafbeelding, gezichtssleutelpunten, door 3DMM gerendeerde schaduwmeshes en spraakaudio.

De kernmethodologie bestaat uit vier belangrijke componenten:

1. Multi-Conditie Adapters:
   Vier parallelle adapters tillen elke conditiemodaliteit op tot ruimtelijk en kanaalgewijs uitgelijnde latente kenmerkkaarten die compatibel zijn met de ondiepe lagen van de U-Net-ruggengraat.

   • Referentie-Adapter: Haalt identiteit en uiterlijk uit.
   • Bewegings-Adapter: Codeert hoofdpositie en grove expressie uit kaarten met sleutelpunten.
   • Schaduw-Adapter: Vangt gezichtsgenomtrie en belichting op van 3DMM-meshes.
   • Audio-Adapter: In tegenstelling tot eerdere werken die audio injecteren via cross-attention tokens, projecteert deze module audio-kenmerken naar een ruimtelijke latente kenmerkkaart. Het maakt gebruik van een schuifvensterbenadering om lokale tijdscontext te behouden, waardoor audio kan deelnemen aan dezelfde fusie op kenmerkniveau als visuele controles.

2. Adaptieve Multi-Conditie Router:
   Om destructieve interferentie op te lossen, introduceren de auteurs een lichtgewicht gating-module die is gepositioneerd na de invoerconvolutie van de U-Net. In plaats van vaste scalair gewichten toe te wijzen, berekent deze router kanaalgewijze, tijdstap-bewuste poorten. Het neemt globale samenvattingen van de ruggengraatkenmerken, tijdstap-embeddings en alle conditiestromen als invoer en geeft een softmax-genormaliseerde gating-vector als uitvoer. Dit stelt de fusiestrategie in staat om dynamisch de nadruk te verschuiven op basis van de kenmerk-subruimte en het ruisniveau tijdens de denoising-trajectorie. Het ondersteunt ook robuuste dropout voor ontbrekende modaliteiten.

3. Mond-Verrijkte Schaduwmesh:
   Om de beperking van standaard 3DMM's (zoals DECA) in het vastleggen van fijne lipbewegingen aan te pakken, stellen de auteurs een fusiepijplijn voor. Ze combineren de globale identiteits- en belichtingspriors van DECA met de tijdsconsistent lipgeometrie die door SPECTRE is hersteld. Deze "Mond-Verrijkte Mesh" ontkoppelt hoofd-beweging, mond-beweging, expressie en belichting, en biedt een tijdsconsistent geometrisch prior dat artefacten in het onderste gezicht oplost en flexibele hercombinatie van attributen bij inferentie mogelijk maakt.

4. Lip-Consistentieverlies:
   Om audio-visuele uitlijning te verscherpen, wordt een gespecialiseerde verliesfunctie geïntroduceerd. Deze superviseert semantiek in het mondgebied in pixelspace door de cosinusafstand te minimaliseren tussen kenmerken die zijn geëxtraheerd uit de gegenereerde frames en ground truth-frames, met behulp van een bevroren lip-reading encoder.

Belangrijkste Bijdragen

• Verenigd Raamwerk: Een nieuw multi-conditie diffusieramewerk dat vier heterogene signalen integreert (audio, sleutelpunten, 3D-mesh, referentieafbeelding) voor het genereren van pratende hoofden.
• Adaptieve Router: Een adaptief gating-mechanisme dat sturingssignalen dynamisch weegt en combineert in de latente ruimte, destructieve interferentie voorkomt en controleerbaarheid op attributenniveau mogelijk maakt.
• Mond-Verrijkte Mesh: Een representatie die bewegingsbronnen ontkoppelt en hercombineert om 3DMM-meshes te renderen die nauwkeurig zijn afgestemd op spreek-dynamiek, en biedt een tijdsconsistent geometrisch prior.
• Lip-Consistentieverlies: Een supervisiemethode in pixelspace die spraakgerelateerde lip-dynamiek en audio-visuele synchronisatie verbetert.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op het HDTF-dataset onder zowel zelf-reenactment als cross-reenactment instellingen, waarbij MoCoTalk werd vergeleken met state-of-the-art methoden (VideoReTalking, Diff2Lip, SadTalker, FLOAT, Hallo2, LCVD).

• Kwantitatieve Prestaties: MoCoTalk behaalde state-of-the-art prestaties op het merendeel van de metrieken, waaronder structurele (SSIM, PSNR), bewegings- (AED, APD, AKD) en perceptuele (FVD, VQA) indicatoren. Opmerkelijk is dat het de FVD-score met 37% verlaagde ten opzichte van de op één na beste methode bij zelf-reenactment, wat superieure tijdscoherentie en distributie-achtigheid aan echt video aangeeft.
• Ablatiestudies:
  • Het verwijderen van de Adaptieve Multi-Conditie Router veroorzaakte een drastische ineenstorting van de prestaties (bijvoorbeeld FVD steeg van 40,75 naar 592,5), wat bevestigt dat adaptieve gating essentieel is om destructieve interferentie te voorkomen.
  • Het verwijderen van de Mond-Verrijkte Mesh leidde tot significante degradatie in bewegingsfideliteit en behoud van identiteit, vooral in cross-reenactment instellingen, wat het belang van het tijdsconsistente geometrische prior benadrukt.
  • Het verwijderen van het Lip-Consistentieverlies resulteerde in een lichte daling van synchronisatiemetrieken, maar verbeterde marginaal de textuurgladheid per frame (VQA), wat wijst op een afweging tussen fijne lip-dynamiek en globale textuurgladheid.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat MoCoTalk het referentie-uitzicht beter behoudt dan baselines, terwijl het specifieke bewegingen nauwkeurig overdraagt. In tegenstelling tot methoden die lijden aan frame-voor-frame stotteren of discontinuïteiten aan de nek-grens, behoudt MoCoTalk een soepele tijdscontinuïteit.

Betekenis en Beweringen
Het artikel beweert dat MoCoTalk de kritieke kloof aanpakt in het gezamenlijk modelleren van diverse controlefactoren voor het genereren van pratende hoofden. Door een adaptief routeringsmechanisme en een mond-verrijkt geometrisch prior in te voeren, bereikt het raamwerk een balans tussen reconstructie met hoge fideliteit, bewegingsnauwkeurigheid en controleerbaarheid op attributenniveau die single-conditie methoden missen. De auteurs benadrukken dat hun benadering het mogelijk maakt om expressie, hoofdbeweging, mond-dynamiek en belichting onafhankelijk te specificeren bij inferentie, waardoor aanpasbare animatiescenario's mogelijk worden die eerder onbereikbaar waren met fusiestrategieën met vaste gewichten.

Beperkingen
De auteurs erkennen bescheiden twee beperkingen:

1. Er blijft ruimte voor verbetering in behoud van identiteit en lip-sync-nauwkeurigheid in vergelijking met modellen die specifiek zijn ontworpen voor enkele doelen.
2. De huidige ruggengraat genereert slechts 8 frames per doorloop. Langere sequenties worden gemaakt door overlappende segmenten aan elkaar te naaien, wat schaalbaarheid beperkt en subtiele discontinuïteiten aan segmentgrenzen kan introduceren. Toekomstig werk richt zich op migratie naar een autoregressieve ruggengraat voor continue generatie.