UniTalking: A Unified Audio-Video Framework for Talking Portrait Generation

Dit paper introduceert UniTalking, een open-source, end-to-end diffusiemodel dat gebruikmaakt van multi-modale transformerblokken om hoogwaardige, lip-sync-accurate en gepersonaliseerde sprekende portretten te genereren, waarmee de kloof tussen gesloten state-of-the-art modellen en toegankelijke open-source alternatieven wordt overbrugd.

De kern

Stel je voor dat je een filmregisseur bent die een nieuwe film draait, maar je hebt geen acteurs, geen geluidsstudio en geen scriptschrijver. Je wilt gewoon een foto van iemand nemen, een stukje tekst typen, en dan mag de computer de rest voor je doen: de persoon moet gaan praten, met de juiste stem, de juiste lippenbewegingen en de juiste emotie.

Dat is precies wat UniTalking doet. Het is een nieuwe, slimme computerprogramma dat "pratende portretten" maakt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Twee Werelden die niet praten

Vroeger hadden we twee aparte systemen: één dat video maakte en één dat geluid maakte. Het was alsof je een poppenkast had waar de poppen bewogen, maar de stemmen kwamen uit een andere kamer. Soms bewogen de lippen net niet op het juiste moment met de woorden ("lip-sync" was slecht), of klonk de stem als een robot.

Grote bedrijven (zoals Google en OpenAI) hebben al supergeavanceerde systemen die dit perfect doen, maar die zijn gesloten. Niemand mag ze zien of gebruiken. UniTalking is de oplossing voor de rest van de wereld: een open, gratis systeem dat net zo goed werkt.

2. De Oplossing: Een Tweeling in Eén Brein

De makers van UniTalking hebben een slimme truc bedacht. In plaats van twee aparte systemen die proberen samen te werken, hebben ze één groot brein gebouwd met twee identieke hersenhelften (een "tweeling").

• De linkerkant is gespecialiseerd in video (de ogen).
• De rechterkant is gespecialiseerd in audio (de oren).

Maar hier is het magische: deze twee helften zijn niet gescheiden door een muur. Ze zijn verbonden door een gemeenschappelijke aandacht (in het Engels: Joint Attention).

De Analogie van het Duo:
Stel je voor dat de linkerkant en de rechterkant een danspaar zijn.

• In oude systemen was het alsof de danser links eerst een stap zette, en de danser rechts pas daarna probeerde mee te dansen. Dat leidt vaak tot struikelen (lippen die niet op de tijd zitten).
• Bij UniTalking kijken ze elkaar direct aan terwijl ze dansen. Ze voelen elkaars bewegingen in hetzelfde ritme. Als de mond opent (video), voelt de stem dat direct (audio) en past hij het geluid perfect aan. Ze bewegen als één geheel.

3. Hoe leert het dit? (De Opleiding)

Het systeem is niet zomaar geboren; het is opgeleid met een slimme methode:

1. De Video-expert: De linkerkant (video) is al een ervaren danser. Hij is getraind op een enorme hoeveelheid films en weet al hoe mensen eruitzien.
2. De Audio-leraar: De rechterkant (audio) was eerst een beginner. Om hem te trainen, hebben ze hem eerst alleen maar geoefend op het maken van geluiden (spraak), zonder video. Dit is als een zanger die eerst alleen in de kerk oefent voordat hij op een podium staat.
3. Het Grote Dansfeest: Pas toen de zanger goed was, hebben ze hem samen met de danser op het podium gezet. Ze hebben duizenden scènes bekeken waarbij ze moesten leren hoe een glimlach klinkt, hoe een vraag klinkt, en hoe een lach eruitziet.

4. Wat kan het allemaal?

UniTalking is niet alleen slim, het is ook flexibel. Je kunt het op drie manieren gebruiken:

• Tekst naar Film (T2AV): Je typt "Een man zegt hallo en lacht", en het systeem maakt een video en geluid van een man die dat precies doet.
• Foto naar Film (TI2AV): Je uploadt een foto van je oma, typt een tekst, en plotseling praat je oma in de video met jouw tekst.
• Stemnabootsing (TR2AV): Dit is de toffe truc. Je geeft het een kort stukje audio van iemand (bijvoorbeeld een vriend) en de tekst die je wilt dat hij zegt. Het systeem leert de stijl en klank van die vriend en laat de persoon in de video met die specifieke stem praten. Het is alsof je een stem-imitator hebt die perfect is.

5. Waarom is dit belangrijk?

Voorheen was het maken van realistische pratende avatars moeilijk en duur. Nu, met UniTalking, kan iedereen (van filmmakers tot docenten) realistische video's maken.

• Films: Je kunt een film nagesynchroniseren in een andere taal, waarbij de lippenbewegingen perfect passen bij de nieuwe taal.
• Virtuele Assistenten: Denk aan een digitale assistent die niet alleen tekst zegt, maar ook echt "menselijk" oogcontact maakt en lippen beweegt.
• Toegankelijkheid: Omdat het systeem openbaar is, kunnen onderzoekers het verbeteren en kunnen mensen er nieuwe dingen mee bedenken, zonder te wachten op een groot bedrijf dat het "mag" vrijgeven.

Kortom: UniTalking is de brug tussen tekst, geluid en beeld. Het zorgt ervoor dat wat je ziet en wat je hoort, niet langer twee losse dingen zijn, maar één perfecte, synchrone dans.

Technische samenvatting

Probleemstelling

Hoewel gesloten, proprietaire modellen zoals Google's Veo3 en OpenAI's Sora2 indrukwekkende resultaten laten zien in het genereren van gesynchroniseerde audio-video content (zoals pratende portretten), zijn hun architecturen en trainingsparadigma's niet toegankelijk voor de academische gemeenschap. Bestaande open-source methoden kampen met fundamentele beperkingen:

1. Gekaskadeerde (tweestaps) benaderingen: Deze genereren eerst audio en gebruiken dit als voorwaarde voor video (of andersom). Dit leidt vaak tot temporale misalignatie en cumulatieve fouten, wat resulteert in een gebrek aan coherentie.
2. Beperkte focus van bestaande end-to-end modellen: Veel huidige modellen richten zich op het synchroniseren van geluidseffecten (Foley) met video, maar missen de precisie die nodig is voor complexe taken zoals spraakgeneratie met fonetisch nauwkeurige lip-synchronisatie.

Er is een dringende behoefte aan een open, reproduceerbaar framework dat gelijktijdig hoogwaardige video en audio genereert met frame-perfecte lip-synchronisatie.

Methodologie

UniTalking is een unificerend, end-to-end diffusion framework dat audio en video binnen één symmetrisch model genereert.

1. Architectuur:

• Multi-Modal Diffusion Transformer (MM-DiT): Het framework is gebaseerd op een symmetrische "twee-stroom" (dual-stream) architectuur. De video-stroom erft de architectuur en gewichten van het krachtige pre-getrainde model Wan2.2-5B. De audio-stroom is een "identieke tweeling" van de video-stroom, maar met willekeurig geïnitieerde parameters die tijdens het trainen worden aangepast.
• Latente Ruimte: Video en audio worden eerst gecodeerd naar compacte latente tokens (via respectievelijk een 3D Causal VAE en een 1D VAE). Deze tokens worden samengevoegd en verwerkt door het transformer-model.
• Flow Matching: Het model wordt getraind als een Continuous Normalizing Flow (CNF) met behulp van Flow Matching, wat een simulatie-vrije trainingsmethode is.

2. Kerninnovatie: Multi-Modal Transformer Blocks
De kern van het model bestaat uit aangepaste Transformer-blokken met drie cruciale wijzigingen:

• Joint Attention (Gecombineerde Self-Attention): In plaats van aparte attention-mechanismen, worden de audio- en video-tokens samengevoegd (geconcateneerd) en door één enkele attention-laag verwerkt. Dit dwingt het model om intra- en inter-modale afhankelijkheden (de relatie tussen visemen en fonemen) expliciet te modelleren binnen één operatie.
• Geavanceerde Cross-Attention: Het blok integreert meerdere condities: tekstprompts (voor semantiek), referentie-afbeeldingen (voor visuele identiteit) en referentie-audio (voor stemkwaliteit). Specifieke projectielagen zorgen ervoor dat de output zowel semantisch correct is als de stijl van de referentie-audio nabootst.
• Anisotrope Positie-Embedding (RoPE): Er wordt een speciaal Rotary Positional Embedding-strategie toegepast. Voor de temporele as wordt standaard RoPE gebruikt, maar voor de ruimtelijke dimensies van audio-tokens wordt een vaste positie gebruikt. Dit dwingt het model om prioriteit te geven aan temporele dynamiek, wat de synchronisatie verbetert.

3. Trainingsstrategie (Progressief)
Vanwege het onbalans tussen het pre-getrainde video-deel en het willekeurig geïnitieerde audio-deel, wordt een tweestaps trainingsstrategie gebruikt:

• Fase 1: Audio Branch Pre-training: De audio-tak wordt eerst los getraind op een Text-to-Speech (TTS) taak (met en zonder stemkarakteristiek-referentie). Alleen de audio-specifieke lagen worden bijgesteld; de rest van het model blijft bevroren. Dit zorgt voor een sterke mapping van semantiek naar akoestiek.
• Fase 2: Multi-Task Joint Training: Het volledige model wordt end-to-end getraind met een wisselende reeks taken:
  • T2AV: Tekst naar Audio-Video.
  • TV2A: Video naar Audio (voor strikte temporele supervisie).
  • TI2AV: Afbeelding + Tekst naar Audio-Video.
  • TR2AV: Tekst + Referentie-Audio naar Audio-Video (voor stemkloon).
    Deze wisseling voorkomt dat het model naar simpele oplossingen grijpt en leert een holistische representatie van gesynchroniseerde spraak.

Belangrijkste Bijdragen

1. UniTalking Framework: Een nieuw end-to-end framework dat video en audio van pratende portretten unifyert binnen een symmetrische dual-stream architectuur.
2. Novel Architectural Design: Een unieke "Joint-Attention" mechanisme binnen MM-DiT blokken die geconcateneerde audio-visual tokens verwerkt, wat leidt tot fijne temporele alignatie en superieure lip-sync nauwkeurigheid.
3. Multi-Modal Conditioning: Het vermogen om zowel visuele identiteit (van een afbeelding) als vocale stijl (van een korte audio-referentie) te behouden en na te bootsen.
4. State-of-the-Art Resultaten: Het stellen van een nieuwe benchmark voor open-source unified talking portrait generation, met superieure prestaties in lip-sync, perceptuele kwaliteit en identiteitsbehoud.

Resultaten

• Lip-Synchronisatie: UniTalking behaalde een Sync-C score van 4.87 en een Sync-D score van 8.05. Dit is een significante verbetering ten opzichte van Universe-1 (Sync-C 1.85) en concurrerend met gesloten modellen zoals Sora2 (Sync-C 5.35).
• Subjectieve Evaluatie: In een blind preference study (met 20 deelnemers) scoorde UniTalking 116% beter op audio-kwaliteit en 107% beter op audio-video synchronisatie vergeleken met de baseline OVI. De video-kwaliteit was gelijkwaardig aan OVI.
• Stemkloon (TR2AV): Het model bereikte een sprekersimilariteit die vergelijkbaar is met ElevenLabs (0.703 in het Engels), wat aantoont dat het effectief stemstijlen kan kopiëren.
• TTS Kwaliteit: De geïsoleerde audio-tak presteerde vergelijkbaar met state-of-the-art TTS-modellen (gemeten via WER), wat bevestigt dat de trainingsstrategie effectief is.
• Attention Visualisatie: De analyse van de attention maps toont aan dat het model correcte afhankelijkheden leert: audio-tokens focussen sterk op de lipregio, terwijl video-tokens profiteren van audio-informatie in gezichts- en lichaamsgebieden.

Betekenis en Toekomstperspectief

UniTalking vult een kritieke lacune in de open-source AI-gemeenschap door een reproduceerbaar framework te bieden dat de kloof overbrugt tussen gesloten, high-end modellen en academisch onderzoek. Het bewijst dat het mogelijk is om frame-perfecte, fonetisch nauwkeurige pratende portretten te genereren zonder afhankelijk te zijn van proprietary data.

De methode heeft grote toepassingsmogelijkheden in geautomatiseerde nasynchronisatie, realistische virtuele avatars en interactieve digitale mensen. Toekomstig werk richt zich op het uitbreiden van de schaal van de training (om concurrentieel te zijn met gesloten modellen) en het ondersteunen van multi-persoon referentiegeneratie (zoals "Cameo" in Sora2).