UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos

Stel je voor dat je een film kijkt, maar de acteur op het scherm begint plotseling met een andere stem te spreken en eruitziet als een totaal ander persoon, terwijl hij nog steeds exact dezelfde woorden zegt en zijn lippen in perfecte synchronisatie beweegt. Dit is de droom van "identiteitswisseling" in pratende video's. Lange tijd waren computers erg goed in het doen van slechts één deel van deze truc: ofwel het veranderen van iemands gezicht terwijl de originele stem behouden blijft, ofwel het veranderen van een stem terwijl het originele gezicht behouden blijft. Maar het proberen te doen van beide tegelijkertijd was als het proberen te jongleren met twee verschillende ballen terwijl je op een eenwieler rijdt; de resultaten waren vaak niet synchroon, waarbij de lippen bewogen bij de verkeerde woorden of stemmen robotachtig klonken. Dit artikel duikt in de wereld van generatieve AI, en kijkt specifiek naar hoe we computers kunnen leren om zowel het uiterlijk als de stem van een persoon tegelijkertijd te wisselen, in realtime, zonder dat de video hapert of de audio achterloopt.

De onderzoekers achter dit project, UniSwap, hebben een nieuw systeem gebouwd dat werkt als een meesterpoppenspeler die de touwtjes van zowel de visuele als de audiozijde van een video op exact hetzelfde moment aantrekt. In plaats van twee aparte hulpmiddelen te gebruiken—één voor het gezicht en één voor de stem—hebben ze één enkele "hersenen" gecreëerd die begrijpt hoe het gezicht van een persoon beweegt en hoe de stem van een persoon klinkt als één verbonden ervaring. Denk aan een tweetalige vertaler die niet alleen woorden vertaalt, maar ook direct het accent en de gezichtsuitdrukkingen van de spreker vastlegt.

Het artikel introduceert een slimme manier om dit systeem te leren. Omdat het bijna onmogelijk is om echte video's te vinden van dezelfde persoon die dezelfde regels uitspreekt terwijl hij eruitziet en klinkt als twee verschillende mensen, heeft het team een "swap-and-reconstruct"-spel uitgevonden. Ze nemen een echte video, strippen digitaal het gezicht en de stem van de persoon weg om een "geestversie" te creëren, en vragen de AI vervolgens om de originele video te reconstrueren met een nieuw gezicht en een nieuwe stem als gids. Het is alsof je een chefkok een leeg canvas en een recept geeft, en hem dan vraagt om een specifend gerecht perfect na te maken. Door te trainen op miljoenen van deze "reconstructies", leert de AI identiteiten te wisselen terwijl de originele bewegingen en de achtergrond intact blijven.

Wat dit echt bijzonder maakt, is dat het werkt als een livestream in plaats van een trage, vooraf opgenomen film. De meeste videogeneratoren moeten de hele clip bekijken voordat ze de eerste frame kunnen beginnen te tekenen, wat te traag is voor interactief gebruik. UniSwap genereert de video echter in kleine blokken, zoals een lopende band, waardoor het ongeveer 13,6 frames per seconde kan produceren op een krachtige computerchip (een NVIDIA H100). Hoewel dit nog niet helemaal snel genoeg is voor directe realtime interactie, is het een enorme sprong voorwaarts, waardoor het systeem lange video's kan genereren—tot een uur lang—zonder dat het gezicht of de stem van het personage uit elkaar loopt of vervormt over tijd. De auteurs ontdekten dat door een speciale "geheugentruc" genaamd Feature-RoPE Decomposition te gebruiken, de AI de originele identiteit kan onthouden zelfs nadat duizenden frames zijn gegenereerd, wat ervoor zorgt dat het personage consistent blijft van de eerste tot de laatste seconde.

Kortom, UniSwap suggereert dat we eindelijk een verenigd systeem kunnen hebben dat zowel het uiterlijk als de stem in pratende video's wisselt met een hoge synchronisatie en stabiliteit. Hoewel de huidige versie nog niet snel genoeg is voor een live, realtime gesprek (het is iets langzamer dan de snelheid van een standaard videoweergave), bewijst het dat één enkel model beide taken samen beter kan afhandelen dan door te proberen twee aparte systemen aan elkaar te naaien. De resultaten laten zien dat de bewegingen van de lippen perfect synchroon lopen met de nieuwe stem, en dat de identiteit van het personage stabiel blijft, zelfs in lange clips, wat een veelbelovende stap biedt naar meer natuurlijke en interactieve digitale avatars.