🤖 AI

TeleMorpher: Toward Robust Simultaneous Motion-Location Editing

TeleMorpher is een nieuw, one-shot, training-vrij framework dat robuuste gelijktijdige bewegings- en locatie-editing in video's mogelijk maakt door onderwerpen van achtergronden te ontkoppelen, gebruik te maken van motion priors voor pose warping, en nieuwe LPIPS-gebaseerde metrieken te introduceren om hoogwaardige, controleerbare resultaten te waarborgen.

Oorspronkelijke auteurs: Haengbok Chung

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haengbok Chung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een huisvideo hebt van een vriend die in je woonkamer danst. Stel je nu voor dat je twee dingen tegelijk wilt veranderen: je wilt dat je vriend een compleet andere dansbeweging maakt (het veranderen van de beweging) en je wilt dat hij van het midden van de kamer naar een hoek beweegt (het veranderen van de locatie).

Dit doen met huidige videobewerkingsprogramma's is als proberen een nieuw schilderij over een oud schilderij heen te schilderen zonder de meubels of de muren te beschadigen. Meestal, als je probeert de persoon te verplaatsen, wordt de achtergrond rommelig, of ziet het gezicht van de persoon er vreemd uit. Als je probeert de dans te veranderen, kan het lijken alsof de persoon glitcht of flikkert.

TeleMorpher is een nieuwe tool die ontworpen is om precies dit probleem op te lossen. Zo werkt het, eenvoudig uitgelegd:

1. De "Knippen-en-Plakken"-strategie (Ontkoppeling)

Zie de video als een gelaagde taart. De onderste laag is de achtergrond (de kamer), en de bovenste laag is de persoon (de protagonist).

De oude manier: Proberen de hele taart tegelijk te bewerken, beschadigt vaak de glazuur (de achtergrond) of de taartlagen (de persoon).
De manier van TeleMorpher: Het gebruikt een slim "digitaal mes" om de persoon voorzichtig uit de video te snijden, waarbij de achtergrond achterblijft. Vervolgens vult het de lege ruimte in de achtergrond aan zodat deze weer compleet lijkt. Nu bewerkt het alleen de persoon op een schoon, apart bord.

2. De "Ghost Dancer"-gids (Motion Priors)

Om de persoon de nieuwe dans te leren, hebben oude tools meestal een referentievideo nodig van iemand die precies diezelfde beweging maakt. Maar wat als je geen video kunt vinden van die specifieke beweging?

De manier van TeleMorpher: In plaats van te zoeken naar een echte video, gebruikt het een "Ghost Dancer". Dit is een door de computer gegenereerde 3D-avatar die elke beweging perfect kan uitvoeren. De tool gebruikt deze perfecte, synthetische dans als gids. Het is alsof je een perfecte dansinstructeur hebt die je de beweging kan laten zien zonder dat er eerst een filmploeg nodig is om hem te filmen.

3. Het "Rekbare Pak" (Pose Warping)

Zelfs met een perfecte gids kan de persoon in jouw video anders zijn dan de Ghost Dancer (misschien zijn ze langer, of dragen ze andere kleding). Als je de nieuwe dans zomaar op hen afdwingt, kan het onnatuurlijk ogen.

De manier van TeleMorpher: Het voert een "training-free pose warping" uit. Stel je voor dat de persoon een rekbaar pak draagt. De tool rekt en vormt de huidige houding van de persoon voorzichtig om overeen te komen met de houding van de Ghost Dancer voordat de nieuwe dans wordt toegepast. Dit zorgt ervoor dat de persoon er niet vervormd uitziet of lijkt te smelten. Het is alsof je een pak op maat maakt voordat je het aantrekt.

4. De "Naadloze Hereniging"

Zodra de persoon is bewerkt om de nieuwe dans te doen op de nieuwe plek, plaatft TeleMorpher de persoon zorgvuldig terug in de originele woonkamvideo. Omdat de achtergrond apart werd gehouden en alleen de persoon werd bewerkt, ziet de kamer er precies hetzelfde uit en versmelt de persoon perfect zonder vreemde flikkeringen of rare randen.

Waarom is dit een grote zaak?

Het artikel beweert dat eerdere tools vaak faalden bij het tegelijkertijd uitvoeren van zowel bewegings- als locatieveranderingen. Ze maakten ofwel de achtergrond vreemd, of de persoon flikkerde, of ze konden de persoon niet naar een nieuwe plek verplaatsen zonder de video te breken.

TeleMorpher lost dit op door:

De persoon van de achtergrond te scheiden om te voorkomen dat de scène wordt beschadigd.
Synthetische gidsen (de Ghost Dancer) te gebruiken, zodat je niet beperkt bent door het vinden van de juiste referentievideo.
De houding van de persoon voorzichtig te rekken zodat de nieuwe beweging er natuurlijk uitziet.

De auteurs hebben dit getest op echte video's en ontdekten dat het het gezicht en de kleding van de persoon echt houdt, de achtergrond stabiel houdt en erin slaagt om de persoon naar nieuwe plekken te verplaatsen terwijl ze nieuwe dansen beter uitvoeren dan andere huidige methoden. Ze hebben ook nieuwe manieren ontwikkeld om succes te meten, waarbij ze specifiek controleerden of de achtergrond hetzelfde bleef en of het skelet van de persoon (hun botstructuur) daadwerkelijk naar de nieuwe positie bewoog.

Kortom, TeleMorpher is als een magische editor die je de handelingen en positie van een personage in een video laat herschrijven zonder de realiteit van de scène eromheen te breken.

Technische Samenvatting: TeleMorpher

Probleemstelling

Hoewel diffusiemodellen aanzienlijke successen hebben geboekt in videogeneratie en -bewerking, blijft de gelijktijdige bewerking van zowel beweging als locatie een grotendeels onverkend en uitdagend grensvlak. Bestaande methoden voor bewegingsbewerking (bijv. MotionEditor, Edit-Your-Motion) richten zich primair op one-shot bewerking, maar falen vaak bij het adresseren van locatieveranderingen, die cruciaal zijn voor praktische toepassingen. Deze bestaande benaderingen lijden onder verschillende fundamentele problemen:

Uiterlijk-inconsistentie: Flikkeringen en drift in het uiterlijk van de protagonist of de achtergrond.
Temporele inconsistentie: Gebrek aan vloeiende overgangen tussen frames.
Bewegings-locatiekloof: Moeite met het overbruggen van de grote discrepantie tussen bron- en doelbewegingen, vooral wanneer de doelbeweging significante ruimtelijke verschuivingen (locatieveranderingen) omvat.
Afhankelijkheid van referenties: De afhankelijkheid van real-world referentievideo's beperkt de variëteit en controleerbaarheid van de doelbewegingen.

De auteurs identificeren dat de degradatie in bewerkingskwaliteit voortkomt uit drie hoofdfactoren: Gap (verschillen in beweging en locatie tussen bron en doel), Ambiguity (lage resolutie of hoge gelijkenis tussen protagonist en achtergrond) en Information Amount (complexe achtergronden of snelle bewegingsdynamiek).

Methodologie: TeleMorpher

TeleMorpher is een one-shot, training-free framework ontworpen voor robuuste gelijktijdige bewegings- en locatiebewerking. Het werkt via een modulaire pipeline die het bewerkingsproces ontkoppelt om de geïdentificeerde uitdagingen aan te pakken:

1. Voorgrond-achtergrond ontkoppeling

Om achtergrondinterferentie te elimineren en het model te laten focussen op de protagonist, scheidt de pipeline de invoervideo ( $X_s$ ) eerst in:

Protagonist Video ( $X_p$ ): Geëxtraheerd met behulp van een vooraf getraind segmentatiemodel (Segment Anything).
Achtergrond Video ( $X_b$ ): De resterende achtergrond wordt opgevuld met een inpainting-model (Inpaint Anything) om een schone achtergrond te creëren voor latere reintegratie.

2. Gebruik van Bewegingsprior (Motion Prior)

In plaats van te vertrouwen op real-world referentievideo's, maakt TeleMorpher gebruik van synthetische bewegingsprioriteiten ( $X_m$ ) gegenereerd vanuit hoog controleerbare 3D-avatar systemen. Deze prioriteiten dienen als de grondwaarheid voor de doelbeweging en bieden:

Grotere controleerbaarheid en schaalbaarheid.
Eliminatie van de noodzaak voor handmatige rendering of extra avatar-besturing.
Toegang tot een bredere variëteit aan bewegingspatronen dan bestaande video-datasets.

3. Training-Free Pose Warping

Om de kloof tussen de bronbeweging en de doelbewegingsprior te overbruggen terwijl het uiterlijk van de protagonist behouden blijft, introduceert het framework een training-free pose warping strategie. Dit fungeert als een residual-stijl sturingsmechanisme:

Masker Analyse: Het berekent de intersectie en het symmetrisch verschil tussen bron- en doelsegmentatiemaskers om structurele discrepanties (bijv. uitgestrekte ledematen) te identificeren.
Skeleton Alignment: Het extraheert skeletten uit zowel de bron als het doel om corresponderende lichaamsdelen te isoleren (bijv. linkerarm naar linkerarm).
Warping Strategieën:
- Parametrische Warping: Past kwadratische curven toe op de middellijnen van corresponderende lichaamsdelen om verticale verplaatsing ( $\Delta y$ ) te berekenen en de bronafbeeldingspixels te vervormen.
- Stochastische Synthese: Voor gevallen waar geometrische passing faalt (door occlusie of fragmentatie), worden pixels willekeurig gesampled en herverdeeld van de bron naar de doelvorm om het lokale uiterlijk te behouden.

4. Protagonist-gestuurde Inferentie

De vervormde protagonist-conditie ( $P$ ) wordt direct geïnjecteerd in de UNet attention layers van een baseline motion editor (MotionEditor) tijdens inferentie:

Attention Injection: Een subset van de attention keys ( $K$ ) en values ( $V$ ) wordt overschreven met herhaalde RGB-features van de protagonist-conditie om uiterlijk en bewegingsconsistentie af te dwingen.
Mixup Strategie: De invoervideo ( $X$ ) wordt lineair gemengd met de protagonist-conditie ( $P$ ) met behulp van een coëfficiënt $\lambda$ om het effect van de doelconditie verder te versterken.

5. Finale Integratie

De bewerkte protagonist-video wordt samengevoegd met de ingepainte achtergrondvideo om de uiteindelijke output te produceren, wat zorgt voor een naadloze blending.

Belangrijkste Bijdragen

Probleemanalyse: De auteurs bieden een systematische analyse van de factoren die gelijktijdige bewegings- en locatiebewerking degraderen, gecategoriseerd in gap, ambiguity en information amount.
TeleMorpher Pipeline: De introductie van een one-shot framework dat bewegingsprioriteiten (synthetische 3D-avatar bewegingen) gebruikt in plaats van real-world referentievideo's, wat meer precieze en flexibele controle mogelijk maakt.
Training-Free Guidance: Een nieuwe pose warping methode die bron- en doelbewegingen uitlijnt zonder extra netwerktraining, waardoor de kloof wordt verkleind terwijl het uiterlijk behouden blijft.
Nieuwe Evaluatiemetrieken: De voorstel van twee nieuwe LPIPS-gebaseerde metrieken:
- LPIPS-B (Background): Meet de achtergrondbehoud door achtergrondregio's te isoleren.
- LPIPS-P (Pose): Meet de bewegingsuitlijning door geëxtraheerde skeletten te vergelijken tussen de bewerkte output en de doelprior.
Resource Release: De publieke release van de code, verzamelde video's en baseline resultaten (TeleMorpher-smallpack).

Experimentele Resultaten

Het framework werd geëvalueerd op 20 in-the-wild video's (YouTube, Hailuo AI, Pexels) en de TaiChi dataset, waarbij het werd vergeleken met state-of-the-art baselines (Follow-Your-Pose, ControlVideo, MasaCtrl, MotionDirector, MotionEditor).

Kwantitatieve Prestaties: TeleMorpher behaalde de beste scores in LPIPS-S (behoud van bron-uiterlijk), LPIPS-B (behoud van achtergrond), LPIPS-P (pose uitlijning) en CLIP Score (semantische uitlijning). Het demonstreerde superieure temporele consistentie (LPIPS-N) en doelbeweging-adherentie (LPIPS-T) vergeleken met de meeste baselines.
Kwalitatieve Prestaties: Visuele vergelijkingen toonden aan dat TeleMorpher erin slaagde om beweging en locatie gelijktijdig te bewerken, terwijl het uiterlijk van de protagonist en de integriteit van de achtergrond behouden bleven, waarbij de flikkeringen en uiterlijk-drift die bij andere methoden worden gezien, werden vermeden.
Gebruikersstudie: In een studie met 25 deelnemers werd TeleMorpher verkozen boven alle baselines op het gebied van Motion Alignment (M-A), Appearance Alignment (A-A) en Textual Alignment (T-A).

Betekenis en Claims

Het artikel claimt dat TeleMorpher de kloof overbrugt tussen de hoge controleerbaarheid van moderne 3D-avatar platforms en de bewerking van real-world menselijke video's. Door gebruik te maken van bewegingsprioriteiten en een ontkoppelde bewerkingspipeline, stelt het gebruikers in staat om gewenste bewegingen te specificeren via virtuele avatars en deze over te dragen naar bestaande video's zonder aanvullende rendering, animatie of handmatige controle.

De auteurs positioneren TeleMorpher als een stap richting schaalbare, precieze bewerking van videostructuren, wat de basis legt voor toekomstige toepassingen in objectbewerking, interactie tussen protagonist en object, en scenario's met meerdere protagonisten. Het werk benadrukt dat het scheiden van de protagonist van de achtergrond en het gebruik van synthetische bewegingssturing cruciaal zijn voor het bereiken van robuuste, hoogwaardige gelijktijdige bewegings- en locatiebewerking.

Beperkingen

De auteurs erkennen twee primaire beperkingen:

Kleurverschuivingen: Incidentele kleurinconsistenties in de bewerkte protagonist, wat gemitigeerd zou kunnen worden door post-processing kleurcorrectie.
Videolengte: Experimenten waren beperkt tot korte clips (5 frames) vanwege beperkingen in computationele middelen. De auteurs suggereren iteratieve toepassing op gesegmenteerde clips als een mogelijke mitigatiestrategie.