🤖 AI

TeleMorpher: Toward Robust Simultaneous Motion-Location Editing

TeleMorpher es un novedoso marco de trabajo de una sola pasada y sin entrenamiento que permite la edición simultánea y robusta de movimiento y ubicación en videos al desacoplar los sujetos de los fondos, aprovechando prioridades de movimiento para el deformado de pose e introduciendo nuevas métricas basadas en LPIPS para asegurar resultados controlables y de alta calidad.

Autores originales: Haengbok Chung

Publicado 2026-06-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haengbok Chung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un video casero de un amigo bailando en tu sala de estar. Ahora, imagina que quieres cambiar dos cosas a la vez: quieres que tu amigo haga un movimiento de baile completamente diferente (cambiar el movimiento) y quieres que se mueva del centro de la habitación a una esquina (cambiar la ubicación).

Hacer esto con las herramientas de edición de video actuales es como intentar pintar un cuadro nuevo sobre uno viejo sin manchar los muebles o las paredes. Por lo general, si intentas mover a la persona, el fondo se vuelve desordenado, o la cara de la persona se ve extraña. Si intentas cambiar el baile, la persona puede parecer que tiene fallos visuales o parpadeos.

TeleMorpher es una nueva herramienta diseñada para resolver este problema específico. Así es como funciona, explicado de forma sencilla:

1. La estrategia de "Recortar y Pegar" (Desentrelazamiento)

Piensa en el video como un pastel de capas. La capa inferior es el fondo (la habitación) y la capa superior es la persona (el protagonista).

La forma antigua: Intentar editar todo el pastel a la vez suele arruinar el glaseado (el fondo) o las capas del pastel (la persona).
La forma de TeleMorpher: Utiliza un inteligente "cuchillo digital" para recortar cuidadosamente a la persona del video, dejando el fondo atrás. Luego, rellena el espacio vacío en el fondo para que parezca completo de nuevo. Ahora, solo edita a la persona en un plato separado y limpio.

2. El guía "Bailarín Fantasma" (Prioridades de Movimiento)

Para enseñarle a la persona cómo hacer el nuevo baile, las herramientas antiguas suelen necesitar un video de referencia de alguien más haciendo ese movimiento exacto. Pero, ¿qué pasa si no puedes encontrar un video de ese movimiento específico?

La forma de TeleMorpher: En lugar de buscar un video real, utiliza un "Bailarín Fantasma". Este es un avatar 3D generado por computadora que puede realizar cualquier movimiento perfectamente. La herramienta utiliza este baile sintético perfecto como guía. Es como tener un instructor de baile perfecto que puede mostrarte el movimiento sin necesidad de que un equipo de filmación lo grabe primero.

3. El "Traje Elástico" (Deformación de Pose)

Incluso con una guía perfecta, la persona en tu video podría ser diferente al Bailarín Fantasma (tal vez es más alta o viste ropa diferente). Si simplemente le impones el nuevo baile, podría verse antinatural.

La forma de TeleMorpher: Realiza una "deformación de pose sin entrenamiento". Imagina que la persona lleva un traje elástico. La herramienta estira y remodela suavemente la pose actual de la persona para que coincida con la pose del Bailarín Fantante antes de aplicar el nuevo baile. Esto asegura que la persona no se vea distorsionada o como si se estuviera derritiendo. Es como confeccionar un traje a medida para que encaje perfectamente antes de ponérselo.

4. El "Reencuentro Sin Costuras"

Una vez que la persona ha sido editada para hacer el nuevo baile en el nuevo lugar, TeleMorpher la coloca cuidadosamente de nuevo en el video original de la sala de estar. Debido a que mantuvo el fondo separado y solo editó a la persona, la habitación se ve exactamente igual y la persona se integra perfectamente sin parpadeos o bordes extraños.

¿Por qué es esto algo importante?

El artículo afirma que las herramientas anteriores a menudo fallaban al intentar hacer cambios de movimiento y de ubicación al mismo tiempo. O bien hacían que el fondo se viera raro, o hacían que la persona parpadeara, o no podían mover a la persona a un nuevo lugar sin romper el video.

TeleMorpher resuelve esto al:

Separar a la persona del fondo para evitar arruinar la escena.
Usar guías sintéticas (el Bailarín Fantasma) para que no estés limitado por la búsqueda de un video de referencia adecuado.
Estirar la pose de la persona suavemente para que el nuevo movimiento se vea natural.

Los autores probaron esto en videos reales y descubrieron que mantiene la cara y la ropa de la persona con un aspecto real, mantiene el fondo estable y logra mover a la persona a nuevos lugares realizando nuevos bailes mejor que otros métodos actuales. También crearon nuevas formas de medir el éxito, verificando específicamente si el fondo se mantuvo igual y si el esqueleto de la persona (su estructura ósea) realmente se movió a la nueva posición.

En resumen, TeleMorpher es como un editor mágico que te permite reescribir las acciones y la posición de un personaje en un video sin romper la realidad de la escena que lo rodea.

Resumen Técnico: TeleMorpher

Declaración del Problema

Si bien los modelos de difusión han logrado un éxito significativo en la generación y edición de video, la edición simultánea de movimiento y ubicación sigue siendo una frontera ampliamente inexplorada y desafiante. Los métodos de edición de movimiento existentes (por ejemplo, MotionEditor, Edit-Your-Motion) se centran principalmente en la edición de un solo paso (one-shot), pero a menudo no logran abordar los cambios de ubicación, los cuales son críticos para aplicaciones prácticas. Estos enfoques existentes sufren varios problemas fundamentales:

Inconsistencia de Apariencia: Parpadeo y deriva en la apariencia del protagonista o del fondo.
Inconsistencia Temporal: Falta de transiciones suaves entre fotogramas.
Brecha Movimiento-Ubicación: Dificultad para cerrar la gran discrepancia entre el movimiento de origen y el de destino, especialmente cuando el destino implica cambios espaciales significativos (cambios de ubicación).
Dependencia de Referencias: La dependencia de videos de referencia del mundo real limita la variedad y la capacidad de control de los movimientos de destino.

Los autores identifican que la degradación en la calidad de la edición proviene de tres factores principales: Brecha (diferencias en movimiento y ubicación entre origen y destino), Ambigüedad (baja resolución o alta similitud entre el protagonista y el fondo) e Información (fondos complejos o dinámicas de movimiento rápidas).

Metodología: TeleMorpher

TeleMorpher es un marco de trabajo de un solo paso (one-shot) y libre de entrenamiento diseñado para una edición robusta y simultánea de movimiento y ubicación. Opera a través de un proceso modular que descompone el proceso de edición para abordar los desafíos identificados:

1. Descomposición de Primer Plano y Fondo

Para eliminar la interferencia del fondo y centrar el modelo en el protagonista, el proceso primero separa el video de entrada ( $X_s$ ) en:

Video del Protagonista ( $X_p$ ): Extraído utilizando un modelo de segmentación pre-entrenado (Segment Anything).
Video del Fondo ( $X_b$ ): El fondo restante se rellena utilizando un modelo de inpainting (Inpaint Anything) para crear un fondo limpio para su posterior reintegración.

2. Utilización de Priores de Movimiento

En lugar de depender de videos de referencia del mundo real, TeleMorpher utiliza priores de movimiento sintéticos ( $X_m$ ) generados a partir de sistemas de avatares 3D altamente controlables. Estos priores sirven como la verdad de terreno (ground truth) para el movimiento de destino, ofreciendo:

Mayor controlabilidad y escalabilidad.
Eliminación de la necesidad de renderizado manual o controles adicionales del avatar.
Acceso a una variedad más amplia de patrones de movimiento que los conjuntos de datos de video existentes.

3. Deformación de Pose Libre de Entrenamiento (Training-Free Pose Warping)

Para cerrar la brecha entre el movimiento de origen y el prior de movimiento de destino mientras se preserva la apariencia del protagonista, el marco introduce una estrategia de deformación de pose libre de entrenamiento. Esta actúa como un mecanismo de guía de estilo residual:

Análisis de Máscara: Calcula la intersección y la diferencia simétrica entre las máscaras de segmentación de origen y destino para identificar discrepancias estructurales (por ejemplo, extremidades extendidas).
Alineación de Esqueleto: Extrae esqueletos tanto de la fuente como del destino para aislar las partes del cuerpo correspondientes (por ejemplo, brazo izquierdo con brazo izquierdo).
Estrategias de Deformación:
- Deformación Paramétrica: Ajusta curvas cuadráticas a las líneas centrales de las partes del cuerpo correspondientes para calcular el desplazamiento vertical ( $\Delta y$ ) y deformar los píxeles de la imagen de origen.
- Síntesis Estocástica: Para los casos donde el ajuste geométrico falla (debido a oclusión o fragmentación), muestrea y redistribuye aleatoriamente píxeles de la fuente hacia la forma de destino para mantener la apariencia local.

4. Inferencia Guiada por el Protagonista

La condición del protagonista deformada ( $P$ ) se inyecta directamente en las capas de atención de la UNet de un editor de movimiento base (MotionEditor) durante la inferencia:

Inyección de Atención: Un subconjunto de las llaves ( $K$ ) y valores ( $V$ ) de atención se sobrescribe con características RGB repetidas de la condición del protagonista para forzar la consistencia de la apariencia y el movimiento.
Estrategia de Mixup: El video de entrada ( $X$ ) se mezcla linealmente con la condición del protagonista ( $P$ ) utilizando un coeficiente $\lambda$ para reforzar aún más el efecto de condicionamiento de destino.

5. Integración Final

El video editado del protagonista se fusiona con el video del fondo inpainted para producir el resultado final, asegurando una mezcla fluida.

Contribuciones Clave

Análisis del Problema: Los autores proporcionan un análisis sistemático de los factores que degradan la edición simultánea de movimiento-ubicación, categorizándolos en brecha, ambigüedad y cantidad de información.
Pipeline de TeleMorpher: La introducción de un marco de un solo paso que aprovecha los priores de movimiento (movimientos de avatares 3D sintéticos) en lugar de videos de referencia reales, permitiendo un control más preciso y flexible.
Guía Libre de Entrenamiento: Un novedoso método de deformación de pose que alinea los movimientos de origen y destino sin entrenamiento de red adicional, reduciendo la brecha mientras preserva la apariencia.
Nuevas Métricas de Evaluación: La propuesta de dos nuevas métricas basadas en LPIPS:
- LPIPS-B (Fondo): Mide la preservación del fondo aislando las regiones del fondo.
- LPIPS-P (Pose): Mide la alineación del movimiento comparando los esqueletos extraídos entre el resultado editado y el prior de destino.
Liberación de Recursos: La publicación del código, los videos recolectados y los resultados de la línea base (TeleMorpher-smallpack).

Resultados Experimentales

El marco fue evaluado en 20 videos de la vida real (YouTube, Hailuo AI, Pexels) y el conjunto de datos TaiChi, comparándolo con líneas base de vanguardia (Follow-Your-Pose, ControlVideo, MasaCtrl, MotionDirector, MotionEditor).

Desempeño Cuantitativo: TeleMorpher logró las mejores puntuaciones en LPIPS-S (preservación de la apariencia de la fuente), LPIPS-B (preservación del fondo), LPIPS-P (alineación de la pose) y CLIP Score (alineación semántica). Demostró una consistencia temporal superior (LPIPS-N) y adherencia al movimiento de destino (LPIPS-T) en comparación con la mayoría de las líneas base.
Desempeño Cualitativo: Las comparaciones visuales mostraron que TeleMorpher editó con éxito el movimiento y la ubicación simultáneamente mientras mantenía la apariencia del protagonista y la integridad del fondo, evitando el parpadeo y la deriva de apariencia vistos en otros métodos.
Estudio de Usuario: En un estudio con 25 participantes, TeleMorpher fue preferido sobre todas las líneas base en términos de Alineación de Movimiento (M-A), Alineación de Apariencia (A-A) y Alineación Textual (T-A).

Significado y Reivindicaciones

El artículo afirma que TeleMorpher cierra la brecha entre la alta controlabilidad de las plataformas modernas de avatares 3D y la edición de videos humanos del mundo real. Al aprovechar los priores de movimiento y un proceso de edición descompuesto, permite a los usuarios especificar los movimientos deseados a través de avatares virtuales y transferirlos a videos existentes sin renderizado adicional, animación o control manual.

Los autores posicionan a TeleMorpher como un paso hacia la edición escalable y precisa de estructuras de video, sentando las bases para futuras aplicaciones en la edición de objetos, la interacción protagonista-objeto y escenarios de múltiples protagonistas. El trabajo subraya que separar al protagonista del fondo y utilizar la guía de movimiento sintético son críticos para lograr una edición simultánea de movimiento-ubicación robusta y de alta fidelidad.

Limitaciones

Los autores reconocen dos limitaciones principales:

Cambios de Color: Inconsistencias de color ocasionales en el protagonista editado, que podrían mitigarse mediante el post-procesamiento de corrección de color.
Longitud del Video: Los experimentos se limitaron a clips cortos (5 fotogramas) debido a restricciones de recursos computacionales. Los autores sugieren la aplicación iterativa en clips segmentados como una posible estrategia de mitigación.