🤖 AI

TeleMorpher: Toward Robust Simultaneous Motion-Location Editing

TeleMorpher는 피사체를 배경으로부터 분리하고, 포즈 워핑을 위해 모션 프라이어를 활용하며, 고품질의 제어 가능한 결과를 보장하기 위해 새로운 LPIPS 기반 메트릭을 도입함으로써 비디오 내에서 강건한 동시 동작 및 위치 편집을 가능하게 하는 새로운 원샷(one-shot), 학습 불필요(training-free) 프레임워크이다.

원저자: Haengbok Chung

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haengbok Chung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 거실에서 친구가 춤을 추고 있는 홈 비디오가 있다고 상상해 보세요. 이제, 당신은 두 가지를 동시에 바꾸고 싶습니다. 친구가 완전히 다른 춤 동작을 하도록 하고(동작 변경), 친구의 위치를 방 중앙에서 구석으로 옮기고 싶습니다(위치 변경).

현재의 비디오 편집 도구로 이 작업을 수행하는 것은 마치 가구나 벽을 망가뜨리지 않고 오래된 그림 위에 새 그림을 그리려는 것과 같습니다. 보통 사람을 움직이려고 하면 배경이 지저지는 듯 엉망이 되거나, 사람의 얼굴이 이상하게 변하곤 합니다. 만약 춤을 바꾸려고 하면, 사람이 글리치(glitch) 현상을 일으키거나 깜빡거리는 것처럼 보일 수 있습니다.

TeleMorpher는 바로 이 특정 문제를 해결하기 위해 설계된 새로운 도구입니다. 이 도구가 어떻게 작동하는지 쉽게 설명해 드리겠습니다.

1. "오려 붙이기" 전략 (분리 - Disentanglement)

비디오를 층층이 쌓인 케이크라고 생각해 보세요. 맨 아래 층은 배경(방)이고, 그 위 층은 주인공(사람)입니다.

기존 방식: 케이크 전체를 한꺼번에 편집하려고 하면 종종 프로스팅(배경)을 망치거나 케이크 층(사람)을 망가뜨립니다.
TeleMorpher의 방식: 이 도구는 스마트한 "디지털 칼"을 사용하여 배경을 남겨둔 채 사람만을 조심스럽게 오려냅니다. 그런 다음, 배경의 빈 공간을 다시 온전해 보이도록 채워 넣습니다. 이제, 깨끗하고 분리된 접시 위에서 사람만을 따로 편집할 수 있게 됩니다.

2. "유령 무용수" 가이드 (모션 프라이어 - Motion Priors)

사람에게 새로운 춤을 가르치기 위해, 기존 도구들은 보통 누군가가 그 동작을 똑같이 수행하는 참조 비디오가 필요합니다. 하지만 만약 그 특정 동작을 하는 비디오를 찾을 수 없다면 어떻게 될까요?

TeleMorpher의 방식: 실제 비디오를 찾는 대신, "유령 무용수(Ghost Dancer)"를 사용합니다. 이는 어떤 동작이든 완벽하게 수행할 수 있는 컴퓨터 생성 3D 아바타입니다. 이 도구는 이 완벽하고 합성된 댄스를 가이드로 사용합니다. 이는 마치 카메라 팀을 동원해 먼저 촬영할 필요 없이, 완벽한 동작을 보여줄 수 있는 완벽한 댄스 강사를 곁에 두는 것과 같습니다.

3. "신축성 있는 슈트" (포즈 워핑 - Pose Warping)

완벽한 가이드가 있더라도, 비디오 속의 사람은 유령 무용수와 다를 수 있습니다(예를 들어 키가 더 크거나 다른 옷을 입고 있을 수 있습니다). 만약 단순히 새로운 춤을 그들에게 강제로 적용한다면, 부자연스러워 보일 수 있습니다.

TeleMorpher의 방식: 이 도구는 "훈련이 필요 없는 포즈 워핑(training-free pose warping)"을 수행합니다. 비디오 속 인물이 신축성 있는 슈트를 입고 있다고 상상해 보세요. 이 도구는 새로운 춤을 적용하기 전에, 현재의 포즈를 유령 무용수의 포즈에 맞게 부드럽게 늘리고 모양을 잡습니다. 이를 통해 사람이 왜곡되거나 녹아내리는 것처럼 보이지 않도록 합니다. 이는 마치 옷을 입기 전에 몸에 딱 맞게 수트를 맞추는 것과 같습니다.

4. "매끄러운 재결합"

사람이 새로운 춤을 추고 새로운 위치에 배치되도록 편집되면, TeleMorpher는 그들을 원래의 거실 비디오 속에 조심스럽게 다시 배치합니다. 배경을 별도로 유지하고 사람만을 편집했기 때문에, 방은 똑같이 유지되며 사람은 깜빡임이나 이상한 경계선 없이 완벽하게 어우러집니다.

이것이 왜 중요한가요?

논문에 따르면 기존의 도구들은 동작과 위치 변화를 동시에 수행하는 데 자주 실패했습니다. 배경을 이상하게 만들거나, 사람을 깜빡거리게 하거나, 비디오를 망가뜨리지 않고는 사람을 새로운 위치로 이동시키지 못했습니다.

TeleMorpher는 다음과 같은 방식으로 이를 해결합니다:

사람을 배경에서 분리하여 장면을 망치는 것을 방지합니다.
합성 가이드(유령 무용수)를 사용하여 적절한 참조 비디오를 찾아야 하는 제한을 없앴습니다.
사람의 포즈를 부드럽게 늘려 새로운 동작이 자연스럽게 보이도록 합니다.

저자들은 실제 비디오를 대상으로 테스트를 진행했으며, TeleMorpher가 사람의 얼굴과 옷을 실제처럼 유지하고, 배경을 안정적으로 유지하며, 다른 현재 방식들보다 더 성공적으로 사람을 새로운 위치로 이동시키면서 새로운 춤을 구현한다는 것을 발견했습니다. 또한, 배경이 그대로 유지되었는지와 사람의 골격(뼈 구조)이 실제로 새로운 위치로 이동했는지를 구체적으로 확인하는 새로운 성공 측정 방식도 만들어냈습니다.

요약하자면, TeleMorpher는 주변 장면의 현실을 깨뜨리지 않으면서도 비디오 속 캐릭터의 행동과 위치를 다시 쓸 수 있게 해주는 마법 같은 편집 도구입니다.

기술 요약: TeleMorpher

문제 정의

확산 모델(Diffusion Models)은 비디오 생성 및 편집 분야에서 상당한 성공을 거두었으나, **동작(motion)과 위치(location)**를 동시에 편집하는 것은 여전히 미개척 영역이자 도전적인 과제로 남아 있습니다. 기존의 동작 편집 방법들(예: MotionEditor, Edit-Your-Motion)은 주로 원샷(one-shot) 편집에 집중하며, 실질적인 응용에 필수적인 위치 변화를 처리하는 데는 실패하는 경우가 많습니다. 이러한 기존 방식들은 다음과 같은 근본적인 문제들을 안고 있습니다:

외형 불일치(Appearance Inconsistency): 주인공의 외형이나 배경에서 발생하는 깜빡임(flickering) 및 드리프트(drift) 현상.
시간적 불일치(Temporal Inconsistency): 프레임 간 매끄러운 전환의 부족.
동작-위치 간극(Motion-Location Gap): 소스(source)와 타겟(target) 동작 사이의 큰 차이, 특히 타겟이 상당한 공간적 이동(위치 변화)을 포함할 때 발생하는 격차를 해소하는 어려움.
참조 의존성(Dependency on References): 실제 세계의 참조 비디오에 의존함으로써 타겟 동작의 다양성과 제어 가능성이 제한됨.

저자들은 편집 품질의 저하가 세 가지 주요 요인, 즉 간극(Gap)(소스와 타겟 사이의 동작 및 위치 차이), 모호성(Ambiguity)(주인공과 배경 간의 낮은 해상도 또는 높은 유사성), 그리고 정보량(Information Amount)(복잡한 배경 또는 빠른 동작 역학)에서 기인한다고 식별했습니다.

방법론: TeleMorpher

TeleMorpher는 견고한 동시 동작-위치 편집을 위해 설계된 원샷, 학습 불필요(training-free) 프레임워크입니다. 이 프레임워크는 식별된 과제들을 해결하기 위해 편집 과정을 분리하는 모듈형 파이프라인을 통해 작동합니다.

1. 전경-배경 분리 (Foreground-Background Disentanglement)

배경의 간섭을 제거하고 모델이 주인공에게 집중할 수 있도록, 파이프라인은 먼저 입력 비디오( $X_s$ )를 다음과 같이 분리합니다:

주인공 비디오 ( $X_p$ ): 사전 학습된 세그멘테이션 모델(Segment Anything)을 사용하여 추출합니다.
배경 비디오 ( $X_b$ ): 남은 배경은 인페인팅(inpainting) 모델(Inpaint Anything)을 사용하여 채움으로써, 추후 재통합을 위한 깨끗한 배경을 생성합니다.

2. 동작 사전 활용 (Motion Prior Utilization)

실제 세계의 참조 비디오에 의존하는 대신, TeleMorpher는 고도로 제어 가능한 3D 아바타 시스템에서 생성된 **합성 동작 사전(synthetic motion priors, $X_m$ )**을 활용합니다. 이 사전은 타겟 동작의 그라운드 트루스(ground truth) 역할을 하며 다음을 제공합니다:

더 높은 제어 가능성과 확장성.
수동 렌더링이나 추가적인 아바타 제어의 필요성 제거.
기존 비디오 데이터셋보다 더 다양한 동작 패턴에 대한 접근성.

3. 학습 불필요 포즈 워핑 (Training-Free Pose Warping)

주인공의 외형을 보존하면서 소스 동작과 타겟 동작 사전 사이의 간극을 메우기 위해, 프레임워크는 학습 불필요 포즈 워핑(training-free pose warping) 전략을 도입합니다. 이는 잔차 스타일(residual-style)의 가이드 메커즘으로 작용합니다:

마스크 분석 (Mask Analysis): 소스와 타겟 세그멘테이션 마스크 사이의 교집합과 대칭 차이를 계산하여 구조적 불일치(예: 확장된 팔다리)를 식별합니다.
골격 정렬 (Skeleton Alignment): 양측에서 골격을 추출하여 대응하는 신체 부위(예: 왼팔에서 왼팔)를 격리합니다.
워핑 전략 (Warping Strategies):
- 파라메트릭 워핑 (Parametric Warping): 대응하는 신체 부위의 중심선에 이차 곡선(quadratic curves)을 적합시켜 수직 변위( $\Delta y$ )를 계산하고 소스 이미지 픽셀을 워핑합니다.
- 확률적 합성 (Stochastic Synthesis): 기하학적 적합이 실패하는 경우(폐쇄 또는 파편화로 인해), 소스의 픽셀을 타겟 형상으로 무작위로 샘플링하고 재배치하여 국부적인 외형을 유지합니다.

4. 주인공 가이드 추론 (Protagonist-Guided Inference)

워핑된 주인공 조건( $P$ )은 추론 과정 중 베이스라인 동작 편집기(MotionEditor)의 UNet 어텐션 레이어에 직접 주입됩니다:

어텐션 주입 (Attention Injection): 주인공 조건의 반복되는 RGB 특징을 사용하여 어텐션 키( $K$ )와 값( $V$ )의 일부를 덮어씀으로써 외형 및 동작 일관성을 강제합니다.
믹스업 전략 (Mixup Strategy): 입력 비디오( $X$ )를 계수 $\lambda$ 를 사용하여 주인공 조건( $P$ )과 선형적으로 혼합함으로써 타겟 조건 효과를 더욱 강화합니다.

5. 최종 통합 (Final Integration)

편집된 주인공 비디오는 인페인팅된 배경 비디오와 병합되어 최종 출력을 생성하며, 이를 통해 매끄러운 블렌딩을 보장합니다.

주요 기여

문제 분석: 저자들은 동작-위치 동시 편집을 저하시키는 요인들을 간극, 모호성, 정보량으로 범주화하여 체계적인 분석을 제공합니다.
TeleMorpher 파이프라인: 실제 참조 비디오 대신 동작 사전(합성 3D 아바타 동작)을 활용하여 더 정밀하고 유연한 제어를 가능하게 하는 원샷 프레임워크를 도입했습니다.
학습 불필요 가이드: 추가적인 네트워크 학습 없이 소스와 타겟 동작을 정렬하면서 외형을 보존하는 새로운 포즈 워핑 방법을 제시합니다.
새로운 평가 지표: 두 가지 새로운 LPIPS 기반 지표를 제안했습니다:
- LPIPS-B (Background): 배경 영역을 격리하여 배경 보존도를 측정합니다.
- LPIPS-P (Pose): 편집된 출력과 타겟 사전 사이의 추출된 골격을 비교하여 동작 정렬도를 측정합니다.
리소스 공개: 코드, 수집된 비디오 및 베이스라인 결과(TeleMorpher-smallpack)를 공개합니다.

실험 결과

프레임워크는 20개의 야생(in-the-wild) 비디오(YouTube, Hailuo AI, Pexels)와 TaiChi 데이터셋에서 평가되었으며, 최신 기술(SOTA) 베이스라인들(Follow-Your-Pose, ControlVideo, MasaCtrl, MotionDirector, MotionEditor)과 비교되었습니다.

정량적 성능: TeleMorpher는 LPIPS-S(소스 외형 보존), LPIPS-B(배경 보존), LPIPS-P(포즈 정렬), CLIP Score(의미론적 정렬)에서 최고의 점수를 기록했습니다. 또한 대부분의 베이스라인에 비해 우수한 시간적 일관성(LPIPS-N)과 타겟 동작 준수 능력(LPIPS-T)을 보여주었습니다.
정성적 성능: 시각적 비교 결과, TeleMorpher는 주인공의 외형과 배경의 무결성을 유지하면서 동작과 위치를 성공적으로 동시에 편집하였으며, 다른 방법들에서 나타나는 깜빡임이나 외형 드리프트 현상을 방지했습니다.
사용자 연구: 25명의 참가자를 대상으로 한 연구에서, TeleMorpher는 동작 정렬(M-A), 외형 정렬(A-A), 텍스트 정렬(T-A) 측면에서 모든 베이스라인보다 선호되었습니다.

의의 및 주장

본 논문은 TeleMorpher가 현대 3D 아바타 플랫폼의 높은 제어 가능성과 실제 세계의 인간 비디오 편집 사이의 간극을 메운다고 주장합니다. 동작 사전과 분리된 편집 파이프라인을 활용함으로써, 사용자는 추가적인 렌더링, 애니메이션 또는 수동 제어 없이 가상 아바타를 통해 원하는 동작을 지정하고 이를 기존 비디오에 전이할 수 있습니다.

저자들은 TeleMorpher를 비디오 구조의 확장 가능하고 정밀한 편집을 향한 단계로 규정하며, 이는 객체 편집, 주인공-객체 상호작용, 다중 주인공 시나리오 등의 미래 응용 분야를 위한 토대를 마련합니다. 이 연구는 주인공을 배경으로부터 분리하고 합성 동작 가이드를 활용하는 것이 견고하고 고충실도의 동시 동작-위치 편집을 달성하는 데 핵심적임을 강조합니다.

한계점

저자들은 두 가지 주요 한계를 인정했습니다:

색상 변화 (Color Shifts): 편집된 주인공에서 간혹 발생하는 색상 불일치 문제가 있으며, 이는 사후 색상 보정 처리를 통해 완화될 수 있습니다.
비디오 길이 (Video Length): 계산 자원의 제약으로 인해 실험이 짧은 클립(5 프레임)에 국한되었습니다. 저자들은 세그먼트된 클립에 반복적으로 적용하는 것을 잠재적인 완화 전략으로 제안합니다.