🤖 machine learning

Go-with-the-Track: Video Compositing and Motion Control with Point Tracking

Go-with-the-Track은 공간 인지적 포인트 트랙 임베딩과 하이브리드 학습 전략을 도입함으로써, 비디오 시퀀스 전반에 걸쳐 정밀한 모션 제어와 고충실도 합성(high-fidelity compositing)을 가능하게 하기 위해 포인트 트래킹과 다중 참조 이미지를 결합한 통합 비디오 생성 프레임워크이다.

원저자: Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 편집하려는 영화 감독이라고 상상해 보십시오. 당신에게는 구체적인 비전이 있습니다. 사진 속의 캐릭터가 당신의 장면 속으로 걸어 들어와, 환경과 상호작용하며, 당신이 원하는 방식 그대로 움직이기를 바라는 것입니다.

현재 기존의 AI 비디오 도구들은 서투른 조수와 같습니다. 어떤 도구들은 캐릭터를 움직이게 할 수는 있지만, 캐릭터를 반드시 영상의 첫 프레임에서 시작하게만 할 수 있습니다. 만약 당신이 장면 중간에 캐릭터가 걸어 들어오길 원한다면, AI는 혼란에 빠집니다. 또 다른 도구들은 사진을 가져와 영상 속에 넣을 수는 있지만, 그 사진을 어떻게 자연스럽게 "춤추게" 하거나 움직이게 해야 하는지는 전혀 모릅니다. 그저 가만히 있거나 일반적이고 로봇처럼 움직일 뿐입니다.

**"Go-with-the-Track"**은 마스터 인형술사처럼 행동하는 새로운 AI 도구입니다. 이 도구는 **"포인트 트랙(point-tracks)"**이라 불리는 기술을 사용하여 이 두 가지 문제를 동시에 해결합니다.

핵심 아이디어: 보이지 않는 실

포인트 트랙을 영상 속 특정 지점(예: 코끝, 자동차 바퀴, 혹은 나뭇잎)에 묶인 보이지 않는 실이라고 생각하십시오. 영상이 재생됨에 따라, 이 실은 프레임 단위로 그 지점을 따라갑니다.

과거에는 이 실들이 오직 '첫 번째 프레임'에만 묶일 수 있었습니다. 만약 당신이 나중에 새로운 물체를 추가하고 싶다면, 그 물체에는 실을 묶을 수 없었습니다. 왜냐하면 그 물체가 처음부터 존재하지 않았기 때문입니다.

Go-with-the-Track은 규칙을 바꿉니다. 이 도구는 이러한 보이지 않는 실을 영상뿐만 아니라 당신의 **참조 사진(reference photos)**에도 묶을 수 있게 해줍니다.

비유: 당신에게 빨간 공 사진이 있다고 가정해 봅시다. 당신은 사진 속의 공 위에 점을 하나 찍습니다. 그런 다음, 당신의 영상 속 공 위에도 점을 하나 찍습니다. 이제 AI는 이렇게 이해합니다: "사진 속의 빨간 공은 영상 속의 빨간 공과 동일하며, 반드시 이 특정 경로를 따라 움직여야 한다."

이를 통해 당신은 AI에게 이렇게 명령할 수 있습니다: "이 사진에서 빨간 공을 가져와서, 설령 장면 중간에 등장하더라도 영상 속의 이 경로를 따라 정확하게 굴러가게 만들어라."

작동 원리 (마법의 기술들)

이 논문은 AI가 이 작업을 매우 잘 수행하기 위해 사용하는 세 가지 주요 "기술"을 설명합니다.

1. "스마트 ID 카드" (공간 인식 임베딩 - Spatially-Aware Embeddings)
이전에는 AI가 수천 개의 점을 추적하려고 할 때, 각 점에 무의미한 랜덤 ID 번호(예: "ID #492")를 부여했습니다. 이는 군중 속에서 친구를 찾을 때 무작위 숫자를 외치는 것과 같았습니다.

혁신: Go-with-the-Track은 각 점에 실제 위치와 움직임을 기반으로 한 "스마트 ID 카드"를 부여합니다. 이는 마치 친구에게 "나는 나무 근처를 걷고 있는 사람이야"라고 적힌 이름표를 달아주는 것과 같습니다. ID가 실제 위치를 기반으로 하기 때문에, AI는 두 점이 서로 멀리 떨어져 있더라도 사진 속의 점이 영상 속의 어느 점과 일치하는지 즉각적으로 이해할 수 있습니다. 이 덕분에 추적이 매우 정밀해집니다.

2. "압축 슈트" (어댑터 - The Adapter)
AI 비디오 모델은 에너지를 아끼기 위해 "압축된" 세상(저해상도 스케치와 같은 상태)에서 작동하지만, 당신의 포인트 트랙은 고해상도의 디테일입니다. 보통 고해상도 디테일을 저해상도 스케치로 압축하면 미세한 움직임(예: 미묘한 머리 돌림)을 놓치게 됩니다.

혁신: 팀은 고해상도 포인트 트랙을 AI의 저해상도 세상에 완벽하게 맞출 수 있는 특별한 "어댑터(압축 슈트)"를 제작했습니다. 이는 정보의 손실 없이 미세하고 중요한 움직임의 디테일을 모두 유지하여, 캐릭터가 흐릿한 덩어리처럼 보이지 않도록 보장합니다.

3. "훈련 체육관" (하이브리드 데이터 - The Training Gym)
물체를 완벽하게 움직이는 법을 배우기 위해 AI는 연습이 필요합니다. 실제 영상은 무질서합니다. "실(포인트 트랙)"이 끊어지거나 길을 잃는 경우가 많기 때문입니다.

혁신: 팀은 단순히 지저-한 실제 영상만으로 학습하는 대신, 다음과 같은 혼합 데이터를 사용하여 AI를 훈련시켰습니다:
- 완벽한 합성 데이터(Perfect Synthetic Data): AI가 모든 점의 위치를 정확히 알고 있는 컴퓨터 생성 세계(완벽한 물리 법칙이 적용된 비디오 게임과 같은 환경).
- 정적인 장면(Static Scenes): 아무것도 움직이지 않는 방 안에서, 카메라가 움직이는 상황을 다루는 법을 학습합니다.
- 실제 영상(Real Videos): 실제 사람과 물체가 어떻게 보이는지 배우기 위한 데이터입니다.
  이러한 혼합 학습을 통해 AI는 합성 데이터로부터 '정밀함'을, 실제 데이터로부터 '사실감'을 배워 정밀하면서도 현실적인 움직임을 구현할 수 있게 되었습니다.

실제로 무엇을 할 수 있나요?

이 논문은 이 "인형술사" 기술이 빛을 발하는 몇 가지 구체적인 응용 사례를 보여줍니다:

비디오 스타일 재구성 (Video Restylization): 사람이 걷는 영상을 가져와서 AI에게 "이 사람을 특정 사진 속의 그림처럼 만들어라"라고 명령할 수 있습니다. AI는 정확한 걷기 동작은 그대로 유지하면서, 외형만을 사진의 스타일과 일치하도록 변경합니다.
메쉬 기반 합성 (Mesh-Driven Compositing): 3D 애니메이션(예: 움직이는 로봇 팔)을 가져와서 AI에게 로봇을 특정 캐릭터로 교체하도록 명령할 수 있습니다. 이때 캐릭터는 로봇의 움직임을 똑같이 따라 하게 됩니다.
카메라 제어 (Camera Control): 정적인 방이나 움직이는 자동차가 담긴 영상을 가져와서 AI에게 "새로운 각도로 카메라를 이동시켜라"라고 명령할 수 있습니다. AI는 포인트 트랙을 사용하여 3D 공간을 이해하고, 물체들을 제자리에 둔 채 새로운 각도에서 본 영상을 생성합니다.
멀티 레퍼런스 (Multi-Reference): 여러 장의 사진을 사용할 수 있습니다. 예를 들어, 캐릭터의 얼굴을 위한 사진, 옷을 위한 다른 사진, 그리고 배경을 위한 세 번째 사진을 각각 지정하여, AI가 이들을 하나의 움직임에 맞춰 자연스럽게 결합하도록 할 수 있습니다.

결론

Go-with-the-Track은 영상에 무엇이 나타날지와 그것이 어떻게 움직일지에 대해 영화 제작자와 크리에이터들에게 마침내 정밀한 통제권을 부여하는 도구입니다. 이는 AI가 추측하게 만드는 것을 멈추고, 단순한 점과 사진을 사용하여 복잡하고 영화적인 영상을 생성하도록 사용자가 직접 액션을 지시할 수 있게 해줍니다.

기술 요약: Go-with-the-Track

문제 정의

영화 제작과 고품질 비디오 생성에는 요소의 시각적 외형(컴포지팅)과 시공간적 진화(모션 제어) 모두에 대한 정밀한 제어가 필요합니다. 기존 방식들은 일반적으로 이러한 기능들을 분리하여 처리합니다. 포인트 트랙 조건부 이미지-투-비디오(image-to-video) 모델은 대개 첫 번째 프레임에 모든 제어 가능한 요소가 존재한다고 가정하므로, 임의의 프레임에서 요소가 등장하거나 퇴장하는 것을 자연스럽게 합성하는 데 어려움을 겪습니다. 반대로, 레퍼런스-투-비디오(reference-to-video) 모델은 다중 레퍼런스 외형 주입은 가능하지만 미세한 제어 가능한 모션 표현이 부족하여, 여러 레퍼런스 요소가 공간과 시간 전체에 걸쳐 어떻게 움직이고 상호작용하는지 제어하기 어렵습니다. 또한, 기존의 포인트 트랙 조건부 방식은 트랙을 구분하기 위해 무작위 임베딩(random embeddings)에 의존하는 경우가 많은데, 이는 공간적 근접성 단서를 활용하지 못해 트랙의 수가 많아지거나 레퍼런스 이미지와 생성된 프레임 간의 불연속적인 대응 관계가 발생할 때 수렴 속도가 느려지고 일반화 성능이 저하되는 문제를 야기합니다.

방법론

저자들은 다중 레퍼런스 이미지와 레퍼런스에 앵커링된 포인트 트랙(reference-anchored point-tracks)에 대해 비디오 생성을 공동으로 조건화하는 통합 프레임워크인 Go-with-the-Track를 제안합니다. 핵심 혁신은 기존의 포인트 트랙을 확장하여 생성된 비디오 프레임과 입력 레퍼런스 이미지 사이의 대응 관계를 명시적으로 구축하는 것으로, 이를 통해 모델이 요소가 어떻게 움직이는지뿐만 아니라 특정 레퍼런스 콘텐츠가 해당 움직임에 무엇이 앵커링되어 있는지를 결정할 수 있게 합니다.

주요 기술 구성 요소

레퍼런스 앵커링 포인트 트랙 (Reference-Anchored Point-Tracks):
단순히 비디오 시퀀스 내에서만 정의되는 전통적인 트랙과 달리, 저자들은 생성된 비디오 프레임과 입력 레퍼런스 이미지를 모두 아우르는 포인트 트랙을 정의합니다. 이 공식화는 레퍼런스 이미지의 2D 픽셀 좌표를 생성된 비디오에서의 궤적과 명시적으로 연결하여, 서로 다른 시점이나 뷰포인트에서 나타나는 요소들을 정밀하게 합성할 수 있게 합니다.
공간 인지형 포인트 트랙 임베딩 (Spatially-Aware Point-Track Embeddings):
이전 연구에서 사용된 무작위 임베딩의 한계를 해결하기 위해, 저자들은 공간 인지형 임베딩 전략을 도입합니다.
- 인코딩: 각 포인트 트랙에 대해, 생성된 프레임으로부터의 2D 좌표 시퀀스(프레임 인덱스와 함께 증강됨)는 좌표별 멀티 레이어 퍼셉트론(MLP)을 거친 후 사인파 인코딩(sinusoidal encoding) 처리를 거칩니다.
- 풀링: 시간적 맥스 풀링(temporal max-pooling) 연산을 통해 이러한 좌표 임베딩을 트랙당 하나의 벡터로 집계합니다.
- 이점: 이 설계는 임베딩 유사성이 공간적 근접성과 직접적으로 상관관을 갖도록 보장합니다. 비디오 내에서 공간적으로 가까운 트랙들은 유사한 임베딩 특성을 공유하며, 이를 통해 모델은 원본 좌표가 불연속적이더라도 프레임과 레퍼런스 이미지 전반에 걸쳐 트랙을 구별하고 연관 지을 수 있는 명시적인 공간적 사전 정보(spatial priors)를 갖게 됩니다.
경량 포인트 트랙 어댑터 (Lightweight Point-Track Adapter):
핵심 과제는 고해상도 픽셀 공간의 포인트 트랙과 비디오 디퓨전 트랜스포머의 압축된 패치화된 잠재 공간(일반적으로 공간적으로 16×16, 시간적으로 4× 다운샘플링됨) 사이의 해상도 격차를 메우는 것입니다.
- 블록 집계: 비디오 볼륨을 $4 \times 16 \times 16$ 시공간 블록으로 나누며, 각 블록은 단일 잠재 토큰에 대응합니다.
- 상대적 위치 주입: 각 블록에 대해 어댑터는 해당 블록에 속하는 모든 포인트 트랙 임베딩을 수집합니다. 결정적으로, 풀링을 수행하기 전에 각 임베딩은 블록 내의 상대적 위치 $(f', x', y')$ 와 결합됩니다.
- 풀링: MLP가 이러한 결합된 벡터를 처리한 후, 맥스 풀링을 통해 블록당 하나의 압축된 조건부 벡터를 생성합니다. 이 방식은 단순한 서브샘플링이나 다운샘플링이 놓칠 수 있는 미세한 모션 디테일을 보존합니다.
하이브리드 학습 전략 (Hybrid Training Strategy):
실제 비디오에서 정답(ground-truth) 포인트 트랙 주석을 확보하기 어려운 문제를 극복하기 위해, 저자들은 다음과 같은 하이브리드 학습 데이터셋을 사용합니다.
- 합성 데이터셋 (예: PointOdyssey): 3D 메쉬에서 유도된 per-vertex 포인트 트랙을 제공하여, 카메라와 오브젝트의 움직임을 분리하기 위한 완벽한 정답을 제공합니다.
- 정적 장면 데이터셋 (예: DL3DV, TartanAir): 정확한 깊이(depth)와 카메라 포즈를 제공하여 정밀한 포인트 트랙을 계산할 수 있게 합니다.
- 실제 동적 비디오 데이터셋 (예: OpenVidHD, MiraData): 실사적인 사전 정보를 제공하며, 오프더쉘프 트래커(DELTA)와 반복적인 밀집화(iterative densification) 과정을 통해 희소한 영역을 채워 주석을 달았습니다.
  이러한 혼합 방식은 모델이 합성 데이터로부터 정밀한 모션 제어를 배우는 동시에, 실제 데이터로부터 강력한 실사 이미징 능력을 유지할 수 있도록 합니다.

주요 기여

통합된 모션 제어 및 컴포지팅: 본 논문은 모션 제어와 다중 레퍼런스 컴포지팅이 레퍼런스 앵커링 포인트 트랙을 통해 통합되는 패러다임을 제시하며, 이를 통해 다중 레퍼런스 이미지를 활용한 시공간 제어 가능 비디오 생성을 가능하게 합니다.
공간 인지형 임베딩 및 어댑터: 저자들은 무작위 임베딩이 레퍼런스 앵커링 조건화에 최적이 아님을 입증했습니다. 대신 공간적 특성을 인코딩하는 공간 인지형 임베딩과, 모션 디테일 손실 없이 픽셀 공간의 트랙을 잠재 공간으로 매핑하는 경량 어댑터를 제안합니다.
하이브리드 학습 데이터: 합성, 정적, 실제 세계의 데이터를 결합함으로써 노이즈가 있는 포인트 트래커에 대한 의존도를 줄였으며, 이를 통해 모델이 실사성을 유지하면서도 정밀한 모션 제어를 학습할 수 있게 했습니다.
광범한 적용 가능성: 이 프레임워크는 모션이 보존된 비디오 스타일 변환, 메쉬 또는 키포인트 기반 컴포지팅, 정적 및 동적 장면 모두에 대한 카메라 제어를 포함한 다양한 응용 분야를 지원합니다.

결과

DAVIS 2017 및 TAPVid3D-ADT 데이터셋에 대한 광범ale한 실험 결과, Go-with-the-Track는 시각적 충실도, 재구성 정확도 및 모션 충실도 지표 전반에서 최신 베이스라인 모델들(DiffusionAsShader, Go-with-the-Flow, Tora, ATI, Wan-Move 포함)을 능가하는 성능을 보여주었습니다.

정량적 성능: 모델은 특히 베이스라인들이 실패하거나 과도한 서브샘플링이 필요한 조밀한 트랙 시나리오에서 FID, FVD, LPIPS, PSNR, SSIM 및 종단 오차(EPE) 측면에서 우수한 점수를 달성했습니다.
절제 연구 (Ablation Studies): 공간 인지형 임베딩, 어댑터의 상대적 위치 주입, 또는 하이브리드 학습 데이터를 제거할 경우 성능이 크게 저하되었으며, 이는 각 구성 요소의 필요성을 확인시켜 줍니다.
사용자 조사: 45명의 참가자를 대상으로 한 조사에서, Go-with-the-Track는 모션 추종, 피사체 보존 및 전반적인 품질 측면에서 두 번째로 우수한 방법보다 2:1 이상의 차이로 선호되었습니다.

의의

본 논문은 Go-with-the-Track가 외형 제어와 모션 제어를 하나의 유연한 프레임워크로 통합함으로써 비디오 생성 분야의 근본적인 간극을 해결한다고 주장합니다. 포인트 트랙을 다중 레퍼런스 이미지를 위한 시공간적 앵커로 확장함으로써, 이 방법은 캐릭터나 소품을 임의의 프레임에 삽입하거나, 복잡한 움직임을 유지하며 비디오를 스타일 변환하거나, 정적 및 동적 장면 모두에서 카메라 움직임을 리타겟팅하는 등 영화 제작자와 크리에이터를 위한 새로운 가능성을 열어줍니다. 이 연구는 비디오 생성에서의 정밀한 제어력이 단순히 더 나은 모델뿐만 아니라, 생성된 콘텐츠의 공간적, 시간적 연속성을 존중하는 더 나은 조건부 표현(conditioning representation)을 필요로 한다는 점을 강조합니다.