💻 computer science

Feed-forward Motion In-betweening for Any 4D

이 논문은 기존 방식들의 느린 추론 속도와 오차 누적 문제를 극복하기 위해, 프레임별 메시 VAE와 키프레임 조건부 rectified flow 모델을 활용하여 임의의 형태를 가진 긴 시계열 4D 메시 시퀀스를 효율적으로 생성하고 향상된 시공간 제어 능력을 제공하는 새로운 피드포워드 인비트위닝(in-betweening) 프레임워크를 제안한다.

원저자: Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 만들려는 애니메이터라고 상상해 보세요. 보통은 모든 프레임을 일일이 손으로 그리거나, 적어도 중요한 순간(예: 캐릭터가 점프하는 장면)을 그린 뒤 컴퓨터가 나머지를 채우도록 해야 합니다. 이 논문은 3D 영화를 위한 초스마트하고 즉각적인 "빈칸 채우기" 기계 역할을 하는 CompletionAny4D라는 새로운 도구를 소개합니다.

이 도구가 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

거대한 문제: "느리고 투박한" 컴퓨터

이 새로운 도구가 나오기 전, 3D 영화(시간에 따라 움직이는 3D 객체인 4D)를 만드는 것은 마치 매 초마다 반죽을 손으로 직접 치대며 케이크를 굽는 것과 같았습니다.

기존 방식: 컴퓨터는 물체가 어떻게 움직여야 하는지 알아내기 위해 각 특정 장면마다 엄청난 양의 수학 계산을 수행해야 했습니다. 이는 몇 초 분량의 영상을 만드는 데 몇 시간(때로는 20시간)이 걸렸으며, 제어하기도 매우 어려웠습니다. 만약 캐릭터가 왼팔을 들어 올리길 원한다면, 컴퓨터는 종종 잘못 예측하거나 이를 제대로 해내기까지 너무 오랜 시간이 걸렸습니다.
한계점: 기존의 빠른 도구들은 "무작위 동작 생성기"와 같았습니다. 빠르게 움직이게 할 수는 있었지만, 당신이 원하는 것을 정확히 지시할 수는 없었습니다. 만약 "점프해"라고 말하면 점프는 하겠지만, 원치 않는 방향으로 이상하게 몸을 틀 수도 있었습니다.

해결책: CompletionAny4D

저자들은 이 시스템을 몇 시간이 아닌 몇 초 만에 작동하는 전문 애니메이터의 조수처럼 만들었습니다. 이 도구는 3D 객체(로봇, 고양이, 나무 등)와 몇 개의 "키프레임"(움직임의 시작과 끝, 그리고 중간에 몇 개의 스냅샷)을 입력받아, 그 사이의 부드러운 움직임을 즉각적으로 채워 넣을 수 있습니다.

이것을 가능하게 하는 세 가지 "비밀 재료"는 다음과 같습니다.

1. "골격 vs 춤" (Frame-wise VAE)

당신에게 인형극용 인형이 있다고 상상해 보세요. 인형의 형태(머리, 팔, 다리)는 하나의 것이고, 인형이 추는 춤은 별개의 것입니다.

이전의 도구들은 전체 춤을 한꺼번에 기억하려고 시도했기 때문에, 특정 동작을 멈추거나 변경하기가 어려웠습니다.
CompletionAny4D는 인형의 형태와 움직임을 분리합니다. 이 도구는 인형의 형태(앵커)를 한 번 확인한 다음, 춤의 모든 개별 프레임을 각각의 독립된 명령으로 취급합니다. 이를 통해 컴퓨터는 "좋아, 정확히 이 초에는 팔이 '여기'에 있어야 해"라고 말하면서도 나머지 몸의 움직임을 망치지 않을 수 있습니다.

2. "GPS 내비게이션" (Keyframe Conditioning)

움직임을 자동차 여행이라고 생각해 보세요.

기존의 빠른 도구들: 그들은 그냥 일반적인 방향으로만 운전했습니다. 결과적으로 목적지에 도착할 수는 있겠지만, 이상한 곳으로 우회하거나 당신이 원했던 특정 길목을 놓칠 수도 있었습니다.
CompletionAny4D: 당신은 지도에 특정 체크포인트(키프레임)를 표시해 줍니다. "여기서 출발해서, 이 나무를 거쳐서, 저 산에서 멈춰라." 컴퓨터는 반드시 이 체크포인트들을 통과하도록 강제됩니다. 단순히 추측하는 것이 아니라, 당신이 지정한 지점들을 반드시 지나가는 가장 부드럽고 자연스러운 경로를 계산합니다.

3. "직선 마법" (Rectified Flow)

이것은 내부에서 돌아가는 엔진입니다. A 지점에서 B 지점으로 가고 싶다고 가정해 봅시다.

기존 방식: 단계별로 최선의 방법을 찾으려다 보니 구불구불하고 혼란스러운 경로를 택하게 되며, 이 과정에서 오류가 쌓이게 됩니다(마치 술 취한 사람의 걸음걸이처럼 말이죠).
CompletionAny4D: "Rectified Flow"라는 기술을 사용합니다. 이것은 시작점과 끝점 사이에 완벽한 직선을 그린 다음, 그 선을 따라 점들을 채워 넣는 것과 같습니다. 이는 훨씬 빠르고 정확한데, 경로를 이탈하거나 헤매지 않기 때문입니다.

할 수 있는 것 (그리고 할 수 없는 것)

성공적인 부분:

속도: 강력한 컴퓨터를 사용하여 16초 분량의 애니메이션을 약 4초 만에 생성합니다. 이는 예전에 20시간이 걸렸던 것에 비하면 순식간입니다.
제어력: "점프하며 회전하라"는 텍스트 프롬프트와 몇 개의 키프레임을 주면, 이전 도구들보다 훨씬 더 잘 따릅니다.
긴 이야기: 짧은 클립을 기반으로 훈련되었음에도 불구하고, 이 도구는 짧은 클립들을 서로 연결하여 캐릭터가 "취하거나" 형태를 잃지 않고 긴 영화를 만들 수 있습니다.

한계점 (논문에서 인정하는 부분):

부분적 제어 불가: "다른 부분은 가만히 두고 왼손만 움직여라"라고 지시할 수 없습니다. 이 도구는 객체 전체를 한꺼번에 제어합니다.
형태 변화 불가: 만약 객체가 근본적인 형태를 바꿔야 한다면(예: 애벌레가 나비로 변하는 경우), 이 도구는 할 수 없습니다. 이 도구는 영화 내내 객체의 "골격"을 동일하게 유지합니다.
단판 승부: 한 번에 정해진 길이의 영상을 생성합니다. 단 한 번의 과정으로 영원히 계속 생성할 수는 없습니다(단, 클립을 이어 붙일 수는 있습니다).

핵심 요약

CompletionAny4D는 3D 애니메이션을 만드는 새롭고 빠르며, 제어가 가능하고, 정밀한 방법입니다. 3D 객체가 어떻게 움직여야 하는지 단순히 추측하는 대신, 당신의 구체적인 지시(키프레임)를 듣고 그 간격을 즉시 채워줌으로써, 복잡한 3D 애니메이션을 몇 시간이 아닌 몇 초 만에 만들 수 있게 해줍니다.

기술 요약: CompletionAny4D

문제 정의

3D 기하학이 시간에 따라 진화하는 형태인 4D 다이내믹스는 애니메이션 및 게임의 월드 모델링에 있어 매우 중요합니다. 그러나 임의의 토폴로지를 가진 대규모의 장기(long-horizon) 4D 데이터셋이 부족하기 때문에, 제어 가능한 4D 메쉬 시퀀스를 생성하는 것은 여전히 어려운 과제입니다. 기존 방식들은 다음과 같은 두 가지 주요 한계점에 직면해 있습니다:

추론 효율성 vs. 제어 가능성: 초기 텍스트-투-4D(text-to-4D) 방법론들은 비디오 확산 사전 지식(video diffusion priors)을 증류하거나 테스트 단계 최적화(예: Score Distillation Sampling)에 의존합니다. 이러한 방식은 정제된 4D 학습 데이터가 필요하지 않다는 장점이 있지만, 인스턴스당 지나치게 비용이 많이 드는 최적화 과정(예: 41프레임에 약 20시간 소요)을 요구하므로 인터랙티브한 사용에는 부적합합니다.
피드포워드 생성기의 한계: 최근의 피드포워드 모델들은 빠른 추론 속도를 제공하지만 정밀한 시공간적 제어 능력이 부족합니다. 이 모델들은 텍스트 프롬프트만으로는 사용자가 원하는 특정 동작을 생성하는 데 어려움을 겪는 경우가 많습니다. 또한, 자기회귀(autoregressive) 생성을 통해 이러한 모델을 장기 시퀀스로 확장할 경우, 시간적 일관성을 유지하기 위한 명시적 제약 조건이 없기 때문에 오차 누적 및 모션 드리프트(motion drift) 현상이 발생합니다.

본 연구가 해결하고자 하는 핵심 문제는, 매 장면마다 별도의 최적화를 수행하지 않고도 희소한 키프레임과 텍스트를 통해 정밀한 시공간적 제어를 지원하면서, 장기 시퀀스에 걸쳐 일관성을 유지하는 빠른 피드포워드 4D 메쉬 생성 방법을 구현하는 것입니다.

방법론: CompletionAny4D

저자들은 임의의 4D 메쉬에 대한 모션 인비트위닝(motion in-betweening)을 위해 설계된 텍스트 및 키프레임 조건부 피드포워드 프레임워크인 CompletionAny4D를 제안합니다. 이 프레임워크는 잠재 공간(latent space) 내에서 토폴로지/형태 정보와 모션 정보를 분리하여 작동합니다.

1. 프레임 단위 메쉬 VAE (Frame-wise Mesh VAE)

키프레임 조건화를 용이하게 하기 위해, 저자들은 시간 정보를 압축하는 기존의 시퀀스 단위 VAE(예: DyMeshVAE)와 대조되는 프레임 단위 메쉬 VAE를 설계했습니다.

구조: 인코더는 각 프레임을 독립적으로 처리합니다. 이는 참조 메쉬( $M_0$ )에 의해 고정된 공유 형상 구조 잠재 변수( $\mathbf{V}_0^n$ )를 추출하고, 각 타임스텝에 대한 프레임별 궤적 잠재 변수( $\mathbf{V}_t^n$ )를 생성합니다.
메커니즘: 공유 형상 앵커를 보존하면서 프레임을 독립적으로 인코딩함으로써, 모델은 프레임이 정렬된 잠재 공간을 생성합니다. 이를 통해 시퀀스 단위 모델에서 발생하는 시간적 압축으로 인한 제약을 극복하고, 비키프레임 타임스텝을 암시적으로 수정하지 않고도 특정 키프레임 인덱스에서 잠재 토큰을 직접 "클램핑(clamping)"하거나 교체할 수 있는 능력을 갖추게 됩니다.

2. 키프레임 조건부 정파 흐름 (Keyframe-Conditioned Rectified Flow)

비키프레임 프레임의 생성은 MMDiT (Masked Multi-Modal Diffusion Transformer) 백본을 사용하는 정파 흐름(Rectified Flow) 모델을 이용한 모션 인비트위닝 작업으로 모델링됩니다.

조건화 전략: 샘플링 시 단순한 잠재 변수 교체(이는 약한 제어력을 보임) 대신, 모델은 훈련 및 추론 과정에서 **마스크드 잠재 변수 교체 기법(masked latent replacement scheme)**을 채택합니다.
- 이진 마스크 $m$ 은 관찰된 키프레임을 식별합니다.
- 흐름 모델에 입력되는 조건은 텍스트 프롬프트, 공유 형상 잠재 변수, 그리고 키프레임 잠재 변수는 "깨끗한(ground truth)" 상태이고 비키프레임 잠재 변수는 "노이즈가 섞인" 상태로 결합된 시퀀스로 구성됩니다.
학습 목표: 모델은 직선을 따라 노이즈를 데이터로 운송하는 속도장(velocity field) $\mathbf{v}_\theta$ 를 학습합니다. 손실 함수는 예측된 속도와 타겟 속도 사이의 회귀 오차를 최소화하며, 이때 마스크된 시퀀스에 의해 조건화됩니다.
추론: 텍스트 프롬프트, 참조 메쉬, 그리고 희소한 키프레임이 주어지면, 모델은 학습된 상미분 방정식(ODE)을 풀어 중간 궤적 잠재 변수를 합성하고, 이를 전체 4D 메쉬 시퀀스로 디코딩합니다.

주요 기여

CompletionAny4D 프레임워크: 임의의 토폴로지에 대해 시공간적으로 제어 가능한 4D 메쉬 모션 인비트위닝을 위한 최초의 피드포워드 프레임워크입니다. 이는 희소한 키프레임과 텍스트를 통해 정밀한 제어를 가능하게 하며, 단기 데이터로 학습되었음에도 장기 시퀀스 생성이 가능합니다.
프레임 단위 메쉬 VAE: 형상 구조와 모션을 분리하고 프레임을 독립적으로 인코딩하는 새로운 VAE 설계입니다. 이 구조는 직접적인 키프레임 잠재 변수 주입을 가능하게 하여, 시퀀스 단위 모델이 충족하기 어려운 강력한 인비트위닝 기능을 제공합니다.
키프레임 조건부 정파 흐름: 마스크드 잠재 변수 교체를 통해 마스크된 시퀀스에 직접 키프레임 제약 조건을 통합하는 정파 흐름 모델입니다. 이 접근 방식은 훈련 중에 키프레임 제약을 준수하도록 학습되어, 샘플링 시의 교체 방식 베이스라인보다 우수한 제어력을 보여줍니다.
인비트위닝을 통한 장기 생성: 희소한 키프레임 조건화가 학습 호라이즌을 넘어 생성을 안정화할 수 있음을 입증했습니다. 인비트위닝 작업(예: 16프레임을 생성한 후 마지막 프레임을 새로운 시작 키프레임으로 사용)을 체이닝함으로써, 자기회귀 생성에서 나타나는 드리프트 현상 없이 일관된 긴 시퀀스를 생성합니다.

실험 결과

본 방법론은 DyMesh16 (16프레임) 및 DyMesh32 (31프레임) 벤치마크를 통해 평가되었습니다.

단기 호라이즌 성능 (DyMesh16):
- 정확도: CompletionAny4D는 제약이 없는 프레임에 대해 미제공된 AnimateAnyMesh 모델 및 샘플링 타임 교체 베이스라인보다 정점 정확도 지표(RMSE, Chamfer distance, DTW)에서 유의미하게 높은 성능을 보였습니다. 예를 들어, 3개의 키프레임 사용 시 제안된 방법은 RMSE 1.852 ( $\times 100$ 스케일)를 달성하여, 베이스라인(6.438) 및 AnimateAnyMesh(6.424)보다 뛰어난 성과를 기록했습니다.
- 제어 가능성: 사용자 조사(20명 참여) 결과, 제안된 방법은 "제어(Control)"(4.12/5) 및 "텍스트(Text)" 정렬(3.37/5) 점수에서 가장 높은 점수를 기록하며 베이스라인과 오픈 소스인 AnimateAnyMesh를 앞질렀습니다.
- 품질: AnimateAnyMesh가 오픈 설정(키프레임 없음)에서 약간 더 높은 VBench 점수를 기록했으나, CompletionAny4D는 우수한 제어력을 제공하면서도 경쟁력 있는 모션 자연스러움과 미적 품질을 유지했습니다.
장기 호라이즌 성능 (DyMesh32):
- 2단계 생성 프로토콜(16프레임 + 오버랩을 포함한 16프레임)을 통해 평가되었습니다.
- 안정성: AnimateAnyMesh는 두 번째 단계에서 상당한 회전 오차 누적과 드리프를 보였습니다. 반면, CompletionAny4D는 단계 간 시공간적 일관성을 유지하며 모든 방법 중 가장 낮은 RMSE(2.132)와 DTW(0.7272)를 달성했습니다.
- 사용자 선호도: 사용자들은 긴 시퀀스에 대해 자연스러움, 형상 보존, 제어 가능성 측면에서 CompletionAny4D를 가장 높게 평가했습니다.
효율성: 본 프레임워크는 빠른 추론 속도(H100 GPU 기준 16프레임에 약 2.8초)를 입증하였으며, 이는 최적화 기반 방식보다 훨씬 빠르고 다른 피드포워드 베이스라인들과 대등하거나 더 빠른 수준입니다.

의의 및 주장

본 논문은 CompletionAny4D가 제어 가능한 4D 콘텐츠 제작의 중요한 진전임을 주장합니다. 이 연구의 주요 의의는 명시적인 시공간적 조건화(희소한 키프레임 및 텍스트를 통한)가 텍스트 전용 생성이나 비용이 많이 드는 테스트 단계 최적화의 효과적인 대안이 될 수 있음을 입증한 데 있습니다.

저자들은 다음을 강조합니다:

훈련 시의 조건화가 추론 시의 교체보다 우월함: 흐름 모델 내에서 키프레임 제약을 준수하도록 학습하는 것이 샘플링 중에 잠재 변수를 클램핑하는 것보다 훨씬 나은 결과를 낳습니다.
프레임 정렬 잠재 변수의 필수성: 제안된 프레임 단위 VAE는 특정 프레임을 직접 조작할 수 있게 하는 핵심적인 구조적 요소이며, 이는 시퀀스 단위 모델이 쉽게 충족할 수 없는 강력한 인비트위닝의 요구 사항입니다.
단기에서 장기로의 일반화: 본 방법론은 짧은 시퀀스로 학습된 모델이라도 희소한 키프레임의 가이드를 받는다면 길고 일관된 4D 모션을 생성할 수 있음을 증명하며, 이를 통해 자기회귀 방식의 고질적인 문제인 오차 누적 문제를 해결했습니다.

결론적으로, 본 논문은 텍스트 프롬프트만으로는 복잡하고 정밀한 동작을 지정하기에 불충분할 수 있지만, 텍스트와 희소한 키프레임의 조합이 제어 가능한 4D 메쉬 애니메이션을 생성하기 위한 강력하고 실용적인 인터페이스를 제공한다고 밝히고 있습니다.