💻 computer science

Alignment Is All You Need For X-to-4D Generation

이 논문은 다양한 학습 데이터셋을 필요로 하지 않고 임의의 멀티모달 입력을 일관된 비디오-3D 쌍으로 변환하기 위해 객체 거리 정렬, 모션-기하학 결합 정렬, 그리고 비동기 최적화를 채택함으로써 고품질의 일관된 X-to-4D 생성을 가능하게 하는 유연한 프레임워크인 Align4D를 소개한다.

원저자: Qiaowei Miao, Kehan Li, Yawei Luo, Yi Yang

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiaowei Miao, Kehan Li, Yawei Luo, Yi Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 걸어 다니며 관찰할 수 있고 춤을 추는 마법 같은 움직이는 3D 조각상을 만들고 싶다고 상상해 보세요. 과거에는 컴퓨터에게 무엇을 만들라고 지시할 때 매우 구체적인 방식만을 선택해야 했습니다. 텍스트 설명, 단일 사진, 비디오, 또는 3D 모델 중 하나를 선택할 수 있었지만, 각 방법에는 저마다의 문제가 있었습니다. 텍스트 설명은 형태가 이상하거나 움직임이 부자연스러운 결과물을 만드는 경우가 많았습니다. 비디오는 움직임은 훌륭했지만 3D 형태가 흔들리거나 깨지는 문제가 있었습니다. 3D 모델은 모양은 좋았지만 어떻게 춤을 추어야 할지 알지 못했습니다.

이 논문은 Align4D라고 불리는 새로운 시스템을 소개합니다. 이것은 당신이 어떤 종류의 입력을 시작하든, 움직이는 3D 객체를 만들기 위한 보편적인 번역기이자 숙련된 지휘자라고 생각하면 됩니다.

이 시스템이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "두 단계의 춤" (핵심 아이디어)

움직이는 조각상을 처음부터 한 번에 만들려고 하는 대신, Align4D는 이 작업을 두 부분으로 나눕니다.

형태 (Geometry): 객체가 견고한 3D 조각상처럼 보이도록 만드는 것.
춤 (Motion): 조각상이 시간이 흐름에 따라 매끄럽게 움직이도록 만드는 것.

시스템은 당신의 입력(텍amp 프프트, 사진, 비디오, 또는 3D 파일)을 받아 먼저 기존의 강력한 AI 도구들을 사용하여 "연습 단계"를 거칩니다. 즉, 객체가 움직이는 비디오와 객체의 생김새를 보여주는 3D 모델을 생성합니다. 이제 시스템은 단순히 추측하는 대신, 복사할 춤이 담긴 비디오와 복사할 형태를 가진 3D 모델을 갖게 됩니다.

2. "자(Ruler)의 문제" (객체 거리 정렬)

여기서 까다로운 부분이 발생합니다. 비디오와 3D 모델은 세상을 다르게 보는 서로 다른 AI 도구들에 의해 만들어집니다.

예를 들어, 비디오 AI는 객체가 카메라로부터 1미터 떨어져 있다고 생각합니다.
하지만 3D AI는 객체가 5미터 떨어져 있다고 생각합니다.

이 둘을 정렬 없이 결합하려고 하면, 객체가 떠 있거나 늘어나거나 줄어드는 등 이상하게 보일 것입니다. 이는 마치 인치로 측정된 구멍에 센티미터로 측정한 나무 막대를 끼우려 하는 것처럼 맞지 않는 상황과 같습니다.

Align4D의 해결책: 이 시스템은 스마트한 자 역할을 합니다. 시스템은 다음을 위해 완벽한 "거리"를 자동으로 찾아냅니다.

VAOD (비디오 정렬 거리): 3D 모델이 비디오 프레임과 정확히 일치하게 보이는 정확한 거리를 찾습니다.
MAOD (다각도 정렬 거리): 3D AI가 학습 과정에서 배운 "규칙"에 완벽하게 부합하는 약간 다른 거리를 찾습니다.

이 두 가지 특정 거리를 찾아냄으로써, 비디오와 3D 모델이 같은 언어로 대화하도록 보장합니다.

3. "안무가" (모션-기하학 결합 정렬)

거리가 설정되면, 시스템은 객체가 정면뿐만 아니라 모든 방향에서 올바르게 움직이도록 해야 합니다.

알려진 뷰 (Known View): 객체의 앞모습을 보고 "좋아, 너는 반드시 비디오와 똑같이 움직여야 해"라고 명령합니다.
알려지지 않은 뷰 (Unknown Views): 그렇다면 객체의 뒷모습은 어떻게 될까요? 비디오는 뒷모습을 보여주지 않습니다. 시스템은 영리한 기술을 사용합니다. 앞모습의 움직임과 3D 모델의 형태를 결합하는 것입니다. 이는 마치 안무가가 무대 앞쪽을 향한 댄서의 스텝을 가르친 뒤, 댄서의 근육 기억(3D 형태)을 활용하여 댄서가 뒤를 돌았을 때 어떻게 움직여야 하는지를 파악하도록 하는 것과 같습니다.

4. "여유로운 연습" (비동기 최적화)

보통 형태와 움직임을 동시에 수정하려고 하면 컴퓨터가 혼란을 느껴 결과물이 엉망이 됩니다. 이는 외발자전거를 타면서 저글링을 배우려는 것과 같습니다. 중심을 잡지 못하고 넘어질 수 있습니다.

Align4D는 전략을 바꿉니다. 이 시스템은 비동기적으로 연습합니다.

먼저, 움직임을 일정하게 유지하면서 오직 형태(외발자전거)를 고치는 데 집중합니다.
그다음, 형태를 일정하게 유지하면서 오직 움직임(저글링)을 고치는 데 집중합니다.
이 두 가지 작업을 번갈아 수행합니다. 이를 통해 두 작업이 서로 충돌하지 않으면서도 세부 사항을 완벽하게 다듬을 수 있어, 훨씬 더 매끄러운 최종 결과물을 만들어냅니다.

5. "새로운 놀이터" (X4D 데이터셋)

이것이 정말 효과가 있는지 테스트하기 위해, 저자들은 X4D라는 새로운 놀이터를 만들었습니다. 이전에는 컴퓨터가 어떤 입력(텍스트, 비디오, 이미지, 3D)이든 움직이는 4D 객체로 바꿀 수 있는지 테스트할 표준적인 방법이 없었습니다. 그들은 텍스트 프롬프트, 이미지, 비디오, 3D 모델이 모두 동일한 대상을 설명하는 "쿼드러플릿(quadruplets)" 세트로 구성된 방대한 데이터를 구축했습니다. 이를 통해 어떤 것을 던져주더라도 시스템이 제대로 작동하는지 공정하게 테스트할 수 있습니다.

결과

논문에 따르면, 이 "정렬(Alignment)" 접근 방식을 사용함으로써 이 시스템은 다음과 같은 특징을 가진 움직이는 3D 객체를 생성합니다.

이전 방식들보다 더 선명하고 명확하며,
더 일관적입니다 (객체가 움직이면서 녹아내리거나 모양이 변하지 않습니다).
더 유연합니다 (텍스트, 비디오, 또는 이미지를 시작점으로 사용할 수 있습니다).

요약하자면, Align4D는 바퀴를 새로 발명하려는 것이 아닙니다. 그저 최고의 바퀴들(비디오 AI와 3D AI)을 가져와서, 그것들이 서로 잘 맞도록 완벽하게 측정하고, 그들이 조화롭게 춤을 추도록 가르치는 것입니다.

기술 요약: X-to-4D 생성을 위한 Align4D

문제 정의

4D 콘텐츠(동적인 3D 객체)의 생성은 가상 현실, 메타버스, 시네마틱 효과 등의 응용 분야에서 매우 중요합니다. 그러나 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

모달리티 경직성: 대부분의 접근 방식은 단일 모달 입력(예: text-to-4D, video-to-4D)에 의존하며, 임의의 사용자 정의 입력(텍스트, 이미지, 비디오 또는 3D 모델)을 수용하는 유연성이 부족합니다.
데이터 희소성: 확산 모델(diffusion models) 학습을 위해 다양하고 고품질인 멀티모달 데이터셋을 구축하는 것은 비용과 계산 집약도가 매우 높습니다.
정렬(Alignment) 과제: 독립적인 비디오 및 3D 생성 모델로부터 서로 다른 사전 지식(priors)을 통합하는 것은 어렵습니다. 비디오 모델은 움직임을 제공하지만 구조적 일관성이 부족한 경우가 많고, 3D 모델은 기하학적 구조는 보존하지만 시간적 일관성이 부족합니다.
최적화 불안정성: 여러 확산 사전 지식을 사용하여 4D 타겟을 동시에 최적화하면, 특히 객체의 거리가 올바르게 보정되지 않았을 때 불안정한 수렴, 부유하는 아티팩트(floating artifacts), 기하학적 왜곡이 발생할 수 있습니다.

방법론: Align4D

저자들은 4D 합성을 기하학(geometry)과 움직임(motion) 생성으로 분리하는 통합 프레임워크인 Align4D를 제안합니다. 처음부터 엔드 투 엔드(end-to-end) 모델을 학습시키는 대신, Align4D는 이미 학습된 오프더셸래프(off-the-shelf) 확산 모델을 활용하여 임의의 입력을 일관된 **Video-3D 쌍(pair)**으로 변환합니다. 이후 프레임워크는 세 가지 핵심 기술을 사용하여 4D 자산을 이 쌍들과 엄격하게 정렬합니다.

1. 객체 거리 정렬 (Object Distance Alignment, ODA)

본 논문은 입력 비디오와 확산 모델의 학습 분포 사이의 "객체 거리"(카메라와 객체 사이의 거리) 불일치가 생성 실패를 유발한다는 점을 식별했습니다. ODA는 두 가지 결정적인 거리를 자동으로 탐색합니다:

비디오 정렬 객체 거리 (Video-Aligned Object Distance, VAOD): 4D 전면 뷰 렌더링과 입력 비디오 프레임 사이의 평균 제곱 오차(MSE)를 최소화하는 거리를 탐색합니다. 이는 4D 객체가 비디오의 규모와 움직임에 부합하도록 보장합니다.
멀티뷰 정렬 객체 거리 (Multiview-Aligned Object Distance, MAOD): 멀티뷰 이미지를 렌더링할 때 스코어 증류 샘플링(Score Distillation Sampling, SDS) 손실을 최소화하는 거리를 탐색합니다. 이는 4D 모델을 멀티뷰 확산 모델의 기하학적 사전 지식에 보정합니다. 저자들은 최적의 MAOD가 일반적으로 SDS 손실의 국소 최솟값이며 VAOD보다 작다는 점을 언급했습니다.

2. 움직임-기하학 공동 정렬 (Motion-Geometry Joint Alignment, MGJA)

거리가 정렬되면, MGJA는 4D 생성을 비디오(움직임) 및 3D(기하학) 데이터와 동기화합니다:

알려진 뷰포인트 (Known Viewpoints): 전면 뷰와 초기 타임스텝의 경우, 4D 모델은 움직임을 주입하기 위해 MSE 손실을 사용하여 입력 비디오와 엄격하게 정렬됩니다.
알려지지 않은 뷰포인트 (Unknown Viewpoints): 보이지 않는 각도와 미래의 타임스텝에 대해, 프레임워크는 MAOD에 의해 가이드되는 단일 멀티뷰 확산 모델을 사용합니다. 이는 비디오 프레임(움직임용)과 초기 3D 렌더링(기하학용)에 기반하여 생성을 조건화합니다. 이를 통해 여러 확산 모델을 중첩할 때 발생하는 불안정성을 방려합니다.
손실 공식화: 최적화는 움직임 손실( $L_{mot}$ )과 기하학 손실( $L_{geo}$ )을 결합하며, 움직임이 진화함에 따라 기하학이 3D 입력과 일관성을 유지하도록 시간적 그래디언트(temporal gradient)에 의해 가중치가 부여됩니다.

3. 비동기 최적화 (Asynchronous Optimization, AO)

수렴 불안정성을 해결하기 위해, Align4D는 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 표현(기하학)과 변형 네트워크(deformation network)(움직임)의 학습을 분리합니다. 두 가지를 동시에 업데이트하는 대신, 프레임워크는 하나를 고정하고 다른 하나를 최적화하는 과정을 교대로 수행합니다. 이를 통해 움직임이 정교해지기 전에 기하학이 안정화되거나 그 반대의 과정을 거칠 수 있으며, 결과적으로 더 높은 충실도와 적은 아티팩트를 구현합니다.

X4D 데이터셋

X-to-4D 생성을 벤치마킹하기 위해, 저자들은 정렬된 (프롬프트, 이미지, 비디오, 3D) 튜플을 포함하는 4중 데이터셋인 X4D를 구축했습니다. 이는 수동 데이터 수집 없이도 일관된 교차 모달 조건을 보장하기 위해 사전 학습된 모델들(SDXL, SVD, LGM 등)의 파이프라인을 사용하여 생성되었습니다.

주요 기여

유연한 X-to-4D 프레임워크: 텍스트, 이미지, 비디오 또는 3D 데이터를 입력으로 받아 이를 4D 합성을 위한 동기화된 비디오-3D 쌍으로 변환하는 통합 시스템을 제공합니다.
새로운 정렬 전략: 규모 불일치를 해결하기 위한 객체 거리 정렬(VAOD/MAOD)과 단일 멀티뷰 확산 모델을 사용하여 비디오 움직임을 3D 기하학과 조화시키는 움직임-기하학 공동 정렬을 도입했습니다.
비동기 최적화: 기하학 및 움직임 최적화를 분리하여 안정성과 충실도를 높이는 학습 전략을 제시합니다.
X4D 데이터셋: 임의의 모달리티-to-4D 생성을 벤치마킹하기 위해 특별히 설계된 최초의 4중 데이터셋입니다.

실험 결과

실험은 X4D 및 Consistent4D 데이터셋에서 수행되었으며, Align4D를 최신 기술들(예: L4GM, SC4D, STAG4D, DG4D)과 비교하였습니다.

정량적 성능: Align4D는 PSNR, SSIM, LPIPS, FVD, CLIP 유사도를 포함한 여러 지표에서 최고 수준의 점수를 달성했습니다. 이는 이미지 수준의 충실도와 비디오 수준의 시간적 일관성 모두에서 베이스라인 모델들을 능가했습니다.
정성적 성능: 시각적 비교 결과, Align4D는 경쟁 모델들이 흔히 겪는 기하학적 아티팩트, 색상 변화 또는 움직임 불일치 현상 없이 더 선명한 텍스처, 더 정밀한 기하학, 그리고 매끄러운 움직임을 생성함을 보여주었습니다.
절제 연구 (Ablation Studies): ODA, MGJA 또는 AO를 개별적으로 제거했을 때 성능이 크게 저하되었으며, 이는 각 구성 요소가 프레임워크의 성공에 필수적임을 확인시켜 줍니다. 특히, ODA는 효과적인 MGJA를 위한 전제 조건임이 입증되었습니다.
강건성 (Robustness): 프레임워크는 다양한 멀티뷰 확산 백본(Zero123, ImageDream) 및 다양한 비디오/3D 생성 모델(Kling, SVD, MeshyAI)과의 호환성을 입증했습니다.

의의 및 주장

본 논문은 Align4D가 새로운 모델을 처음부터 학습시키는 대신 사전 학습된 모델을 활용함으로써 데이터 희소성 문제를 효과적으로 우회하고, X-to-4D 생성 문제에 대한 일반화 가능하고 유연한 솔루션을 제공한다고 주장합니다.

분리 (Decoupling): 기하학 생성과 움직임 생성을 분리하고 일치된 객체 거리를 통해 이를 정렬함으로써, 프레임워크는 입력으로 사용된 초기 비디오-3D 쌍의 품질을 넘어서는 고충실도 결과를 달升합니다.
모듈성 (Modularity): 제안된 모듈(ODA, MGJA, AO)은 모듈형이며, 성능 향상을 위해 다른 기존 4D 생성 방법(예: STAG4D)에 전이될 수 있습니다.
실용성 (Practicality): 이 접근 방식은 방대한 멀로달 데이터셋을 수집하는 막대한 비용 없이도 다양한 사용자 입력으로부터 동적인 3D 콘텐츠를 생성할 수 있는 실질적인 경로를 제공합니다.

저자들은 결과물의 품질이 여전히 기반이 되는 생성 모델(예: 투명한 재질이나 급격한 네온 깜빡임 처리의 어려움)의 능력에 의존한다는 한계를 인정하면서도, 이러한 기초 모델들의 발전이 Align4D에 직접적인 이득이 될 것이라고 덧붙였습니다.