💻 computer science

Tora3: Trajectory-Guided Audio-Video Generation with Physical Coherence

Tora3는 객체 궤적을 시각적 움직임과 음향 이벤트를 공동으로 제어하기 위한 공유 운동학적 사전 정보로 사용하여 물리적 일관성과 동작-소리 동기화를 향상시키며, 새롭게 구축된 대규모 데이터셋인 PAV에 의해 지원되는 궤적 유도 오디오-비디오 생성 프레임워크입니다.

원저자: Junchao Liao, Zhenghao Zhang, Xiangyu Meng, Litao Li, Ziying Zhang, Siyu Zhu, Long Qin, Weizhi Wang

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junchao Liao, Zhenghao Zhang, Xiangyu Meng, Litao Li, Ziying Zhang, Siyu Zhu, Long Qin, Weizhi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

망치가 못을 내리치는 영상을 상상해 보십시오. 완벽한 세상이라면, 충격음은 금속이 나무와 만나는 바로 그 순간에 발생하며, 소리의 날카로움은 타격의 강도와 일치할 것입니다. 수년 동안 컴퓨터는 움직임과 소리가 동일한 물리적 현실에 속해 있는 것처럼 느껴지도록 영상을 만드는 데 어려움을 겪어 왔습니다. 인공지능은 아름다운 움직이는 영상을 생성하거나 텍ка스트로부터 사실적인 사운드스케이프를 만드는 데 매우 능숙해졌지만, 이 둘을 결합하는 작업은 종종 괴리감을 불러일으켰습니다. 물체가 중력을 거스르는 방식으로 움직이거나, 소리가 실제보다 아주 약간 늦게 도착하거나, 큰 충돌에 비해 소리가 너무 작게 들릴 수도 있습니다. 핵심적인 문제는 영상을 생성하는 컴퓨터와 오디오를 생성하는 컴퓨터가 서로 분리되어 작동하면서, 물체가 공간 속에서 실제로 어떻게 움직이는지에 대한 공유된 이해 없이 각자 무엇을 해야 할지 추측만 했다는 점입니다.

알리바바 그룹(Alibaba Group)과 푸단 대학교(Fudan University)의 연구진은 Tora3라고 불리는 새로운 시스템을 통해 이 간극을 해결했습니다. 그들의 접근 방식은 단순하지만 강력한 아이디어, 즉 물체가 지나가는 경로를 영상과 오디오 모두를 위한 공유된 청사진으로 사용하는 것에 기반합니다. 컴퓨터가 자동차가 어떻게 운전해야 하는지 또는 공이 어떻게 튀어야 하는지를 추측하게 만드는 대신, 이 시스템은 먼저 정확한 궤적, 즉 물체가 따르는 선을 정의한 다음, 그 선을 사용하여 시각적 움직임과 그에 수반되는 소리를 규정합니다. 이 방법은 경로를 단순히 물체가 어디로 가는지 안내하는 가이드로 보는 것이 아니라, 시스템에 언제 소리를 내야 하고 소리가 얼마나 커야 하는지를 알려주는 물리적 정보의 원천으로 취급합니다. 시각과 청각을 동일한 움직임의 수학적 설명에 고정함으로써, 연구진은 영상의 물리 법칙이 실감 나고 오디오가 동작과 완벽하게 동기화된 영상을 만들어냈습니다.

연구진은 기존 방식들이 자주 실패했던 이유가 영상과 오디오를 별도로 생성한 뒤 그것들이 서로 맞물리기를 기대했거나, 움직임 경로를 오디오를 유도하는 데는 무시한 채 영상만을 위한 시각적 가이드로만 사용했기 때문이라는 것을 발견했습니다. Tora3는 궤적을 '운동학적 사전 지식(kinematic prior)'으로 사용함으로써 이를 변화시켰는데, 이는 기술적으로 경로를 영상과 오디오 생성기가 반드시 따라야 하는 근본적인 규칙으로 사용한다는 의미입니다. 시스템이 특정 선을 따라 움직이는 물체를 포착하면, 시스템은 매 지점에서의 속도와 가속도를 계산합니다. 물체가 속도를 높이고 있다면, 시스템은 소리가 더 커지거나 음조가 변해야 한다는 것을 알게 됩니다. 물체가 표면에 부딪히면, 시스템은 정확히 언제 날카로운 충격음을 발생시켜야 하는지 알게 됩니다. 이 경로에 대한 공유된 의존성은 시각적 요소와 청각적 요소가 단순히 동시에 발생하는 것을 넘어, 동일한 물리적 힘에 반응하도록 보장합니다.

이를 구현하기 위해 연구진은 이 경로 정보를 컴퓨터의 두뇌에 입력하는 구체적인 방법을 개발했습니다. 영상 부분의 경우, 움직임을 이해하기 위해 복잡한 새로운 기계를 만드는 대신, 영상의 첫 번째 프레임에서 시각적 정보를 가져와 영상이 진행됨에 따라 물체의 경로를 따라 이동시켰습니다. 이는 추가적인 처리 계층을 통해 시스템을 혼란스럽게 만들지 않고도, "이 물체는 여기에 있고, 저기로 이동하고 있다"라고 컴퓨터에게 직접적이고 효율적으로 전달하는 방식입니다. 오디오의 경우, 시스템은 경로를 살펴보고 물체가 얼마나 빨리 움직이는지, 그리고 얼마나 빠르게 가속하거나 감속하는지를 계산합니다. 이러한 계산은 소리의 형태를 만드는 데 사용되어, 빠르게 움직이는 물체는 느리게 움직이는 물체와 다른 소리를 내고, 갑작스러운 정지는 뚜렷한 소리를 만들어내도록 보장합니다.

또한 팀은 이 지침들을 최종 영상에 혼합하는 새로운 방법을 개발했습니다. 그들은 영상의 일부는 물체가 올바르게 움직이도록 경로에 엄격하게 묶여 있어야 하는 반면, 배경과 같은 다른 부분은 자연스럽게 보이기 위해 유연해야 한다는 점을 깨달았습니다. 그들의 해결책은 영상 생성 과정에서 두 가지 서로 다른 규칙을 사용하는 것이었습니다. 하나는 물체를 경로에 단단히 결속시키는 규칙이고, 다른 하나는 장면의 나머지 부분이 자연스럽게 흐르도록 허용하는 규칙입니다. 이러한 하이브리드 접근 방식은 영상이 딱딱하거나 부자연스러워지는 것을 방지하면서도 주요 동작이 의도된 궤적을 따르도록 보장합니다.

시스템을 훈련하기 위해 연구진은 움직임에 집중된 46만 개의 영상 클립 모음을 수집했습니다. 그들은 고급 도구를 사용하여 이 영상들에서 물체를 자동으로 찾고 그 경로를 매핑하여, 다양한 움직임 패턴이 풍부한 데이터셋을 만들었습니다. 이를 통해 시스템은 자동차가 도로를 달리는 것부터 물개 가 물을 치는 것까지, 다양한 실제 움직임을 학습할 수 있었습니다. 다른 선도적인 시스템들과 비교 테스트했을 때, Tora3는 시각적으로 더 선명할 뿐만 아니라 움직임과 소리 사이의 연결성이 훨씬 강력한 영상을 제작했습니다. 이 시스템은 접촉 순간에 소리의 타이밍을 맞추고, 움직임의 강도에 맞춰 소리의 볼륨을 조절하는 데 있어 더 뛰어난 성능을 보였습니다.

이 결과는 인공지능에게 물체의 경로와 같은 공유된 물리적 규칙 책을 제공하는 것이 생성된 콘텐츠의 현실성을 높이는 강력한 방법임을 시사합니다. 이 시스템은 단순히 보기 좋게 만드는 것이 아니라, 일관된 물리 법칙이 지배하는 세상 속에 실제로 존재하는 것처럼 느끼게 만듭니다. 기술은 여전히 정교화 단계에 있지만, 이 접근 방식의 성공은 우리가 보고 듣는 것 사이의 경계가 현실과 구별할 수 없게 되는 디지털 미디어의 미래를 향한 유망한 방향을 강조합니다. 연구진은 물체의 재질이나 방 안에서 소리가 전달되는 방식과 같은 다른 물리적 요인들을 이 공유된 프레임워크에 어떻게 추가하여 더욱 설득력 있는 경험을 만들어낼 수 있을지 탐구하며 이 작업을 계속할 계획입니다.

기술 요약: Tora3 – 물리적 일관성을 갖춘 궤적 가이드 오디오-비디오 생성

1. 문제 정의

최근 생성 모델의 발전은 텍스트-오디오-비디오(T2AV) 시스템의 지각적 품질과 멀티모달 일관성을 크게 향상시켰으나, 물리적 일관성(physical coherence) 측면에서는 여로 중요한 격차가 존재합니다. 강력한 오픈 소스 모델들을 포함한 기존 방식들은 시각적으로 불안정한 객체 움직임(예: 일관되지 않은 궤적, 비현실적인 가속도)을 생성하거나, 주요 움직임 또는 접촉 이벤트와 소리가 느슨하게만 정렬되는 문제를 보입니다.

식별된 핵심 한계는 비디오와 오디오 모달리티를 동시에 제약할 수 있는 **명시적이고 공유된 움직임 인식 구조(explicit, shared motion-aware structure)**의 부재입니다. 기존 방식들은 대개 움직임-소리 모델링보다는 의미론적 정렬에 의존하며, 이는 다음과 같은 결과를 초래합니다:

시각적 불안정성: 생성된 객체가 일관되지 않은 경로를 따르거나 시간적 연속성이 깨질 수 있습니다.
오디오-비주얼 불일치: 충격음이 접촉 순간을 놓치거나, 소리의 강도가 상호작용의 세기를 반영하지 못하며, 연속적인 소리(예: 미끄러짐)가 움직임의 역학에 따라 진화하지 못할 수 있습니다.

저자들은 **객체 궤적(object trajectories)**이 이 간극을 메울 수 있는 자연스럽고 가벼우며 해석 가능한 공유 표현(shared representation)을 제공한다고 주장합니다. 궤적은 운동학적 단서(이벤트 타이밍, 움직임 강도, 시간적 진화)를 압축적으로 인코딩하여, 비디오의 그럴듯한 움직임을 제약하는 동시에 소리의 타이밍과 진폭 진화를 결정할 수 있습니다.

2. 방법론: Tora3 프레임워크

Tora3는 쌍둥이 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처(Ovi 베이스라인을 따름)를 기반으로 구축된 궤적 가이드 오디오-비디오 생성 프레임워크입니다. 이 모델은 객체 궤적을 단순히 비디오를 위한 보조 제어 신호로 취급하는 것이 아니라, 시각적 움직임과 음향 이벤트를 공동으로 가이드하는 **공유된 운동학적 사전 정보(shared kinematic prior)**로 취급합니다. 프레임워크는 세 가지 핵심 기술 구성 요소로 이루어져 있습니다.

A. 궤적 정렬 움직임 표현 (비디오 브랜치)

궤적 데이터를 처리하기 위해 별도의 움직임 인코더를 사용하는 대신(이는 최적화를 얽히게 하거나 희소한 신호를 약화시킬 수 있음), Tora3는 비디오 잠재 공간(latent space)에 직접 움직임 단서를 주입합니다.

메커니즘: 시스템은 첫 번째 프레임의 특징을 규정된 객체 궤적을 따라 후속 프레임으로 전파합니다.
구현: 잠재 비디오 시퀀스 $x_0$ 에 대해, 시스템은 프레임 $i$ 의 궤적 정렬 위치에 있는 잠재 특징을 첫 번째 프레임( $z$ )의 해당 특징으로 교체함으로써 궤적 조건부 잠재값 $x_{traj}$ 를 구축합니다.
이점: 이는 분포 변화(distribution shifts)와 추가적인 특징 변환을 방 avoid하며, 로컬 객체 단서를 보존하면서 궤적 준수를 강제하는 직접적인 조건부 신호를 제공합니다.

B. 운동학적-오디오 정렬 모듈 (오디오 브랜치)

의미론적 조건화만으로는 부족한 점을 해결하기 위해, Tora3는 궤적에서 유도된 명시적인 운동학적 조건화를 도입합니다.

2차 운동학적 상태: 시스템은 중앙 차분법(central differences)을 사용하여 위치( $\mathbf{r}$ ), 속도( $\mathbf{v}$ ), 가속도( $\mathbf{a}$ )를 계산합니다. 또한 방향과 강도를 분리하기 위해 속도와 가속도의 크기( $\|\mathbf{v}\|, \|\mathbf{a}\|$ )를 추출합니다.
특징 인코딩: 이 8차원 운동학적 특징들은 부호 로그 압축(signed log-compression)을 거친 후 MLP를 통해 잠재 토큰으로 인코딩됩니다.
퓨전(Fusion): 운동학적 토큰은 크로스 어텐션 메커니즘을 통해 오디오 DiT에 주입됩니다. 학습 가능한 게이팅 메커니즘( $\sigma(\gamma)$ )은 원래의 의미론적 텍스트 조건과 이러한 운동학적 단서 사이의 영향력을 조절하여, 오디오가 의미론적으로 적절하면서도 움직임의 강도 및 타이밍과 물리적으로 정렬되도록 보장합니다.

C. 하이브리드 플로우 매칭 (Hybrid Flow Matching)

노이즈 제거(denoising) 과정 중 서로 다른 공간 영역에 서로 다른 처리가 필요하다는 점을 인식하여, Tora3는 하이브리드 플로우 매칭 기법을 사용합니다.

궤적 영역 ( $\Omega_{traj}$ ): 객체 궤적으로 정의된 영역에서는 플로우 매칭 타겟이 표준 노이즈가 아닌 궤적 조건부 잠재값( $x_{traj}$ )에 고정됩니다. 이는 움직임 사전 정보에 대한 충실한 준수를 보장합니다.
배경 영역: 궤적 외부에서는 유연한 장면 정교화와 로컬 일관성을 유지하기 위해 표준 플로우 매칭 구성(가우시안 노이즈를 타겟으로 함)이 유지됩니다.
손실 균형: 희소한 궤적 영역이 훈련 중에 지배적인 배경 영역에 의해 압도되는 것을 방지하기 위해, 소프트 마스크(가우시안 블러 처리됨)를 사용하여 영역 균형 손실 목적 함수를 생성합니다.

3. 주요 기여

Tora3 프레임워크: 객체 궤적을 공유된 운동학적 사전 정보로 사용하여 비디오 움직임과 오디오 이벤트를 공동으로 가이드함으로써 물리적 일관성을 크게 향상시키는 통합 T2AV 생성 프레임워크를 제안합니다.
새로운 아키텍처 구성 요소:
- 명시적인 움직임 인코더 없이 비디오 잠재값에 움직임을 직접 주입하는 궤적 정렬 움직임 표현.
- 소리 이벤트와 강도를 움직임 역학에 동기화하기 위해 2차 운동학적 상태(위치, 속도, 가속도 및 그 크기)에 의해 구동되는 운동학적-오디오 정렬 모듈.
- 궤적 영역에서의 움직임 충실도와 배경 영역에서의 로컬 일관성 사이의 균형을 맞추는 하이브리드 플로우 매칭 기법.
PAV 데이터셋: 움직임 관련 패턴을 강조하는 대규모(46만 클립) 오디오-비디오 데이터셋인 PAV를 구축했습니다. 여기에는 궤적 및 운동학 인지 생성을 위해 특별히 설계된 자동 추출된 움직임 주석(CoTracker3를 통한 궤적)과 쌍을 이룬 비디오/오디오 설명이 포함되어 있습니다.

4. 실험 결과

PAV 데이터셋에 대한 광범위한 실험 결과, Tora3는 여러 차원에서 강력한 오픈 소스 베이스라인(LTX-2, Ovi, MOVA, AVControl 포함)보다 우수한 성능을 보였습니다.

비디오 품질: Tora3는 가장 낮은 Fréchet Video Distance (FVD: 784.1)와 가장 높은 Aesthetic Score (AS: 4.61)를 달성하여, 탁월한 시각적 사실성과 안정성을 입증했습니다.
오디오-비주얼 동기화: Tora3는 가장 높은 FGAS (0.234)를 기록하여, 비디오 프레임과 동기화된 오디오 특징 사이의 더 나은 정렬을 보여주었습니다.
움직임-소리 일관성:
- 이벤트 타이밍: Tora3는 가장 낮은 Event Timing Error (ETE: 0.181)를 보여, 충격음이 접촉 이벤트와 더 정밀하게 일치함을 나타냈습니다.
- 강도 상관관계: Toda3는 가장 높은 Motion-Audio Intensity Correlation (MAIC: 0.63)을 달성하여, 오디오 음량이 움직임의 세기와 일관되게 진화함(예: 빠른 움직임이 더 큰 소리를 생성)을 입증했습니다.
궤적 충실도: Tora3는 가장 낮은 Trajectory Error (12.13)를 유지하여, 생성된 객체가 베이스라인보다 규정된 경로를 더 정확하게 따름을 확인했습니다.

절제 연구(Ablation studies)를 통해 궤적을 두 모달리티 모두를 위한 공유 사전 정보로 사용하는 것이 최상의 결과를 낳으며, 2차 운동학적 특징(가속도 및 크기)을 포함하는 것이 고충실도 사운드 생성을 위해 필수적임을 확인했습니다.

5. 의의 및 주장

본 논문은 Tora3가 멀티모달 생성을 단순히 의미론적으로 정렬하는 것을 넘어 물리적으로 일관되게 만드는 데 있어 중요한 진전임을 주장합니다. 객체 궤적을 공유된 운동학적 사전 정보로 도입함으로써, 이 프레임워크는 통합된 구조 아래에서 시각적 움직임과 음향 생성을 성공적으로 결합했습니다.

저자들은 이 접근 방식이 다음을 해결한다고 강조합니다:

소리가 물리적 이벤트로부터 분리되는 "느슨한" 정렬 문제 해결.
복잡한 물리 시뮬레이션 없이도 그럴듯한 움직임과 소리의 진화를 제약하는 가볍고 해석 가능한 메커니즘 제공.
명시적인 운동학적 조건화(위치, 속도, 가속도)가 현실적인 움직임 의존적 오디오를 생성하는 데 필수적임을 입증.

이 연구는 Tora3를 움직임 역학과 소리가 본질적으로 연결된 고충실도 오디오-비디오 콘텐츠를 생성하기 위한 실용적인 솔루션으로 자리매김하며, 물리적 일관성에 대한 새로운 표준을 제시합니다. 향후 연구로는 이러한 궤적 수준의 일관성을 재질 특성이나 3D 음향 전파와 같은 더 풍부한 물리적 요소로 확장하는 것이 제안되었습니다.