JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization

이 논문은 계층적 시공간 동기화 사전 (HiST-Sypo) 추정기를 통해 정교한 동기화를 보장하는 통합 프레임워크인 JavisDiT 를 제안하고, 이를 평가하기 위한 새로운 벤치마크 JavisBench 와 동기성 측정 지표를 함께 소개합니다.

핵심

이 논문은 JavisDiT라는 새로운 인공지능 기술을 소개합니다. 이 기술은 텍스트 명령만 입력하면, 소리와 영상이 완벽하게 맞춰진 '소리 나는 영상 (Sounding Video)'을 만들어냅니다.

기존의 기술들은 소리와 영상을 따로따로 만들거나, 단순히 합치는 수준이라서 입 모양과 목소리가 안 맞거나, 소리가 나는 시점이 늦는 경우가 많았습니다. 하지만 JavisDiT 는 마치 마법 같은 조율사처럼, 소리와 영상이 한 몸처럼 자연스럽게 움직이도록 만들어줍니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. JavisDiT: "소리와 영상의 완벽한 듀엣을 지휘하는 지휘자"

기존의 AI 들은 악기 (영상) 와 보컬 (소리) 을 따로 연습시킨 뒤 무대에 올리는 방식이라, 때로는 리듬이 맞지 않았습니다.

JavisDiT 는 처음부터 **악기와 보컬이 함께 호흡하는 '합창단'**처럼 설계되었습니다.

• **DiT(확산 트랜스포머)**라는 강력한 엔진을 사용하여, 고화질의 영상과 선명한 소리를 동시에 만들어냅니다.
• 가장 중요한 점은 **동시성 (Synchronization)**입니다. 개가 짖는 순간, 영상 속 개의 입이 딱 맞춰져 움직여야 하죠. JavisDiT 는 이 '타이밍'과 '위치'를 아주 정밀하게 계산해냅니다.

2. HiST-Sypo: "영화의 대본과 촬영 지시를 미리 읽어보는 '예지력'"

이 기술의 가장 큰 특징은 **HiST-Sypo(계층적 시공간 우선순위 추정기)**라는 모듈입니다. 이를 **'예지력 있는 조감독'**이라고 상상해 보세요.

• 일반적인 AI: "개가 짖어"라는 명령을 받으면, 일단 개를 만들고 소리를 내는데, "어? 개가 짖는 건데 소리가 1 초 뒤에 들리네?" 하는 실수가 나옵니다.
• JavisDiT 의 조감독 (HiST-Sypo): 명령을 받자마자 다음과 같이 미리 계획을 세웁니다.
  • 거시적 계획 (Global Prior): "아, 이 장면은 뒷마당에서 로봇과 개가 싸우는구나." (전체적인 분위기 파악)
  • 미시적 계획 (Fine-grained Prior): "로봇은 왼쪽 구석에서 '윙윙' 소리를 내고, 개는 오른쪽에서 '멍멍' 소리를 내며 2 초부터 5 초까지 짖어야 해." (구체적인 위치와 시간)

이 조감독은 영상과 소리가 만들어지는 과정에서 언제, 어디서, 어떤 소리가 나야 하는지를 미리 지시합니다. 그래서 로봇이 움직일 때 기계음과, 개가 짖을 때 짖는 소리가 영상 속 동작과 완벽하게 겹쳐지는 것입니다.

3. JavisBench: "실전 연습을 위한 '극악의 난이도' 시험지"

새로운 기술을 평가하려면 좋은 시험지가 필요합니다. 기존 시험지들은 너무 쉬워서 (예: 사람만 춤추는 영상) 실전에서는 쓸모가 없었습니다.

연구진은 JavisBench라는 새로운 시험지를 만들었습니다.

• 내용: 1 만 개 이상의 다양한 영상입니다. 자연, 도시, 공장, 애니메이션 등 다양한 배경에서 로봇, 외계인, 동물들이 동시에 여러 소리를 내는 복잡한 상황들이 담겨 있습니다.
• 난이도: "한 마리의 개가 짖는 것"이 아니라, "비행기 소리가 들리는 배경에서 개가 짖고, 동시에 로봇이 작동하는 소리까지 섞여 있는" 아주 어려운 상황입니다.
• 목적: 이 시험지를 통해 JavisDiT 가 복잡한 현실 세계에서도 소리와 영상을 얼마나 잘 맞추는지 증명했습니다.

4. JavisScore: "사람의 귀와 눈을 대신하는 '정밀한 심판'"

기존 평가 방법은 단순히 소리의 시작과 영상의 움직임을 대충 비교하는 방식이라, 복잡한 상황에서는 오답을 내는 경우가 많았습니다.

연구진은 JavisScore라는 새로운 심판 방식을 도입했습니다.

• 이 심판은 영상을 2 초 단위로 잘게 쪼개서, 각 프레임마다 소리와 영상이 얼마나 잘 맞는지를 세밀하게 검사합니다.
• 마치 음악 경연대회에서 심사위원이 리듬 하나하나를 체크하듯이, 소리가 늦거나 빠르면 점수를 깎아줍니다. 이 방식을 통해 JavisDiT 가 기존 기술들보다 훨씬 뛰어난 성능을 보임을 입증했습니다.

---

요약: 왜 이 기술이 중요할까요?

이 기술은 영화 제작, 유튜브 콘텐츠, 게임, 가상 현실 등 다양한 분야에서 혁신을 일으킬 것입니다.

• 예시: "정글에서 호랑이가 포효하며 나무를 흔들고, 그 소리에 새들이 날아간다"는 문장만 입력하면, 호랑이의 입 모양, 포효 소리, 나무 흔들림, 새 날아오르는 소리까지 완벽하게 맞춰진 영상이 바로 만들어집니다.

기존에는 이런 영상을 만들려면 전문 편집자가 며칠을 걸려 소리를 입히고 타이밍을 맞췄지만, JavisDiT 는 이를 순식간에, 그리고 훨씬 자연스럽게 해냅니다. 이는 AI 가 단순히 그림을 그리는 것을 넘어, 소리와 움직임을 가진 생동감 있는 세상을 창조하는 단계로 나아갔음을 의미합니다.

기술 요약

이 논문은 JavisDiT (Joint Audio-Video Diffusion Transformer) 라는 새로운 모델을 제안하며, 텍스트 프롬프트를 기반으로 동기화된 오디오와 비디오를 동시에 생성하는 동시 오디오 - 비디오 생성 (JAVG) 작업의 새로운 기준을 제시합니다. 또한, 복잡한 현실 세계 시나리오를 평가하기 위한 새로운 벤치마크 JavisBench 와 정밀한 동기화 평가 지표 JavisScore 를 도입했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 오디오 - 비디오 생성 연구는 주로 두 가지 접근 방식을 취했습니다:

1. 비동기 파이프라인: 먼저 오디오나 비디오 중 하나를 생성한 후, 다른 모달리티를 합성하는 방식. 이 방식은 노이즈가 누적되고 모달리티 간의 정밀한 동기화가 어렵다는 한계가 있습니다.
2. 동시 생성 (JAVG): 오디오와 비디오를 동시에 생성하는 방식. 그러나 기존 모델들은 다음과 같은 문제점을 겪고 있습니다:
   • 생성 품질 부족: 오디오와 비디오의 화질이 낮거나 텍스트 일관성이 부족함.
   • 동기화 모델링의 부재: 단순한 매개변수 공유나 거시적 (coarse-grained) 의미 정합만 고려하여, 실제 사물의 위치 (공간) 와 발생 시간 (시간) 을 세밀하게 맞추는 미세-세분화된 (fine-grained) 시공간 정합이 이루어지지 않음.
   • 평가의 한계: 기존 벤치마크 (AIST++, Landscape 등) 가 단순한 시나리오에 국한되어 있어, 복잡한 현실 세계의 다중 사운드 이벤트나 다양한 환경을 평가하기 어렵고, 기존 평가 지표 (AV-Align 등) 가 복잡한 상황에서 신뢰도가 낮음.

2. 제안 방법론 (Methodology)

A. JavisDiT 모델 아키텍처

• DiT 기반 아키텍처: 강력한 Diffusion Transformer (DiT) 를 백본으로 사용하여 오디오와 비디오 생성 품질을 극대화합니다.
• 핵심 모듈:
  • 시공간 자기 주의 (Spatio-Temporal Self-Attention): 각 모달리티 내부의 시공간 정보를 효율적으로 집계합니다.
  • 다중 모드 양방향 주의 (Bi-CrossAttn): 오디오와 비디오 간의 직접적인 상호작용을 통해 정보를 공유합니다.
  • 계층적 시공간 동기화 사전 (HiST-Sypo) 추정기: 이 논문에서 제안한 가장 핵심적인 모듈입니다. 입력된 텍스트 프롬프트로부터 다음 두 가지 수준의 사전 지식 (Prior) 을 추출하여 생성 과정을 안내합니다:
    1. 거시적 (Coarse-grained) 시공간 사전: 전체 사건의 의미적 프레임워크 (무엇이 일어나는지).
    2. 미세-세분화된 (Fine-grained) 시공간 사전: 특정 소리가 발생하는 위치 (공간) 와 시작/종료 시간 (시간) 을 구체적으로 지정합니다.
  • 이 사전 지식은 텍스트 인코더 (T5) 의 임베딩과 결합되어, 오디오와 비디오가 공간적으로 일치하는 사운드 소스를 생성하고 시간적으로 정확한 타이밍을 갖도록 유도합니다.

B. 학습 전략 (Training Strategy)

• 3 단계 학습:
  1. 오디오 프리트레이닝: 비디오 백본의 가중치를 오디오 브랜치에 초기화하고 텍스트 - 오디오 데이터로 학습하여 단일 모달리티 품질을 확보합니다.
  2. ST-사전 학습: 동기화된 텍스트 - 비디오 - 오디오 3 중체와 비동기화된 음극 (negative) 샘플을 사용하여 HiST-Sypo 추정기를 대비 학습 (Contrastive Learning) 으로 학습시킵니다.
  3. JAVG 동시 학습: 비디오/오디오 브랜치의 자기 주의 블록과 추정기를 고정하고, 교차 주의 (Cross-Attention) 모듈만 학습하여 동기화된 생성을 최적화합니다.

C. JavisBench 벤치마크 및 JavisScore

• JavisBench: 기존 벤치마크의 한계를 극복하기 위해 구축된 대규모 데이터셋 (10,140 개 샘플) 입니다.
  • 다양성: 자연, 도시, 산업, 가상 환경 등 5 가지 차원, 19 가지 카테고리 분류.
  • 복잡성: 단일/다중 사운드 소스, 순차/동시 이벤트, 오프스크린 사운드 등 현실적인 복잡한 시나리오 포함.
• JavisScore: 기존 AV-Align 의 한계 (광학 흐름 기반의 단순 정합) 를 극복한 새로운 평가 지표입니다.
  • 작동 원리: 비디오 - 오디오 쌍을 슬라이딩 윈도우로 분할하고, ImageBind 를 활용하여 각 프레임과 오디오 간의 시맨틱 유사성을 계산합니다.
  • 특징: 전체 평균 대신 동기화가 가장 낮은 40% 의 프레임에 집중하여 로컬 동기화 오류를 민감하게 포착합니다.

3. 주요 결과 (Results)

• 성능 우위: JavisDiT 는 기존 SOTA 모델 (MM-Diff, UniVerse-1, FoleyCrafter 등) 보다 JavisBench 및 기존 벤치마크 (Landscape, AIST++) 에서 압도적인 성능을 기록했습니다.
  • 생성 품질: FVD(비디오), FAD(오디오) 점수에서 최상위권을 기록했습니다.
  • 동기화: 제안한 JavisScore에서 0.154 를 기록하여 기존 최상위 모델 (0.112~0.151) 을 능가했습니다.
• 복잡한 시나리오 처리: 단일 사운드 소스가 아닌, 여러 사물이 동시에 소리를 내거나 순차적으로 발생하는 복잡한 환경에서도 높은 동기화 능력을 보여주었습니다.
• Human Evaluation: 인간 평가에서 오디오 품질과 오디오 - 비디오 정합성 (Alignment) 에서 경쟁 모델 (UniVerse-1) 보다 우위를 점했습니다. (비디오 품질은 백본 모델 차이로 인해 약간 낮았으나, 향후 개선 가능)

4. 의의 및 기여 (Significance)

1. 새로운 패러다임 제시: 단순한 파이프라인 방식을 넘어, **계층적 시공간 사전 (HiST-Sypo)**을 통해 오디오와 비디오의 미세한 공간적 위치와 시간적 타이밍을 정밀하게 제어하는 동시 생성 모델을 성공적으로 구현했습니다.
2. 평가 기준의 혁신: 현실 세계의 복잡성을 반영한 JavisBench와 정밀한 동기화 측정 지표인 JavisScore를 도입함으로써, 향후 JAVG 연구의 신뢰할 수 있는 평가 기준을 마련했습니다.
3. 실용적 가치: 영화 제작, 숏폼 콘텐츠 생성, 애니메이션 등 오디오 - 비디오 동기화가 필수적인 분야에서 고품질 생성을 가능하게 하여 AIGC 의 실용성을 크게 높였습니다.

결론적으로, 이 논문은 오디오 - 비디오 생성 분야에서 품질과 정밀한 동기화를 동시에 달성한 최초의 강력한 모델과 이를 검증할 수 있는 포괄적인 벤치마크를 제공함으로써, 해당 분야의 새로운 표준을 제시했습니다.