기술 요약: 고급 모달리티 조건화 및 상호작용을 통한 텍스트-텍스트-사운딩 비디오 생성 제어

문제 정의

본 논문은 단일 텍스트 프롬프트로부터 동기화된 오디오가 포함된 비디오를 합성하는 작업인 텍스트-투-사운딩-비디오(Text-to-Sounding-Video, T2SV) 생성을 다룹다. 텍스트-투-비디오(T2V) 및 텍스트-투-오디오(T2A) 생성은 이미 성숙 단계에 접어들었으나, 두 모달리티의 공동 생성은 다음과 같은 두 가지 주요 병목 현상으로 인해 여전히 도전적인 과제로 남아 있다.

1. 조건화 문제 (The Conditioning Problem): 기존의 듀얼 타워 방식은 종종 두 모달리티에 대해 공유된 캡션($T_V = T_A$)에 의존한다. 이는 시각적 속성(예: 색상)이 오디오 모델을 혼란시키고, 청각적 묘사(예: 음색)가 비디오 모델을 방해하는 **의미적 간섭(semantic interference)**을 유발한다. 또한, 모델은 상세하고 밀도 높은 캡션으로 학습되지만 사용자는 추론 시 간결한 프롬프트를 제공하기 때문에, 이로 인한 **학습-추론 간극(training-inference gap)**이 존재하며 이는 분포 변화와 성능 저하를 초래한다.
2. 상호작용 문제 (The Interaction Problem): 듀얼 타워 아키텍처에서 의미적 및 시간적 동기화를 달와하기 위해 비디오 스트림과 오디오 스트림 사이에서 정보를 교환하는 최적의 메커니즘은 여전히 불분명하다. 풀 어텐션(full attention)이나 단방향 조건화와 같은 기존 전략들은 특징 보존과 효과적인 교차 모달 융합 사이의 균형을 맞추는 데 종종 실패한다.

방법론

저자들은 새로운 캡셔닝 파이프라인과 듀얼 타워 확산(diffusion) 아키텍처로 구성된 BridgeDiT 프레임워크를 제안한다.

1. 교차 참조 재작성(Cross-Referential Rewriter, CRR) 캡션 프레임워크

조건화 문제를 해결하기 위해, 저자들은 단일 입력으로부터 분리되고 모달리티 순수성이 유지된 캡션($T_V$ 및 $T_A$)을 생성하는 듀얼 에이전트 파이프라인을 도입한다.

• 시맨틱 체커 ($\mathcal{F}_{sc}$): 이 에이전트는 별도의 비디오 및 오디오 거대 언어 모델(LLM)에서 생성된 원시 캡션을 교차 참조한다. 이는 시맨틱 앵커(Semantic Anchors)—즉, 근거가 있는 속성(엔티티, 환경, 행동 및 그에 상응하는 소리)의 구조화된 집합—를 추출한다. 결정적으로, 이 에이전트는 시각적 설명을 근거로 활용하여 환각(hallucination) 및 의미적 충돌(예: 시각적 근거 없이 소리를 환각하는 오디오 LLM)을 필터링한다.
• 교차 모달 재작성기 ($\mathcal{F}_{cr}$): 이 에이전트는 검증된 시맨틱 앵커로부터 엄격하게 분리되고 밀도 높은 캡션을 생성한다.
  • 학습 시: 근거 있는 앵커를 상세하고 모달리티별로 특화된 묘사로 변환한다.
  • 추론 시: 간결한 사용자 프롬프트를 밀도 높은 묘사로 확장하여, 복잡한 사용자 측 프롬프트 엔지니어링 없이도 학습 분포와 일치하도록 함으로써 학습-추론 간극을 효과적으로 메운다.

2. 듀얼 크로스 어텐션(Dual Cross-Attention, DCA)을 갖춘 BridgeDiT 아키텍처

핵심 생성 모델은 비디오 타워($G^V_\theta$)와 오디오 타워($G^A_\theta$)로 구성되며, 경량 상호작용 모듈에 의해 연결된 듀얼 타워 확산 트랜스포머이다.

• 듀얼 크로스 어텐션 (DCA): 저자들은 상호작용 메커니즘으로 DCA를 제안한다. 잠재 변수(latents)를 결합하여 공유된 특징 공간을 강제하는 풀 어텐션(Full-Attention)이나 단방향 조건화와 달리, DCA는 대칭적이고 양방향인 크로스 어텐션 스트림을 채택한다.
  • 오디오-투-비디오(A2V) 스트림에서는 비디오 잠재 변수가 쿼리(Query) 역할을 하고, 오디오 잠재 변수가 키(Key)와 값(Value)을 제공한다.
  • 비디오-투-오디오(V2A) 스트림에서는 이 역할이 반대로 바뀐다.
• 근거 (Rationale): 이 설계는 (대체로 동결된 상태인) 사전 학습된 백본의 고유한 특징 매니폴드(feature manifolds)를 보존하면서, 표적화된 정보 교환을 위한 경량화된 "브릿지"를 학습한다. 이는 서로 다른 매니폴드를 하나의 공간으로 병합할 때 발생하는 최적화의 어려움을 피하기 위함이다.

주요 기여

1. CRR 캡션 프레임워크: 근거 있는 시맨틱 앵커를 통해 모달리티 간 간섭을 제거하고, 프롬프트 확장을 통해 학습-추론 간극을 메우는 듀얼 에이전트 파이프라인을 제공한다.
2. DCA를 활용한 BridgeDiT 아키텍처: 사전 학습된 백본 기반의 T2SV 시스템을 위한 최적의 융합 전략으로 식별된 듀얼 크로스 어텐션(DCA)을 사용하는 듀얼 타워 확산 모델이다.
3. 포괄적인 평가: 세 가지 벤치마크(AVSync15, VGGSound-SS, Landscape)에 대한 광범위한 실험을 통해 SOTA(state-of-the-art) 성능을 입증하였으며, 인간 평가와 절제 연구(ablation studies)를 통해 각 구성 요소의 유효성을 검증하였다.

실험 결과

모델은 생성 품질(FVD, KVD, FAD, KL), 텍스트 정렬(CLIPSIM, CLAP), 그리고 동기화(VA-IB, AV-Align) 지표를 사용하여 세 가지 데이터셋에서 평가되었다.

• 성능: BridgeDiT는 모든 벤치마크에서 대부분의 지표에 대해 SOTA 결과를 달성했다. 이는 동일한 CRR 캡션을 사용한 재학습 베이스라인 및 사전 학습된 베이스라인보다 유의미하게 뛰어난 성능을 보였다.
• 절제 연구 (Ablation Studies):
  • 조건화: CRR에 의해 생성된 분리된 캡션은 공유된 캡션보다 훨씬 우수한 성능을 보였다. 시맨틱 앵커 병목 현상이나 프롬프트 확장을 제거하면 오디오 품질과 동기화가 심각하게 저하되었다.
  • 융합: DCA는 풀 어텐션, 가산 융합(Additive Fusion), 단방향 크로스 어텐션보다 우수한 성능을 보였다. 저자들은 이를 DCA가 별개의 특징 공간을 유지하면서도 대칭적 상호작용을 가능하게 하는 능력 덕분이라고 설명하며, 이는 동결된 사전 학습 백본을 사용할 때 매우 중요하다.
• 인간 평가: 20명의 평가자가 참여한 사용자 연구에서 BridgeDiT는 비디오 품질, 오디오 품질, 텍스트 정렬, 동기화 및 전반적인 품질 항목 모두에서 가장 높은 점수를 받았으며, 파이프라인 방식의 접근법을 포함한 모든 베이스라인을 능가했다.

의의 및 주장

본 논문은 T2SV 생성이 텍스트 조건이 처리되는 방식과 모달리티가 상호작용하는 방식에 대한 근본적인 변화를 요구한다고 주장한다.

• 조건화에 대하여: 저자들은 "모달리티 순수성(modality purity)"이 필수적이라고 주장한다. 전문화된 백본에 공유된 캡션을 입력하는 것은 생성 품질을 저하시키는 노이즈를 유입시킨다. CRR 프레임워크는 검증된 시맨틱 앵커에 기반하여 텍스트 생성을 근거 지음으로써 강력한 해결책을 제공한다.
• 상호작용에 대하여: 본 연구는 풀 어텐션이 다중 모달 융합에 항상 최적인가라는 가정에 도전한다. 사전 학습된 동결 백본을 활용하는 시스템의 경우, 듀얼 크로스 어텐션이 분리된 사전 학습 특징 매니폴드의 성격을 존중함으로써, 개별 모달리티의 품질을 훼손하지 않으면서도 안정적인 학습과 정밀한 동기화를 가능하게 하여 더 우수함을 입증하였다.
• 한로점 (Limitations): 저자들은 현재의 평가가 상대적으로 작은 규모의 벤치마크에 의존하고 있으며, 특정 모달리티(음성 또는 음악)에 대한 오픈 소스 사전 학습 모델의 부족으로 인해 아직 음성이나 음악 생성은 지원하지 못한다고 언급했다. 향-후 과제로 데이터셋 스케일링과 인간 피드백을 통한 강화 학습(RLHF)을 통한 사후 학습 정교화 탐구를 제안하였다.