기술 요약: SpongeBob – 동기화 인식 조화로운 오디오-비디오 생성 편집

1. 문제 정의

기존 비디오 편집 방법은 일반적으로 시각 및 청각 모달리티를 별도로 처리하는 분리된 파이프라인에 의존합니다. 확산 모델이 시각 편집을 혁신적으로 변화시켰음에도 불구하고, 현재 오디오-비디오 편집 접근법은 두 가지 패러다임으로 나뉩니다: 연쇄 파이프라인(비디오를 먼저 편집한 후 오디오 생성) 또는 학습 없는 전략(단방향 조건 주입). 두 패러다임 모두 구조적 한계를 겪습니다: 소음 제거 과정 중 양방향 상호작용의 부재입니다. 이로 인해 두 가지 주요 실패 모드가 발생합니다:

1. 오디오-비디오 비동기화: 편집된 입술 움직임, 행동 시작점, 사운드 이벤트가 프레임 수준에서 서로 어긋납니다 (예: 입이 열린 후 대화가 시작됨).
2. 문맥적 충돌: 새로 생성된 사운드가 편집되지 않은 환경을 무시하여, 비대상 화자의 중첩이나 대화의 원래 턴테이킹 구조를 깨는 등의 의미적 충돌을 초래합니다.

또한, 엔드투엔드 편집기를 학습하는 것은 역사적으로 데이터 과제로 인해 차단되어 왔습니다: (편집 전 콘텐츠, 편집 후 콘텐츠, 편집 지시) 로 구성된 쌍을 이루는 삼중항의 부족입니다. 이러한 데이터는 웹 코퍼스에서 대규모로 존재하지 않으며, 수동 수집은 과도하게 비용이 듭니다.

2. 방법론: SpongeBob 프레임워크

SpongeBob 은 통일된 소음 제거 단계 내에서 양방향 교차 모달 상호작용을 특징으로 하는 최초의 엔드투엔드 오디오-비디오 결합 편집 프레임워크로 제안됩니다. 이는 편집 작업을 자기지도 학습 인페인팅 문제로 재구성하여, 편집 전/후 쌍이 아닌 일반 오디오-비디오 클립과 텍스트 설명만 필요로 합니다.

핵심 아키텍처

모델은 Wan2.2-TI2V-5B 기반의 **이중 스트림 확산 트랜스포머 (DiT)**를 활용합니다.

• 비디오 스트림: 참조 이미지, 마스킹된 비디오 (문맥), 그리고 시각적 노이즈의 복합 잠재 변수를 입력받습니다.
• 오디오 스트림: 오디오 설명, 음성 텍스트, 그리고 기본 오디오 (배경음) 를 조건으로 하여 대상 오디오 (주체의 분리된 소리) 를 재구성합니다.
• 추론 논리: 사용자는 마스킹된 영역에 대한 새로운 텍스트 설명을 제공합니다. 모델은 이 새로운 프롬프트를 기반으로 신호를 재구성하면서 편집되지 않은 문맥을 유지합니다.

주요 기술 구성 요소

A. 동기화 인식 편집 메커니즘

프레임 수준의 동기화를 달성하기 위해, 이 메커니즘은 세 가지 차원을 통해 시각적 편집을 사운드 이벤트와 정렬합니다:

1. 시간적 대응 (RoPE 정렬): 서로 다른 토큰 수에도 불구하고 교차 모달 시간적 동등성을 강제하기 위해, 삼중 시간 정렬 전략을 사용합니다. 참조 이미지는 인덱스 0 에 고정됩니다. 조건 및 대상 비디오 토큰은 동일한 인덱스 $[1, N_t]$를 공유합니다. 오디오 토큰은 연속적인 가상 위치 $p^{(j)}_a = j \cdot (N_t/N_a)$로 매핑되어 서브 프레임 동기화를 달성합니다.
2. 공간적 제약 (마스크 유도 비대칭 라우팅):
   • 오디오에서 비디오로: 음향 특징은 대상 마스크 $M$ 내의 시각 토큰에 엄격히 주입되어, 오디오 주도 업데이트가 배경으로 누출되는 것을 방지합니다.
   • 비디오에서 오디오로: 음향 서명은 전역 문맥에 의해 형성되므로, 전역 수용 필드를 유지합니다.
3. 양방향 어텐션: 소음 제거 과정에서 비디오 운동, 대상 사운드, 그리고 음향 문맥 간에 지속적인 정보 교환이 발생합니다.

B. 문맥 인식 모듈

보존된 콘텐츠와의 충돌을 방지하기 위해, 두 개의 제로 초기화 교차 어텐션 레이어가 도입됩니다:

1. 시각 문맥 어텐션: 대상 오디오 스트림이 마스킹된 비디오 특징 ($z_{cond}$) 에 어텐션하여, 생성된 오디오가 편집 영역을 넘어 시각 장면을 인지할 수 있게 합니다.
2. 음향 문맥 어텐션: 대상 오디오 스트림이 소스 분리 후 기본 오디오 ($b$) 에 어텐션합니다. 이를 통해 모델은 실시간으로 비대상 화자와 배경 소음을 인지하고, 중첩을 피하기 위해 에너지와 타이밍을 적응시킵니다.

C. 동기화 보존 학습 및 가이드 (SPTG)

SPTG 는 특정 학습 및 추론 전략을 통해 품질을 저하시키지 않으면서 정렬을 강화합니다.

• 멀티태스크 정렬 학습: 모델은 동적 라우팅을 갖춘 네 가지 모드로 공동 학습됩니다:
  1. 결합 편집: 모든 조건을 갖춘 표준 소음 제거.
  2. 오디오 주도: 깨끗한 오디오 ($t_a=0$) 가 비디오 소음 제거를 고정합니다.
  3. 비디오 주도: 깨끗한 비디오 ($t_v=0$) 가 오디오 소음 제거를 고정합니다.
  4. 문맥-널: 기본 오디오나 시각 문맥 어텐션 없이 학습하여 기준선 예측을 학습합니다.
• 이단계 추론 가이드:
  • 1 단계 (문맥 충돌 해결): 전체 조건 대 문맥-널 예측을 비교하는 문맥 CFG 를 사용하여 생성된 오디오가 편집되지 않은 콘텐츠를 존중하도록 합니다.
  • 2 단계 (시간적 동기화 강화): 결합 편집 대 오디오 주도/비디오 주도 경로를 비교하는 동기화 CFG 를 사용하여 프레임 수준의 시간적 대응을 정교화합니다.

데이터 엔지니어링

데이터 부족 문제를 해결하기 위해, 저자들은 레이블이 없는 웹 비디오에서 대규모 주제 수준 데이터셋 (40 만 개 샘플, 약 390 시간) 을 생성하는 확장 가능한 데이터 파이프라인을 구축했습니다. 파이프라인은 다음을 포함합니다:

1. 비디오 수집 및 분류 (50 개 이상 음향 카테고리).
2. 멀티모달 소스 식별 (전경 대 배경).
3. 텍스트 유도 오디오 분리 (대상 대 잔여).
4. 다차원 품질 검증 (LLM-as-Judge, ASR 검증, 누출 확인).
5. 인스턴스 분할 (Grounding DINO + SAM2).
6. 오디오 품질, 마스크 유효성, 잔여 청결도에 기반한 결합 필터링.

3. 실험 결과

저자들은 음성-비디오, 사운드-비디오, 복잡한 장면 하위 집합에 걸쳐 700 개의 테스트 샘플을 포함한 체계적인 평가 스위트인 SpongeBob-Bench를 소개합니다.

성능 지표

SpongeBob 은 모든 차원에서 기존 베이스라인 (AvED, VACE-Foley, VACE-Coherent, AVI-Edit) 을 능가합니다:

• AV 동기화: Sync-C 를 30% 향상 (최고 베이스라인인 AVI-Edit 의 3.45 대비 4.50) 하고 Sync-D 를 15.1% 감소 (10.28 대비 8.73) 시킵니다.
• 문맥 일관성: Ctx-F1 을 12.5% 향상 (0.72 대비 0.81) 하고 G-Score 를 6.2 에서 7.6 으로 높입니다.
• 품질: 우수한 비디오 품질 (FVD 285.93, BG 0.951) 과 오디오 품질 (PQ 6.45, CLAP 0.238) 을 달성합니다.
• 일반화: 외부 AvED-Bench 에서 SpongeBob 은 가장 강력한 베이스라인 대비 AC 를 2.9% 향상시키고 FVD 를 5.6% 감소시킵니다.

애블레이션 연구

• 마스크 라우팅 및 시간적 통합 제거는 Sync-C 를 3.18 로 떨어뜨려 공간적 및 시간적 제약의 필요성을 확인합니다.
• 문맥 인식 모듈 제거는 Ctx-F1 을 0.75 로 낮추어, 비대상 화자와의 중첩을 피하는 데 있어 그 결정적 역할을 보여줍니다.
• SPTG 제거는 모든 지표를 저하시켜, 표준 CFG 가 교차 모달 정렬에 충분하지 않음을 검증합니다.

4. 중요성 및 주장

이 논문은 SpongeBob 이 분리된 연쇄 편집에서 엔드투엔드 결합 편집으로의 근본적인 전환을 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 문제 재구성: 불가능한 삼중항을 요구하는 지도 학습 작업에서, 일반 클립으로 해결 가능한 자기지도 학습 인페인팅 작업으로 주제 수준 오디오-비디오 편집을 성공적으로 재정의했습니다.
2. 아키텍처 혁신: 통일된 확산 과정 내의 양방향 교차 모달 상호작용이 시각 운동과 사운드 이벤트 간의 지각적 격차를 해소하고, 비동기화 및 문맥 충돌을 방지하는 데 필수적임을 입증했습니다.
3. 데이터 확장성: 이전에 데이터 부족으로 차단되었던 작업의 학습을 가능하게 하는 확장 가능한 파이프라인과 대규모 데이터셋을 제공합니다.

저자들은 고품질 오디오-비디오 편집이 단순히 별도로 학습된 모델을 결합하는 것이 아니라, 공간, 시간, 음향 차원에 걸쳐 신중하게 설계된 교차 모달 정보 흐름을 필요로 한다고 결론지었습니다.