기술 요약: Omni-Customizer

문제 정의

Ovi 및 LTX-2 와 같은 기반 모델의 등장으로 오디오 - 비디오 결합 생성의 지형이 변화했습니다. 그러나 여러 상호작용하는 주체에 걸쳐 시각적 정체성과 음성 음색을 동시에 보존하는 통합된 멀티모달 커스터마이징을 달성하는 것은 여전히 중요하면서도 미탐구된 과제로 남아 있습니다. 기존 접근 방식은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

1. 아키텍처 비호환성: 단일 모드 비디오 커스터마이징 및 교차 모드 구동 파이프라인은 결합 생성에서 작동하기 위해 (예: 별도의 오디오 타워와 같은) 상당한 아키텍처 변경이 필요하며, 이는 종종 원래 설계 범위를 벗어납니다.
2. 약한 정체성 바인딩: DreamID-Omni 와 같은 통합 모델은 Syn-RoPE 와 같은 메커니즘을 사용하지만, 견고한 교차 모드 정체성 바인딩을 달성하지 못해 정체성 단서가 위치적 감쇠에 취약하고 다중 주제 시나리오에서 혼란을 초래합니다.
3. 고유한 병목 현상 및 이상 현상: 오픈소스 백본을 기반으로 한 현재 프레임워크는 오디오 VAE 의 제한된 음성 재구성 능력과 불균형한 다국어 음성학적 세분성으로 고통받습니다. 특히, 오디오 타워가 비음성 설명 캡션을 말로 합성하는 오류인 "캡션 음성화" 이상 현상에 취약합니다.

방법론

Omni-Customizer 는 사전 학습된 Ovi 백본을 기반으로 구축된 대칭형 듀얼 스트림 디퓨전 트랜스포머 (DiT) 아키텍처 위에 구축된 엔드 투 엔드 프레임워크입니다. 이는 다음과 같은 네 가지 핵심 혁신을 통해 aforementioned 과제를 해결합니다:

1. 구조화된 Omni-Captioning

이 프레임워크는 멀티모달 대형 언어 모델 (MLLM) 을 활용하여 데이터를 표준화된 형식으로 다시 캡션합니다. 이 프롬프트 구조는 앵커 토큰 (예: <sub1>) 을 사용하여 시각적 정체성 (FaceID) 과 음성 정체성 (SpeakerID) 을 명시적으로 연결합니다. 프롬프트에는 다음이 포함됩니다:

• 주체 설명자: 각 주체에 대한 시각적 및 음향적 설명.
• 전역 컨텍스트: 환경 및 행동 설명.
• 음성 콘텐츠: 내러티브 텍스트와 발화된 발화 사이의 명확한 구분을 보장하기 위해 <S> 및 <E> 태그로 엄격히 묶인 대화.

2. 핵심 아키텍처 모듈

• Omni-Context Fusion (OCF): 복잡한 정렬을 디퓨션 백본에 의존하는 대신, OCF 는 텍스트 인코더를 능동적인 교차 모드 정렬 엔진으로 승격시킵니다. 텍스트 임베딩, 시각적 참조 토큰, 오디오 참조 토큰, TTS 음소 임베딩을 통합된 시퀀스로 연결합니다. 잔여 연결을 통한 반복적 트랜스포머 처리를 통해 텍스트 표현을 밀집된 멀티모달 단서로 풍부하게 만들어 정밀한 정체성 바인딩을 용이하게 합니다.
• Semantic-Anchored Multimodal RoPE (SA-MRoPE): 1D 텍스트, 2D 이미지, 시간적 오디오 토큰 간의 구조적 불일치를 해결하기 위해, SA-MRoPE 는 참조 토큰을 통합된 3D 위치 공간 내에서 해당 의미론적 주체 설명에 앵커링합니다. 이는 시각 및 오디오 참조가 특정 텍스트 앵커 (예: <sub1>) 에 단단히 바인딩되도록 하여 다중 주제 장면에서의 정체성 얽힘을 방지합니다.
• Masked TTS Cross-Attention (MTP-CA): "캡션 음성화" 이상 현상을 제거하기 위해 MTP-CA 는 하드 게이팅 메커니즘을 사용합니다. 이는 음소 사전 정보를 <S>...<E> 범위 내에 위치한 텍스트 토큰에 엄격히 주입하여, 비음성 내러티브 영역이 음소 수준의 자극을 전혀 받지 않도록 합니다. 이로 인해 발음 향상은 의도된 대화 범위에만 국한됩니다.

3. 훈련 전략

저자들은 편향된 언어 분포 (예: 주로 중국어 데이터) 를 처리하고 기반 사전 지식의 저하를 방지하기 위해 포괄적인 훈련 전략을 고안했습니다:

• 교차 모드 탈결합 인터리브 훈련: 훈련은 결합 오디오 - 비디오 생성 (JAVG) 단계와 TTS 전용 단계를 번갈아 수행합니다. TTS 전용 단계는 오디오 배치 크기를 확장하고 교차 모드 경로를 고정하여, 오디오 분기가 립싱크 또는 교차 모드 정렬 사전 지식을 훼손하지 않고도 다국어 능력을 신속하게 습득할 수 있도록 하는 정규화제 역할을 합니다.
• 점진적 인-페어에서 크로스-페어 커리큘럼: 훈련은 기본 커스터마이징 능력을 확립하기 위해 단일 주체 정렬 (인-페어 데이터) 로 시작합니다. 그런 다음 참조를 목표 생성에서 분리하여 고수준의 견고한 정체성 특징 학습을 강제하는 다중 주체 분리 (크로스-페어 데이터) 로 확장됩니다.

주요 기여

1. Omni-Customizer 프레임워크: 정밀한 멀티모달 정체성 바인딩을 달성하는 인간 중심 결합 오디오 - 비디오 커스터마이징을 위한 엔드 투 엔드 시스템.
2. 새로운 모듈: 밀집된 단서 충전을 위한 OCF, 구조화된 의미론적 앵커링을 위한 SA-MRoPE, 음성 누출 방지를 위한 MTP-CA 의 도입.
3. 고급 훈련 전략: 정렬을 희생하지 않고 신속한 다국어 적응과 견고한 정체성 분리를 가능하게 하는 인터리브 훈련 접근법 및 점진적 커리큘럼.
4. OC-Bench: 단일 주제, 2 인 대화, 복잡한 다중 주제 시나리오에 걸친 300 개의 테스트 케이스로 구성된 포괄적인 벤치마크 및 다양한 다중 주제 멀티모달 데이터셋.

결과

OC-Bench 에 대한 광범위한 실험은 Omni-Customizer 가 여러 지표에서 최고 수준 (SOTA) 성능을 달성함을 보여줍니다:

• 정체성 보존: 다중 주제 상호작용에서 정체성 혼란을 크게 줄이며, 얼굴 유사도 (0.812) 및 음색 유사도 (0.514) 에서 베이스라인을 능가합니다.
• 동기화: 우수한 오디오 - 비디오 동기화 (Sync-C/D) 와 가장 낮은 단어 오류율 (WER) 을 달성하여 높은 음성 충실도를 나타냅니다.
• 품질: 비디오에서 높은 미적 및 이미지 품질을 유지하고, 오디오에서 높은 지각 품질을 유지합니다.
• 애블레이션 연구: 제안된 모듈 (OCF, SA-MRoPE, MTP-CA) 또는 전략 (커리큘럼, 인터리브 훈련) 중 하나라도 제거하면 정체성 드리프트, 동시 발화 오류, 또는 캡션 음성화의 재발과 같은 성능 저하가 발생함을 확인합니다.

의의

이 논문은 Omni-Customizer 가 복잡하고 인간 중심적인 시나리오에서 견고하고 고품질의 결합 오디오 - 비디오 커스터마이징을 가능하게 함으로써 생성형 AI 의 중요한 간극을 메운다고 주장합니다. 정체성 얽힘 및 음성 누출 문제를 해결함으로써, 이 프레임워크는 이전에는 오픈소스 모델로는 달성할 수 없었던 현실적인 다중 주제 대화 생성을 가능하게 합니다. 이 작업은 구조화된 의미론적 앵커링과 탈결합 훈련 전략이 상호작용형 다중 캐릭터 애플리케이션으로 결합 생성을 확장하는 데 필수적임을 보여주는 멀티모달 커스터마이징의 새로운 패러다임을 정립합니다.

참고: 저자들은 현재 생성물이 720P 해상도와 10 초 길이에 제한되어 있음을 인정하며, 향후 작업은 더 높은 해상도와 더 긴 시퀀스로 확장하는 데 초점을 맞출 것이라고 명시합니다.