기술 요약: Archon – 통합적 디지털 인간 생성을 위한 통합 멀티모달 모델

문제 제기

통합적 디지털 인간 생성을 위한 통합 모델 구축은 여전히 중요한 미해결 과제로 남아 있습니다. 현재 접근 방식은 개별 모달리티 (예: 음성 기반 비디오, 이미지 조건부 텍스트-음성) 를 위한 전문화된 전문가 모델에 의존하여 시스템 분열, 분포 불일치 및 비효율성을 초래합니다. 또한, 기존 통합 멀티모달 모델 (MLLM) 은 종종 텍스트 출력으로 제한되거나 동기화된 음성, 애니메이션, 고충실도 비디오와 같은 중요한 인간 중심 모달리티에 대한 지원이 부족합니다. 주요 기술적 장벽은 고프레임레이트, 고해상도 비디오로 인한 "토큰 폭발"이며, 이는 표준 언어 모델의 컨텍스트 창을 초과하고 비디오 신호를 이산 토큰화에 강제로 포함시킬 때 비디오 신호의 연속성을 방해합니다.

방법론

저자들은 7 가지 모달리티 (설명, 대본, 음성 (대본 및 오디오), 애니메이션 (3DMM), 의미론적 비디오, 이미지, 비디오) 간의 임의-임의 (any-to-any) 생성을 수행하도록 설계된 완전히 사전 훈련된 인간 중심 통합 멀티모달 모델인 Archon을 제안합니다. 이 프레임워크는 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 멀티모달 토큰화

Archon 은 이질적인 신호를 이산 정수 토큰의 통합 어휘로 인코딩하기 위해 모달리티별 토크나이저를 사용합니다:

• 이미지: 256×256 이미지를 16×16 토큰 그리드로 양자화하기 위해 사전 훈련된 MAGVIT-v2 토크나이저를 사용합니다.
• 음성: 16 kHz 오디오를 이산 토큰으로 인코딩하기 위해 SoundStream 토크나이저 (RVQ) 를 활용하며, 효율성을 위해 8 개의 잔차 레벨 중 처음 4 개를 유지합니다.
• 애니메이션: 디지털 인간의 움직임을 3D 형태 모델 (3DMM) 파라미터 (형태, 표정, 자세) 로 매개변수화합니다. 각 구성 요소에 대해 별도의 잔차 벡터 양자화 VAE(VQ-VAE) 를 훈련하여 이러한 연속 신호를 이산화합니다.
• 의미론적 비디오 (메모리 효율성): 토큰 폭발 문제를 해결하기 위해 저자들은 메모리 효율적인 비디오 이산화 전략을 도입합니다. 원시 RGB 비디오를 토큰화하는 대신, 이를 참조 이미지와 의미론적 비디오로 분해합니다. 의미론적 비디오는 얼굴 분할에서 파생된 21 개의 이산 의미 범주 (예: 눈꺼풀, 눈썹, 코) 로 구성됩니다. 이는 구조적 및 운동 역학을 유지하면서 토큰 수를 4 배 줄입니다.
• 텍스트: 원래 T5 인코더 토크나이저를 유지합니다.

2. 통합 언어 모델 백본

핵심은 동기화된 모달리티와 72 가지 다양한 멀티모달 작업에 대해 사전 훈련된 네이티브 자기회귀 언어 모델 (PaLM2 기반) 입니다.

• 작업 공식화: 고정된 입력 - 출력 쌍과 달리, 이 모델은 입력 및 출력 모달리티의 임의 조합을 지원합니다. 생성 과정은 모델이 입력과 이전에 생성된 모든 모달리티를 조건으로 하여 한 번에 하나의 모달리티를 예측하는 순환 시퀀스로 재구성됩니다.
• 프롬프트 설계: 입력은 희소한 특수 토큰이 아닌 직렬화된 자연어 기술자 (JSON 유사) 로 구조화되어 사전 훈련된 모델의 의미적 기반을 활용합니다.
• 훈련 전략: 이 모델은 더 쉽거나 더 빈번한 작업으로 편향되는 것을 방지하기 위해 작업 난이도 (퍼플렉시티로 측정) 와 모달리티 분포를 균형 있게 조정하는 새로운 샘플링 전략을 사용하여 훈련됩니다.

3. 의미론 기반 비디오 확산 디코더

이산 의미 토큰에서 고충실도 비디오를 재구성하기 위해 Archon 은 의미론 기반 비디오 확산 모델 (WALT 기반) 을 사용합니다.

• 메커니즘: 이 모델은 생성된 의미론적 비디오, 참조 이미지, 텍스트 설명을 조건으로 받습니다.
• 조건부: 의미론적 마스크가 노이즈가 있는 비디오 잠재 변수와 연결되어 강력한 운동 지침을 제공합니다. 교차 주의 (cross-attention) 모듈은 의미론적 마스크를 구조적 다리로 사용하여 외관 세부 정보를 전달하면서 참조 이미지와 텍스트에 기반한 생성을 조건화합니다.
• 출력: 이 디코더는 저해상도 의미 표현을 고품질 512×512 RGB 비디오로 업샘플링합니다.

4. "모달리티로 사고하기" 추론 전략

모호한 교차 모달 작업 (예: 음성에서 직접 비디오 생성) 을 처리하기 위해 저자들은 복잡한 작업을 단계별 체인으로 분해하는 추론 전략을 도입합니다.

• 과정: 직접적인 점프 (예: 음성 → 비디오) 대신, 모델은 중간 모달리티 (예: 음성 → 3DMM/설명 → 비디오) 를 생성합니다.
• 이점: 이는 의미적 세분성에서 더 부드러운 전환을 만들어 추가 훈련 없이 불확실성을 줄이고 충실도 및 제어 가능성을 향상시킵니다.

주요 기여

1. Archon 모델: 텍스트, 오디오, 운동, 시각 콘텐츠를 결합한 결합 분포를 모델링하여 7 가지 모달리티에 걸친 통합적 아바타 합성이 가능한 완전히 사전 훈련된 통합 멀티모달 모델.
2. 메모리 효율적 비디오 표현: 미세한 역학을 유지하면서 토큰 수를 4 배 줄이는 새로운 의미론적 비디오 토큰화 전략과 고충실도 재구성을 위한 의미론 기반 확산 디코더의 결합.
3. 모달리티로 사고하기: 모호한 교차 모달 작업을 중간 단계로 분해함으로써 생성 품질과 제어 가능성을 향상시키는 추론 전략.
4. 종합 평가: 벤치마크 데이터셋에 대한 미세 조정 없이 음성 기반 비디오 생성 및 이미지 조건부 텍스트 - 음성과 같은 작업에서 최첨단 전문가 모델보다 우수하거나 동등한 성능을 보여주는 광범위한 실험.

결과

• 음성 기반 비디오: CelebV-HQ 및 HDTF 벤치마크에서 Archon 은 Fréchet Inception Distance(FID) 및 Fréchet Video Distance(FVD) 측면에서 베이스라인 (AniPortrait, EchoMimic, Hallo3) 을 능가하여 우수한 비디오 품질과 정렬을 나타냅니다. 또한 경쟁력 있는 립싱크 정확도 (Sync-C/Sync-D) 및 이미지 품질 평가 (IQA) 점수를 달성합니다.
• 이미지 조건부 텍스트 - 음성: Archon 은 FaceTTS 에 비해 더 높은 목소리 정체성 일관성 (C-SIM) 과 정체성 정확도를 달성하여 멀티모달 훈련 전략의 효과를 검증합니다.
• Ablation 연구: 통합 모델 아키텍처 또는 "모달리티로 사고하기"전략을 제거하면 모든 지표에서 성능이 크게 저하되어 결합 학습과 단계별 추론의 필요성을 확인합니다.
• 정성적 성능: 이 모델은 동기화된 입 운동이 있는 사실적인 말하는 비디오를 성공적으로 생성하고, 극단적인 머리 자세를 처리하며, 정체성을 유지하면서 성별이나 대본을 변경하는 등 유연한 편집을 지원합니다.

중요성 및 주장

이 논문은 Archon 이 단일 생성 프레임워크 내에서 다양한 모달리티가 조화롭게 공존하고 상호작용하는 진정으로 통합된 디지털 인간 모델링을 향한 한 걸음이라고 주장합니다. 전문가 모델의 분열과 표준 MLLM 의 토큰 제한을 극복함으로써 Archon 은 임의 - 임의 생성, 이해 및 편집을 가능하게 합니다. 저자들은 이 작업을 온디맨드로 통합 멀티모달 신호를 처리할 수 있는 미세하게 제어 가능한 디지털 인간을 만드는 "미해결 과제"에 대한 해결책으로 위치시키며, 전문화된 하위 작업을 넘어 통합적이고 확장 가능한 접근 방식으로 이동합니다. 이 작업은 몰입형 상호작용, 가상 현실, 디지털 엔터테인먼트를 위한 기반으로 제시되며, 이중 사용 위험에 대한 책임 있는 배포 및 윤리적 가이드라인에 중점을 둡니다.