기술 요약: Bernini – 비디오 확산을 위한 잠재 의미 계획

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 과 확산 모델은 주로 독립적인 궤적을 따라 성숙해 왔습니다. MLLM 은 의미 추론, 복잡한 지시사항 해석, 멀티모달 맥락에 기반한 답변 도출에 탁월한 반면, 확산 모델 (특히 Diffusion Transformer 또는 DiT) 은 사실적인 이미지 및 비디오 합성의 표준이 되었습니다. 그러나 의도를 이해하고 원하는 출력을 생성할 수 있는 단일 시스템으로 이 두 계열을 통합하는 것은 여전히 열린 과제로 남아 있습니다. 기존 접근법들은 MLLM 의 깊은 의미 이해를 확산 모델의 픽셀 단위 생성으로 직접 전달하는 과정에서 어느 한 구성 요소의 사전 훈련 강점을 훼손하거나, 파기적 망각 (catastrophic forgetting) 을 초래하는 과도한 공동 훈련을 요구하는 데 어려움을 겪곤 합니다.

2. 방법론

Bernini 는 의미 계획과 픽셀 렌더링을 분리하여 단순한 업무 분담을 활용하는 통합 프레임워크를 제안합니다:

• 계획자 (MLLM): 의미 추론을 처리하고 목표 시각적 표현을 예측합니다.
• 렌더러 (DiT): 고수준 의미 안내와 저수준 시각적 특징을 기반으로 픽셀을 합성합니다.

2.1 아키텍처

이 프레임워크는 ViT 임베딩 공간의 의미 인터페이스를 통해 연결된 두 가지 주요 구성 요소로 구성됩니다.

• MLLM 기반 계획자:

  • 통합 입력: 텍스트, 소스 이미지, 소스 비디오, 그리고 목표 출력은 통합된 1 차원 토큰 시퀀스로 직렬화됩니다.
  • 마스크 생성 모델링: 텍스트 토큰을 생성하는 대신, 계획자는 밀집된 ViT 임베딩으로 목표 시각적 의미를 예측합니다. 훈련 중에는 목표 토큰이 무작위로 마스킹되며, 모델은 맥락으로부터 이를 추론합니다. 추론 중에는 모델이 완전히 마스킹된 토큰에서 완전한 시퀀스로 목표 표현을 반복적으로 정제합니다.
  • 생각의 사슬 (CoT): 계획자는 최종 의미 임베딩을 생성하기 전에 잠재 공간에서 (자체 텍스트 및 자체 비주얼 - 텍스트 추론을 통해) 추론을 수행하는 CoT 메커니즘을 통합합니다. 이를 통해 모델은 복잡한 편집 작업을 중간 시각 상태로 분해할 수 있습니다.
  • ViT 임베딩 디코더: 경량 디코더 (MLP + ResNet 헤드) 가 계획자의 숨은 상태를 ground-truth ViT 임베딩 공간으로 매핑하며, 흐름 매칭 (flow matching) 을 통해 훈련됩니다.

• DiT 기반 렌더러:

  • 흐름 매칭: 렌더러는 VAE 잠재 공간에서 작동하며, 최종 비디오를 합성하기 위해 흐름 매칭 기반의 노이즈 제거를 수행합니다.
  • 조건부: 이는 계획자로부터의 의미 임베딩 (크로스 어텐션을 통해), 텍스트 특징, 그리고 편집 작업에서의 세부 사항 보존을 위한 소스 VAE 특징에 조건부입니다.
  • 세그먼트 인식 3D RoPE (SA-3D RoPE): 소스 비디오, 참조 이미지, 목표와 같은 여러 시각적 입력을 통합된 시퀀스 내에서 처리하기 위해 Bernini 는 SA-3D RoPE 를 도입합니다. 표준 3D 회전 위치 임베딩 (RoPE) 은 서로 다른 세그먼트의 토큰이 동일한 $(t, h, w)$ 좌표를 공유할 때 어려움을 겪습니다. SA-3D RoPE 는 각 시각적 입력에 고유한 세그먼트 인덱스를 할당하고 이를 회전 주파수 벡터에 통합하여 세그먼트 의존적 글로벌 위상 변조를 도입합니다. 이를 통해 어텐션 메커니즘은 시공간 모델링 속성을 유지하면서도 서로 다른 세그먼트의 토큰을 구별할 수 있습니다.

2.2 훈련 전략

Bernini 는 두 구성 요소의 사전 훈련 능력을 보존하면서 정렬시키기 위해 3 단계 훈련 파이프라인을 사용합니다:

1. 1 단계 (MLLM 사전 훈련): 계획자와 ViT 디코더는 텍스트 - 이미지, 텍스트 - 비디오, 그리고 편집 데이터 (이미지/비디오 쌍) 의 혼합으로 훈련됩니다. 목표는 MLLM 을 목표 시각적 표현을 추론할 수 있는 의미 계획자로 변환하는 것입니다. 정보 누출을 제어하기 위해 작업 의존적 마스크 비율 전략이 사용되어, 계획자가 가시적인 목표 토큰이 아닌 맥락으로부터 의미를 추론하도록 강제합니다.
2. 2 단계 (DiT 사전 훈련): 렌더러는 고품질 합성과 소스 보존을 보장하기 위해 대량의 생성 및 편집 데이터 혼합에서 독립적으로 훈련됩니다.
3. 3 단계 (공동 훈련): 계획자와 렌더러는 경량으로 공동 훈련됩니다. 이 단계는 의미 계획 (ViT 공간) 과 시각적 렌더링 (VAE 공간) 을 과도한 간섭 없이 정렬하여, 시스템이 멀티모달 추론을 충실한 시각적 출력으로 전환할 수 있게 합니다.

2.3 데이터 구축

이 논문은 다양한 작업을 지원하기 위한 포괄적인 데이터 구축 파이프라인을 상세히 설명합니다:

• 사전 훈련 데이터: 일반 코퍼스 및 튜토리얼 비디오에서 추출된 2 천만 개의 비디오 쌍과 3 천만 개의 이미지 쌍으로, 유사도에 따라 필터링되고 밀집된 프롬프트로 주석 처리되었습니다.
• 편집 데이터: 고품질 비디오 - 비디오 (V2V) 데이터는 강력한 이미지 편집 모델과 결합된 전파 기반 방법을 사용하여 합성되었습니다. 자연스러운 인간 - 객체 상호작용을 보장하기 위해 이미지 - 비디오 + 비디오 - 비디오의 이중 분기 프레임워크가 운동 인식 편집 데이터 생성에 사용되었습니다.
• 참조 유도 데이터: 생성된 이미지가 아닌 실제 영상에서 참조를 소싱함으로써 (특히 인간의 경우) 정체성 보존을 보장하는 참조 - 비디오 (R2V) 및 참조 + 비디오 - 비디오 (RV2V) 파이프라인이 있습니다.
• 추론 강화 데이터: MLLM 이 지시사항을 구조화된 중간 프롬프트로 재작성하거나 편집 과정을 안내하기 위해 시각적 중간 상태를 생성하는 명시적인 생각의 사슬 (CoT) 데이터가 구축되었습니다.

3. 주요 기여

1. 잠재 의미 인터페이스를 갖춘 통합 프레임워크: Bernini 는 MLLM 의 고유 ViT 임베딩 공간을 확산 생성기로의 의미 교량으로 사용하여 생성과 편집을 통합합니다. 이를 통해 사전 훈련된 이해가 생성으로 직접 전달되어 다양한 비디오 작업 전반에 걸쳐 강력한 일반화를 가능하게 합니다.
2. 확장 가능한 데이터 구축: 저자들은 비디오/이미지 쌍 사전 훈련, 고품질 전파 기반 편집 데이터, 운동 인식 데이터, 그리고 추론 강화 데이터셋을 포함하는 대규모 다중 작업 코퍼스를 산출하는 일련의 데이터 파이프라인을 설계했습니다. 이는 고품질 비디오 편집 데이터의 부족 문제를 해결합니다.
3. 세그먼트 인식 3D RoPE: 동일한 시공간 좌표를 공유하는 서로 다른 세그먼트 (소스, 참조, 목표) 의 시각적 토큰을 명확히 구분하는 새로운 위치 임베딩 메커니즘으로, 멀티모달 입력 처리에 필수적입니다.
4. 최고 수준의 성능: Bernini 는 OpenVE-Bench, OpenS2V-Eval, 그리고 새로 제안된 Bernini-Bench 를 포함한 광범위한 벤치마크에서 최상위 결과를 달성했습니다.

4. 실험 결과

• 비디오 편집 (Bernini-Bench): Bernini 는 Kling O3 및 Wan2.7 과 같은 강력한 베이스라인을 능가합니다. Bernini-V2V 벤치마크에서 전체 점수 (OS) 가 3.49 (Wan2.7 의 3.30 대비) 를 기록했으며, 경쟁사보다 비편집 영역을 더 잘 보존하여 우수한 비디오 일관성 (VC) 을 입증했습니다. 인간 양측 평가에서 Bernini 는 일관성과 지시사항 준수 측면에서 상당한 우위를 보였습니다.
• 공개 벤치마크:
  • OpenVE-Bench: Bernini 는 전체 점수 4.04 를 기록하여 이전 최고 성능 (VINO 의 3.18) 을 크게 능가했습니다.
  • EditVerse: 최고 편집 품질 점수 (8.02) 와 텍스트 정렬을 달성했습니다.
  • FiVE: 구조 보존, 배경 보존, 편집 정확도에서 최첨단 성능을 달성했습니다.
• 비디오 생성:
  • 텍스트 - 비디오 (VBench): Bernini 는 기반 모델 (Wan2.2-A14B) 의 기본 품질을 유지하여 전체 점수 84.64 를 기록했습니다 (기반 모델의 84.79 대비). 이는 통합 설계가 생성 품질을 저하시키지 않음을 증명합니다.
  • 주체 - 비디오 (OpenS2V-Eval): Bernini 는 모든 경쟁사 중 최고 전체 점수 (62.94) 를 달성했습니다. 특히 FaceSim 점수 78.20 을 기록하여 다음 최고 베이스라인 (Kling O3 의 57.20) 을 20 점 이상 상회하며 우수한 얼굴 정체성 보존 능력을 입증했습니다.
• 절대 실험: 실험은 ViT 의미 인터페이스, MLLM 계획자, 그리고 SA-3D RoPE 의 필요성을 확인했습니다. SA-3D RoPE 를 제거하면 참조 누출 아티팩트가 발생하며, 계획자를 제거하면 지시사항 준수 능력이 저하됩니다.

5. 중요성 및 주장

이 논문은 Bernini 가 멀티모달 이해와 생성을 통합하는 중요한 단계라고 주장합니다. 인터페이스를 MLLM 의 ViT 임베딩 공간에 고정함으로써, 프레임워크는 두 구성 요소가 각각의 사전 훈련 강점 (MLLM 의 추론, DiT 의 합성) 을 보존하면서 효과적으로 협력할 수 있도록 대략적으로 독립적으로 훈련될 수 있게 합니다.

저자들은 Bernini 가 인과적 추론 ("비가 오면 어떻게 될까?"), 초점 이동, 복잡한 운동 변화와 같은 까다로운 편집 작업으로 일반화할 수 있는 능력은 생각의 사슬 (CoT) 추론과 의미 계획 패러다임의 통합에서 비롯된다고 강조합니다. 이 모델은 단순히 변환을 암기하는 것이 아니라, 전이 가능하고 구성적인 지시사항 준수 능력을 학습합니다.

한계: 저자들은 Bernini 가 Qwen2.5-VL 과 Wan2.2 와 같은 기반 모델의 능력에 의해 제한된다고 겸손하게 지적합니다. 복잡한 시나리오에서는 여전히 충분히 상세한 지시사항을 제공하기 위해 외부 LLM 리라이터에 의존하므로, 가장 까다로운 편집을 위한 내재적 추론은 아직 완전히 충분하지 않습니다. 또한, 일관성 측면에서는 선도적이지만, 주체 - 비디오 생성의 원시적 시각적 품질은 Wan2.7 과 같은 최강의 폐쇄형 소스 시스템보다 약간 뒤처집니다.