RealMaster: 렌더링된 장면을 사진처럼 사실적인 비디오로 변환 (Lifting Rendered Scenes into Photorealistic Video)

이 논문은 3D 엔진에서 생성된 합성 비디오를 사진처럼 사실적인 (photorealistic) 비디오로 변환하면서도, 원본 장면의 기하학적 구조와 역동성을 완벽하게 보존하는 새로운 방법론인 RealMaster를 제안합니다.

1. 문제 정의 (Problem)

최근 대규모 생성 모델 (Video Diffusion Models) 은 놀라운 수준의 사실적인 비디오 생성 능력을 보여주지만, 특정 장면 요구사항에 맞춰 콘텐츠를 정밀하게 제어하는 데는 한계가 있습니다. 또한 명시적인 3D 기하학 정보가 없기 때문에 프레임 간의 3D 일관성을 보장할 수 없습니다.
반면, 전통적인 3D 엔진은 장면의 모든 요소를 정밀하게 제어하고 3D 일관성을 보장하지만, 출력물은 종종 '불쾌한 골짜기 (Uncanny Valley)'에 갇혀 실제 영상처럼 보이지 않습니다.
이러한 Sim-to-Real (시뮬레이션에서 현실로) 간극을 메우기 위해서는 두 가지 상충되는 목표를 동시에 달성해야 합니다:

1. 구조적 정밀도 (Structural Precision): 입력된 합성 영상의 기하학, 모션, 역동성을 미세한 디테일까지 정확히 보존해야 함.
2. 글로벌 의미적 변환 (Global Semantic Transformation): 재질, 조명, 텍스처를 전체적으로 변환하여 진정한 사실감을 구현해야 함.
   기존의 비디오 편집 방법들은 이 두 목표를 동시에 만족시키기 어려워, 합성적인 느낌을 그대로 두거나 반대로 원본의 중요한 디테일을 과도하게 변형시키는 문제가 있었습니다.

2. 방법론 (Methodology)

RealMaster 는 두 단계로 구성된 파이프라인을 통해 문제를 해결합니다.

1 단계: 고품질 쌍 (Paired) 데이터 생성 파이프라인

훈련 데이터가 부족하다는 문제를 해결하기 위해, 렌더링된 비디오에서 직접 사실적인 대응 영상을 생성하는 파이프라인을 구축했습니다.

• 스파스 - 투 - 덴스 (Sparse-to-Dense) 전략: 전체 프레임을 직접 편집하는 대신, 시퀀스의 첫 번째와 마지막 프레임 (Keyframes) 만을 고해상도 이미지 편집 모델을 사용하여 사실적으로 변환합니다. 이를 '애너커 (Anchor)'로 사용합니다.
• 에지 기반 전파 (Edge-Based Propagation): 변환된 키프레임의 외관을 중간 프레임으로 전파하기 위해 VACE(Video Generative Model) 를 사용합니다. 이때 입력 비디오의 에지 맵 (Edge Maps) 을 조건 (Condition) 으로 주어, 생성된 영상이 원본의 구조와 모션에 정확히 정렬되도록 합니다.
• 이 과정을 통해 '렌더링된 비디오'와 '사실적인 비디오'가 쌍을 이루는 훈련 데이터를 생성합니다.

2 단계: 모델 학습 (IC-LoRA)

생성된 파이프라인의 행동을 단일 모델로 일반화하기 위해 IC-LoRA (In-Context LoRA) 를 학습합니다.

• 사전 훈련된 텍스트 - 투 - 비디오 (Text-to-Video) 확산 모델 (Wan2.2) 위에 경량 LoRA 어댑터를 학습시킵니다.
• 훈련 시, 렌더링된 입력 비디오를 '청정 참조 토큰 (clean reference tokens)'으로, 노이즈가 섞인 토큰과 함께 입력받아 사실적인 타겟으로 디노이즈 (Denoise) 하도록 최적화합니다.
• 학습의 이점: 추론 시에는 파이프라인의 제약 (시작/종료 프레임 필요, 중간에 등장하는 객체 처리 불가 등) 을 제거합니다. 학습된 모델은 중간에 등장하는 객체나 캐릭터의 정체성도 보존하면서 직접 Sim-to-Real 변환을 수행할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. Sim-to-Real 변환을 위한 새로운 프레임워크: 구조적 정밀도와 글로벌 사실감이라는 상충되는 목표를 동시에 달성하는 RealMaster 를 제안했습니다.
2. 애너커 기반 전파 전략: 키프레임만 편집하고 에지 맵 조건을 통해 전체 시퀀스를 전파하는 데이터 생성 방식을 도입하여 고품질 쌍 데이터를 효율적으로 구축했습니다.
3. IC-LoRA 를 통한 일반화: 파이프라인의 제약을 넘어, 중간에 등장하는 객체를 처리하고 스트리밍 가능한 추론을 지원하는 일반화된 모델을 학습시켰습니다.
4. 강력한 실험 결과: 복잡한 GTA-V 환경에서 기존 비디오 편집 및 Sim-to-Real 베이스라인을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

GTA-V 가상 환경의 복잡한 시퀀스 (다중 상호작용 캐릭터, 고속 모션, 복잡한 조명) 를 사용하여 평가했습니다.

• 정성적 평가 (Qualitative): RealMaster 는 원본의 구조, 모션, 캐릭터 정체성을 유지하면서 재질, 조명, 디테일을 사실적으로 변환했습니다. 반면, 기존 베이스라인 (Runway-Aleph, LucyEdit, Editto) 은 색상 왜곡, 정체성 손실, 또는 과도한 변형으로 인해 원본 구조를 훼손하거나 사실감이 부족했습니다.
• 정량적 평가 (Quantitative):
  • 사실감 (Realism): GPT-4o 를 이용한 평가에서 모든 베이스라인보다 높은 점수를 기록했습니다.
  • 정체성 보존 (Identity): ArcFace 유사도 점수가 가장 높았습니다.
  • 구조 보존 (Structure): DINO 특징 거리가 가장 낮아 (가장 유사함) 구조적 일관성이 뛰어났습니다.
  • 시간적 일관성 (Temporal Consistency): 플리커링 (Flickering) 과 모션 부드러움 (Motion Smoothness) 에서 최상위 성능을 보였습니다.
• 사용자 연구: 45 명의 참가자를 대상으로 한 비교 평가에서 사실성, 충실도, 전체적인 화질 모든 항목에서 다른 방법론보다 선호도가 높았습니다.

5. 의의 및 확장성 (Significance & Applications)

• 일반화 능력: GTA-V 데이터 (SAIL-VOS) 로만 학습되었음에도 불구하고, 전혀 다른 렌더링 엔진 (CARLA) 과 시점 (1 인칭 주행) 을 가진 데이터에서도 성공적으로 적용되었습니다. 이는 모델이 특정 도메인의 시각적 특징을 암기하는 것이 아니라, '렌더링된 이미지'에서 '현실 이미지'로의 일반적인 매핑을 학습했음을 시사합니다.
• 동적 날씨 효과: 텍스트 프롬프트만 변경하여 비, 눈과 같은 동적인 날씨 효과를 합성 영상에 자연스럽게 추가할 수 있습니다. 이는 기존 3D 엔진에서 파티클 시스템 등을 복잡하게 모델링해야 했던 작업을 간소화합니다.
• 미래 전망: 실시간 스트리밍 버전 개발과 모션의 사실성 (인간 보행, 제스처 등) 을 개선하기 위한 연구 방향을 제시했습니다.

결론적으로, RealMaster 는 3D 엔진의 제어 가능성과 생성 모델의 사실성을 결합하여, 게임, 영화, 시뮬레이션 분야에서 고품질의 사실적 비디오를 생성하는 새로운 패러다임을 제시합니다.