기술 요약: HorizonRelight

문제 정의

단일 입력 비디오로부터 제어 가능한 조명 편집을 가능하게 하는 현대적 비디오 재조명(video relighting)은 비디오 확산 모델(video diffusion models)에 크게 의존합니다. 그러나 현재의 최첨단 백본(예: DiffusionRenderer, UniRelight)은 Diffusion Transformer(DiT)의 시공간적 셀프 어텐션(spatiotemporal self-attention)에 따른 높은 메모리 비용 때문에 짧고 고정된 길이의 클립으로 학습됩니다. 긴 호흡의 비디오를 처리하기 위해, 이러한 시스템들은 "청크 단위 슬라이딩 윈도우(chunked sliding-window)" 추론 전략을 채택합니다.

본 논문은 이 방식에서 발생하는 결정적인 실패 모드를 식별합니다: 바로 **청크 경계에서의 시간적 불연속성(temporal discontinuities at chunk boundaries)**입니다. 각 청크가 대체로 독립적으로 처리되기 때문에, 모델은 윈도우가 이동할 때마다 잠재적 장면 속성(intrinsic scene attributes) 및 외관 단서(appearance cues)와 같은 잠재 원인들을 매번 다시 추론해야 합니다. 이는 모델이 짧은 클립으로 학습되었으나 긴 시퀀스에 배포될 때 발생하는 학습-테스트 간의 미스매치(train-test mismatch)를 유발하며, 결과적으로 청크 경계에서 눈에 보이는 깜빡임(flickering), 외관 드리프트(appearance drift), 그리고 일관되지 않은 조명을 초래합니다. 논문에서 입증되었듯이, 동일한 타겟 조명 조건 하에서도 독립적인 청크 실행은 시각적으로 서로 다른 결과를 생성하여 장기적인 일관성을 깨뜨립니다.

방법론

HorizonRelast는 장기 호흡의 재조명을 독립적인 짧은 클립 생성의 연속이 아니라, 시간적으로 조건화된 잠재 도메인 변환(temporally conditioned latent domain translation) 문제로 재정의합니다. 이 프레임워크는 교차 청크 연속성을 강제하기 위해 두 가지 핵심 메커니즘을 도입합니다.

1. 마스크된 타겟 도메인 셀프 컨디셔닝을 통한 전파된 컨텍스트(Propagated Context via Masked Target-Domain Self-Conditioning)

저자들은 모델이 처음부터 시작하는 것이 아니라 부분적인 증거로부터 재조명된 시퀀스를 지속하는 법을 배우도록 하는 학습 및 추론 전략을 제안합니다.

• 학습: 모델은 마스크된 타겟 도메인 셀프 컨디셔닝을 사용하여 학습됩니다. 학습 과정 중 타겟 도메인의 잠재 프레임(재조명된 출력)의 일부가 마스킹됩니다. 모델은 소스 비디오(입력)와 마스킹되지 않은 타겟 도메인의 일부에 조건화되어 누락된 프레임을 예측하는 법을 배웁니다. 이를 통해 모델은 부분적인 시간적 컨텍스트를 바탕으로 시퀀스를 지속하는 법을 학습합니다.
• 추론 (체인 생성): 추론 시, 모델은 비디오 청크를 순차적으로 처리합니다. 청크 $k$의 경우, 청크 $k-1$의 예측으로부터 얻은 **종료 잠재 프레임(ending latent frames)**이 전파되어 청크 $k$ 시작 부분의 "관측된" 앵커로 사용됩니다. 이는 생성 과정을 효과적으로 체이닝(chaining)하여, 재조명된 상태가 재추론되는 대신 지속되도록 함으로써 경계 이음매(boundary seams)를 최소화합니다.

2. 웜 스타트 프롬프팅(Warm-Start Prompting)

이전의 전파된 컨텍스트가 존재하지 않는 첫 번째 청크를 초기화하기 위해, 저자들은 웜 스타트 프롬프팅을 도입합니다.

• 모델은 "콜드 스타트"(무작위 노이즈 또는 순수 소스 조건부 생성) 대신, **재조명 프롬프트 앵커(relit prompt anchor)**를 사용하여 첫 번째 청크를 초기화합니다.
• 이 앵커는 입력 장면을 타겟 조명 아래 묘사하는 외부 제어 가능 생성 모델(예: Nano Banana Pro, ChatGPT)에 의해 생성된 단일 이미지 또는 짧은 비디오가 될 수 있습니다.
• 이 앵커는 전체 시퀀스에 대한 초기 타겟 도메인 상태(외관 및 조명)를 설정합니다. 프레임워크는 이미지 기반, 비디오 기반, 콜드 스타트를 포함한 유연한 초기화 모드를 지원하지만, 잘 정렬된 앵커를 사용하는 이미지 기반 프롬프팅이 가장 안정적인 결과를 제공합니다.

아키텍처

시스템은 DiffusionRenderer에서 변형된 2단계 파이프라인을 따릅니다:

1. 역 단계 (Inverse Stage): 입력 비디오로부터 편집 가능한 장면 속성(G-버퍼: basecolor, normal, depth, roughness, metallic)을 예측합니다.
2. 순방향 단계 (Forward Stage): 예측된 G-버퍼와 타겟 조명 조건(HDRI)에 조건화되어 재조명된 RGB 비디오를 합성합니다.
   두 단계 모두 제안된 마스크된 셀프 컨디셔닝과 컨텍스트 전파를 활용합니다. 특히 순방향 단계는 이전 청크에서 전파된 재조명 잠재 값을 사용하여 현재 청크의 생성을 조건화합니다.

주요 기여

• 장기 호흡 재조명의 재정의: 본 논문은 독립적인 청크 처리에서 체이닝된 시간적 조건부 잠재 변환 프로세스로 패러다임을 전환합니다.
• 마스크된 타겟 도메인 셀프 컨디셔닝: 슬라이딩 윈도우 추론에서의 학습-테스트 미스매치를 직접적으로 해결하여, 모델이 부분적으로 전파된 컨텍스트로부터 재조명을 지속하도록 학습시키는 새로운 학습 목적 함수를 제공합니다.
• 웜 스타트 프롬프팅: 타겟 도메인 상태를 설정하기 위해 외부 생성 모델을 사용하는 원칙적인 초기화 방법을 도입하여, 프롬프트 기반 재조명 및 스타일 전이를 위한 일반적인 인터페이스를 제공합니다.
• 통합 프레임워크: 이 접근 방식은 일관된 시간적 전파를 갖는 역 분해(G-버퍼 예측)와 순방향 재조명을 모두 지원합니다.

결과

저자들은 합성 데이터셋(Objaverse에서 절차적으로 렌더링됨)과 실제 유튜브 크리에이티브 커먼즈 비디오 모두에서 HorizonRelight를 평가합니다.

• 시간적 일관성: 정성적 및 정량적 결과는 시간적 일관성의 현저한 개선을 보여줍니다.
  • 경계 아티팩트: 이 방법은 청크 경계 아티팩트를 크게 줄입니다. 인접한 청크 간의 차이 맵(difference maps)을 보면, 변화가 실제 장면 역학(움직임) 주변에만 집중되는 반면, 베이스라인(DiffusionRenderer, UniRelight)은 정적인 영역에서도 광범위하고 원치 않는 외관 변화를 보입니다.
  • 정량적 지표: 제어된 "중복-역전(duplicate-reverse)" 설정이 포함된 합성 데이터셋에서, HorizonRelight는 청크 경계에서 베이스라인보다 훨씬 낮은 평균 제곱 오차(MSE)를 달 achieves 합니다. 예를 들어, 재조명 작업에서 경계 MSE는 DiffusionRenderer의 ~0.1048에서 본 연구의 방식인 ~0.0729로 감소했습니다. 100개의 실제 유튜브 클립에 대해, 이 방법은 UniRelight 및 DiffusionRenderer에 비해 경계 MSE를 94% 이상 감소시켰습니다.
• 범용성: 프레임워크는 다양한 초기화 모드(콜드 스타트, 비디오 프롬프팅, 이미지 프롬프팅)를 지원합니다. 콜드 스타트도 가능하지만, 고품질 앵커를 사용하는 웜 스타트 프롬프팅이 스펙큘러 디테일과 조명 단서를 보존하는 데 훨씬 더 효과적입니다.
• 확장된 응용 분야: 웜 스타트 메커니즘은 단순히 재조명뿐만 아니라, 프롬프트된 외관을 시퀀스 전체에 전파함으로써 장기 호흡의 스타일 전이 및 콘텐츠 편집을 지원함을 보여줍니다.

한계 및 주장

논문은 다음과 같은 한계점에 대해 겸허한 입장을 유지합니다:

• 미세 디테일 저하: 장기 호흡에 대해 재조명 일관성은 유지되지만, 매우 긴 체인(예: 약 300 프레임 또는 5개 청크 이후)에서는 미세한 장면 디테일이 점진적으로 저하된다고 언급합니다. 이는 전파 메커니즘 자체의 실패라기보다 학습된 외관 사전 지식(appearance prior) 및 데이터 커버리지의 한계로 기인합니다.
• 범위: 저자들은 이 방법이 무제한적인 미래 생성보다는 실질적인 롱 테이크 재조명(일반적인 영화 샷인 5~25초)을 위해 설계되었음을 명시합니다. 이 체인은 실제 워크플로우에서 샷 변경 시 리셋되도록 의도되었습니다.
• 자기회귀적 생성(Autoregressive Generation)이 아님: 논문은 자가 회귀적 비디오 생성과 본 방식의 차이점을 명확히 합니다. HorizonRelight는 생성된 콘텐츠를 계속해서 만들어내는 것이 아니라, 소스 비디오와 G-버퍼를 사용하여 각 청크를 다시 제어하며, 이전의 재조명 출력을 오직 외관을 안정화하기 위한 경계 색상 큐(boundary color cue)로만 사용합니다.

의의

HorizonRelight는 비디오 확산 모델을 장기 호흡 작업에 적용할 때 발생하는 근본적인 병목 현상인 계산 제약(고정 윈도우)과 시간적 일관성 사이의 트레이드오프 문제를 해결합니다. 장기 호흡의 재조명을 학습된 지속성을 가진 도메인 변환 문제로 다룸으로써, 이 연구는 백본을 긴 시퀀스로 재학습할 필요 없이 단일 입력으로부터 시간적으로 일관되고 고품질인 재조명 비디오를 생성할 수 있게 합니다. 웜 스타트 프롬프팅의 도입은 제어 가능한 생성 모델과 비디오 편집 파이프라인 사이의 간극을 메워, 프롬프트 기반의 시각 효과를 위한 유연한 인터페이스를 제공합니다.