기술 요약: PIXLRelight

문제 정의

단일 이미지 재조명은 사용자의 지정한 목표 조명 조건에 맞춰 사진의 조명을 수정하는 것을 목표로 합니다. 물리 기반 렌더링 (PBR) 엔진 (예: Blender, Unreal Engine) 은 조명 유형, 위치, 색상, 강도에 대한 정밀한 제어를 제공하지만, 이러한 제어를 "야외 (in-the-wild)" 사진에 적용하는 것은 단일 이미지로부터 기하학, 재질, 빛 전달을 복원하는 데 근본적인 어려움이 있기 때문에 본질적으로 어렵습니다.

기존 접근법은 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

1. 제한된 제어: HDR 환경 맵, 텍스트, 또는 참조 이미지에 조건부인 방법들은 실내 장면에서 흔히 발생하는 공간적으로 국소화된 다중 소스 조명을 표현하는 데 어려움을 겪습니다.
2. 오류 누적: G-버퍼를 추정하고 이를 다시 렌더링하는 역방향 - 순방향 파이프라인은 투명도, 피하 산란 (subsurface scattering) 등 필요한 단서들을 인코딩하지 못해 단계 간에 오류가 누적되는 경우가 많습니다.
3. 계산 비용: PBR 과 신경 렌더링을 결합한 접근법 (예: Careaga 와 Aksoy [5]) 은 종종 3D 조명 환경에 적합하도록 이미지별 미분 가능 렌더링 최적화가 필요하여, 훈련 데이터의 다양성과 추론 속도를 제한합니다.

방법론

저자들은 물리 기반 렌더링의 제어 가능성과 학습된 이미지 합성을 연결하는 공유 고유 조건부 (intrinsic conditioning) 인터페이스를 통해, 순방향 트랜스포머 기반인 PIXLRelight를 제안합니다. 핵심 통찰은 목표 조명이 "무엇"이어야 하는지와 실제 사진에 "어떻게" 적용되는지를 분리하는 것입니다.

1. 고유 조건부 인터페이스

이 방법은 이미지를 $I$로 표현하는 고유 이미지 형성 모델을 사용하며, 다음과 같이 분해됩니다:
$$I = A \odot S + R$$
여기서 $A$는 확산 반사율 (diffuse albedo), $S$는 확산 음영 (diffuse shading), $R$은 비확산 잔차 (specular highlights, 투명도 등) 입니다.

목표 조명 조건은 RGB 이미지로 표현되는 것이 아니라, 목표 고유 맵의 채널별 연결 (concatenation) 인 $C_T = [A_T; S_T; R_T]$로 표현됩니다. 이 인터페이스는 훈련과 추론 모두에서 일관됩니다:

• 훈련: $C_T$는 고정된 고유 분해 모델 (Marigold-IID-Lighting [20]) 을 사용하여 실제, 쌍을 이루는 다중 조명 사진에서 추출됩니다.
• 추론: $C_T$는 사용자 지정 PBR 조명 하에서 입력 장면의 거친 3D 재구성을 경로 추적 (path-tracing) 하여 생성됩니다. 중요한 점은 모델이 렌더링된 RGB 이미지를 절대 보지 않으며, 원하는 조명을 위한 정밀한 단서를 전달하면서 underlying 3D 재구성의 결함을 흡수하는 고유 버퍼만 본다는 것입니다.

2. 아키텍처

PIXLRelight 는 밀집 예측을 위해 설계된 순방향 트랜스포머입니다:

• 비대칭 인코더: 고주파 세부 사항이 우세한 소스 이미지 ($I_S$) 는 비전 트랜스포머 (ViT) 를 통해 토큰화됩니다. 매끄럽고 저주파 구조가 우세한 고유 스택 ($C_T$) 은 ConvNeXt 를 통해 토큰화됩니다.
• 퓨전: 소스 및 조건부 토큰은 공유 트랜스포머 트렁크 (trunk) 에 들어가기 전에 작은 MLP 를 통해 공간 위치별로 퓨전됩니다.
• 변조 헤드: 목표 RGB 이미지를 직접 회귀하는 대신, 네트워크는 소스 이미지의 픽셀별 아핀 변조 (affine modulation) 를 예측합니다. 출력은 $\hat{I}_T = \text{clip}((1 + g) \odot I_S + b, 0, 1)$로 계산되며, 여기서 $g$(이득) 와 $b$(편차) 는 학습된 맵입니다. 네트워크는 항등 출력 ($g=0, b=0$) 으로 초기화되어 잔류 조명 변환만 학습합니다. 이는 소스의 사진적 세부 사항을 구조적으로 보존합니다.

3. 훈련 및 추론 전략

• 훈련: 모델은 광도 및 지각 손실을 사용하여 쌍을 이루는 다중 조명 데이터셋 (MIIW, BigTime, VIDIT) 에서 엔드 - 투 - 엔드로 훈련됩니다. 역방향 - 순방향 렌더링 파이프라인이나 이미지별 최적화가 필요하지 않습니다. 추론 시간 아티팩트를 시뮬레이션하기 위해, 훈련 파이프라인은 고유 조건부 $C_T$에 확률적 손상 증강 (stochastic corruption augmentations) 을 적용합니다.
• 추론:
  1. 소스 이미지에서 측정 깊이 (Depth Anything 3) 와 재질 (Marigold-IID-Appearance) 을 추정합니다.
  2. 텍스처가 있는 메쉬를 구성하고 Blender 로 가져옵니다.
  3. 임의의 PBR 조명을 사용하여 원하는 조명을 작성합니다.
  4. Cycles 에서 장면을 렌더링하여 목표 고유 버퍼 ($A_T, S_T, R_T$) 를 추출합니다.
  5. 소스 이미지와 고유 버퍼를 PIXLRelight 에 입력하여 단일 순방향 통과로 재조명된 이미지를 생성합니다.

주요 기여

1. 고유 조건부 인터페이스: 실제 사진과 PBR 렌더링 사이의 가교 역할을 하는 타겟 외관 분해 (반사율, 음영, 잔차) 를 사용하는 통합 조건부 메커니즘.
2. 직접 훈련 전략: 역방향 - 순방향 렌더링 파이프라인이나 이미지별 최적화가 필요 없는 쌍을 이루는 다중 조명 사진에 대한 엔드 - 투 - 엔드 훈련 접근법.
3. PIXLRelight 모델: 0.1 초 미만의 추론 시간으로 최첨단 재조명 품질을 달성하는 순방향 트랜스포머로, 대화형 조명 작성을 가능하게 함.

결과

정량적 성능

MIT Multi-Illumination Images in the Wild (MIIW) 테스트 분할에서 평가된 PIXLRelight 는 기존 베이스라인 (DiffusionRenderer, UniRelight, RGBX, Ouroboros, V-RGBX) 을 크게 능가합니다:

• PSNR: 29.18 dB (다음으로 좋은 Ouroboros 의 19.38 dB 대비).
• SSIM: 0.893 (0.763 대비).
• LPIPS: 0.195 (0.438 대비).
• 속도: 이미지당 0.09 초로, 모든 베이스라인보다 최소 한 자릿수 이상 빠릅니다 (다음으로 빠른 것은 0.62 초).

정성적 성능

• 제어 가능성: 경로 추적된 사용자 작성 조명 (Blender) 을 사용한 실험에서, PIXLRelight 는 소스 이미지의 사진적 세부 사항을 보존하면서 측면 조명 그림자, 따뜻한 실내 광선, 집중된 스포트라이트와 같은 복잡한 조명 효과를 성공적으로 전달합니다.
• 강건성: 소스에서 벗어나거나 근거리 소스를 표현하지 못하는 베이스라인과 달리, PIXLRelight 는 정체성 충실도를 유지합니다. 소스 RGB 와 목표 고유값이 별도의 브랜치를 통해 처리되므로, 단일 이미지 3D 재구성에 내재된 거친 기하학 및 재질 오류에 대해 강건합니다.

중요성 및 주장

이 논문은 PIXLRelight 가 컴퓨터 그래픽스의 물리 조명 제어를 야외 사진에 성공적으로 가져왔다고 주장합니다. 목표 조명 사양과 그 적용을 분리함으로써, 이 방법은 이미지별 최적화의 계산 오버헤드 없이 임의의 PBR 스타일 조명 제어를 가능하게 합니다. 저자들은 이 접근법이 0.1 초 미만의 실행 속도로 최첨단 품질을 달성하여 실제 사진에 대한 대화형 조명 작성을 실현 가능하게 한다고 강조합니다. 이 방법은 고유 분해가 실제 및 합성 도메인 간의 충분한 가교를 제공하여 모델이 재구성 아티팩트를 흡수하면서도 조명 단서를 정확하게 전달할 수 있다는 가정에 기반합니다.