1. 문제 정의 (Problem)

기존의 단일 이미지 조명 편집 (Relighting) 기술은 다음과 같은 한계를 가지고 있습니다:

• 반사 렌더링 (Inverse Rendering) 기반 방법: 기하학, 재질, 조명을 재구성한 후 다시 렌더링하는 방식은 물리적으로 타당하지만, 단일 이미지에서는 역문제 (ill-posed) 가 심하고 계산 비용이 매우 높으며, 사용자가 조명 위치를 직접 이동하거나 색상을 변경하는 것과 같은 직관적인 제어가 어렵습니다.
• 확산 모델 (Diffusion) 기반 방법:
  • LightLab과 같은 모델은 조명 온/오프나 색상은 제어할 수 있지만, **조명원의 공간적 이동 (Movement)**을 모델링하지 못합니다.
  • ObjectMover와 같은 객체 이동 모델은 비디오 사전 (Video Priors) 을 활용하지만, 조명을 단순히 객체로만 간주하여 이동 시 그림자, 반사, 감쇠 (Falloff) 등 조명과 환경 간의 물리적 상호작용을 올바르게 전파하지 못합니다.
  • 일반적인 이미지 편집 모델 (SDEdit, InstructPix2Pix 등) 은 텍스트나 마스크 기반의 의미론적 편집은 강력하지만, 개별 조명에 대한 **물리적으로 타당한 정밀한 제어 (Position, Color, Intensity)**가 부족합니다.

핵심 과제: 단일 이미지에서 조명원의 위치, 색상, 세기를 동시에 제어하면서도 그림자, 반사, 간접 조명 등 물리적으로 일관된 (Physically Coherent) 조명 변화를 생성하는 것입니다.

---

2. 방법론 (Methodology)

LightMover 는 비디오 확산 (Video Diffusion) 사전과 시퀀스 - 투 - 시퀀스 (Sequence-to-Sequence) 예측 문제를 결합하여 단일 이미지 기반 조명 조작을 수행합니다.

2.1. 비디오 확산 모델의 재사용 (Repurposing Video Diffusion)

• 사전 훈련된 이미지 - 투 - 비디오 확산 트랜스포머 (Sora 와 유사한 아키텍처) 를 활용합니다.
• 입력 조건들을 **가상 비디오 프레임 (Pseudo Video Frames)**으로 구성하여 시퀀스로 입력합니다:
  1. Reference Image ($I_{ref}$): 원본 입력 이미지.
  2. Object Frame ($I_{obj}$): 조작할 조명 객체 (크롭 및 리사이즈).
  3. Movement Map ($I_{move}$): 조명 이동 공간 제어 신호 (출발지 및 도착지 바운딩 박스를 RGB 채널로 인코딩).
  4. Color Control ($I_{color}$): 원하는 조명 색조 또는 색온도.
  5. Intensity Control ($I_{intensity}$): 노출 값 (Stops) 으로 표현된 조명 세기 변화.
  6. Output Frame: 노이즈가 제거될 타겟 프레임.

2.2. 멀티-시그널 위치 인코딩 (Multi-Signal Positional Encoding, MSPE)

• 확산 트랜스포머가 각 입력 프레임의 공간적 의미와 제어 시맨틱을 정확히 이해하도록 4 가지 직교 위치 서브스페이스를 통합합니다:
  1. Spatial Encoding: 프레임 내 2D 좌표 (W, H) 기반.
  2. Temporal Encoding: 시퀀스 순서 기반.
  3. Condition-Type Encoding: 입력 조건 (참조, 객체, 이동, 색상, 세기 등) 구분.
  4. Frame-Role Encoding: 조건 입력과 예측 출력 구분.
• 이를 통해 객체 이동, 색상, 세기 제어를 분리하면서도 상호 의존성을 학습할 수 있습니다.

2.3. 적응형 토큰 가지치기 (Adaptive Token Pruning)

• 제어 신호를 추가하면 시퀀스 길이가 길어져 계산 효율이 떨어지는 문제를 해결합니다.
• 공간적 인식 가지치기: 이동 맵과 같이 공간 정보가 있는 신호는 객체 크기에 따라 고해상도 토큰을 유지하거나 다운샘플링합니다.
• 학습 가능한 다운샘플링: 색상 및 세기와 같은 비공간적 (Non-spatial) 속성은 학습 가능한 압축 비율을 적용하여 토큰 수를 줄입니다.
• 효과: 제어 시퀀스 길이를 41% 단축하면서도 편집 충실도를 유지합니다.

2.4. 데이터 생성 파이프라인

• 합성 데이터: Blender 를 사용하여 25 개의 실내 환경과 100 개의 조명 자산을 활용, 조명 위치, 색상, 세기를 다양하게 변화시킨 32,000 개의 이미지 쌍을 생성합니다. 물리적으로 분리된 렌더링 (Ambient + Direct Light) 을 통해 조명 효과를 정밀하게 제어합니다.
• 실제 데이터: 모바일 기기로 촬영한 조명 이동, 제거, 삽입이 포함된 360 장의 고해상도 사진 쌍을 수집합니다.

---

3. 주요 기여 (Key Contributions)

1. 통합 확산 기반 프레임워크: 조명 제어를 시퀀스 - 투 - 시퀀스 작업으로 공식화하여, 조명 위치, 색상, 세기를 정밀하게 조작하고 그림자/반사 등 물리적 상호작용을 생성하는 최초의 모델 중 하나입니다.
2. 적응형 토큰 가지치기 메커니즘: 비공간적 속성을 효율적으로 인코딩하여 계산 비용을 줄이면서도 공간적 정밀도를 유지하는 새로운 전략을 제안했습니다.
3. 확장 가능한 데이터 생성 파이프라인: 물리적으로 정확한 렌더링과 멀티 태스크 학습 전략 (조명 이동, 제거, 삽입, 색상/세기 변경 동시 학습) 을 통해 현실적이고 제어 가능한 조명 조작을 가능하게 했습니다.

---

4. 실험 결과 (Results)

LightMover 는 LightMove-A(실제 데이터) 와 LightMove-B(합성 데이터) 벤치마크에서 기존 SOTA 모델들과 비교 평가되었습니다.

• 정량적 평가 (Quantitative):
  • Light Movement: PSNR, DINO, CLIP 점수에서 Qwen-Image, Gemini-2.5-Flash-Image, ObjectMover 등 모든 베이스라인을 압도적으로 상회했습니다. (예: PSNR 20.38 vs ObjectMover 19.49)
  • Color/Intensity Control: 색상 및 세기 변경, 그리고 이들의 결합 작업에서도 일관된 높은 성능을 보였습니다.
  • General Object Movement: 조명에 국한되지 않고 일반 객체 이동/삽입/제거 작업에서도 ObjectMover 와 경쟁하거나 더 나은 성능을 보였습니다.
• 정성적 평가 (Qualitative):
  • 조명 이동 시 그림자의 방향, 부드러움 (Penumbra), 반사 (Reflections), 그리고 재질별 반응 (Diffuse/Specular) 이 물리적으로 일관되게 생성됨을 확인했습니다.
  • 텍스트 기반 모델들은 종종 조명 이동 시 배경이 왜곡되거나 그림자가 잘못 생성되는 반면, LightMover 는 글로벌 조명 균형을 유지했습니다.
• Ablation Study:
  • 적응형 가지치기, 프레임 기반 조건부 입력, 물리적으로 분리된 렌더링 데이터 증강이 모두 성능 향상에 기여함을 입증했습니다.

---

5. 의의 및 결론 (Significance)

• 2D 생성 모델과 3D 물리 렌더링의 간극 해소: LightMover 는 고비용의 3D 역렌더링 없이도, 학습된 비디오 확산 모델을 통해 **물리적으로 일관된 조명 수송 (Light Transport)**을 근사할 수 있음을 증명했습니다.
• 2.5D 학습 패러다임: 단일 이미지에서 공간적 (이동) 과 외관적 (색상, 세기) 제어를 통합하여, 조명과 환경 간의 인과적 관계를 이해하는 능력을 보여줍니다.
• 응용 가능성: 이 접근법은 확장 가능하고 물리적으로 인지 가능한 이미지 편집을 위한 새로운 방향을 제시하며, 향후 2D 및 3D 생성 프레임워크에 통합된 조명 제어 기술의 기반이 될 것으로 기대됩니다.

결론적으로, LightMover 는 단일 이미지에서 조명원을 이동시키고 그 속성을 변경할 때 발생하는 복잡한 그림자, 반사, 간접 조명 효과를 물리적으로 타당하게 생성하는 획기적인 프레임워크입니다.