💻 computer science

Consistent Feature Transport for Image Relighting

이 논문은 이미지 재조명을 조명 특징 전송 문제로 재정의하여 소스 이미지와 타겟 이미지 사이의 일관된 특징 변환을 명시적으로 강제함으로써, 기존의 확산 기반 방법들과 비교하여 우수한 조명 제어 및 콘텐츠 보존을 달성하는 rectified flow 기반의 훈련 원칙인 Consistent Feature Transport (CFT)를 소개한다.

원저자: Bohan Zhang, Huanwei Liang, Yuhan He, Hongteng Xu, Quxiao Chao, Luoqi Liu, Dixin Luo, Ting Liu

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bohan Zhang, Huanwei Liang, Yuhan He, Hongteng Xu, Quxiao Chao, Luoqi Liu, Dixin Luo, Ting Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 어떤 사진의 조명이라도 바꿀 수 있는 마법 지팡이를 가진 디지털 아티스트라고 상상해 보세요. 당신은 우울하고 비 내리는 거리 풍경을 화창한 골든 아워의 걸작으로 바꾸거나, 인물 사진의 거친 사무실 형광등 조명을 부드럽고 낭만적인 노을빛으로 바꾸고 싶습니다. 하지만 여기 함정이 있습니다. 당신은 사람의 얼굴이나 옷, 혹은 건물의 형태를 바꾸고 싶지 않습니다. 오직 빛만을 옮기고 싶을 뿐입니다. 이것이 바로 '이미지 리라이팅(image relighting)'이라는 도전 과제입니다. 컴퓨터 과학, 특히 생성형 AI라는 분야에서 연구자들은 '디퓨전 모델(diffusion models)'을 사용합니다. 디퓨전 모델은 마치 지저ка한 정적 노이즈 구름으로부터 시작해 이를 점차 선명한 그림으로 다듬어 나가는 법을 배우는, 믿을 수 없을 정도로 똑똑한 화가와 같습니다. 이 AI 화가들은 매우 놀랍지만, 단지 빛을 바꾸는 작업만을 요청받았을 때 때때로 어려움을 겪기도 합니다. 그들은 실수로 사람의 머리카락 색을 바꾸거나, 얼굴을 왜곡하거나, 그림자가 마치 다른 행성에 속한 것처럼 보이게 만들 수도 있습니다. 큰 질문은 이것입니다. 어떻게 하면 다른 모든 것을 망가뜨리지 않고 AI가 빛을 옮기도록 가르칠 수 있을까요?

이 논문은 바로 그 문제를 해결하기 위해 **일관된 특징 전송(Consistent Feature Transport, CFT)**이라는 새로운 기술을 소개합니다. 베이징 공과대학교, 메이투(Meitu Inc.), 그리고 인민대학교의 연구진으로 구성된 저자들은 기존 방식들이 빛을 어떻게 바꿀지 추측하려고 시도했기 때문에 일관성이 없거나 지저분한 결과를 초래한다는 점을 깨달았습니다. 대신, 그들은 AI에게 원본 사진과 새로 조명이 바뀐 사진 사이의 특정한 '춤'을 가르치기로 했습니다. 그들은 리라이팅을 단순히 이미지 위에 덧칠하는 것이 아니라, 정밀한 '특징 전송(feature transport)' 문제로 공식화했습니다. 두 개의 동일한 찰흙 조각상이 있는데, 하나는 빨간 전등 아래 있고 다른 하나는 파란 전등 아래 있다고 상상해 보세요. 목표는 AI에게 찰흙 자체를 찌그러뜨리지 않고 첫 번째 조각상의 '빨간 빛' 특징을 두 번째 조각상으로 미끄러지듯 옮기는 법을 가르치는 것입니다.

이를 위해 연구진은 네온사인 도시 불빛부터 부드러운 아침 햇살에 이르기까지, 까다롭고 다양하게 설계된 34,695쌍의 인물 이미지 쌍으로 구성된 거대한 새로운 데이터셋을 구축했습니다. 그런 다음 그들은 특별한 3단계 규칙집을 사용하여 AI를 훈련시켰습니다. 첫째, 노이즈로부터 이미지를 생성하는 법을 가르쳤습니다(표준적인 방식). 둘째, 원본 이미지를 완벽하게 재구성할 수 있도록 했습니다(그래서 인물의 생김새를 잊어버리지 않도록 함). 하지만 핵심 비결은 세 번째 규칙이었습니다. 그들은 AI가 동일한 조명 변화를 공유하지만 서로 다른 사람들을 특징으로 하는 두 사진 사이의 '전송'을 학습하도록 강제했습니다. 이는 마치 AI에게 빨간 조명 아래 있는 사람의 사진을 보여준 뒤, 같은 빨간 조명 아래에 있는 다른 사람의 사진을 보여주며 이렇게 말하는 것과 같습니다. "첫 번째 사람으로부터 두 번째 사람으로 빛이 어떻게 이동했는지 파악하고, 그 정확한 움직임을 이 새로운 사진에도 적용해 봐." 이렇게 함으로써, AI는 '빛을 옮기는 것'이 '얼굴을 바꾸는 것'과는 별개인, 구체적이고 일관된 동작임을 배우게 됩니다.

결과는 매우 유망합니다. 그들의 새로운 방식을 다른 최상급 AI 도구들과 테스트했을 때, 그들의 방식은 일관되게 더 나은 결과를 만들어냈습니다. 수치상으로, 그들의 최고 모델은 구조적 유사도 지수(SSIM) 0.9202와 피크 신호 대 잡음비(PSNR) 23.5105를 달ographic 성취했는데, 이는 대부분의 경쟁 모델보다 높은 점수로, 얼굴이 원본에 더 충실하며 조명이 더 사실적으로 보였음을 의미합니다. 또한 그들은 이 기술이 단지 조명에만 국ert이 아니라는 것을 발견했습니다. "스타일 전이(style transfer, 사진을 그림처럼 바꾸는 것)"에 적용했을 때도 잘 작동했으며, 이는 이 '특징 전송' 아이디어가 많은 유형의 이미지 편집에 강력한 도구가 될 수 있음을 시사합니다. 저자들은 특정 특징(예: 빛)을 옮기는 동안 다른 특징(예: 정체성)을 고정하는 법을 명시적으로 가르침으로써, 디지털 편집을 훨씬 더 신뢰할 수 있고 기괴한 오류가 적게 발생하도록 만들 수 있다고 제안합니다.

기술 요약: 일관된 특징 전송을 이용한 이미지 재조명 (Consistent Feature Transport for Image Relighting)

문제 정의

이미지 재조명(Image relighting)은 이미지의 조명 조건(예: 방향, 강도, 색상 및 빛-물질 상호작용)을 수정하면서, 정체성(identity), 기하학적 구조, 재질의 외관과 같은 비조명 콘텐츠를 엄격하게 보존하는 것을 목표로 합니다. 본 논문은 기존의 확산 기반(diffusion-based) 접근 방식에서 세 가지 주요 한계점을 식별했습니다:

제어 기반 방식(Control-based methods): 신호(예: 환경 맵)를 통해 제어 가능성을 제공하지만, 복잡한 조명을 위해 이러한 신호를 정확하고 완전하게 지정하기 어렵다는 점에 크게 의존합니다.
분해 기반 방식(Decomposition-based methods): 고유 분해(intrinsic decomposition)를 통해 조명 요소를 분리하려고 시도하지만, 종종 분해의 부정확함으로 인해 일관되지 않은 셰이딩이나 색상 변화와 같은 오류가 발생합니다.
직접적인 이미지 대 이미지 변환(Direct Image-to-Image Translation): 이를 인스턴스 수준의 변환 문제로 취급합니다. 구조는 보존하지만, 조명 특유의 특징 변위(feature displacement)를 모델링하는 명시적인 메커니즘이 부족하여 정밀도와 제어력이 제한되는 경우가 많습니다.

또한, 이 분야는 특히 복잡한 실제 조명 효과를 특징으로 하는 대규모의 다양하고 풍부한 초상화 재조명 데이터셋의 부재로 인해 제약을 받고 있습니다.

방법론: 일관된 특징 전송 (Consistent Feature Transport, CFT)

저자들은 이미지 재조명을 조명 특징 전송(illumination feature transport) 문제로 재정의합니다. 이들은 Rectified Flow를 기반으로 구축된 **일관된 특징 전송(CFT)**을 도입하여, 소스 이미지와 타겟 이미지 분포 사이의 조명 일관성을 갖는 전송을 명시적으로 강제합니다.

핵심 프레임워크

이 방법은 노이즈( $z_0$ ), 소스 이미지( $x_{src}$ ), 그리고 타겟 이미지( $x_{tgt}$ ) 사이의 관계를 모델링합니다. 학습 목표는 세 가지 구성 요소로 이루어집니다:

노이즈-타겟 생성 ( $\mathcal{L}_1$ ): 모델은 소스 이미지와 조명 설명( $c_{tgt}$ )이 주어졌을 때, 사전 분포(prior distribution)로부터 타겟 재조명 이미지 분포로 샘플을 전송하는 법을 학습합니다.
노이즈-소스 재구성 ( $\mathcal{L}_2$ ): 모델은 중립적인 조건( $c_{src}$ ) 하에서 사전 분포로부터 소스 이미지 분포로 샘플을 전송하는 법을 학습합니다. 이는 콘텐츠 보존을 강화합니다.
조명 일관적 소스-타겟 전송 ( $\mathcal{L}_3$ ): 이것이 새로운 기여점입니다. $x_{src}$ $x_{sr c}$ 에서 $x_{tgt}$ $x_{t g t}$ 로 직접적인 전송을 감독하는 대신(이는 인스턴스 특유의 상관관계를 학습할 위험이 있음), 모델은 동일한 조명 변환을 공유하지만 정체성과 장면 콘텐츠는 다른 대안 이미지 쌍 $(x'_{src}, x'_{tgt})$ $(x_{sr c}^{'}, x_{t g t}^{'})$ 를 사용하여 감독됩니다.
- 모델은 평행사변형 법칙(parallelogram law)을 사용하여 소스 래턴트 공간과 타겟 래턴트 공간 사이의 직접적인 속도장(velocity field, $v_t^{direct}$ )을 예측합니다.
- 손실 함수 $\mathcal{L}_3$ 는 이 예측된 속도와 대안 쌍으로부터 유도된 실제(ground truth) 전송 사이의 차이를 최소화합니다.
- 이를 통해 모델은 특정 콘텐츠의 차이에 맞추는 것이 아니라, 일반화 가능한 조명 특징 변환을 학습하도록 강제됩니다.

최종 목적 함수는 가중 합계인 $\mathcal{L} = \mathcal{L}_1 + \mathcal{L}_2 + \alpha \cdot \mathcal{L}_3$ 입니다.

데이터셋 구축

복잡한 조명 시나리오를 지원하기 위해, 저자들은 34,695개의 이미지 쌍(학습용 34,249개, 테스트용 446개)을 포함하는 대규모 초상화 재조명 데이터셋을 구축했습니다.

소스(Source): 기존의 오픈 소스 초상화 데이터셋에서 수집되었습니다.
생성(Generation): 자연광 및 인공 조명(예: 렘브란트 조명, 틴들 현상, 네온 조명)을 아우르는 다양한 텍스트 프롬프트에 의해 유도된 사전 학습된 모델들(Nano Banana, Seedream, RoboNeo)을 사용하여 후보 재조명 이미지를 생성했습니다.
필터링(Filtering): 조명 품질, 콘텐츠 일관성 및 물리적 타당성을 필터링하기 위해 세 가지 모델(QwenVL, EditScore, GPT-4o)의 앙상블과 수동 선택이 사용되었습니다.

주요 결과

본 방법론은 SSIM, PSNR, LPIPS, FID 및 추정 이라디언스(Estimated Irradiance, EI)와 같은 지표를 사용하여 제어 기반, 분해 기반 및 직접 변환 베이스라인(IC-light, LBM, FlowEdit, Intrinsic Edit 포함)과 비교 평가되었습니다.

정량적 성능: CFT는 일관되게 최신 기술(SOTA) 방식들을 능가했습니다. 예를 들어, Flux-Kontext 백본에 적용했을 때 CFT는 SSIM 0.9202, PSNR 23.5105를 달 기록하며, 원래의 사전 학습된 모델(SSIM 0.6386) 및 다른 베이스라인들을 크게 앞질렀습니다.
정성적 개선: 시각적 결과는 분해 기반 방식에 비해 더 물리적으로 일관된 조명, 더 나은 정체성 및 기하학적 구조 보존, 그리고 적은 아티팩트(예: 색상 변화)를 보여주었습니다.
전이 학습(Transfer Learning): 구축된 데이터셋으로 CFT를 통해 학습된 모델은 보지 못한 "다중 조명 데이터셋(Multi-Illumination Dataset)"에 대해서도 잘 일반화되었으며, CFT 없이 학습된 모델보다 우수한 성능을 보였습니다. 이는 학습된 조명 특징이 견고함을 나타냅니다.
사용자 조사: 30명의 자원봉사자를 대상으로 한 조사에서, CFT 기반 방식은 조명 품질, 콘텐츠 일관성, 물리적 타당성, 이미지 미학도 전반에서 가장 높은 점수를 받았습니다.
일반화: 저자들은 CFT를 스타일 전송(Style Transfer) 작업에 적용했습니다. 결과에 따르면 CFT는 구조적 보존과 지각적 충실도(높은 SS양/PSNR, 낮은 LPIPS)를 개선했지만, 일관된 전송의 결정론적 특성으로 인해 전역적 분포 다양성은 약간 감소(높은 FID)했습니다.

의의 및 주장

본 논문의 주요 의의는 다음과 같습니다:

재조명의 재정의: 일반적인 이미지 변환이나 조건부 생성이 아닌, 명시적인 조명 특징 전송으로 패러다임을 전환했습니다. 이를 통해 모델이 조명 변화를 콘텐츠로부터 분리할 수 있게 합니다.
학습 원칙: (동일한 조명을 공유하는 대안 쌍을 사용하여 감독하는) 일관된 특징 전송 원칙의 도입은 조명 학습을 인스턴스 특유의 콘텐츠로부터 효과적으로 디커플링하여, 더 안정적이고 일관된 재조명을 가능하게 합니다.
데이터 자원: 대규모의 다양한 초상화 재조명 데이터셋 구축은 복잡한 조명 효과를 학습하기 위한 가용 자원의 결정적 공백을 해결합니다.
통합 전략: CFT가 스타일 전송으로 일반화될 수 있다는 점은, 밑바탕이 되는 구조를 보존하면서 특정 속성을 수정해야 하는 이미지 편집 작업에 대한 통합된 전략임을 시사합니다.

저자들은 CFT가 충실한 콘텐츠 보존을 달면서도 목표적이고 현실적이며 제어 가능한 조명 수정을 가능하게 하는 견고한 프레임워크를 제공한다고 결론짓습니다.