💻 computer science

LumiTokens: 3D Relighting via Token-Space Lighting Transformation

LumiTokens는 명시적인 재질 분해와 렌더링 방정식을 우회하여, 압축된 잠재 장면 토큰을 셀프 어텐션 기반 에디터를 통해 재조명된 이미지로 직접 변환함으로써 다양한 광원에 대해 통합적이고 점진적이며 구성 가능한 조명 편집을 가능하게 하는 새로운 3D 재조명 프레임워크이다.

원저자: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

영화 스튜디오에 있는 캐릭터나 실험실에 있는 제품을 촬영한 뒤, 이를 완전히 다른 세계로 옮기고 싶다고 상상해 보십시오. 그 캐릭터가 노을의 따스한 빛 아래 서 있기를 원하거나, 그 제품이 아침 창가 햇살이 비치는 주방 조리대 위에 놓여 있기를 원할 수도 있습니다. 수십 년 동안 컴퓨터 그래픽스는 이 과제를 해결하는 데 어려움을 겪었습니다. 새로운 조명 아래에서 3D 물체가 실제처럼 보이게 하려면, 전통적인 방식으로는 물체를 역설계하는 고된 과정이 필요했습니다. 아티스트와 알고리즘은 이미지의 층을 하나씩 벗겨내며 물체의 형태, 질감, 그리고 표면이 얼마나 반짝이거나 거친지를 파악해야 했습니다. 이 복잡한 퍼즐을 풀고 나서야 비로소 새로운 조명 아래에서 이미지를 재조립할 수 있었습니다. 이러한 접근 방식은 느리고, 제대로 작동하기 위해 수백 장의 사진이 필요할 때가 많았으며, 컴퓨터가 재료의 물리적 특성을 얼마나 잘 추측하느냐에 따라 한계가 있었습니다.

최신 기술의 한 물결은 인공지능을 사용하여 마치 화가가 장면을 즉흥적으로 그려내듯 새로운 이미지가 어떻게 보여야 할지를 단순히 추측함으로써 이 문제를 해결하려고 시도해 왔습니다. 이러한 방식은 아름다운 결과를 만들어낼 수는 있지만, 다양한 각도에서 물체를 바라볼 때 일관성을 유지하는 데 어려움을 겪는 경우가 많습니다. 카메라를 물체 주변으로 움직이면, 한쪽 면에서는 조명이 적절해 보일지 몰라도 다른 쪽에서는 어색해 보일 수 있으며, 이는 견고한 3D 세계의 환상을 깨뜨립니다. 더욱이, 조명을 바꾸는 것은 대개 전체 페인팅 과정을 처음부터 다시 시작하는 것을 의미했습니다. 물체의 상태를 저장하고 단순히 램프를 추가하거나 태양의 위치를 옮하는 것만으로는 불가능했습니다.

노스이스턴 대학교(Northeastern University)와 어도비 리서치(Adobe Research)의 연구진은 우리가 이 문제를 생각하는 방식을 바꾸는 '루미토큰(LumiTokens)'이라는 새로운 접근 방식을 도입했습니다. 이들은 물체의 물리적 형태를 파악하거나 픽셀 단위로 최종 이미지를 추측하는 대신, 전체 3D 장면을 압축된 디지털 토큰의 집합으로 취급합니다. 이 토큰들을 3D 모델이나 점들의 그리드와 같은 특정 물리적 설명에 얽매이지 않으면서도, 물체의 기하학적 구조와 외형을 모두 포함하는 매우 효율적이고 압축된 요약본이라고 생각하면 됩니다. 연구진은 이 요약본을 직접 조작할 수 있다는 사실을 발견했습니다. 시스템에 새로운 광원에 대한 설명을 입력하면, 이 토큰들을 변형시켜 새로운 조명 조건을 반영하게 하고, 그 결과를 고품질의 새로운 이미지로 디코딩할 수 있습니다.

이 방법의 핵심은 '장면 토큰 에디터(Scene Token Editor)'라고 불리는 도구입니다. 이 구성 요소는 장면의 압축된 요약본과 새로운 조명에 대한 설명을 가져와, 검색 엔진이 관련 아이디어를 연결하는 것과 유사한 메커니즘을 사용하여 이 둘을 혼합합니다. 시스템은 물체의 정확한 3D 좌표나 빛이 표면에 반사되는 물리 법칙을 알 필요가 없습니다. 대신, 시스템은 토큰을 조정하는 법을 학습하여, 토큰이 다시 이미지로 변환될 때 그림자가 올바르게 떨어지고, 하이라이트가 적절한 위치에서 빛나며, 반사가 자연스럽게 나타나도록 합니다. 결정적으로, 이 과정은 넓은 하늘, 단일 전구, 또는 커다란 발광 패널 등 다양한 유형의 광원에 대해 작동합니다. 시스템은 이 모든 서로 다른 광원들을 공통된 빛의 광선 언어로 변환하여 균일하게 처리합니다.

이 새로운 시스템의 가장 중요한 능력 중 하나는 '점진적 편집(progressive editing)'을 허용한다는 점입니다. 시스템은 최종 이미지가 아닌 압축된 요약본을 바탕으로 작업하기 때문에, 사용자는 조명 장면을 하나씩 쌓아 올릴 수 있습니다. 기본 환경에서 시작하여 키 라이트(key light)를 추가하고, 그다음 필 라이트(fill light)를 추가하는 식으로, 각 단계마다 동일한 기초 요약본을 수정하며 진행할 수 있습니다. 시스템은 이전 단계에서 이루어진 변경 사항을 기억하므로, 사용자는 매번 새로운 요소를 추가할 때마다 처음부터 다시 시작하거나 전체 장면을 다시 계산할 필요가 없습니다. 이는 마치 요리에 재료를 하나씩 넣는 것처럼, 모든 각도에서 일관된 모습을 유지하면서 조명을 점진적으로 설계할 수 있는 유연한 워크플로우를 만들어냅니다.

연구진은 단순한 모양부터 반짝이거나 투명한 표면을 가진 복잡한 모델에 이르기까지 수천 개의 3D 물체를 대상으로 시스템을 테스트했습니다. 그들은 자신들의 방식이 기존의 가장 뛰어난 기술들만큼이나 선명하고 정확하며, 많은 경우 그보다 우수하다는 것을 발견했습니다. 최종 이미지를 추측하거나 물리학을 역설계하려는 다른 방식들과 비교했을 때, 루미토큰은 물체와 빛이 상호작용하는 방식에서 오류가 더 적었습니다. 이 시스템은 일관되지 않은 그림자나 카메라 각도에 따라 다르게 보이는 조명과 같은 흔한 실수들을 피했습니다. 또한, 단 몇 장의 사진만으로도 본 적 없는 조건 하에서 물체의 조명을 재설정하여, 물리적으로 타당해 보이는 결과를 만들어낼 수 있었습니다.

이 연구는 영화, 비디오 게임, 가상 현실을 위한 3D 자산을 만드는 새로운 길을 제시합니다. 물리적 재료를 명시적으로 정의하거나 무거운 물리 시뮬레이션을 실행해야 하는 필요성에서 벗어남으로써, 연구진은 조명이 장면의 디지털 정수를 직접 변형하는 과정이 될 수 있음을 보여주었습니다. 이 시스템은 인간 물리학자처럼 빛의 물리학을 이해한다고 주장하는 것이 아니라, 시각적 결과물을 매우 효과적으로 모방하는 법을 학습하여 그 차이를 눈에 보이지 않게 만들었습니다. 이러한 접근 방식은 디지털 물체를 새로운 세계로 가져오는 더 빠르고 유연한 방법을 제공하며, 창작자들이 이전에는 달성하기 어려웠던 수준의 통제력을 가지고 장면의 분위기와 정취를 조절할 수 있게 해줍니다.

기술 요약: LumiTokens: 토큰 공간 조명 변환을 통한 3D 재조명(Relighting)

문제 정의

3D 재조명(relighting)—재구성된 장면을 임의의 대상 조명 아래에서 렌더링하는 능력—은 영화 제작, 비디오 게임, 이커머스와 같은 실질적인 응용 분야에 3D 자산을 배치하는 데 있어 매우 중요한 단계입니다. 이 문제에 대한 기존 접근 방식은 일반적으로 다음 세 가지 범주로 나뉘며, 각 방식은 상당한 트레이드오프를 가집니다:

역 렌더링(Inverse Rendering): 이러한 방법들은 명시적인 3D 표현(기하 구조, 법선, 알베도, 거칠기)을 복구하고 렌더링 방정식을 재평가합니다. 다중 뷰 일관성은 유지되지만, 밀집된 캡처가 필요하며, 장면마다 비용이 많이 드는 최적화 과정을 거쳐야 하고, 선택한 BRDF 모델의 표현력에 의해 제한됩니다.
확산 기반 생성(Diffusion-Based Generation): 이 방법들은 확산 모델을 외형 프라이어(appearance priors)로 활용하여 재조명된 뷰를 합성합니다. 매우 사실적인 효과를 만들어내지만, 일반적으로 공유된 지속적 장면 표현 없이 뷰 공간 또는 비디오 공간에서 작동합니다. 결과적으로, 조명을 변경할 때마다 전체 생성 과정을 다시 거쳐야 하며, 조명 편집이 누적되지 않습니다.
하이브리드 접근 방식(Hybrid Approaches): 피드포워드 기하 인코딩과 생성적 외형 합성을 결합한 방식입니다. 이들은 장면별 최적화를 피할 수는 있지만, 여전히 명시적인 3D 파라미터화(예: 3DGS)와 매번 새로운 조명 조건마다 실행되어야 하는 생성 브랜치에 의존합니다.

모든 기존 패러다임의 공통적인 한계는 조명 편집이 지속적인 장면 표현에 대한 점진적인 업데이트로서 유지되지 않는다는 점입니다. 본 논문은 최근의 잠재 장면 표현(latent scene representations)이 고정된 물리적 의미 없이 다중 뷰 이미지를 압축된 토큰으로 인코딩한다는 점에 주목하며, 이를 통해 재조명을 잠재 공간에서의 직접적인 변환으로 공식화할 수 있는 새로운 설계 공간을 제시합니다.

방법론

저자들은 명시적인 3D 표현, 렌더링 방정식, 그리고 물리 기반 분해를 우회하여 학습된 잠재 토큰 공간 내에서 완전히 3D 재조명을 수행하는 트랜스포머 기반 프레임워크인 LumiTokens를 제안합니다.

아키텍처 개요

프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

인코더(Encoder): 희소한 포즈 기반 다중 뷰 입력 이미지(및 그 플뤼커 광선 임베딩)를 압축된 고정 크기의 1D 비구조적 장면 토큰( $z$ )으로 매핑하는 트랜스포머입니다.
장면 토큰 에디터(Scene Token Editor): 재조명 연산을 수행하는 트랜스포머 모듈입니다. 이 모듈은 장면 토큰( $z$ )과 조명-광선 토큰( $\ell$ ) 세트를 입력으로 받습니다. 셀프 어텐션을 통해 에디터는 장면 토킨과 조명 토큰을 공동으로 처리하여 업데이트된 장면 토큰( $z'$ )을 생성합니다. 결정적으로, 출력은 입력과 동일한 잠재 공간 내에 머물러 지속적인 편집을 가능하게 합니다.
디코더(Decoder): 장면 토큰으로부터 새로운 뷰를 렌더링하는 광선 조건부(ray-conditioned) 트랜스포머입니다. DPT 헤드를 사용하여 출력 토큰을 조밀하고 고해상도의 이미지로 재조립함으로써 선명한 텍스처와 고주파 세부 사항을 보장합니다.

조명 신호 토큰화(Light Signal Tokenization)

다양한 조명 유형을 통합된 인터페이스를 통해 지원하기 위해, 모든 조명 신호는 **플뤼커 광선 토큰(Plücker ray tokens)**으로 파라미터화됩니다. 조명은 광원으로부터 장면을 향해 샘플링된 광선들의 집합으로 이산화됩니다. 각 조명 토큰은 광선의 기하학적 구조(플뤼커 좌표), 스펙트럼 강도, 그리고 복사 전력을 정의합니다. 이 통합된 표현은 다음과 같은 다양한 형태를 수용합니다:

환경 맵(Environment Maps): 영 모멘트(zero moment)를 가진 방향성 광선으로 모델링됩니다.
점광원(Point Lights): 특정 3D 위치에서 기원하는 광선으로 모델링됩니다.
면광원(Area Lights): 발광 표면 전체에서 샘플링된 광선으로 모델링됩니다.

이러러한 토큰화는 잠재 공간이 명시적인 공간 구조를 결적으로 결여하고 있음에도 불구하고, 네이티브 3D 사용자 상호작용(예: 특정 좌표에 점광원 배치)을 가능하게 합니다.

점진적 재조명(Progressive Relighting)

LumiTokens의 핵심 기능은 점진적 재조명입니다. 에디터의 출력( $z'$ )이 입력( $z$ )과 동일한 잠재 공간에 머물기 때문에, 사용자는 조명을 하나씩 점진적으로 쌓아 올릴 수 있습니다. 편집 과정은 다음과 같은 재귀를 따릅니다:
$z^{(s)} = T(z^{(s-1)}, \ell^{(s)})$
여기서 $z^{(s)}$ 는 $s$ 번의 편집 후의 장면 상태를 나타냅니다. 이를 통해 조명 편집은 재인코딩, 렌더링 방정식의 재평가, 또는 각 단계에서의 뷰 재생성 없이 토큰 공간에서 컴포지션(composition)될 수 있습니다.

학습 목표(Training Objectives)

모델은 사전 훈련된 디코더를 고정한 상태에서 인코더와 장면 토큰 에디터를 공동으로 최적화하여 학습됩니다. 학습 손실 함수는 다음을 결합합니다:

렌더링 손실( $\mathcal{L}_{render}$ ): 픽셀 단위 $\ell_2$ 손실과 LPIPS 지각 손실의 조합으로, 디코딩된 출력을 정답(ground-truth) 재조명 이미지와 비교하여 감독합니다. 점진적 편집을 지원하기 위해, 모델은 무작위 조명 신호 체인(chains)으로 학습되며, 분포 드리프트(distributional drift)를 방지하기 위해 시퀀스의 각 단계에서 손실을 적용합니다.
조명 불변성 손실( $\mathcal{L}_{inv}$ ): 동일한 장면이 서로 다른 광원 조건에서 캡처되었을 때 인코딩된 토큰 간의 차이에 대해 페널티를 부여하는 손실입니다. 이는 인코더가 광원 효과를 배제하도록 유도하여, 장면 토큰이 지속적인 정체성(기하 및 재질)을 포착하는 동시에 에디터가 조명 의존적 변화를 처리하도록 보장합니다.

주요 기여

잠재 토큰 재조명: 본 논문은 3D 재조명이 명시적인 3D 표현, 렌더링 방정식 또는 물리 기반 분해 없이 학습된 잠재 토큰 공간에서의 직접적인 변환으로서 수행될 수 있음을 입증합니다.
장면 토큰 에디터: 플뤼커 광선 토큰과 장면 토큰 간의 셀프 어텐션을 통해 재조명을 수행하는 트랜스포머 모듈을 도입했습니다. 이는 환경 맵, 점광원, 면광원을 지원하는 통합 인터페이스를 제공하여 네이티브 3D 사용자 상호작용을 가능하게 합니다.
점진적 및 컴포저블 편집: 점진적 재조명을 위한 형식을 지원하여 조명 편집이 토큰 공간에서 컴포지션되도록 합니다. 이는 기존 패러다임이 매 단계마다 전체 재계산을 수행해야 했던 것과 대조되는 능력입니다.

실험 결과

저자들은 대규모 합성 데이터셋(Objaverse의 20k 객체)에서 LumiTokens을 평가하고 최신 기술(SOTA)들과 비교했습니다.

다중 뷰 재조명: LumiTokens은 PSNR, SSIM, LPIPS 측면에서 확산 기반 베이스라인(Neural Gaffer, DiffusionRenderer, LightSwitch)보다 우수한 정량적 성능을 달성했습니다. 이는 뷰 전반에 걸쳐 외형과 조명 효과를 일관되게 보존하는 반면, 베이스라인들은 잔류 소스 조명이나 일관되지 않은 하이라이트와 같은 아티팩트를 보였습니다.
신규 뷰 재조명: 보지 못한 뷰(unseen viewpoints)에 대해 평가했을 때, LumiTokens은 역 렌더링 방식(TensoIR, NVDiffrecMC)과 다중 뷰 확산 방식(LightSwitch)보다 뛰어난 성능을 보였습니다. 특히, LumiTokens은 역 렌더링 베이스라인(50 뷰) 및 확산 베이스라인인 LightSwitch(16 뷰)보다 훨씬 적은 수의 입력 뷰(8 뷰)만으로도 이러한 결과를 달성했습니다.
정성적 성능: 시각적 비교를 통해 LumiTokens이 객체 간 그림자 및 반사를 포함한 복잡한 조명 시나리오를 성공적으로 처리하며, 조명 소스(예: 환경 맵 추가, 그 다음 점광원 추가, 그 다음 면광원 추가)를 고충실도로 점진적으로 추가할 수 있음을 보여줍니다.

의의 및 주장

본 논문은 LumiTokens가 재조명 패러다임의 근본적인 변화를 나타낸다고 주장합니다. 재조명을 분해 또는 생성 문제가 아닌 잠재 장면 토큰에 대한 변환으로 취급함으로써, 이 방법은 다음을 달려합니다:

지속성(Persistence): 조명 편집이 재생성 없이 재사용 가능한 장면 상태에 누적됩니다.
효율성(Efficiency): 장면마다 발생하는 최적화 비용이나 모든 조명 변경에 대한 전체 확산 패스를 피할 수 있습니다.
유연성(Flexibility): 통합된 토큰 인터페이스를 통해 다양한 조명 유형과 점진적 편집을 지원합니다.

저자들은 선행 연구들이 뷰 합성을 위해 잠재 토큰을 사용해 왔으나, 이러한 표현이 직접적이고 컴포저블한 변환을 통해 재조명을 지원할 수 있음을 입증한 첫 번째 연구라고 언급합니다. 이 접근 방식은 기하와 외형이 얽혀 있는 공간에서 일관된 조명 변환을 유지하는 문제를 해결하여, 상호작적인 3D 편집의 새로운 형태를 가능하게 합니다.