💻 computer science

Lighting-grounded Video Generation with Renderer-based Agent Reasoning

이 논문은 3D 씬 속성 (배치, 조명, 카메라) 을 명시적으로 제어할 수 있는 새로운 대규모 데이터셋과 렌더링 기반 에이전트 추론을 도입하여, 기존 확산 모델의 제어 한계를 극복하고 사실적이면서도 정밀한 장면 제어가 가능한 비디오 생성 프레임워크 'LiVER'를 제안합니다.

원저자: Ziqi Cai, Taoyu Yang, Zheng Chang, Si Li, Han Jiang, Shuchen Weng, Boxin Shi

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziqi Cai, Taoyu Yang, Zheng Chang, Si Li, Han Jiang, Shuchen Weng, Boxin Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"LiVER"**이라는 새로운 AI 비디오 생성 기술을 소개합니다. 기존 AI 비디오 기술이 가진 큰 문제점과 이를 해결한 LiVER 의 방식을 일상적인 비유로 설명해 드릴게요.

🎬 기존 AI 비디오의 문제: "빛을 모르는 화가"

기존의 AI 비디오 생성 모델들은 텍스트 명령만 받아서 멋진 영상을 만들어내지만, 빛과 그림자, 반사 같은 물리 법칙을 제대로 이해하지 못합니다.

비유: 마치 빛을 전혀 모르는 초보 화가가 그림을 그리는 것과 같습니다.
- 햇빛이 오른쪽에서 비추는데, 그림자는 왼쪽으로 생기거나 아예 없어요.
- 유리창이나 금속 표면에 빛이 반사되는 게 자연스럽지 않아요.
- 카메라가 움직일 때 배경의 빛이 일관성 있게 변하지 않아요.
- 결과물은 "비슷해 보이지만 뭔가 어색한" 영상이 됩니다.

✨ LiVER 의 해결책: "3D 조명 디자이너가 먼저 작업하는 시스템"

LiVER 는 이 문제를 해결하기 위해 "빛을 기반으로 한 (Lighting-grounded)" 접근법을 사용합니다. 단순히 그림을 그리는 게 아니라, 먼저 3D 조명 디자이너가 무대를 완벽하게 세팅한 뒤 AI 가 그 무대에서 영상을 찍는 방식입니다.

이 과정은 크게 3 단계로 나뉩니다.

1 단계: 지시받은 대로 무대 세팅하기 (Renderer-based Agent)

사용자가 "해 질 녘의 도시 거리를 보여줘"라고 말하면, LiVER 는 먼저 AI 에이전트가 작동합니다.

비유: 이 에이전트는 영화 감독과 조명 기사, 무대 디자이너가 합쳐진 역할입니다.
- 텍스트를 분석해서 건물, 나무, 쓰레기통 같은 물체들을 어디에 둘지 (레이아웃) 정합니다.
- 카메라가 어떻게 움직일지 (카메라 궤적) 계획합니다.
- 가장 중요한 건 빛입니다. "해 질 녘"이라는 말에 맞춰 하늘에 어떤 빛 (HDR 환경 지도) 을 비출지 정하고, 물체들이 어떻게 빛을 받아야 할지 계산합니다.

2 단계: 물리 법칙을 담은 '가상 시뮬레이션' 만들기 (Scene Proxy)

이제 에이전트가 정한 대로 3D 엔진으로 실제처럼 빛이 비추는 가상 시뮬레이션을 만듭니다.

비유: 이는 **실사 촬영을 위한 '예비 영상'**이나 조명 테스트용 시뮬레이션과 같습니다.
- 단순히 물체의 모양만 그리는 게 아니라, ** Matte(무광), Glossy(광택), Rough(거친 질감)** 등 재질별로 빛이 어떻게 반응하는지 정밀하게 렌더링합니다.
- 이 '가상 시뮬레이션'은 실제 촬영 전에 조명과 카메라 위치를 완벽하게 맞춘 정교한 청사진 역할을 합니다.

3 단계: AI 가 그 청사진을 바탕으로 실제 영상 촬영 (Final Video Synthesis)

마지막으로, 이 정교한 '빛이 포함된 청사진'을 기존에 훈련된 강력한 AI 비디오 모델 (Wan2.2) 에 입력합니다.

비유: 이제 **실제 촬영 감독 (AI)**이 이 청사진을 보고 촬영을 시작합니다.
- "아, 여기는 광택이 나야 하고, 저기는 그림자가 길게 지는구나"라고 청사진을 보고 따라 찍습니다.
- 그 결과, 빛의 방향, 반사, 그림자가 물리적으로 완벽하게 일치하는 진짜 같은 영상이 나옵니다.

🌟 LiVER 의 핵심 장점

빛을 완벽하게 통제할 수 있어요:
- 사용자가 "조명을 왼쪽으로 돌리자"라고 하면, AI 는 물체의 모양은 그대로 둔 채 빛만 자연스럽게 움직이는 영상을 만들어냅니다. (예: 해가 움직이며 그림자가 변하는 모습)
실제 영화 제작처럼 편집 가능:
- 이 시스템은 생성된 '가상 시뮬레이션'을 3D 프로그램으로 가져와서 사용자가 직접 물체를 옮기거나 조명을 바꿀 수 있게 해줍니다. 마치 실제 영화 세트장에서 소품을 옮기듯 편집이 가능합니다.
실제 영상과 합성 데이터의 만남:
- 연구팀은 실제 세상에서 찍은 영상과, 컴퓨터로 만든 다양한 조명 상황의 영상을 섞어서 학습시켰습니다. 덕분에 AI 는 실제 영상에서 보기 힘든 다양한 빛의 상황도 완벽하게 이해하게 되었습니다.

📝 한 줄 요약

"LiVER 는 AI 가 막연하게 그림을 그리는 게 아니라, 먼저 3D 조명 디자이너가 빛과 무대를 완벽하게 설계한 뒤, 그 설계도에 따라 AI 가 물리 법칙을 지키며 진짜 같은 영상을 촬영하게 해주는 기술입니다."

이 기술은 영화 제작, 가상 현실, 광고 등 정확한 조명과 공간 제어가 필요한 모든 분야에서 혁신을 일으킬 것으로 기대됩니다.

1. 연구 배경 및 문제 정의 (Problem)

최근 확산 모델 (Diffusion Models) 을 활용한 비디오 생성 기술은 뛰어난 시각적 품질과 시간적 일관성을 보여주었으나, 구체적인 장면 제어 (Controllability) 측면에서는 한계가 존재합니다.

주요 문제: 기존 모델들은 장면의 레이아웃 (배치), 조명, 카메라 궤적과 같은 핵심 요소들이 서로 얽혀 있거나 (entangled), 약하게 모델링되어 있어, 영화 제작이나 가상 프로덕션과 같이 명시적인 장면 제어가 필수적인 분야에서 활용하기 어렵습니다.
조명 결함: 기존 3D 기반 방법들은 기하학적 구조는 잘 반영하지만, BRDF(반사 분산 함수) 등을 고려한 물리적으로 정확한 조명 (그림자, 반사, 환경 광차폐 등) 을 계산하는 데에는 소홀하여, 피부, 금속, 유리 등 현실적인 재질 표현 시 조명 불일치가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 LiVER라는 새로운 프레임워크를 제안하며, 이는 텍스트 설명을 기반으로 물리적으로 정확한 조명을 가진 비디오를 생성하고, 장면의 레이아웃과 카메라를 정밀하게 제어할 수 있도록 설계되었습니다.

가. 렌더러 기반 에이전트 추론 (Renderer-based Agent Reasoning)

사용자의 고수준 텍스트 지시를 3D 제어 신호로 자동 변환하는 에이전트 시스템을 도입했습니다.

장면 구축 (Scene Building): 텍스트를 분석하여 객체 카테고리, 공간 관계, 재질 속성을 추출하고 구조화된 장면 그래프 (Scene Graph) 를 생성합니다.
조명 설정 (Lighting Setup): 텍스트의 분위기 (예: "따뜻한 기분", "흐린 하늘") 에 맞춰 HDR 환경 맵을 선택하거나 생성하여 물리적으로 타당한 조명 환경을 구성합니다.
카메라 계획 (Camera Planning): 텍스트의 영화적 힌트 (예: "오비트", "돌리 줌") 를 기반으로 부드러운 카메라 궤적을 생성합니다.
프로시저 (Proxy Rendering): 생성된 3D 장면, 조명, 카메라 궤적을 3D 엔진 (Blender) 을 통해 렌더링하여 조명 기반 장면 프록시 (Lighting-grounded Scene Proxy) 를 만듭니다. 이는 Diffuse, Glossy GGX, Rough GGX 등 물리 기반 렌더링 패스 (Render Passes) 의 스택으로 구성됩니다.

나. 조명 기반 비디오 생성 (Lighting-grounded Video Generation)

백본 모델: 사전 학습된 비디오 생성 모델 (Wan2.2-5B) 을 기반으로 합니다.
프록시 인코딩: 2D 렌더링 패스 스택을 경량화된 2D 컨볼루션 인코더를 통해 특징 벡터로 변환합니다.
적응기 (Adapter): 변환된 프록시 특징을 비디오 잠재 공간 (Latent Space) 에 직접 주입하여, 비디오 생성 방향을 물리적으로 정확한 조명과 장면 구조로 유도합니다. 초기 학습 안정성을 위해 가중치 $\alpha$ 를 0 으로 초기화하여 점진적으로 제어 신호를 학습하도록 설계되었습니다.

다. 단계별 학습 전략 (Stage-wise Training Scheme)

모델의 수렴 안정성과 조명 다양성을 확보하기 위해 3 단계 학습을 수행합니다.

조건부 경로 학습: 비디오 백본을 고정하고 프록시 인코더/적응기만 학습하여 프록시 변환을 학습합니다.
공동 LoRA 미세 조정: 백본의 LoRA 레이어를 풀고 프록시 모듈과 함께 미세 조정하여 의미론적 정합성을 개선합니다.
조명 다양성 확장: 실사 데이터와 합성 데이터를 1:1 로 혼합하여 학습함으로써 다양한 조명 현상에 대한 일반화 능력을 향상시킵니다.

3. 데이터셋 (LiVERSet)

모델 학습 및 평가를 위해 LiVERSet이라는 대규모 데이터셋을 구축했습니다.

LiVER-Real: 복잡한 자연 조명 현상을 포함하는 실사 비디오 (VGGT, Grounding-DINO, SAM 2 등을 활용하여 3D 기하학과 HDR 조명 정보를 역추정 및 주석 처리).
LiVER-Syn: PBR 재질과 다양한 HDR 환경 맵을 사용하여 물리 기반 렌더링으로 생성된 합성 비디오 (동적인 조명 변화를 위해 HDR 맵을 회전시킴).
통계: 총 11,000 개 이상의 비디오 (10K 학습, 1K 평가), 해상도 720x1280, 81 프레임.

4. 주요 결과 및 성능 (Results)

LiVER는 기존 최첨단 (SOTA) 방법들 (CameraCtrl, MotionCtrl, VideoFrom3D 등) 과 비교하여 뛰어난 성능을 입증했습니다.

정량적 평가:
- 품질: FVD(프레임 간 거리) 와 FID(이미지 품질) 에서 가장 낮은 오차를 기록하여 시각적 품질과 사실성이 뛰어남.
- 제어 정밀도: 카메라 자세 오차 (ATE, RPE), 조명 오차 (LE), 레이아웃 정합성 (mIoU) 에서 모든 지표에서 최상위 성능을 보임. 특히 조명 오차가 현저히 낮아 물리적으로 정확한 조명을 구현함.
정성적 평가:
- 사용자 연구 (User Study) 에서 비디오 품질, 장면 제어, 카메라 궤적, 조명 제어 등 모든 항목에서 다른 방법들보다 압도적인 선호도를 보임 (83% 이상).
- 합성된 비디오에서 조명 변화에 따른 그림자와 반사가 재질에 맞게 자연스럽게 변하는 것을 확인함.
Ablation Study: 합성 데이터 (LiVER-Syn) 와 단계별 학습 전략이 없으면 조명이 평평해지거나 비디오가 정지하는 등 성능이 급격히 저하됨을 확인.

5. 핵심 기여 및 의의 (Contributions & Significance)

물리적으로 정확한 조명 기반 생성: 텍스트나 간단한 3D 프록시만으로는 불가능했던, BRDF 기반의 사실적인 조명 (그림자, 반사, 환경광) 을 비디오 생성에 통합하여 현실감을 극대화했습니다.
해리된 (Disentangled) 제어: 장면 레이아웃, 조명, 카메라 궤적을 명확히 분리하여 제어할 수 있게 함으로써, 사용자가 3D 소프트웨어에서 장면을 수정하고 이를 기반으로 비디오를 재생성하는 유연한 워크플로우를 제공합니다.
대규모 조명 기반 데이터셋: 실사와 합성 데이터를 결합한 LiVERSet을 공개하여, 조명 제어 연구의 새로운 벤치마크를 제시했습니다.
실용적 적용 가능성: 이 기술은 가상 프로덕션, 영화 제작, 게임 콘텐츠 생성 등 창의적 미디어 분야에서 장면 수준의 정밀한 제어가 필요한 작업에 혁신을 가져올 것으로 기대됩니다.

결론적으로, LiVER는 생성형 AI 의 시각적 품질과 장면 수준의 물리 법칙 기반 제어 능력을 동시에 달성한 새로운 표준을 제시한 연구입니다.