CLiFT: Compressive Light-Field Tokens for Compute-Efficient and Adaptive Neural Rendering

이 논문은 압축된 광장 tokens(CLiFTs) 을 사용하여 장면의 기하학적 및 외관 정보를 유지하면서도 연산 예산에 따라 토큰 수를 동적으로 조절하여 효율적이고 적응적인 신경 렌더링을 가능하게 하는 새로운 방법을 제안합니다.

핵심

📸 CLiFT: "압축된 빛의 조각"으로 세상을 재구성하는 마법

이 논문은 **"CLiFT"**라는 새로운 기술을 소개합니다. 이 기술은 우리가 보는 사진이나 영상을 아주 효율적으로 압축하면서도, 원하는 각도에서 새로운 영상을 만들어내는 (신규 뷰 합성) 놀라운 능력을 가지고 있습니다.

이 복잡한 기술을 일상적인 언어와 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "방이 너무 커서 짐을 다 못 챙기겠다!"

상상해 보세요. 여러분이 여행 가서 수많은 사진을 찍었습니다. 이제 이 사진을 가지고 가상 현실 (VR) 에서 그 장소를 다시 돌아다니고 싶다고 칩시다.

• 기존 방식 (무거운 짐): 모든 사진을 고해상도로 다 저장해 두려면 용량이 너무 큽니다. (예: 3D 스캔 데이터나 고해상도 영상)
• 기존 방식 (단순 요약): 용량을 줄이려고 사진만 몇 장 남기면, 원하는 각도에서 보려고 할 때 빈 공간이 생기거나 흐릿해집니다.

CLiFT는 이 두 가지 문제를 해결해 줍니다. "필요한 정보만 쏙쏙 뽑아서 아주 작게 압축하고, 필요할 때만 그 정보를 다시 퍼뜨려서 선명한 영상을 만들어내는" 방법입니다.

---

2. CLiFT의 핵심 원리: "빛의 조각 (Tokens)"을 모으는 3 단계

CLiFT 는 장면을 '빛의 조각 (Tokens)'이라는 작은 덩어리들로 나눕니다. 이 조각들을 만드는 과정은 마치 명품 가방을 정리하는 과정과 비슷합니다.

① 단계 1: 모든 것을 다 담기 (Multi-view Encoding)

먼저, 여러 각도에서 찍은 모든 사진을 컴퓨터가 분석합니다. 이때 사진의 '색깔'과 '형태 (기하학)' 정보를 모두 잘게 쪼개서 **수천 개의 '빛의 조각 (LiFT)'**으로 만듭니다.

비유: 여행 가방에 옷, 신발, 화장품 등 모든 것을 다 집어넣은 상태입니다. 아직 정리하지 않았죠.

② 단계 2: 중요한 것만 골라내기 (Latent K-means)

이제 가방이 너무 무겁습니다. 모든 조각을 다 쓸 필요는 없습니다. 컴퓨터는 이 조각들을 **유사한 것끼리 그룹 (클러스터)**으로 묶습니다.

• 단조로운 배경 (하늘, 벽): 조각들이 비슷하니까 하나만 대표하면 됩니다.
• 복잡한 부분 (얼굴, 꽃무늬): 조각들이 다양하니까 더 많은 대표 조각이 필요합니다.
  이렇게 그룹을 묶고, 각 그룹의 **가장 대표적인 조각 (중심점)**만 남깁니다.

  비유: 옷장 정리하듯, 비슷한 옷은 하나만 남기고 나머지는 버립니다. 하지만 '비싼 명품'이나 '복잡한 무늬'가 있는 옷은 더 많이 남겨둡니다. 이것이 CLiFT가 됩니다.

③ 단계 3: 정보를 압축해서 합치기 (Neural Condensation)

남은 대표 조각들만으로는 원래 장면의 정보가 부족할 수 있습니다. 그래서 컴퓨터는 버려진 다른 조각들의 정보를 대표 조각 속에 '숨겨진 암호'처럼 압축해서 넣습니다.

비유: 버린 옷들의 특징을 메모장에 적어서 대표 옷 주머니에 넣어두는 것입니다. 나중에 필요하면 그 메모를 꺼내서 원래 옷의 느낌을 완벽하게 재현할 수 있습니다.

---

3. 결과: "원하는 만큼만 꺼내서 쓰기" (Compute-Adaptive Rendering)

이제 이 압축된 CLiFT를 가지고 새로운 영상을 만들 때입니다. 여기서 CLiFT 의 가장 큰 장점이 나옵니다.

• 컴퓨팅 예산 (Budget) 조절: "오늘은 배터리가 부족해서 빠르게 보여줘"라고 하면, 적은 수의 CLiFT만 꺼내서 그럭저럭 좋은 영상을 보여줍니다.
• 고화질 모드: "오늘은 고화질로 보여줘"라고 하면, 많은 수의 CLiFT를 꺼내서 아주 선명하고 디테일한 영상을 보여줍니다.

비유:

• 기존 기술: 영화를 볼 때, 용량이 큰 DVD 하나만 있거나, 화질이 낮은 파일 하나만 있습니다. 화질을 바꾸려면 파일을 다시 다운로드해야 합니다.
• CLiFT: 레고 블록 한 상자를 가지고 있습니다.
  • 빠르게 만들고 싶으면? 레고 10 개만 꺼내서 대충 모양을 만듭니다.
  • 정교하게 만들고 싶으면? 레고 1,000 개를 꺼내서 디테일하게 만듭니다.
  • 하나의 상자로 (하나의 학습된 모델) 상황에 따라 화질과 속도를 조절할 수 있습니다.

---

4. 왜 이것이 중요한가요?

1. 용량 절약: 기존 기술보다 5~7 배 더 적은 데이터로 같은 화질을 냅니다. (예: 100MB 짜리 파일을 15MB 로 줄임)
2. 유연성: 인터넷이 느린 곳에서는 저화질로, 빠른 곳에서는 고화질로 실시간으로 바꿔가며 볼 수 있습니다.
3. 실시간성: 컴퓨터 성능이 낮은 스마트폰에서도 부드럽게 움직이는 3D 장면을 볼 수 있게 됩니다.

5. 한계점 (현실적인 이야기)

물론 완벽한 기술은 없습니다.

• 너무 급하게 움직이면: 훈련 데이터에 없던 급격한 카메라 움직임이 나오면 영상이 흐릿해질 수 있습니다. (예: 갑자기 돌면서 찍은 영상)
• 보이지 않는 부분: 입력된 사진으로 보이지 않는 뒷모습을 만들 때는 약간 흐릿할 수 있습니다. (하지만 미래에는 AI 가 상상력을 더해 채워줄 수도 있습니다.)

🎯 요약

CLiFT는 "방대한 사진 데이터를 가장 중요한 핵심 정보만 추려서 압축하고, 상황에 따라 필요한 만큼만 꺼내서 선명한 3D 영상을 만들어내는" 차세대 기술입니다.

이 기술이 상용화되면, 가상 부동산 투어, 온라인 쇼핑, 게임, 자율주행 시뮬레이션 등에서 훨씬 더 가볍고 빠르고 멋진 경험을 할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: Instagram, YouTube, TikTok 등 시각 미디어 소비가 급증함에 따라 저장 공간과 대역폭에 대한 요구가 폭발적으로 증가하고 있습니다. 또한, 가상 환경 탐색을 위한 인터랙티브 뉴얼 뷰 신세시스 (Novel View Synthesis, NVS) 기술의 중요성이 부각되고 있습니다.
• 기존 기술의 한계:
  • 재구성 기반 (Reconstruction-based) 방법 (예: NeRF, 3DGS): 명시적인 기하학적/광학적 재구성이 필요하며, 씬마다 최적화가 필요하거나 밀집된 입력 데이터를 요구합니다. 데이터 크기가 크고 실시간 렌더링 시 계산 비용이 높습니다.
  • 재구성 없는 (Reconstruction-free) 방법 (예: LVSM, SRT): 엔드투엔드 방식으로 새로운 뷰를 생성하지만, 고정된 잠재 공간 (latent space) 을 사용하거나 데이터 크기와 렌더링 품질 간의 유연한 트레이드오프를 제공하지 못하는 경우가 많습니다.
• 핵심 문제: 제한된 계산 자원 (Compute Budget) 하에서, 저장 공간 (Data Size) 을 줄이면서도 고화질의 새로운 뷰를 생성할 수 있으면서도, 렌더링 시 필요한 토큰 수를 동적으로 조절하여 품질과 속도를 유연하게 제어할 수 있는 효율적인 씬 표현 (Scene Representation) 방식이 필요합니다.

2. 방법론 (Methodology)

이 논문은 CLiFT (Compressive Light-Field Tokens) 라는 새로운 씬 표현 방식을 제안합니다. CLiFT 는 압축된 잠재 벡터 (latent vectors) 와 연결된 광선 (rays) 의 집합으로, 씬의 기하학적 및 외관 정보를 효율적으로 인코딩합니다.

A. CLiFT 구축 과정 (Training Phase)

1. Multi-view Encoding (다중 뷰 인코딩):
   • 입력 이미지와 카메라 포즈를 받아 Transformer 인코더를 통해 LiFT (Light-Field Tokens) 를 생성합니다.
   • 각 픽셀에 대해 6 차원 플뤼커 좌표 (Plücker coordinates) 와 정규화된 3D 색상 벡터를 결합하여 패치화 (patchify) 하고, 이를 768 차원의 토큰으로 변환합니다.
2. Latent-space K-means (잠재 공간 K-평균 클러스터링):
   • 생성된 모든 LiFT 토큰에 대해 K-means 클러스터링을 수행하여 대표성을 가진 광선 (rays) 을 선택합니다.
   • 목적: 질감이 균일한 영역에서의 외관 중복성과 다른 뷰 간의 기하학적 중복성을 제거합니다.
   • 결과적으로 생성된 클러스터 중심 (centroid) 토큰들이 저장용 CLiFT 가 됩니다.
3. Neural Condensation (신경 응축):
   • 경량 Transformer 'Condenser' 모듈을 사용하여 모든 LiFT 의 정보를 선택된 중심 (centroid) 토큰으로 압축합니다.
   • 클러스터 간 (Inter-cluster) 자기 주의 (Self-attention) 와 클러스터 내 (Intra-cluster) 교차 주의 (Cross-attention) 를 통해 정보를 통합하며, 사전 학습된 잠재 공간을 보존하기 위해 0 으로 초기화된 선형 계층을 사용합니다.

B. CLiFT 렌더링 (Inference Phase)

• Adaptive Rendering (적응형 렌더링):
  • 목표 뷰 (Target View) 와 계산 예산 (사용할 CLiFT 의 수, $N_r$) 이 주어지면, 시스템은 해당 뷰와 관련된 토큰들을 수집합니다.
  • 토큰 선택: 목표 뷰를 그리드로 나누고, 각 그리드 셀에 가장 가까운 CLiFT 토큰들을 히리스틱 (heuristic) 기반으로 선택합니다.
  • 렌더러: Transformer 디코더를 사용하여 선택된 CLiFT 토큰들을 키 (Key) 와 값 (Value) 으로, 목표 뷰를 쿼리 (Query) 로 하여 새로운 이미지를 합성합니다.
• 유연성: 저장용 토큰 수 ($N_s$) 와 렌더링 시 사용하는 토큰 수 ($N_r$) 를 독립적으로 조절하여 데이터 크기, 렌더링 품질, 렌더링 속도 간의 트레이드오프를 실시간으로 제어할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. CLiFT 표현 방식: 씬을 압축된 광선 토큰 집합으로 표현하여, 기존 방법들보다 훨씬 적은 데이터로 씬을 표현하면서도 풍부한 기하/외관 정보를 유지합니다.
2. 계산 적응형 렌더링 (Compute-Adaptive Rendering): 하나의 학습된 모델로 다양한 토큰 수를 처리할 수 있어, 사용자의 계산 능력이나 대역폭 제약에 따라 렌더링 품질과 속도를 동적으로 조절 가능합니다.
3. 재구성 없는 효율성: 명시적인 3D 재구성을 거치지 않고도, 재구성 없는 (Reconstruction-free) 방식의 장점을 유지하면서 데이터 압축률과 렌더링 효율성을 극대화했습니다.

4. 실험 결과 (Results)

• 데이터셋: RealEstate10K 와 DL3DV 에서 평가 수행.
• 비교 대상:
  • 재구성 없는 방법: LVSM (Large View Synthesis Model)
  • 재구성 기반 방법: MVSplat, DepthSplat
• 성능:
  • 데이터 압축: CLiFT 는 MVSplat/DepthSplat 대비 약 5~7 배, LVSM 대비 약 1.8 배 적은 데이터 크기로 유사한 렌더링 품질 (PSNR) 을 달성했습니다.
  • 품질: 전체적인 PSNR 점수가 가장 높았으며, 고주파수 내용 (세부 묘사) 도 잘 보존되었습니다.
  • 유연성: Table 2 에서 보듯, 렌더링 시 사용하는 토큰 수를 줄이면 FLOPs 는 감소하고 FPS 는 증가하며, 품질은 점진적으로 저하되는 유연한 트레이드오프를 보여주었습니다. (예: 토큰 수 4096 → 512 로 줄일 때 FPS 는 54.3 에서 90.15 로 증가).
• Ablation Study: K-means 클러스터링과 신경 응축 (Condenser) 모듈이 모두 성능 향상에 필수적임을 입증했습니다. 특히 고압축률 환경에서 K-means 기반 선택이 무작위 선택이나 패치 기반 그룹링보다 훨씬 우월한 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 부동산 가상 투어, 엔터테인먼트, 온라인 쇼핑, 자율 주행 시뮬레이션 등 대용량 시각 데이터가 필요한 분야에서 저장 공간과 대역폭을 획기적으로 절감하면서도 고품질 인터랙티브 경험을 제공할 수 있습니다.
• 기술적 혁신: "데이터 크기 - 품질 - 속도"라는 3 가지 요소 간의 균형을 하나의 모델로 유연하게 조절할 수 있는 새로운 패러다임을 제시했습니다.
• 한계 및 향후 과제: 훈련 분포와 크게 다른 카메라 운동이나, 입력 뷰로 충분히 커버되지 않는 대규모 장면에서는 흐릿한 렌더링이 발생할 수 있습니다. 향후 생성적 사전 지식 (Generative Priors) 을 도입하여 이러한 영역의 품질을 개선할 계획입니다.

요약하자면, CLiFT는 신경 렌더링 분야에서 압축된 토큰 기반의 효율적인 씬 표현과 동적 계산 자원 조절을 결합하여, 기존 방법들의 한계를 극복하고 실용적인 NVS 시스템을 가능하게 하는 획기적인 접근법입니다.