💻 computer science

GAINS: Gaussian-based Inverse Rendering from Sparse Multi-View Captures

GAINS는 파운데이션 모델의 사전 지식을 활용하여 기하 구조 및 재질 추정을 안정화함으로써, 기존의 가우시안 기반 방식들이 모호성 문제로 어려움을 겪는 희소 뷰(sparse-view) 환경에서 성능을 크게 향상시키는 2단계 역렌더링 프레임워크이다.

원저자: Patrick Noras, Jun Myeong Choi, Didier Stricker, Pieter Peers, Roni Sengupta

게시일 2026-07-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Patrick Noras, Jun Myeong Choi, Didier Stricker, Pieter Peers, Roni Sengupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 자동차나 꽃병처럼 반짝이고 복잡한 물체의 사진 몇 장만을 가지고 그 3D 모델을 재구축하려고 노력하고 있다고 상상해 보세요. 대부분의 컴퓨터 프로그램은 질문받은 정답을 그대로 암기하기만 하고, 조금만 다른 질문을 받으면 처참하게 실패하는 열성적인 학생과 같습니다. 만약 당신이 그들에게 정면에서 찍은 자동차 사진을 보여준다면, 그들은 정면을 완벽하게 그리는 법은 배울 수 있겠지만, 다른 각도나 새로운 조명 아래에서의 자동차를 보여달라고 하면 종종 혼란에 빠질 것입니다. 그들은 자동차의 페인트가 반짝인다는 것(경면 반사, specular)을 잊어버리고 반사광을 실제 색상 중 일부라고 생각하거나, 단 한 곳의 위치에서만 보았기 때문에 지면에 비친 반사를 놓칠 수도 있습니다. 이것이 현재의 "역 렌더링(inverse rendering)" 방식이 적은 수의 사진(희소 뷰, sparse views)만 가지고 작업할 때 겪는 문제입니다.

여기에 GAINS(Gaussian-based Inverse rendering from Sparse multi-view captures)가 등장합니다. 이 방식은 마치 숙련된 탐정 팀처럼 작동하는 새로운 방법입니다. 단순히 주어진 몇 장의 사진을 빤히 쳐다보는 대신, GAINS는 다양한 전문 분야를 가진 "파운데이션 모델(foundation models)"—즉, 전문가 컨설턴트 부대—를 불러와 물체가 실제로 어떻게 생겼는지, 어떻게 빛나는지, 그리고 빛에 어떻게 반응하는지라는 미스터리를 해결하도록 합니다.

두 단계의 탐정 작업

GAINS는 집을 짓는 과정처럼 두 가지 뚜를 거쳐 문제를 해결합니다. 먼저 뼈대를 세우고, 그다음 페인트칠과 장식을 하는 식입니다.

1단계: 뼈대 만들기 (기하학, Geometry)
벽을 칠하기 전에는 벽이 어디에 있는지 알아야 합니다. 첫 번째 단계에서 GAINS는 물체의 형태를 파악하려고 시적으로 노력합니다. 하지만 사진이 몇 장뿐이라면 형태를 추측하기 어렵습니다. 그래서 GAINS는 도움을 받기 위해 세 명의 전문가 컨설턴트에게 요청합니다:

깊이 탐정 (The Depth Detective): 단안 깊이 모델(monocular depth model)을 사용하여 사물이 얼마나 멀리 있는지 추측합니다.
표면 탐정 (The Surface Detective): 법선 추정 모델(normal estimation model)을 사용하여 표면이 어느 방향을 향하고 있는지(예: 벽이 평평한지 곡면인지) 추측합니다.
상상력 컨설턴트 (The Imagination Consultant): 디퓨전 모델(이미지를 생성하는 것과 같은 종류의 AI)을 사용하여 보지 못한 각도에서 물체가 어떻게 보여야 할지를 상상합니다.

이러한 단서들을 결합함으로써, GAINS는 스스로 형태를 추측하려는 방식보다 훨씬 더 정확한 물체의 3D 골격을 구축합니다. 논문에 따르면 이러한 조력자들 없이는, 특히 시작할 때 사진이 4~8장 정도로 적을 경우 형태가 "물결치듯 불안정하고(wobbly)" 부정확해집니다.

2단계: 페인트와 광택 (재질 및 조명, Materials and Lighting)
이제 뼈대가 만들어졌으니, GAINS는 이 물체가 무엇으로 만들어졌는지 알아내야 합니다. 무광 플라스틱인가요? 반짝이는 금속인가요? 아니면 거친 돌인가요? 그리고 빛에 어떻게 반응하나요? 여기서 진짜 마법이 일어납니다. 논문은 기존 방식들이 흔히 "과적합(overfitting)"되는 경향이 있다고 주장합니다. 즉, 주어진 사진의 특정 조명을 그대로 암기해 버려서 조명이 바뀌면 물체가 이상하게 보이게 만든다는 것입니다.

이를 해결하기 위해 GAINS는 2단계를 위한 세 명의 컨설턴트를 추가로 투입합니다:

세그멘테이션 가이드 (The Segmentation Guide): 이 컨설턴트는 물체를 보고 "이 부분은 문이고, 저 부분은 바퀴입니다"라고 말해줍니다. 이는 반짝이는 부분(예: 금속 문 손잡이)이 여러 뷰에 걸쳐 일관되게 유지되도록 도와주며, 컴퓨터가 반사광의 위치를 두고 혼동하는 것을 방지합니다.
고유 이미지 분해(IID) 전문가 (The Intrinsic Image Decomposition Expert): 이 전문가는 물체의 실제 색상(알베도, albedo)을 그림자와 하이라이트로부터 분리해 내는 데 탁면합니다. 이는 조명을 제거하여 순수한 페인트 색상을 보여주는 필터와 같습니다. 다만, 이 전문가는 보는 각도에 따라 다소 불일치할 수 있으므로, GAINS는 이를 매우 주의 깊게 사용하며 모델이 발전함에 따라 초반에는 더 많이 의존하고 점차 덜 의고하는 방식을 취합니다.
다중 조명 디퓨전 컨설턴트 (The Multi-Illumination Diffusion Consultant): 이 방식의 주인공입니다. 이 컨설턴트는 물체를 가져와서 다양한 조명 조건(예: 화창한 날, 흐린 날, 혹은 도시의 밤) 아래에서 시뮬레이션하여, 빛이 어디서 오든 물체가 현실적으로 보이도록 만듭니다.

결과: 더 선명한 그림

저자들은 가짜(합성) 물체와 실제 세계의 사진 모두에 대해 GAINS를 테스트했습니다. 그 결과, 희소한 이미지 세트(최소 4~8개의 뷰)로 작업할 때 GAINS가 Ref-Gaussian이나 GI-GS와 같은 기존의 최첨단 방식들을 크게 앞지른다는 것을 발견했습니다.

예를 들어, Synthetic4Relвет라는 합성 데이터셋에서 GAINS는 재조명(relighting) 성능에 대해 PSNR(이미지 품질을 측정하는 점수) 28.16을 기록하여, Ref-Gaussian의 24.29를 능가했습니다. Shiny Blender 데이터셋에서도 GAINS는 재조명 점수 22.29를 기록하며 Ref-Gaussian의 17.26을 이겼습니다. 이 수치들은 GAINS가 물체의 재질과 조명을 분리하는 데 훨씬 더 뛰어나다는 것을 시사합니다. 즉, 자동차 사진을 찍은 뒤 조명을 노을지는 저녁이나 비 내리는 거리로 바꾸더라도, 자동차가 현실적으로 보이며 반사광이 표면 위에서 올바르게 움직이도록 만들 수 있다는 뜻입니다.

GAINS가 하지 않는 것

이 방법이 하지 못하는 것도 명시되어 있습니다. 논문은 GAINS가 **전역 조명(global illumination)**을 무시한다고 명시적으로 밝힙니다. 즉, 다른 물체에서 튕겨 나온 빛(예: 빨간 벽에서 흰색 자동차로 반사되는 빛)을 시뮬레이션하지는 않습니다. 이 방식은 직접 조명과 물체 자체의 특성에 집중합니다. 또한, 이 방식이 매우 견고하기는 하지만, 저자들은 매우 반짝이는 물체의 경우 표면 법선(surface normals, 표면이 향하는 방향)이 때때로 약간 "물결치는 듯한(wavy)" 모습을 보일 수 있으며, 이로 인해 반짝이는 반사광의 일부가 물체의 기본 색상에 박혀버릴(baked into) 수 있다고 인정했습니다.

결론

GAINS는 사전 학습된 AI 모델(파운데이션 모델)을 가이드로 활용함으로써, 아주 적은 수의 사진만으로도 까다로운 3D 재구축 퍼즐을 풀 수 있다는 것을 보여줍니다. 이 방식은 단순히 사진을 암기하는 것이 아니라, 빛과 재질이 상호작용하는 근본적인 규칙을 학습합니다. 사진의 수가 적을 때(희소 뷰) 가장 잘 작동하지만, 더 많은 사진이 있는 경우에도 경쟁력을 유지합니다. 저자들은 서로 다른 AI 사전 지식(priors)을 "시너지화(synergizing)"하는 이 접근 방식이 물리적으로 일관된 결과를 얻는 강력한 방법이며, 이를 통해 이전에는 적은 데이터만으로는 어려웠던 수준의 현실감으로 3D 장면을 재조명하고 편집하는 것을 가능하게 한다고 결론지었습니다.

기술 요약: GAINS (희소 다중 뷰 캡처를 이용한 가우시안 기반 역 렌더링)

1. 문제 정의

역 렌더링(Inverse Rendering, IR)은 다중 뷰 이미지로부터 기하 구조(geometry), 재질 반사율(material reflectance), 조명(lighting)과 같은 고유한 3D 속성을 복원하는 것을 목표로 합니다. 최근 가우시안 스플래팅(Gaussian Splatting) 기반의 IR은 밀집된 다중 뷰 캡처를 사용하여 고품질의 결과를 달eric 성취했지만, 희소 뷰 설정(예: 4개에서 16개의 뷰)에서는 성능이 크게 저하됩니다. 이러한 시나리오에서는 제한된 관측으로 인해 기하 구조, 반사율, 조명 사이의 심각한 모호성이 발생합니다. 기존 방식들은 캡처된 뷰포인트에 과적합(overfit)되는 경st향이 있으며, 이로 인해 다음과 같은 문제가 발생합니다:

일관성 없는 재질 및 조명 추정.
반사 효과가 확산 반사율(diffuse albedo)에 "베이킹(baking)"됨 (예: 지면 반사가 누락되거나 하늘의 반사가 잘못 캡처됨).
새로운 뷰(novel views) 및 재조명(relighting) 조건에 대한 일반화 능력 저하.
전통적인 매끄러움 사전 확률(smoothness priors)을 사용한 반사율-조명 모호성 해결의 불충분함.

2. 방법론

저자들은 물리 기반 렌더링(PBR)과 다수의 **파운데이션 모델 사전 확률(foundation model priors)**을 통합하여 희소 조건에서의 추정을 안정화하는 2단계 최적화 프레임워크인 GAINS(GAussian-based INverse rendering from Sparse multi-view captures)를 제안합니다. 이 방법은 3DGS보다 우수한 기하 구조 재구성 능력을 갖춘 2D 가우시안 스플래팅(2DGS)을 활용합니다.

1단계: 기하 구조 추정 (Geometry Estimation)

목표는 재질을 추정하기 전에 견고한 기하 구조( $G$ )를 재구성하는 것입니다. 희소 입력에 대한 과적합을 방기하기 위해, GAINS는 표준 재렌더링 손실(re-rendering losses)에 학습 기반의 사전 확률을 증강합니다:

단안 깊이 및 법선 가이드 (Monocular Depth and Normal Guidance): 프레임워크는 피어슨 상관 계수(Pearson Correlation Coefficient)와 총 변동(total variation) 손실을 사용하여 단안으로 추정된 깊이 및 표면 법선과의 유사성을 강제합니다. 이는 고주파 기하학적 충실도를 향상시킵니다.
확산 가이드 (Diffusion Guidance - SDS): 잠재 확산 모델(Latent Diffusion Model)이 점수 증류 샘플링(Score Distillation Sampling, SDS)을 통해 보이지 않는 뷰포인트에서의 재구성을 정규화하는 데 사용됩니다. 이는 렌더링된 이미지가 객체의 매니폴드(manifold) 상에 존재하도록 유도하여, 기하 구조가 수렴한 후에는 과도한 환각(hallucination)을 일으키지 않으면서 고주파 아티팩트를 억제합니다.
아웃라이어 제거 (Outlier Removal): 접지 참값(ground-truth) 알파 마스크가 있는 합성 데이터의 경우, 이진 교차 엔트로피(Binary-Cross Entropy) 손실과 KNN 기반의 플로터(floater) 제거가 사용됩니다.

2단계: 재질 및 조명 추정 (Material and Lighting Estimation)

기하 구조가 고정되면, 프레임워크는 재질 파라미터(Albedo $A$ , Roughness $R$ , Metallicity $M$ )와 환경 조명( $L$ )을 공동으로 최적화합니다. 희소 뷰로부터의 재질 복원의 난해함을 해결하기 위해 세 가지 상호 보완적인 사전 확률이 도입됩니다:

세그멘테이션 가이드 (Segmentation Guidance - ICC): 학습이 필요 없는 세그멘테이션 마스크 리프팅(SAM, CLIP, DINOv2 활용)을 사용하여 클래스 내 일관성을 강제합니다. 이는 거울 같은 재질 내에서 거칠기(roughness)와 금속성(metallicity)의 분산을 최소화하는 동시에 혼합된 재질을 허용합니다. 특정 손실 항은 최적화가 거울 같은 재질의 스펙큘러 반사에 텍스처 디테일을 할당하도록 유도하여 모호성을 해결합니다.
고유 이미지 분해 (Intrinsic Image Decomposition, IID) 사전 확률: 최첨단 IID 네트워크(Teamwork 또는 RGB2X)가 확산 반사율(diffuse albedo)에 대한 강력한 초기값을 제공합니다. 단안 IID에 내재된 뷰 불일치를 완화하기 위해, 최적화가 수렴함에 따라 손실 가중치를 선형적으로 감소시킵니다.
다중 조명 점수 증류 샘플링 (Multi-Illuminated Score Distillation Sampling, MI-SDS): 새로운 뷰와 조명에 대한 일반화를 보장하기 위해, 무작위로 선택된 환경 맵(environment maps) 하에서 장면을 렌더링하고 확산 기반의 SDS 손실을 적용합니다. 이는 단일 학습 환경 맵에 대한 과적합을 방지하고 재조명의 물리적 일관성을 개선합니다.

최종 최적화는 이러한 사전 확률들과 재렌더링 손실을 결합하며, 장면별 미세 조정 없이 고정된 하이퍼파라미터를 사용합니다.

3. 주요 기여

희소 뷰 강건성 (Sparse-View Robustness): 파운데이션 모델을 사전 확률로 활용하여 희소 다중 뷰 캡처의 모호성을 처리하도록 설계된 2단계 프레임워크를 도입했습니다.
통합된 사전 확률 (Unified Priors): 물리 기반 가우시안 스플래팅 최적화 파이프라인 내에 세그멘테이션, 고유 이미지 분해, 확산 사전 확률을 새롭게 통합했습니다.
반사율과 조명의 분리 (Disentanglement of Reflectance and Lighting): 재질 특성을 조명 효과로부터 효과적으로 분리하여, 이전 연구들의 흔한 실패 모드인 반사 효과가 알베도 맵에 베이킹되는 현상을 줄였습니다.
포괄적인 평가 (Comprehensive Evaluation): 합성 데이터(Shiny Blender, Synthetic4Relight) 및 실제 데이터(Ref-Real)셋에 대한 광범적인 테스트를 통해 기하 구조, 재질 추정, 새로운 뷰 합성(NVS) 및 재조명 측면에서의 우수성을 입증했습니다.

4. 결과

광범적인 실험을 통해 GAINS가 여러 지표에서 최첨단 가우시안 기반 IR 방법들(Ref-Gaussian, GI-GS, GShader 등)보다 뛰어난 성능을 보임을 입증했습니다:

정량적 성능: Synthetic4Relight 데이터셋(8 뷰)에서 GAINS는 재조명(relighting)에 대해 28.16의 PSNR을 달성하여, Ref-Gaussian(24.29)과 GI-GS(23.92)를 크게 앞질렀습니다. Shiny Blender에서는 Ref-Gaussian의 17.26 대비 22.29 PSNR을 달성했습니다.
재질 정확도: GAINS는 더 정확한 알베도, 거칠기, 금속성 맵을 생성하여 새로운 환경 맵 하에서의 더 나은 재조명을 가능하게 합니다.
희소 뷰의 이점: 개선 효과는 특히 희소한 설정(4~8 뷰)에서 두드러집니다. 경쟁 방법들이 이러한 영역에서 노이즈가 있는 법선, 플로터 또는 과적합 문제로 어려움을 겪는 반면, GAINS는 안정적인 기하 구조와 재질 추정을 유지합니다.
밀집 뷰 경쟁력: 밀집된 입력(32+ 뷰)에서도 GAINS는 경쟁력을 유지하지만, 관측 밀도가 높아짐에 따라 일부 베이스라인(Ref-Gaussian 등)이 NVS 지표에서 격차를 좁히기 시작합니다.

정성적 비교에서 GAINS는 (Ref-Gaussian에서 누락된) 올바른 지면 반사를 복원하고, (GI-GS의 실패 사례인) 객체에 하늘 반사가 베이킹되는 현상을 방지하여 물리적으로 타당한 재조명을 보여줍니다.

5. 의의 및 주장

본 논문은 GAINS가 밀집된 캡처가 불가능한 실제 시나리오에서 역 렌더링을 실용적으로 만드는 데 있어 중요한 진전임을 주장합니다. 파운데이션 모델과 물리 기반 표현을 결합함으로써, 이 방법은 희소 뷰 IR의 고질적인 문제였던 반사율과 조명의 모호성을 성공적으로 해결했습니다.

저자들은 이 접근 방식이 장면별 튜닝이나 사전 미세 조정 없이 고정된 하이퍼파라미터에 의존한다는 점을 강조합니다. 또한 한계점으로서, 현재 완전한 장면에 대한 전역 조명(global illumination) 제외 문제와 매우 반짝이는 물체의 경우 기하 법선에서 발생하는 미세한 물결 현상(이로 인해 확산 알베도에 약간의 스펙큘러 베이킹이 발생할 수 있음)을 인정합니다. 그러나 핵심 기여는 학습 기반의 사전 확률이 희소 관측 조건 하에서 물리적으로 일관된 역 렌더링을 안정화하는 데 필수적임을 입증했다는 데 있습니다.