GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

레이싱 카가 빠르게 지나가는 모습을 고속 촬영하려고 한다고 상상해 보세요. 하지만 당신의 카메라는 너무 느려서 단 한 장의 흐릿한 사진만 찍을 수 있습니다. 이제 그 한 장의 사진이 사실은 레이스의 수백 가지 서로 다른 순간들을 담고 있는 비밀 암호라고 상상해 보세요. 이 모든 것이 하나로 뒤섞여 있습니다. 이것이 바로 **스냅샷 압축 영상(Snapshot Compressive Imaging, SCI)**의 놀라운 세계입니다. 이는 카메라가 영상을 찍는 대신, 특수한 마스크에 의해 "변조된" 사진 한 장을 찍어 시간과 공간을 하나의 스냅샷 안에 뒤섞는 영리한 트릭입니다. 문제는 무엇일까요? 이 혼란스러운 사진 한 장을 다시 선명하고 움직이는 영상으로 해독하는 것입니다. 보통 과학자들은 비디오 프레임이 어떻게 생겼을지 추측하며 이를 해결하려 하지만, 카메라가 3D 장면(예: 건물을 돌며 비행하는 드론) 주변을 움직이는 경우, 이러한 추측들은 종종 무너져 내려서 뒤죽박죽이고 유령 같은 잔상만을 남기게 됩니다.

여기 **3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)**이라는 더 새롭고 매우 빠른 3D 세계 구축 방식이 등장합니다. 3DGS는 조각가처럼 단단한 메쉬를 만드는 대신, 수천 개의 작고 흐릿한 3D 구름(가우시안)으로 장면을 채색합니다. 이 구름들은 마치 반짝이(글리터)처럼 보입니다. 빛(또는 카메라)을 이 구름들에 비추면, 그것들이 서로 섞이며 선명한 이미지를 형성합니다. 이는 안개로 도시를 건설하되, 올바른 각도에서 바라볼 때만 즉시 단단하게 변하는 것과 같습니다. 하지만 이 '반짝이 도시 건설자'조차 SCI 카메라로부터 얻은 단 하나의 뒤섞인 사진만을 단서로 삼아야 할 때는 어려움을 겪습니다. 수학적 계산이 복잡해지고, 안개 구름들이 엉뚱한 곳에 떠다니며, 카메라의 경로를 놓치게 됩니다.

이 논문은 이 퍼즐을 풀기 위해 초스마트 탐정 역할을 하는 새로운 방법인 GS2CI를 소개합니다. 저자들은 단 하나의 뒤섞인 사진만으로 3D 형태와 카메라 경로를 추측하는 것이 너무 어렵다는 것을 깨달았고, 그래서 강력한 조력자인 **대규모 시각 모델(Vision Foundation Models, VFMs)**을 도입했습니다. 이 모델들은 수백만 개의 3D 장면을 학습하여 빛, 깊이, 카메라 움직임이 보통 어떻게 작동하는지 알고 있는 AI라고 생각하면 됩니다. GS2CI는 이 AI의 두뇌를 사용하여 카메라가 어디에 있었고 3D 장면이 어떤 모습인지에 대해 똑똑한 첫 번째 추측을 내놓습니다. 그다음, 시스템은 OSGR(불투명도 유도 분할 및 성장 조절)이라는 특별히 제작된 맞춤형 규칙을 사용하여 반짝이 구름들을 정리합니다. 이 규칙은 구름이 수학적 조건을 맞추기 위해 너무 커지거나 이상한 방식으로 뭉치는 것을 방지합니다. 마지막으로, 두 번째 AI를 사용하여 디테일을 다듬고, 모든 각도에서 장면이 선명하고 실제처럼 보이도록 만듭니다. 결과는 어떨까요? 이 방법은 그 뒤섞인 사진 한 장을 가져와서, 카메라가 격렬하게 움직이더라도 일관성을 유지하는 고품질의 3D 장면을 재구성해 냅니다. 기존 방식들보다 속도와 선명도 모두에서 뛰어난 성능을 보여줍니다.

문제점: "원샷(One-Shot)"의 미스터리

당신이 범죄 현장을 재구성하려는 탐정이라고 상상해 보세요. 하지만 당신에게는 단 한 장의 사진뿐입니다. 설상가상으로, 그 사진은 경찰이 현장을 8번의 서로 다른 시간에 찍은 뒤 특수 필터로 모두 섞어버린 "압축된" 버전입니다. 당신은 8번의 순간 중 정확히 언제 카메라가 어디에 있었는지 모르며, 특정 순간에 장면이 어떤 모습이었는지도 모릅니다. 이것이 스냅샷 압축 영상(SCI) 문제입니다.

기존의 대부분의 방법은 프레임 단위로 영상을 추측하여 이 문제를 해결하려 합니다. 하지만 카메라가 3D 물체(예: 조각상을 돌며 비행하는 드론) 주변을 움직이는 경우, 이러한 추측들은 혼란에 빠집니다. 카메라는 실제로 움직이고 있는데도 조각상이 움직이고 있다고 착각할 수 있습니다. 이들은 깊이와 원근감을 이해하는 "3D 두뇌"가 부족하기 때문에 어려움을 겪습니다. 이들은 마치 테이블 위에 드리워진 평면적인 그림자만을 의지한 채, 눈을 가리고 3D 퍼즐을 풀려고 하는 사람과 같습니다.

해결책: 2단계 탐정 팀

이 논문의 저자들은 세 가지 강력한 도구—3D AI 두뇌, 3D 반짝이 빌더, 그리고 맞춤형 규칙 책—를 결합하여 이 문제를 해결하는 GS2CI 프레임워크를 제안합니다.

1단계: 스마트한 추측 (3D VFM 초기화)
처음부터 시작하는 대신, GS2CI는 먼저 "프록시 뷰(proxy views)"를 생성합니다. 뒤섞인 사진과 알려진 필터 패턴을 사용하여 8개의 서로 다른 프레임이 어떻게 생겼을지에 대한 대략적인 추측 버전을 만듭니다. 그런 다음, 이 대략적인 추측치를 **3D 시각 기초 모델(3D VFM)**에 입력합니다. 이 VFM은 수백만 개의 3D 장면을 공부한 AI라고 생각하면 됩니다. VFM은 이 대략적인 추측을 보고 "아, 내가 이전에 본 것에 따르면, 카메라는 아마 여기 있었을 것이고 물체는 이런 모양일 거야"라고 말해줍니다. 이는 시스템에 무작위적인 추측이 아닌, 매우 강력한 시작점을 제공합니다.

2단계: 반짝이 빌더 (3D 가우시안 스플래팅)
AI가 카메라 경로와 장면의 형태에 대한 대략적인 아이디어를 얻으면, 시스템은 3D 가우시안 스플래팅으로 전환합니다. 이 방식은 수천 개의 작고 흐릿한 3D 구름(가우시안)을 사용하여 장면을 구축합니다. 시스템은 이 구름들을 배치하여, 8개의 서로 다른 각도에서 바라보았을 때 뒤섞인 사진을 완벽하게 재현하도록 노력합니다.

반전: OSGR 규칙 책
여기서 이 논문은 정말 영리해집니다. 3D 구름을 뒤섞인 사진에 맞추려고 할 때 수학적 계산이 까다로워질 수 있습니다. 시스템은 실수를 덮기 위해 구름을 올바른 위치로 옮기는 대신, 단 하나의 구름을 매우 불투명하게(매우 단단하게) 만들어 수학적 조건을 "만족"시키려 할 수도 있습니다. 이는 3D 구조를 망치는 "불투명도 피크(opacity peaks)"를 생성합니다.

이를 해결하기 위해 저자들은 **OSGR (불투명도 유도 분할 및 성장 조절)**을 발명했습니다.

• 불투명도 유도 분할 (Opacity-Guided Splitting): 만약 한 지점에서 구름이 너무 "단단해지면"(불투명도 피크 발생), OSGR은 "이건 수상해! 이 큰 구름 하나를 더 작고 정밀한 두 개의 구름으로 나누자"라고 명령합니다. 이는 시스템이 단단한 덩어 뒤에 숨는 대신 실제 형태를 찾도록 강제합니다.
• 성장 조절 (Growth Regulation): 또한 시스템은 사용할 수 있는 구름의 개수를 엄격하게 제한합니다. 이는 장면이 불필요한 구름으로 비대해지는 것을 막아 재구성을 빠르고 안정적으로 유지합니다.

3단계: 다듬기 (보조 2D VFM)
주된 3D 장면이 구축된 후에도 시스템은 아직 끝나지 않았습니다. 시스템은 카메라가 실제로 보지 못했던 새로운 "가짜 뷰(합성 뷰)"를 생성합니다. 그런 다음 2D 시각 기초 모델을 사용하여 그 뷰들이 어떠해야 하는지를 상상합니다. 시스템은 자신의 3D 장면을 이 "꿈꿔낸" 이미지들과 비교하여 구름의 디테일을 조정하고, 더욱 선명하고 현실적으로 만듭니다. 이는 마치 화가가 그림에 세밀한 디테일을 더하는 마지막 손질 작업과 같습니다.

결과: 더 빠르고, 더 선명하며, 더 견고함

저자들은 단순한 물체부터 복잡한 야외 환경, 심지어 매우 높은 압축률(32개의 뷰가 한 장의 사진에 섞인 경우)까지 다양한 장면에서 GS2CI를 테스트했습니다.

• 더 나은 품질: 테스트 결과, GS2CI는 기존 방식들보다 오류가 적고 더 선명한 이미지를 지속적으로 생성했습니다. 예를 들어, "Vender"라는 장면에서 GS2CI는 38.52의 PSNR(이미지 품질 측정치)을 달성하여, 그다음으로 좋은 방식의 점수인 36.40을 앞질렀습니다.
• 속도: 이 방식은 믿을 수 없을 정도로 빠릅니다. 뒤섞인 사진에서 최종 3D 장면에 이르는 전체 과정은 표준적인 고성능 컴퓨터(NVIDIA RTX 4090)에서 약 68.4분이 걸렸습니다. 이에 비해 기존의 최고 방식인 SCINeRF는 동일한 작업을 수행하는 데 12시간 이상(746.84분)이 걸렸습니다.
• 견고함: 카메라가 예측 불가능하게 움직이거나 사진이 심하게 압축된 경우에도 GS2CI는 무너지지 않았습니다. 이 방식은 "경계가 없는(unbounded)" 장면(시야가 끝없이 펼쳐지는 장면)과 복잡한 카메라 경로를 경쟁 모델들보다 훨씬 더 잘 처리했습니다.

한계점 (현재 기준)

논문은 자신들의 한계에 대해서도 솔직하게 밝히고 있습니다. 정적인 장면(물체가 움직이지 않는 장면)에는 매우 효과적이지만, 사람이나 새처럼 독립적으로 움직이는 물체가 있는 **동적 장면(dynamic scenes)**에서는 어려움을 겪습니다. 움직이는 물체가 포함된 테스트(예: "Bear" 또는 "Flamingo" 비디오)에서 이 방식은 다른 전문적인 기술들만큼의 성능을 보여주지 못했습니다. 저자들은 향ما후에 움직이는 물체를 더 잘 다루기 위해 "반짝이 구름"을 4D(시간을 차원으로 추가)로 업그레이드해야 할 수도 있다고 제적합니다.

이것이 중요한 이유

이 논문은 대규모 AI 모델의 "상식"과 3D 가우시안 스플래팅의 속도를 결합함으로써, 가장 어려운 영상 문제 중 하나를 해결할 수 있음을 보여줍니다. 이는 단 하나의 뒤섞인 사진을 우리가 걸어 다닐 수 있는 풍부한 3D 세계로 탈바로 바꾸며, 이를 실용적으로 사용할 수 있을 만큼 빠르게 수행합니다. 이는 작고 저렴하면서도 강력한 고속 3D 카메라를 만들기 위한 큰 진전입니다.