당신이 시간을 멈추고 그 장면 속을 걸어 다니며 원하는 모든 각도에서 볼 수 있는 마법의 카메라를 들고 있다고 상상해 보세요. 이것은 '자유 시점 비디오(Free-Viewpoint Video, FVV)'가 꿈꾸는 기술로, 역동적이고 움직이는 세계를 마치 그곳에 실제로 있는 것처럼 탐험하게 해줍니다. 오랫동안 이러한 비디오를 만드는 것은 젖은 모래로 집을 짓는 것과 같았습니다. 구축 속도가 믿기지 않을 정도로 느리거나, 엄청난 양의 저장 공간(마치 설계도가 가득한 도서관처럼)이 필요하거나, 혹은 최종 결과물이 흐릿하고 가짜처럼 보였습니다.

최근 과학자들은 "3D 가우시안 스플래팅(3D Gaussian Splatting)"이라는 영리한 기술을 발견했습니다. 이것을 장면을 단단한 블록이나 복잡한 와이어프레임으로 표현하는 대신, 수백만 개의 작고 알록달록하게 회전하는 풍선(또는 스플랫) 구름으로 표현한다고 생각해 보세요. 이 풍선들은 빛이 실제 물체에 부딪히는 방식을 흉내 내기 위해 늘어나거나, 회전하거나, 색이 입혀질 수 있습니다. 이들은 단순한 형태이기 때문에 컴퓨터가 화면에 매우 빠르게 그려낼 수 있어 실시간 시청이 가능합니다. 하지만 이 풍선들을 움직이는 사물(예: 춤추는 사람이나 커피가 부어지는 모습)을 촬영하는 데 사용하면 기존 방식들은 막히게 됩니다. 기존 방식들은 모든 풍선을 개별적으로 움직이려 하거나(시간이 너무 오래 걸리고 저장 공간을 많이 차지함), 새로운 물체가 나타날 때 혼란을 느껴 빈 공간을 남기곤 했습니다.

이것이 바로 새로운 방법인 Struct-GStream을 불러왔습니다. 이 논문의 연구자들은 다음과 같은 간단한 질문을 던졌습니다. "우리는 슈퍼컴퓨터 없이도 더 빠르고, 더 작고, 더 선명한 움직이는 풍선 비디오를 만들 수 있을까?" 그들은 장면을 두 가지 서로 다른 팀으로 조직함으로써 이 문제를 해결할 수 있다는 것을 발견했습니다. 하나는 뼈대처럼 함께 움직이는 팀이고, 다른 하나는 지저분한 세부 사항을 채우기 위해 자유롭게 떠다니는 팀입니다. 이를 통해 그들은 매우 낮은 데이터 전송률로 고품질의 움직이는 3D 비디오를 스트리밍할 수 있었습니다. 그들의 결과는 이 접근 방식이 이전 방법들보다 훨씬 빠르게 학습되고 저장 공간을 적게 사용하면서도 훌륭한 품질을 유지한다는 것을 보여줍니다.

두 가지 풍선 팀의 이야기

Struct-GStream이 어떻게 작동하는지 이해하기 위해, 수백만 개의 작고 빛나는 풍선 양동이를 사용하여 북적이는 거리 장면을 재현한다고 상상해 보세요.

옛날 방식: 개별 풍선들의 혼돈
이전 방식들은 움직이는 장면을 처리할 때 모든 풍선을 독립적인 배우로 취급했습니다. 만약 사람이 화면을 가로질러 걸어간다면, 컴퓨터는 그 사람에 붙어 있는 모든 풍선의 새로운 위치, 크기, 색상을 계산해야 했습니다. 이는 마치 군중 속의 모든 엑스트라에게 매 초마다 새로운 대사와 의상을 지정해 주어야 하는 연극을 연출하는 것과 같았습니다. 이 방식은 엄청난 양의 데이터를 저장해야 했고, 쇼를 보여주기 전까지 "연습(학습)"하는 데 오랜 시간이 걸렸습니다.

새로운 방식: 뼈대와 패치 크루
이 논문의 저자들은 세상의 대부분이 특정한 논리에 따라 움직인다는 사실을 깨달았습니다. 사람의 팔은 어깨와 함께 움직이고, 자동차 바퀴는 차체와 함께 움직입니다. 그들은 모든 풍선을 미세하게 관리할 필요가 없었습니다. 대신, 풍선을 두 개의 특별한 그룹으로 나누었습니다.

1. 구조화된 팀 (뼈대):
   이 그룹은 "구조화된 3D 가우시안(Structured 3D Gaussians)"으로 구성됩니다. 이 풍선들은 보이지 않는 움직이는 앵커 포인트(고정점), 즉 뼈대에 붙어 있다고 상상해 보세요. 장면이 움직이면 뼈대 전체가 이동하고, 그에 붙은 모든 풍선도 조화롭게 함께 움직입니다. 이는 사람이 걷거나 자동차가 달리는 것과 같은 "큰 그림"의 움직임을 처리합니다. 풍선들이 하나의 단위로 움직이기 때문에, 컴퓨터는 모든 풍선을 개별적으로 계산할 필요가 없습니다. 이는 엄청난 양의 저장 공간을 절약하고 학습 과정을 믿기지 않을 정도로 빠르게 만듭니다.

2. 자유 팀 (패치 크루):
   하지만 지저한 부분들은 어떻게 할까요? 예를 들어 커피가 부어지거나 옷자락이 바람에 휘날리는 것처럼 새로운 물체가 나타나면 어떻게 될까요? 경직된 뼈대는 이러한 갑작스럽고 복잡한 변화를 완벽하게 처리할 수 없습니다. 여기서 "자유 3D 가우시안(Free 3D Gaussians)"이 등장합니다. 이들은 뼈대가 없이 자유롭게 떠다니는 수리공 크루라고 생각하세요.

시스템은 이 작업자들을 어디로 보내야 할지 아는 영리한 방법을 가지고 있습니다. 시스템은 이미지가 흐릿하거나 잘못되어 보이는 곳(뷰 공간 위치 기울기가 높은 곳)을 찾아냅니다. 문제 영역을 발견하면, 그곳에 몇 개의 새로운 자유 풍선을 생성하여 구멍을 메웁니다. 만약 불꽃처럼 새로운 물체가 나타나면, 이 자유 풍선들이 그 주변으로 몰려들어 처음부터 형태를 만들어냅니다.

"글로벌 패칭(Global Patching)"의 마법
이 방법이 특별하게 만드는 비결은 바로 여기에 있습니다. 기존의 온라인 방식에서는 "패치 크루"가 매 초마다 해고되었다가 다시 채용되었습니다. 만약 강아지의 혀가 한 프레임에서 튀어나왔다면, 컴퓨터는 그것을 만들었다가, 다음 프레임에서 삭제하고, 다시 재건축했습니다. 이로 인해 이미지가 깜빡거리거나 불안정해 보였습니다.

Struct-GStream은 규칙을 바꿉니다. 이 방식은 자유 풍선들을 한 프레임에서 다음 프레임으로 계속 유지합니다. 만약 어떤 자유 풍선이 한 프레임에서 커피잔을 만드는 데 도움을 주었다면, 그 풍선은 그대로 남아 다음 프레임에서도 잔을 정교하게 다듬는 데 기여합니다. 이는 새로운 물체가 글리치(오류) 없이 자연스럽게 나타나는 매끄럽고 연속적인 비디오를 만들어냅니다. 이는 마치 매 초마다 새로운 크루가 나타나는 것이 아니라, 현장에 머물며 장면이 진화함에 따라 업무에 점점 더 능숙해지는 숙련된 크루를 두는 것과 같습니다.

연구 결과

연구진은 사람들이 대화하는 방, 스테이크가 익어가는 장면, 넓은 야외 지역 등 여러 실제 데이터셋을 통해 자신들의 방법을 테스트했습니다. 그들은 동일한 작업을 수행하는 다른 최상위 기술들과 비교했습니다.

결과는 매우 유망했습니다. Struct-GStream은 N3DV 데이터셋에서 새로운 비디오 프레임을 약 0.14분(약 8.4초) 만에 학습해 냈는데, 이는 많은 다른 온라인 방식보다 현저히 빠른 속도입니다. 저장 공간 측-면에서도 파일 크기를 매우 작게 유지하여, 프레임당 평균 4.7 ~ 4.8 MB를 기록했습니다. 이는 약 7.6 MB를 사용한 3DGStream이나 17.7 MB를 사용한 StreamRF와 같은 경쟁 모델보다 훨씬 가볍습니다.

이렇게 작고 빠름에도 불구하고 품질은 높게 유지되었습니다. 이 방법은 N3DV 데이터셋에서 31.72 dB의 PSNR(이미지가 원본과 얼마나 유사한지를 측정하는 점수)을 달 achievement 하여, 여러 다른 온라인 방식들을 제치고 학습 시간이 훨씬 오래 걸리는 최고의 오프라인 방식들에 근접했습니다. 또한 **120 FPS(초당 프레임 수)**로 비디오를 렌더링할 수 있었는데, 이는 매끄러운 실시간 시청이 가능한 속도입니다.

왜 중요한가 (그리고 아직 할 수 없는 것)

핵심적인 결론은 이제 속도나 저장 공간을 위해 품질을 희생할 필요가 없다는 것입니다. 풍선을 움직이는 뼈대와 스마트한 패치 크루로 조직함으로써, 저자들은 고품질의 움직이는 3D 비디오를 효율적으로 스트리밍하는 것이 가능하다는 것을 보여주었습니다. 이는 가상 현실(VR)에서 장면을 로딩하는 것을 기다리지 않고 탐험하고 싶을 때나, 어떤 각도에서도 상대방을 볼 수 있는 화상 통화 같은 분야에서 큰 혁신이 될 수 있습니다.

하지만 저자들은 한계점에 대해서도 솔직하게 밝히고 있습니다. 이 방법은 첫 번째 프레임의 품질에 크게 의존합니다. 만약 시작하는 그림이 흐릿하거나 일부가 누락되어 있다면(예: 방의 어두운 구석), 뼈대가 혼란을 겪어 나중에 비디오가 떨릴 수 있습니다. 또한 그들의 방법이 다른 방식보다 빠르고 작기는 하지만, 현재 실제 비디오 시스템에서 사용되는 절대적으로 가장 작은 압축 표준에는 아직 미치지 못한다는 점도 언급했습니다. 그러나 그들이 제안하듯, 첫 번째 프레임만 완벽하게 만들 수 있다면 전체 시스템은 훨씬 더 잘 작동할 수 있습니다.

요약하자면, Struct-GStream은 움직이는 3D 비디오의 구성 요소를 조직하는 영리한 새로운 방법이며, 약간의 구조와 스마트한 패치 크루만 있다면 빠르고, 작으면서도 놀라울 정도로 실감 나는 움직이는 3D 세계를 만들 수 있음을 증명했습니다.