당신이 오직 사진만을 이용해 도시의 완벽한 3D 모델을 만들려고 한다고 상상해 보세요. 컴퓨터 그래픽의 세계에는 **3D 가우시안 스플래팅(3D Gaussian Splatting)**이라는 매우 빠르고 매우 선명한 기술이 있습니다. 이것은 마치 디지털 아티스트가 수백만 개의 작고 폭신한 색깔 있는 구름(가우시안이라고 불림)을 가상 공간에 던지는 것과 같습니다. 컴퓨터는 각 구름이 어디에 떠 있어야 하는지, 크기는 얼마여야 하는지, 그리고 어떤 색이어야 하는지를 정확히 파악하여, 당신이 어떤 각도에서 모델을 보더라도 마치 실제 사진처럼 보이게 만듭니다.

보통 이 마법 같은 기술은 입력되는 모든 사진이 결정적이고 완벽할 때 가장 잘 작동합니다. 하지만 현실 세계의 사진은 결코 완벽하지 않습니다. 사진들은 용량을 줄이기 위해 스마트폰이나 하드 드라이브에 저장될 때 JPEG 방식으로 압축되곤 합니다. 이 "압축" 과정은 마치 거대하고 폭신한 베개를 아주 작은 여행 가방 안에 억지로 집어넣는 것과 같습니다. 가방(JPEG 파일)에 맞추기 위해 베개를 짓눌러야 하므로, 뭉툭한 블록 패턴이나 가장자리 주변의 흐릿한 고리 모양 같은 이상한 현상이 발생합니다. 이를 "아티팩트(artifacts)"라고 부릅니다. 만약 당신이 이 찌그러지고 블록 형태가 나타나는 JPEG 사진들과 완벽한 사진들을 섞어서 3D 도시를 만들려고 한다면, 컴퓨터는 혼란에 빠집니다. 컴퓨터는 블록 형태의 부분을 고치려고 노력하지만, 그 과정에서 다른 사진들이 만들어 놓은 완벽한 부분까지 망가뜨려 결국 3D 모델이 글리치(glitch)가 생기고 이상하게 보이게 됩니다.

이것이 바로 한 연구팀이 새로운 논문인 JSGS를 통해 해결하고자 했던 퍼즐입니다. 그들은 다음과 같은 간단한 질문을 던졌습니다. 만약 컴퓨터가 나쁜 사진을 단순히 무시하는 대신, 그 사진이 정확히 어떻게 찌그러졌는지 이해할 수 있다면 어떨까? JSGS는 저품질의 JPEG를 단순히 "나쁜" 사진으로 취급하는 대신, 특정 규칙을 가진 퍼즐로 취급합니다. 이 논문은 모든 JPEG 파일 안에 들어있는 숨겨진 "설명서"(양자화 테이블이라고 불림)를 사용하면, 컴퓨터가 해당 사진이 어떻게 왜곡되었는지 정확히 학습할 수 있다고 제안합니다. 자신의 3D 모델에 동일한 왜곡을 시뮬레이션하여 사진과 비교함으로써, 컴퓨터는 아티팩트와 싸우는 대신 그것으로부터 배우기 시작합니다. 그 결과, 3D 모델은 매우 날카롭고 사실적으로 보이며, 심지어 품질이 들쭉날쭉한 사진들을 섞어서 만들었음에도 불구하고 말이죠.

문제점: "나쁜 사진"이 주는 혼란

당신이 학생의 그림을 채점하려는 선생님이라고 상상해 보세요. 당신에게는 자전거의 완벽한 참조 사진이 있습니다. 하지만 학생은 그 사진을 저렴하고 입자가 거친 프린터로 복사한 복사본만을 가지고 있습니다. 그 복사본에는 바퀴 주변에 이상한 블록 모양의 사각형이 있고, 핸들바 주변에는 흐릿한 고리 모양이 있습니다.

만약 당신이 학생에게 "이 복사본과 똑같이 그려라"라고 말한다면, 학생은 그 블록과 흐릿함을 그대로 그리게 될 것입니다. 그런데 만약 당신이 똑같은 자전거의 아주 깨끗하고 선명한 다른 사진을 보여주며 그림을 수정하라고 한다면, 학생은 혼란스러워할 것입니다. 첫 번째 사진 때문에 블록을 유지해야 할까요? 아니면 두 번째 사진 때문에 블zeta를 제거해야 할까요?

이것이 바로 표준적인 3D 가우시안 스플래팅에서 일어나는 일입니다. 컴퓨터는 여러 장의 사진을 사용하여 하나의 3D 세계를 구축하려고 합니다. 만약 한 장의 사진은 고품질 JPEG이고 다른 한 장은 찌그러지고 블록 형태가 나타나는 저품질 JPEG라면, 컴퓨터는 두통을 앓게 됩니다. 컴퓨터는 블록 형태의 사진에 맞추기 위해 3D "구름"을 업데이트하려고 시도하며, 이 과정에서 다른 사진들이 구축하려던 매끄러운 부분들을 망가뜨립니다. 이 논문은 표준적인 방식이 마치 프린터가 복사본을 만드는 데 사용한 구체적인 지침을 보지 않은 채 학생의 그림을 채점하는 것과 같다고 주장합니다.

해결책: "마법의 번역기" (JSGS)

저자인 진화 추이(Jinhua Cui)와 그의 팀은 JSGS(JPEG State-Guided Supervision)라고 불리는 영리한 해결책을 고안했습니다. JSGS는 사진에 일어난 "압축"을 무시하는 대신, JPEG 파일 안에 숨겨진 비밀 지침을 사용하여 컴퓨터를 안내합니다.

작동 방식은 세 가지 재미있는 단계로 나뉩니다.

1. "척하면서 만들기" 번역기 (JPEG Observation Operator)
모든 JPEG 파일에는 **양자화 테이블(quantization table)**이라는 숨겨진 메모가 들어있습니다. 이 테이블은 "이 사진의 경우 밝은 색상은 이만큼 찌그러뜨리고, 어두운 색상은 저만큼 찌그러뜨렸다"라고 적힌 레시피 카드와 같습니다.
JSGS는 컴퓨터의 3D 모델을 가져와서 이미지를 렌더링한 다음, 원본 사진에서 발견된 것과 정확히 동일한 레시피 카드를 사용하여 그 이미지를 "가짜" JPEG 과정으로 통과시킵니다. 이는 마치 컴퓨터가 이렇게 말하는 것과 같습니다. "좋아, 나는 자전거를 그리겠지만, 그다음엔 네 저품질 사진과 똑같이 보이도록 내 그림을 의도적으로 찌그러뜨릴게." 이제 컴퓨터가 자신의 찌그러진 그림을 당신의 찌그러진 사진과 비교하면, 둘은 완벽하게 일치하게 됩니다! 컴퓨터는 블록과 싸우는 것이 아니라, 블록의 언어를 배우는 것입니다.

2. "주파수 탐정" (Domain-Matched DCT Supervision)
사진은 다양한 종류의 디테일로 구성됩니다. 어떤 것은 크고 흐릿한 형태(저주파)이고, 어떤 것은 작고 날카로운 가장자리(고주파)입니다. "압축" 과정은 보통 중간 크기의 디테일을 가장 많이 망가뜨립니다.
JSGS는 사진의 어느 부분이 가장 심하게 찌그러졌는지 알고 있는 탐정처럼 행동합니다. 레시피 카드를 사용하여 오류의 가중치를 조절합니다. 만약 사진이 특정 영역에서 심하게 찌그러졌다면, 컴퓨터는 그 부분에서는 부드럽게 대처하도록 배웁니다. 만약 사진이 선명하다면, 컴퓨터는 그 부분에 더 주의를 기울입니다. 이는 마치 "오, 이 학생의 글씨체가 페이지 중간 부분에서 흔들리니까, 글씨가 명확한 위쪽과 아래쪽에 더 집중해서 채점해야겠다"라고 판단하는 선생님과 같습니다. 이를 통해 컴퓨터는 노이즈에 방해받지 않고 올바른 디테일을 학습할 수 있습니다.

3. "구름 관리자" (Gaussian Controller)
때때로 컴퓨터는 사진과 모델 사이의 불일치를 여전히 발견할 수 있습니다. 예를 들어, 사진에는 이상한 블록 모양의 사각형이 있는데 모델에는 없는 경우입니다.
JSGS에는 이러한 불일치를 감시하는 특별한 관리자가 있습니다. 만약 컴퓨터가 블록 형태의 영역에서 문제를 일으키는 아주 작고 흐릿한 구름(가우시안)을 발견하면, 관리자는 그것을 줄이거나 부드럽게 만들라고 명령합니다. 이는 마치 교통 경찰이 사고가 나지 않도록 작은 구름들을 문제 지점에서 멀리 유도하는 것과 같습니다. 이를 통해 3D 모델을 깨끗하게 유지하고 "나쁜 사진"이 전체 장면을 망치는 것을 방지합니다.

연구 결과

연구팀은 자전거부터 공룡에 이르기까지 7가지의 서로 다른 3D 장면을 대상으로, 고품질 사진과 저품질 사진을 섞는 세 가지 서로 다른 방식을 사용하여 새로운 방법을 테스트했습니다.

• 결과: JSGS는 큰 성공을 거두었습니다. 이 방식은 이전 방법들보다 훨씬 더 사실적인 3D 모델을 만들어냈습니다. 구체적으로, 모든 테스트에서 가장 낮은 오류율(LPIPS)을 기록했는데, 이는 모델이 실제와 가장 흡사하게 보인다는 것을 의미합니다. 또한 가장 높은 구조적 유사도(SS림, SSIM)를 보여주어, 형태와 디테일이 가장 잘 보존되었습니다.
• 속도: 놀라운 점 중 하나는 JSGS가 속도를 늦추지 않았다는 것입니다. JSGS는 약 **150 FPS(초당 프레임 수)**로 3D 장면을 렌더링할 수 있었습니다. 이는 나쁜 사진들을 수정하는 복잡한 수학 계산을 수행하면서도, 3D 세계를 실제 비디오 게임처럼 느껴지게 할 만큼 충분히 빠른 속도입니다.
• 트레이드오프(Trade-off): JSGS가 이미지를 사실적으로 만들고 구조적으로 정확하게 만드는 데는 가장 뛰어났지만, 픽셀의 원시 밝기(PSNR)를 측정하는 데 있어서는 FDS-GS라는 다른 방식이 약간 더 나았습니다. 그러나 저자들은 인간의 눈에는 단순히 픽셀 숫자를 완벽하게 맞추는 것보다 "실제처럼 보이는 것"(낮은 LPIPS)이 더 중요할 수 있다고 제안합니다.

결론

이 논문은 사진이 어떻게 압축되었는지를 이해하는 것이, 단순히 사진을 나쁜 이미지로 취급하는 것보다 훨씬 더 나은 3D 세계를 구축할 수 있게 해준다는 결론을 내립니다. JSGS는 컴퓨터가 다양한 JPEG 사진의 "억양"을 이해하도록 돕는 번역기와 같습니다.

하지만 저자들은 한계점에 대해서도 솔직하게 밝혔습니다. 이 방식은 사진이 한 번 압축된 경우에는 잘 작동합니다. 하지만 사진이 압축되고, 저장되고, 다시 압축된 경우(이중 압축)에는 완벽히 대응하기 어려운데, 이는 두 번째 압축이 원래의 지침을 덮어쓰기 때문입니다. 또한, 이들은 실험실에서 직접 만든 사진들로 테스트했기 때문에, 실제 세상의 일반적인 카메라가 찍은 모든 사진에 대해 어떻게 작동할지는 아직 100% 확신할 수 없습니다.

그럼에도 불구하고, 현재로서 JSGS는 엉망진창인 사진 더미를 멋지고 빠른 3D 경험으로 바꾸는 유쾌하고 강력한 새로운 방법을 제시합니다. 이는 때때로 완벽한 것을 만들기 위해서, 불완전함을 이해해야 한다는 것을 증명합니다.