당신이 장난감 자동차의 완벽한 3D 모델을 만들려고 노력 중이라고 상상해 보세요. 하지만 당신에게는 단 한 장의 평면 사진뿐입니다. 이것이 컴퓨터 비전 과학자들이 매일 겪는 고충입니다. 즉, 하나의 2D 사진을 3D 객체로 변환하는 일이죠. 이를 위해 컴퓨터는 종종 추측 게임을 벌입니다. 자동차의 뒷모습, 옆모습, 윗모습이 어떻게 보일지 상상하며 일련의 새로운 '가짜' 사진들을 만들어냅니다. 그러고 나서 이 사진들을 엮어 단단한 3D 형상을 만들기 위해 뉴럴 래디언스 필드(Neural Radiance Field, NeRF)라는 특별한 디지털 도구를 사용합니다. NeRF를 일련의 2D 스케치를 바탕으로 3D 조각품을 그려내는 아주 똑똑한 화가라고 생각해보세요. 문제는 컴퓨터가 다른 각도를 추측할 때 실수를 자주 한다는 점입니다. 자동차의 뒷부분이 앞부분과 약간 다르게 보이거나, 바퀴의 위치가 잘못될 수 있습니다. 이 어긋난 스케치들을 붙이려고 할 때, 완성된 조각품은 흐릿하거나, 흔들리거나, 왜곡된 모습이 됩니다.

여기서 이 논문의 연구자들이 기발하고 새로운 기술로 개입합니다. 그들은 컴퓨터에게 모든 가짜 사진이 완벽하다고 가정하라고 강요하는 대신, 컴퓨터가 실수를 예상하고 즉석에서 수정하도록 가르쳐야 한다는 것을 깨달았습니다. 그들은 전문화된 편집자 팀처럼 작동하는 시스템을 구축했습니다. 메인 편집자가 자동차의 전반적인 형태를 다루는 동안, '뷰 적응형(view-adaptive)' 편집자들이 각 특정 각도에 배치됩니다. 만약 '뒷면 뷰' 편집자가 결함을 발견하면, 그들은 나머지 자동차 부분을 망가뜨리지 않고 오직 그 부분만을 수정합니다. 또한 그들은 '셀프 어텐션(self-attention)' 메커니즘을 사용하는데, 이는 마치 모든 편집자의 말을 경청하고, 소음이 심한 편집자의 말은 무시하며, 그들의 가장 좋은 아이디어들을 하나로 모아 완벽한 3D 모델로 블렌딩하는 스마트한 매니저와 같습니다. 그 결과, 이 방법은 컴퓨터의 초기 추측이 다소 엉망이더라도 훨씬 더 선명하고 정확한 3D 형상을 만들어냅니다. 게다가 오류를 수정하기 위해 보통 필요한 무겁고 느린 컴퓨팅 파워를 요구하지 않고도 말이죠.

문제점: "결함 있는" 포토 부스

당신이 포토 부스에 들어가서 당신의 사진을 찍으면 즉시 3D 홀로그램을 생성해 준다는 약속을 받는다고 상상해 보세요. 당신이 안으로 들어가 사진을 찍으면, 기계는 왼쪽, 오른쪽, 앞, 뒤에서 당신의 모습을 찍은 새로운 사진들을 만들어내기 시작합니다. 하지만 여기 함정이 있습니다. 기계가 당신이 보이지 않는 각도에서 어떻게 보이는지 추측하고 있기 때문에, 새로 만들어진 사진들은 완벽하지 않습니다. 왼쪽 사진에서는 귀가 약간 너무 커 보일 수 있고, 오른쪽 사진에서는 귀가 너무 작게 보일 수도 있습니다. 배경이 바뀔 수도 있습니다.

이런 결함 있는 사진들로부터 3D 모델을 만들려고 하면 결과는 엉망이 됩니다. 그것은 마치 절반의 카드가 뒤틀린 카드 집을 쌓으려는 것과 같아서, 전체 구조가 흐릿한 덩어리로 무너져 버립니다. 전통적인 컴퓨터 비전 방식들은 이 서로 맞지 않는 사진들이 서로 일치하도록 강요하려고 노력하지만, 결국 모든 멋진 디테일을 뭉개버려 정교한 장난감 자동차나 상세한 조각상 대신 형체 없는 흐릿한 덩어리를 남기곤 합니다.

해결책: 전문화된 편집자 팀

이 논문의 저자인 준 채(U-Chae Jun), 고 재은(Jaeeun Ko), 강 지우(Jiwoo Kang)는 이 혼란을 처리하는 새로운 방법을 제안했습니다. 그들은 하나의 거대한 뇌를 사용하여 모든 각도를 한꺼번에 이해하려고 하는 대신, "공유 백본(Shared Backbone)"과 "뷰 적응형 렌더러(View-Adaptive Renderers)"를 갖춘 시스템을 만들었습니다.

공유 백본을 자동차가 어떻게 만들어지는지에 대한 일반적인 규칙을 알고 있는 메인 설계자로 생각해보세요. 이 설계자는 모든 각도에서 동일한 기본 프레임을 그립니다. 그런 다음 전문화된 편집자(뷰 적응형 렌더러) 팀을 상상해 보세요. 각 편집자는 하나의 특정 각도에 배정됩니다.

• **"정면 뷰 편집자"**는 앞모습 사진을 봅니다. 만약 바퀴가 좀 이상해 보인다면, 이 편집자는 오직 바퀴만을 수정합니다.
• **"측면 뷰 편집자"**는 옆모습 사진을 봅니다. 만약 문 손잡이가 잘못된 위치에 있다면, 이 편집자는 바로 그 부분만을 수정합니다.

결정적으로, 이 편집자들은 서로 싸우지 않습니다. 그들은 모두 메인 설계자의 청사진을 공유하므로, 실수로 자동차의 크기나 모양을 바꾸지 않습니다. 그들은 오직 자신의 각도에 특화된 작은 실수들만을 수정할 뿐입니다. 이 덕분에 시스템은 혼란스러운 입력 사진을 처리할 수 있습니다.

접착제: 셀프 어텐션 매니저

모든 편집자가 작업을 마친 후, 시스템은 그들의 수정 사항을 하나의 최종 3D 모델로 결합해야 합니다. 여기서 **셀프 어텐션 퓨전 모듈(Self-Attention Fusion Module)**이 등장합니다. 프로젝트 매니저가 방 한가운데 앉아 있는 모습을 상상해 보세요. 이 매니저는 모든 편집자의 작업물을 살펴봅니다. 만약 "상단 뷰 편집자"가 존재하지 않는 문제를 일으키며 소리를 지른다면, 매니저는 그를 무시합니다. 만약 "측면 뷰 편집자"가 정말 좋은 수정안을 내놓았다면, 매니저는 그 부분을 강조합니다.

이 매니저는 "셀프 어텐션"이라는 수학적 도구를 사용하여 각 뷰의 중요도를 결정합니다. 이는 최종 3D 모델이 일관되고 매끄럽도록 보장하며, 노이즈를 걸러내면서 모든 각도의 가장 좋은 부분들을 블렌딩합니다. 논문은 이 매니저가 매우 유능하여 입력 사진의 수가 매우 적은 상황에서도 잘 작동한다는 것을 보여줍니다.

연구 결과: 속도와 선명도

연구진은 50개의 3D 객체(Google Scanned Objects 데이터셋)를 사용하여 자신들의 시스템을 기존 방식들과 테스트했습니다. 그들은 PSNR(색상의 근접도), SSIM(구조의 유사도), 그리고 Chamfer Distance(실제 형상과의 근접도, 낮을수록 좋음)와 같은 표준 점수들을 사용하여 3D 모델의 정확도를 측정했습니다.

결과는 인상적이었습니다. 그들이 표준 3D 재구성 도구인 NeuS 위에 새로운 "뷰 적응형" 시스템을 적용했을 때, 품질이 크게 향상되었습니다:

• PSNR 점수가 19.76에서 22.74로 상승했습니다.
• SSIM 점수가 0.790에서 0.833으로 개선되었습니다.
• Chamfer Distance(낮을수록 좋음)는 0.0168에서 0.0122로 떨어졌습니다.
• IoU(Intersection over Union, 높을수록 좋음)는 0.6268에서 0.7015로 상승했습니다.

쉽게 말해, 3D 모델은 훨씬 더 선명해졌고, 흐릿한 부분이 줄어들었으며, 실제 객체와 훨씬 더 밀접하게 일치했습니다.

"비법": 무거운 작업이 필요 없습니다

가장 놀라운 발견 중 하나는 이 방법이 얼마나 효율적인가 하는 점이었습니다. 보통 이러한 종류의 결함을 수정하려면, 컴퓨터는 "스코어 디스틸레이션 샘플링(Score Distillation Sampling, SDS)"이라는 무겁고 느린 기술을 사용해야 합니다. 이것은 마치 견과류를 깨기 위해 대형 망치를 사용하는 것과 같습니다. 효과는 있지만, 시간이 오래 걸리고 많은 에너지를 소비합니다.

저자들은 자신들의 뷰 적응형 시스템이 스스로 결함을 수정하는 능력이 매우 뛰어나서, 이 무거운 망치를 거의 필요로 하지 않는다는 것을 발견했습니다.

• 표준 렌더링 손실(사진이 제대로 보이는지 확인하는 기본 수학)만을 사용했을 때, 시스템은 단 7분 만에 학습을 마쳤고 0.0122의 Chamfer Distance를 달성했습니다.
• 여기에 무거운 SDS 손실을 추가했을 때, 학습 시간은 54분으로 늘어났지만, 정확도는 0.0109로 아주 약간만 개선되었습니다.

이는 많은 실제 응용 분야에서 느리고 비용이 많이 드는 방법이 반드시 필요하지 않다는 것을 시사합니다. "뷰 적응형" 접근 방식은 훨씬 짧은 시간 안에 거의 동일한 고품질의 결과를 제공합니다.

왜 중요한가

이 논문은 완벽한 3D 모델을 얻기 위해 완벽한 입력이 필요히 않다는 점을 시사합니다. 컴퓨터가 생성한 사진에 항상 작은 오류가 있을 수 있음을 인정하고, 이러한 오류를 개별적으로 찾아내고 수정할 수 있는 시스템을 구축함으로써, 우리는 훨씬 더 나은 3D 콘텐츠를 만들 수 있습니다.

연구진은 다양한 수의 입력 뷰(4, 8, 12, 16개)로 아이디어를 테스트했습니다. 그들은 자신들의 방법이 뷰의 수가 매우 적을 때(예: 4개) 특히 강력하다는 것을 발견했습니다. 이러한 어려운 상황에서 기존 방식들은 매우 흐릿한 결과를 만들어냈지만, 새로운 시스템은 선명함을 유지했습니다. 이는 현실 세계에서 우리가 단 몇 장의 사진만을 가지고 작업해야 하는 경우가 많다는 점에서 매우 중요한 성과입니다.

또한 저자들은 자신들의 방법이 다양한 "사진 생성기"(Zero-1-to-3 및 Wonder3D 등)와도 잘 작동한다고 언급하며, 이것이 기존의 다양한 시스템에 끼워 넣을 수 있는 유연한 도구임을 시사했습니다. 비록 입력 사진이 극도로 노이즈가 심하거나 배경이 혼란스러운 경우에는 여전히 어려움이 있다고 인정했지만, 결과는 명확한 방향을 제시합니다. 즉, 단 한 장의 스냅샷을 상세한 3D 세계로 바꾸는 더 빠르고 똑똑한 방법입니다.