Frequency-Decomposed Avatar Representation for Varying Camera Distances

디지털 세계에서 사람을 너무나 완벽하게 포착하여, 그 사람 바로 앞까지 다가가 셔츠의 직조를 관찰하거나, 뒤로 물러나 북적이는 방 안의 전체 모습을 볼 수 있다고 상상해 보십시오. 수년 동안 컴퓨터 과학자들은 모든 거리에서 실감 나게 보이는 이러한 "디지털 휴먼"을 만들기 위해 고군분투해 왔습니다. 문제는 트레이드오프(trade-off)에 있습니다. 가까이 있을 때 선명하게 보이는 방식은 멀리 떨어지면 흐릿해지거나 깨지는 현상이 발생하고, 멀리서 잘 보이도록 만든 방식은 근접 촬영에 필요한 미세한 디테일을 놓치게 됩니다. 이러한 한계는 사용자가 디지털 인물과 자연스럽게 상호작용하며 자유롭게 움직여야 하는 가상 현실, 비디오 게임, 텔레프레즌스 분야의 발전을 저해해 왔습니다.

이 문제에 대한 해결책은 오랫동안 컴퓨터 그래픽스에서 사용되어 온 "LOD(Level of Detail, 세부 수준 제어)"라는 개념이었습니다. 이는 물체가 멀리 있을 때는 복잡도를 단순화하고, 가까이 있을 때는 디테일을 추가하는 기술입니다. 하지만 기존의 방식들은 애니메이션이 적용된 인간 아바타에 이 개념을 매끄럽게 적용하지 못했습니다. 기존 방식들은 질감이 없는 딱딱한 3D 형태에 의존하거나, 카메라가 너무 가까워지면 지저질하고 느려지는 수천 개의 작은 부유 점(points)들을 사용했습니다. 이제 한 연구팀이 이 거리 문제를 해결하는 새로운 디지털 휴먼 구축 방식을 개발하여, 가까이 서 있든 방 건너편에 있든 단 하나의 고품질 표현으로 실감 나게 보이도록 만들었습니다.

연구진은 고해고도 카메라 데이터를 활용하여 '클로즈업아바타(CloseUpAvatar)'라고 불리는 시스템을 만들었습니다. 이들은 사람을 단단한 메쉬(mesh)나 수백만 개의 점 구름으로 만드는 대신, 인체를 작고 평평하며 질감이 있는 사각형들의 집합체로 표현합니다. 이 사각형들을 몸의 표면을 덮는 작고 유연한 광고판(billboards)이라고 생각하면 됩니다. 각 광고판은 움직임에 따라 변할 수 있는 자체 이미지를 가지고 있습니다. 핵심 혁신은 이 이미지들이 저장되는 방식에 있습니다. 연구팀은 단일 이미지 파일이 얼굴의 넓은 색감과 피부 모공 같은 날카로운 디테일을 동시에 처리하려고 하면 혼란이 생긴다는 점을 깨달았습니다.

이를 해결하기 위해, 그들은 모든 광고판에 대해 시각 정보를 두 개의 별도 레이어로 분리했습니다. 한 레이어는 사람의 전반적인 외형을 정의하는 부드럽고 일반적인 색상인 저주파(low-frequency) 디테일을 담습니다. 두 번째 레이어는 주름, 모공, 직물 패턴과 같이 날카롭고 선명한 질감인 고주파(high-frequency) 디테일을 담습니다. 시스템은 어떤 레이어를 사용할지 똑똑하게 결정하도록 설계되었습니다. 카메라가 멀리 있을 때 시스템은 효율적이고 원거리에서 완벽해 보이는 저주파 레이어만을 보여줍니다. 카메라가 가까워지면 시스템은 자동으로 날카로운 고주파 레이어를 점진적으로 혼합하여 보여줍니다. 이 전환은 매우 매끄럽게 일어나기 때문에 관찰자는 전환을 전혀 눈치채지 못하며, 이미지는 갑작스러운 변화나 흐림 없이 단순히 더 선명해질 뿐입니다.

연구진은 고해상도 영상을 포함하여 다양한 각도에서 촬영된 실제 사람들의 대규모 데이터셋을 사용하여 이 접근 방식을 테스트했습니다. 여기에는 극단적인 근접 촬영을 시뮬레이션할 수 있는 고해상도 영상이 포함되었습니다. 그들은 이 새로운 방식을 기존 분야의 최고 기술들과 비교했습니다. 결과에 따르면, 다른 방식들은 카메라를 줌인할 때 흐릿하거나 왜곡된 얼굴을 만드는 등 명확한 이미지를 생성하는 데 어려움을 겪었지만, 이 새로운 시스템은 사진처럼 실감 나는 품질을 유지했습니다. 실제로 이 새로운 방식은 초당 200프레임 이상의 속도로 상세한 아바타를 렌더링할 수 있었는데, 이는 가상 현실에서의 실시간 상호작용에 충분한 속도입니다. 이러한 속도는 이전 방식보다 훨씬 적은 수의 구성 요소를 사용함으로써 달성되었으며, 이는 더 많은 단순한 조각을 갖는 것보다 더 적고 똑똑한 조각을 갖는 것이 더 효과적임을 입증했습니다.

가장 중요한 발견 중 하나는 시스템이 훈련 과정 중에 이러한 다양한 거리를 처리하는 법을 학습할 수 있었다는 점입니다. 연구진은 동일한 사람을 매우 가까운 거리와 매우 먼 거리 양쪽에서 보여주는 방식으로 컴퓨터를 가르쳤는데, 이는 다른 방식들이 실패하거나 이상한 아티팩트(artifacts)를 만들어냈던 기법입니다. 주파수 분리 접근 방식을 통해 시스템은 일반적인 형태와 미세한 디테일을 분리하는 법을 배웠고, 이를 통해 카메라 위치에 즉각적으로 적응할 수 있게 되었습니다. 이는 이 방식으로 만들어진 디지털 휴먼은 주변을 걸어 다니며 자세히 관찰하거나 멀리서 볼 수 있으며, 그 과정에서 이미지 품질이 결코 저하되지 않음을 의미합니다.

이 연구는 효율적이면서도 믿을 수 없을 정도로 상세한 단일 디지털 휴먼을 만드는 것이 가능하다는 것을 보여줍니다. 연구진은 이 시스템이 신체와 일반적인 특징에는 매우 효과적이지만, 개별 손가락이나 복잡한 얼굴 표정과 같은 극도로 미세한 디테일은 여전히 향후 개선이 필요한 영역으로 남아있다고 언급했습니다. 그러나 광범적인 과제인 실감 나는 상호작용형 디지털 인물을 만드는 데 있어, 이 새로운 접근 방식은 상당한 도약을 제공합니다. 이는 사용자와 디지털 세계 사이의 장벽을 제거하여, 화면 속의 사람이 멀리서 볼 때와 마찬가지로 가까이 다가갔을 때도 똑같이 실감 나게 보이도록 보장합니다.