당신이 가장 좋아하는 비디오 게임이나 영화에서 보는 것과 같은 3D 세계를 구축하려고 한다고 상상해 보세요. 이 세계들을 실제처럼 보이게 만들기 위해, 컴퓨터는 "메시(mesh)"를 사용합니다. 이는 물체의 형태를 부여하기 위해 물체를 감싸는 작은 삼각형들로 이루어진 보이지 않는 그물과 같습니다. 오랫동안 컴퓨터에게 이 그물을 그리는 법을 가르치는 가장 좋은 방법은, 컴퓨터가 아주 빠르고 매우 엄격한 로봇처럼 되어 물체를 아주 작은 조각부터 하나씩 특정 순서에 따라 만들도록 하는 것이었습니다. 이것은 마치 집을 지을 때 왼쪽 아래 구석부터 오른쪽 위까지, 절대 앞서 나가거나 전체 그림을 보지 못한 채 모든 벽돌을 하나하나 밑바닥부터 쌓아 올리는 것과 같습니다. 만약 로봇이 첫 번째 벽돌을 잘못 놓는다면, 전체 집이 삐뚤어질 수 있으며, 단계를 건너뛸 수 없기 때문에 완성하는 데 오랜 시간이 걸립니다.

하지만 컴퓨터가 한꺼번에 전체 형상을 "꿈꾸듯" 만들어낼 수 있다면 어떨까요? 이것이 컴퓨터 그래픽스 연구자들이 던지는 핵심 질문입니다. 그들은 "벽돌을 쌓는 방식"에서 벗어나고자 합니다. 대신 "디퓨전(diffusion, 확산)"이라고 불리는 방법을 사용하고 싶어 합니다. 디퓨전은 안개가 서서히 걷히며 그 아래에 있는 조각상이 드러나는 것을 지켜보는 것과 같습니다. 물체를 조각 하나하나 만드는 대신, 컴퓨터는 무질서한 노이즈의 구름에서 시작하여 점차 이를 정교하게 다듬어 완벽한 3D 물체를 나타나게 합니다. 문제는 3D 형상이 까다롭다는 점입니다. 3D는 단순히 평면적인 그림이 아니라, 서로 완벽하게 연결되어야 하는 "골격"(삼각형들)을 가지고 있습니다. 만약 컴퓨터가 모양은 제대로 잡았지만 골격이 잘못되었다면, 그 물체는 무너져 내릴 것입니다.

여기서 "넥서스(Nexus)"라는 새로운 논문이 등장합니다. 넥서스의 연구자들은 3D 메시를 만드는 방식을 로봇이 벽돌을 쌓는 방식에서 조각가가 찰흙을 빚는 방식으로 바꾸기로 결정했습니다. 그들은 3D 메시를 두 개의 큰 병렬 단계로 생성하는 새로운 시스템을 만들었으며, 이 과정에서는 조각들을 특정 순서로 정렬할 필요가 전혀 없습니다. 먼저, 그들은 특수한 "안개 제거" 과정을 사용하여 물체의 점(정점)들이 어디에 위치해야 하는지 파악하며, 거친 덩어리에서 상세한 모델로 형상을 구축합니다. 둘 thứ로, 그들은 그 점들이 어떻게 서로 연결되어 삼각형을 형성해야 하는지 알아내기 위해 영리한 새로운 수학적 기법을 사용하며, 이때 순서를 추측할 필요가 없습니다.

이 논문은 새로운 사고방식이 기존 방식의 문제점들을 해결한다는 것을 시사합니다. 기존의 "벽돌 쌓기" 방식은 오류가 누적되어 하나의 실수가 전체 모델을 망칠 수 있으며, 복잡한 형상을 만드는 데 시간이 오래 걸립니다. 그러나 넥서스는 이러한 함정을 피하는 것처럼 보입니다. 테스트 결과, 넥서스는 이전의 가장 뛰어난 방법들보다 더 나은 품질의 3D 모델을 생성했으며, 오류도 더 적었습니다. 연구진은 실제 3D 아티스트들에게 어떤 컴퓨터가 만들었는지 알려주지 않은 채 결과를 보여달라고 요청했고, 아티스트들은 압도적으로 넥서스가 만든 형상을 선호했습니다. 이 논문은 컴퓨터가 전체 형상을 한 번에 보게 하고 이 "안개 제거" 기법을 사용함으로써, 이전보다 훨씬 더 빠르고 안정적으로 복잡하고 예술적인 3D 세계를 만들 수 있음을 보여줍니다.

옛날 방식: 기억력이 나쁜 로봇

넥서스가 왜 대단한 일인지 이해하려면, 컴퓨터가 예전에 3D 형상을 어떻게 만들었는지 살펴봐야 합니다. 당신이 복잡한 조각상을 전화로 친구에게 설명하려고 한다고 상상해 보세요. 예전 방식은 이렇게 말하는 것이었습니다. "먼저 여기에 점을 찍어. 그다음 저기에 점을 찍어. 이제 그것들을 연결해. 그다음 또 다른 점을 찍어..." 당신은 모든 점과 연결을 엄격한 순서대로 하나씩 나열해야 했습니다. 이것을 "자기회귀(autoregressive)" 과정이라고 부릅니다.

이러한 줄 단위의 접근 방식의 문제는, 아주 긴 지시 사항을 가지고 "전화기 놀이(telephone game)"를 하는 것과 같다는 점입니다. 만약 첫 번째 지시 사항에서 아주 작은 실수라도 한다면, 다음 지시 사항이 말이 안 될 수도 있고, 결국 전체 조각상은 뒤틀린 엉망진창이 됩니다. 또한, 컴퓨터가 다음 단계를 시작하기 전에 반드시 이전 단계가 끝나기를 기다려야 하기 때문에 복잡한 것을 만드는 데 시간이 오래 걸립니다. 이는 마치 거대한 벽화를 그리면서, 한 번에 아주 작은 사각형 한 칸만 칠할 수 있고 다음 칸으로 넘어가기 전에 반드시 페인트가 마를 때까지 기다려야 하는 것과 같습니다.

새로운 방식: 형상을 꿈꾸다

넥서스는 "왜 조각을 하나씩 만들까? 한꺼번에 전체를 꿈꿀 수 있는데!"라고 말하며 판도를 바꿉니다. 연구자들은 이 방법을 "디퓨전(diffusion)"이라고 부릅니다. 이것은 다음과 같습니다. 당신이 소용돌이치는 알록달록한 안개로 가득 찬 병을 가지고 있다고 상상해 보세요. 그 안개 속에는 숨겨진 형상이 드러나기를 기다리고 있습니다. 컴퓨터는 무작위의 지저한 안개로 가득 찬 병에서 시작합니다. 그런 다음, 컴퓨터는 한 걸음 물러나서 묻습니다. "내가 이 안개를 조금만 제거한다면, 어떤 모양이 나타나기 시작할까?" 컴퓨터는 이 과정을 반복하며, 완벽한 3D 물체가 튀어나올 때까지 노이즈를 천천히 제거해 나갑니다.

하지만 주의할 점이 있습니다. 3D 물체는 단순히 매끄러운 덩어리가 아닙니다. 그것은 삼각형의 그물로 이루어져 있습니다. 컴퓨터는 두 가지를 알아야 합니다: 점들이 어디에 있는지(기하학), 그리고 그 점들이 어떻게 연결되는지(위상수학)입니다. 기존의 디퓨전 방식은 삼각형의 개수가 물체마다 달라질 수 있기 때문에 "어떻게 연결되는지" 부분에서 어려움을 겪었으며, 컴퓨터는 순서를 추측하는 과정에서 혼란에 빠졌습니다.

넥서스의 2단계 마법

넥서스는 이 작업을 서로 기다릴 필요가 없는 두 개의 별개이며 매우 빠른 작업으로 나누어 해결합니다.

1단계: 옥트리 조각가 (점 찾기)
먼저, 시스템은 물체의 점들이 어디에 있어야 하는지 결정합니다. 전체 물체를 한꺼번에 보는 대신, "계층적 옥트리(hierarchical octree)"를 사용합니다. 거대한 3D 루빅스 큐브를 상상해 보세요. 컴퓨터는 전체 큐브를 보는 것부터 시작합니다. 물체가 이 안에 있습니까? 만약 그렇다면, 그 큐브를 8개의 더 작은 큐브로 나눕니다. 각 작은 큐브를 확인합니다. 만약 작은 큐브에 물체의 일부가 있다면, 그 큐브를 다시 8개의 더 작은 큐브로 나눕니다. 컴퓨터는 이 과정을 계속 반복하며 점점 더 세밀해지며, 마침내 점들이 있어야 할 정확한 위치를 찾아냅니다.

이것은 커다란 돌덩어리에서 시작하여 모서리를 깎아내 거친 모양을 만들고, 그다음 더 작은 조각들을 깎아 곡선을 만들며, 마지막으로 아주 작은 도구를 사용하여 미세한 디테일을 조각하는 조각가와 같습니다. 컴퓨터는 이 "안개 제거" 과정을 큐브의 모든 단계에서 수행하며, 거친 덩어리에서 날카롭고 상세한 물체로 형상을 구축합니다. 이 과정을 층별로 수행하기 때문에 매우 효율적이며 물체의 크기에 상관없이 혼란을 겪지 않습니다.

2단계: 시공간 직공 (점 연결하기)
점들이 발견되면, 컴퓨터는 삼각형을 만들기 위해 이들을 연결해야 합니다. 이것이 가장 어려운 부분입니다. 연구자들은 "시공간 간격(Spacetime Interval)"이라는 새로운 수학적 기법을 발명했습니다.

공중에 떠 있는 여러 개의 점이 있다고 상상해 보세요. 일반적인 수학에서는 두 점이 가까이 있으면 "연결된" 것으로 간 만큼, 3D 형상에서는 두 점이 가까이 있어도 연결되지 않을 수 있습니다 (예를 들어 얇은 종이의 양쪽 면에 있는 두 점처럼). 기존의 수학은 이 부분에서 혼란을 겪었습니다.

"시공간 간격"은 마치 두 개의 측면, 즉 "공간" 측면과 "시간" 측면을 가진 특별한 자와 같습니다. 컴퓨터는 모든 점에 공간 부분과 시간 부분을 모두 가진 비밀 코드를 부여합니다. 두 점이 연결되어야 하는지 확인하기 위해, 컴퓨터는 단순히 둘 사이의 거리를 측정하는 것이 아닙니다. 공간 거리와 시간 거리의 차이를 측정합니다. 만약 공간 부분이 시간 부분보다 크면 연결되고, 시간 부분이 더 크면 서로 떨어져 있게 됩니다.

이것은 이상하게 들리겠지만, 마법처럼 작동합니다. 이를 통해 컴퓨터는 점들이 가까이 있지만 연결되어서는 안 되는 경우(또는 멀리 떨어져 있지만 연결되어야 하는 경우)를 처리할 수 있습니다. 이는 마치 점들이 엉뚱한 곳에 있는 것처럼 보일 때조차, 점들을 연결하는 보이지 않는 실을 볼 수 있게 해주는 특별한 안경을 쓴 것과 같습니다. 이 기법을 사용함으로써 컴퓨터는 순서를 추측할 필요 없이 전체 연결망을 한꺼번에 파악할 수 있습니다.

결과가 보여주는 것

연구진은 수천 개의 장난감과 인터넷의 물체들을 포함한 방대한 3D 모델 데이터셋을 통해 넥서스를 테스트했습니다. 그들은 여전히 기존의 "벽돌 쌓기" 방식을 사용하는 최고의 기존 방법들과 비교했습니다.

결과는 명확했습니다. 넥서스가 더 나은 형상을 만들었습니다. 모델들은 구멍이 적고, 부서진 부분이 적었으며, 실제 물체처럼 보였습니다. 연구진이 아티스트들에게 어떤 컴퓨터가 만들었는지 밝히지 않은 채 가장 선호하는 모델을 고르게 했을 때, 아티스트들은 93%의 확률로 넥서스의 모델을 선택했습니다. 이는 엄청난 승리입니다.

또한 논문은 넥서스가 매우 강력하다는 것을 보여주었습니다. 입력 데이터가 지저도 있거나 노이즈가 섞여 있더라도(예: 좋지 않은 3D 스캔), 넥서스는 여전히 깨끗한 형상을 만들어냈습니다. 또한 수천 개의 삼각형을 가진 물체도 처리할 수 있었습니다. 기존 방식으로는 시간이 오래 걸렸던 작업입니다. 실제로 넥서스는 단일 컴퓨터 칩에서 약 60초 만에 최대 20,000개의 삼각형을 가진 복잡한 장면을 생성할 수 있었습니다.

이것이 왜 중요한가

이 논문은 우리가 컴퓨터에게 로봇처럼 3D 세계를 만들라고 강요할 필요가 없음을 시사합니다. "꿈꾸는 과정(디퓨전)"을 허용하고 "시공간 간격"이라는 새로운 연결 이해 방식을 제공함으로써, 우리는 훨씬 더 아름답고 정확하며 빠르게 제작할 수 있는 3D 형상을 만들 수 있습니다.

연구진은 자신들의 방법이 아직 완벽하지 않다고 인정합니다. 점을 생성하는 데 여전히 약 1분이 걸리며, 때때로 면(face)들이 올바른 방향을 향하도록 추가적인 수정이 필요하기도 합니다. 하지만 특정 순서로 정렬하지 않고도 복잡한 3D 메시를 생성할 수 있다는 핵심 아이디어는, 3D 예술과 게임의 미래를 향한 강력한 새로운 방향임을 보여줍니다. 이는 컴퓨터가 우리가 꿈속에서 보는 것처럼 자연스럽고 유동적인 전체 세계를 창조할 수 있는 문을 열어줍니다.