당신이 집을 지으려는 건축가라고 상상해 보세요. 하지만 설계도 대신, 오직 냅킨 위에 그려진 흔들거리는 낙서 하나만을 가지고 있습니다. 당신은 지붕을 위한 몇 개의 선, 문을 나타내는 구불구불한 선, 그리고 아마도 그 앞에 서 있는 졸라맨 같은 스틱 피규어를 그렸을 것입니다. 인간에게 이 낙서는 옆면, 뒷면, 심지어 위에서 본 모습까지 상상할 수 있는 충분한 정보가 됩니다. 우리의 뇌는 자동으로 누락된 3D 디테일을 채워 넣어, 지붕이 아래로 경사져 있고 문에 뒷면이 있다는 것을 이해합니다. 하지만 컴퓨터에게 이것은 악몽입니다. 컴퓨터는 보통 매우 직관적이며, 입체감을 이해하기 위해 정밀한 사진이나 엄격한 수학적 규칙을 필요로 합니다. 만약 당신이 표준 AI에게 그 냅킨 낙서를 보고 다른 각도에서 본 집을 보여달라고 요청한다면, AI는 종종 혼란에 빠져 평면적이거나 왜곡되거나, 혹은 완전히 다른 건물을 만들어내곤 합니다. 이것이 바로 '생성형 AI(Generative AI)'의 세계입니다. 컴퓨터가 새로운 이미지를 만들려고 시도하는 곳이죠. 여기서 큰 과제는 '기하학적 일관성(geometric consistency)'입니다. 즉, 컴퓨터가 생성한 물체를 따라 한 바퀴 돌 때, 물체의 뒷면이 앞면과 일치하고, 비록 컴퓨터는 처음에 엉성한 2D 그림만을 보았음에도 불구하고 창문들이 제자리에 머물러 있도록 만드는 것이 중요합니다.

이 논문은 매우 구체적이고 어려운 버전의 문제를 다룹니다. 전체 장면(예: 자동차와 사람이 있는 거리)을 담은 단 하나의 자유로운 손그림으로부터, 모든 각도가 실제처럼 보이고 완벽하게 맞물리는 360도 투어를 즉각적으로 생성할 수 있을까요? 저자들은 그것이 가능하다고 말하지만, 그들은 컴퓨터가 2D 스케치만을 사용하여 3D 방식으로 '생각'하는 법을 가르치기 위해 새로운 방법을 발명해야 했습니다. 그들은 단순히 추측하는 시스템이 아니라, 만약 앞면에서 개의 코를 보았다면 개의 머리 뒷부분이 뒷면 뷰에서도 나타나야 하며, 그 둘이 서로 정확한 위치 관계에 있어야 한다는 특별한 규칙을 사용하는 시스템을 구축했습니다. 그들은 이를 "스케치-투-멀티뷰(Sketch-to-Multi-View)" 생성이라고 부릅니다.

냅킨에서 3D로 가는 마법 같은 기술

Samsung Research와 University of Surrey 연구진은 단 하나의 흔들거리는 낙서를 완전한 3D 영화로 바꾸는 방법을 만들어냈습니다. 당신이 말 위에 앉아 있는 소녀를 그린다고 상상해 보세요. 보통 AI라면 그저 예쁜 소녀 그림을 만들 것입니다. 하지만 이 새로운 시스템은 그 하나의 그림을 가져와서 앞면, 측면, 뒷면, 심지어 높은 곳이나 낮은 곳에서 본 모습까지 한 번에 보여주며 회전시킵니다. 결과물은 마치 당신이 그 장면을 걸어서 둘러보는 것처럼 보이는 이미지 세트이며, 결정적으로, 카메라를 돌릴 때 말의 다리가 마법처럼 사라지거나 모양이 변하지 않습니다.

왜 이것이 그렇게 어려웠을까?

저자들은 자유로운 손그림이 컴퓨터에게 가장 "어려운" 종류의 입력값이라고 지적합니다. 그림자와 원근법이 있어 사물이 3D 공간의 어디에 있는지 정확히 알려주는 사진과 달리, 스케치는 "노이즈"로 가득 차 있습니다. 선은 구불구불할 수 있고, 비율은 이상할 수 있으며, 화가는 도로에 비해 너무 크게 보이는 자동차를 그렸을 수도 있습니다. 이전의 방법들은 스케치를 먼저 완벽한 사진으로 바꾼 다음, 그 사진을 3D로 바꾸는 방식으로 이 문제를 해결하려 했습니다. 하지만 저자들은 이것이 마치 시를 번역하기 위해 먼저 시를 식료품 목록으로 바꾼 다음 다시 시로 되돌리는 것과 같으며, 그 과정에서 시의 영혼과 디테일이 손실된다고 주장합니다. 그들은 그 중간 단계 없이 엉성한 스케치에서 곧바로 3D 세계로 가고자 했습니다.

구현 방법: 세 가지 비밀 재료

이 작업이 가능하게 하기 위해, 팀은 잘 맞물려 돌아가는 기계처럼 작동하는 세 가지 특별한 재료를 섞어 레시피를 만들었습니다.

1. "훈련 체육관" (데이터셋)
먼저, AI를 가르칠 장소가 필요했습니다. "스케치와 360도 뷰가 쌍을 이루는" 기존의 컬렉션은 제작하기 매우 어렵기 때문에 존재하지 않았습니다. 그래서 그들은 자신들만의 체육관을 직접 만들었습니다. 약 10,000개의 스케치를 가져와 강력한 AI를 사용하여 각 스케치에 대해 다섯 가지 서로 다른 "사실적인" 사진을 생성했습니다. 그런 다음, 그들은 엄격한 예술 비평가처럼 행동하며 어떤 생성된 사진이 스케치와 가장 잘 맞는지(mIoU라는 점수를 사용) 확인했습니다. 그들은 가장 잘 맞는 것을 골라내어 해당 장면의 33가지 다른 뷰를 생성했습니다. 결과적으로 9,222개의 고품질 사례로 구성된 데이터셋을 큐레이션했습니다. 이것은 AI가 실제 사용자의 그림을 접하기 전에 수천 가지의 "만약에" 시나리오를 통해 연습하는 과정이라고 생각하면 됩니다.

2. "나침반" (카메라 인식 어텐션 어댑터)
두 번째 재료는 AI의 뇌에 추가된 영리한 부가 모듈입니다. 표준 AI 모델은 "카메라 각도"가 무엇인지 실제로 알지 못하며, 단지 픽셀 격자를 볼 뿐입니다 의 연구진은 나침반 역할을 하는 가벼운 "어댑터"(작은 추가 모듈)를 추가했습니다. 이 나침반은 AI에게 "이봐, 이 이미지의 이 부분은 앞쪽이고, 저 부분은 뒤쪽이야"라고 알려줍니다. 이는 서로 다른 뷰 사이의 관계를 이해하기 위해 "Projective Rotary Position Encoding(PRoPE)"이라는 수학적 트릭을 사용합니다. 이는 AI에게 정신적인 지도를 제공하여, 의자의 뒷면을 그리고 있다면 실수로 앞다리를 그리지 않도록 하는 것과 같습니다. 이 작은 추가 요소는 모델의 "두뇌 용량"(파라미터)을 약 2.7%밖에 늘리지 않았지만, 엄청난 차이를 만들어냈습니다.

3. "정밀 검사" (대응 감독 손실)
세 번째 재료는 엄격한 선생님입니다. 나침반이 있더라도 AI는 여전히 앞면의 특정 점들이 뒷면의 점들과 어떻게 일치하는지 헷ре갈릴 수 있습니다. 이를 해결하기 위해 팀은 "Structure-from-Motion(SfM)" 기술을 사용했습니다. 그들은 생성된 3D 뷰를 가져와서 서로 다른 각도 간의 일치하는 점들(예: 코 끝이나 바퀴)을 찾는 도구를 사용했습니다. 그런 다음, 일치하는 점들이 정렬되지 않을 경우 AI를 벌칙을 주는 "손실 함수(loss function, 실수를 측정하는 방법)"를 가르쳤습니다. 이것은 마치 학생이 그린 정육면체의 앞면과 측면 그림을 검사하면서, "만약 지붕의 모서리가 앞면에서 여기 있다면, 측면 뷰에서도 반드시 여기에 있어야 해. 그렇지 않으면 감점이야"라고 말하는 것과 같습니다. 이 과정은 AI가 3D 기하학의 규칙을 명시적으로 학습하도록 강제했습니다.

결과: 빠르고, 사실적이며, 일관됨

새로운 방법을 테스트했을 때 결과는 인상적이었습니다. 그들은 자신들의 "원스텝(one-step)" 접근 방식(스케치에서 바로 3D로)을 기존의 "투스텝(two-step)" 방식(스케치에서 사진으로, 그 다음 사진에서 3D로)과 비교했습니다.

• 속도: 그들의 방식은 훨씬 빨랐습니다. 전체 뷰를 생성하는 데 약 50초밖에 걸리지 않은 반면, 기존 방식은 몇 분 또는 30분까지 걸렸습니다.
• 사실성: 이미지는 더 사실적이었습니다. 이미지의 실제 사진과의 유사성을 측정하는 FID 테스트에서, 그들의 방식은 18.49를 기록한 반면 그다음으로 좋은 방식은 46 이상이었습니다. 점수가 낮을수록 좋으며, 이는 그들의 이미지가 실제와 훨씬 더 가깝다는 것을 의미합니다.
• 일관성: 가장 중요한 것은 3D 구조가 유지되었다는 점입니다. 그들의 방식은 0.199의 "Corr-Acc"(기하학적 일관성) 점수를 얻어 다른 방식들을 앞질렀습니다. 이는 카메라가 움직임에 따라 생성된 장면 속의 물체들이 올바른 위치에 머물러 있었음을 의미합니다.

하지 않은 것 (그리고 그것이 중요한 이유)

저자들은 흔히 쓰이는 지름길들을 배제하기 위해 주의를 기울였습니다. 그들은 단순히 "LoRA"(AI 모델을 미세 조정하는 표준적인 방법)를 추가하는 것만으로는 부족하다는 것을 보여주었습니다. 그들의 특별한 "나침반"과 "정밀 검사" 없이는 3D 뷰가 무너졌습니다. 또한 그들의 방식이 훈련에 사용된 특정 스케치에만 국한되지 않는다는 것을 증лот했습니다. 매우 다른 드로잉 스타일을 가진 다른 데이터셋(예: TU-Berlin 데이터셋)의 스케치로 테스트했을 때도, AI는 여전히 일관된 3D 뷰를 만들어냈습니다. 이는 AI가 단순히 그림을 암기한 것이 아니라, 3D 공간의 규칙을 실제로 학습했음을 시사합니다.

결론

이 논문은 우리가 드디어 완벽한 사진이나 느린 단계별 과정 없이도 단순하고 엉성한 낙서를 완전한 3D 세계로 바꿀 수 있음을 시사합니다. 거대한 새로운 데이터셋, 카메라 각도를 위한 스마트한 "나침반", 그리고 일치하는 점들을 위한 엄격한 "정밀 검사"를 결합함으로써, 저자들은 이전의 시도들보다 더 빠르고 정확한 시스템을 만들었습니다. 비록 이 시스템이 아직 완벽하지는 않지만(480x480 해상도에서 가장 잘 작동하며 생성된 훈련 데이터에 의존함), 이는 누구나 냅킨에 장면을 스케치하고 즉시 3D로 탐험할 수 있는 미래, 즉 우리의 가장 기발한 낙서를 가상 세계로 바꾸는 미래의 문을 열어줍니다.