당신은 실제 사람으로부터 얻은 지저분하고 불완전한 점들의 더미(포인트 클라우드)만을 가지고 완벽한 인간의 3D 모델을 만들려고 노력 중이라고 상상해 보십시오. 이것은 컴퓨터가 3D 세계를 보고 이해하도록 학습하는 분야인 컴퓨터 비전에서 매우 큰 도전 과제입니다. 수십 년 동안 과학자들은 이를 하나의 정답이 있는 수학 문제처럼 취급하여 해결하려고 노력해 왔습니다. 즉, 표준적인 신체 템플릿을 지저한 점들에 맞추어 늘리는 단 하나의 완벽한 방법이 존재한다고 가정하는 것입니다. 하지만 현실 세계는 무질서합니다. 카메라는 실수를 저지르고, 사람의 일부는 가려질 수 있으며, 우리의 피부와 근육은 완벽하게 예측 가능한 방식으로 꿈틀거리거나 늘어납니다. 하나의 "평균적인" 답을 강요하려는 시도는 종종 기괴하고 불가능해 보이는 신체 형태를 만들어냅니다. 예를 들어 다리가 사라지거나 팔이 가슴을 통과해 버리는 것 같은 모습 말입니다.

이를 해결하기 위해 연구자들은 "확산 모델(diffusion models)"이라는 새로운 종류의 AI에 주목하고 있습니다. 확산 모델을 노이즈를 제거하는 마법 같은 기계라고 생각하면 쉽습니다. 마치 사진 위에 정전기 눈(static snow)이 덮여 있다고 상상해 보십시오. 확산 모델은 이 눈을 단계적으로 천천히 닦아내어 그 아래에 있는 선명한 이미지가 나타나도록 하는 법을 배웁니다. 보통 이 모델들은 무에서 유를 창조하는 예술 작품을 만드는 데 사용됩니다. 하지만 만약 우리가 단순히 생성하는 것을 넘어 '수정'하는 데 사용할 수 있다면 어떨까요? 만약 우리가 노이즈가 섞인 망가진 3D 스캔을 가져와서, 이 "노이즈 제거" 마법을 통해 그 아래에 있는 가장 가능성 높고 현실적인 형태를 찾아낼 수 있다면 어떨까요? 심지어 신체의 일부가 누락되어 있더라도 말입니다. 이것이 바로 이 논문이 다루는 핵심 질문입니다. 단 하나의 정답을 추측하는 대신, 컴퓨터에게 일련의 타당하고 현실적인 가능성들을 상상하도록 가르칠 수 있을까요?

문제점: 실패하는 "평균적인" 추측

오랫동안 컴퓨터 과학자들은 3D 인간의 신체를 등록(또는 정렬)하는 것을 회귀(regression) 작업으로 취급하며 해결하려 했습니다. 쉽게 말해, 컴퓨터에게 "여기 사람의 지저분한 스캔 데이터가 있으니, 우리 표준 신체 템플릿의 모든 점에 대해 정확히 어떤 위치에 있어야 하는지 알려달라"고 요청하는 방식이었습니다.

문제는 이 접근 방식이 오직 하나의 정답만이 존재한다고 가정한다는 점입니다. 하지만 현실 세계에는 그런 것이 없습니다. 카메라가 사람의 왼팔을 놓치거나, 사람이 헐렁한 옷을 입고 있다면, 컴퓨터는 그 팔이 정확히 어디에 있어야 하는지 알 수 없습니다. 단 하나의 답만을 선택하도록 강요받을 때, 컴퓨터는 보통 당황하여 "평균적인" 답을 선택합니다. 그 결과, 팔이 있어야 할 곳과 몸통의 중간 지점에 팔을 배치하여, 신체가 녹아내리거나 다리가 배 속에 박혀 있는 듯한 모습을 만들게 됩니다. 이는 마치 지금까지 본 모든 구름의 평균을 내어 구름의 정확한 모양을 추측하려는 것과 같습니다. 결국 아무것도 닮지 않은 덩어리를 얻게 될 뿐입니다.

해결책: "순서가 있는" 몽상가, ODin

이 논문의 저자인 마티아 마시에로(Mattia Masiero)와 그의 팀은 하나의 답을 요구하는 것을 멈추고, 답변의 "분포"를 요구하기로 했습니다. 그들은 ODin(Ordered Diffusion)이라는 새로운 시스템을 구축했습니다.

ODin을 완전히 뒤섞인 찰흙 덩어리(순수한 노이즈)에서 시작하는 매우 똑똑하고 인내심 강한 조각가라고 생각해 보십시오. ODin은 최종 형태를 한 번에 깎아내는 대신, 단계적으로 노이즈를 천천히 벗겨내며 그 아래에 숨겨진 신체를 드러냅니다. 하지만 여기서 마법 같은 기술이 있습니다. 형태는 제대로 잡으면서도 어떤 부분이 어디인지 놓칠 수 있는 다른 방법들과 달리, ODin은 엄격한 순서를 유지합니다. ODin은 리스트의 50번째 점은 반드시 왼쪽 팔꿈치여야 하고, 100번째 점은 오른쪽 무릎이어야 한다는 것을 알고 있습니다. 이 "순서(ordering)"는 매우 중요한데, 이를 통해 컴퓨터가 지저분한 스캔을 표준 인간 신체 템플릿에 완벽하게 매핑할 수 있기 때문입니다.

ODin이 세상을 "보는" 방법

이 노이즈 제거 과정을 안내하기 위해, ODin은 노이즈가 어디로 가야 할지 알려주는 세 가지 유형의 단서, 즉 "조건화(conditioning)"를 사용합니다.

1. 전체적인 모습 (Global): 전체 스캔을 살펴보고 일반적인 형태를 파악합니다. 키가 큰 사람인가요? 아니면 작은 사람인가요?
2. 세부 사항 (Local): 특정 지점을 살핍니다. 스캔에 어깨 부위가 보인다면, 어깨 근처의 노이즈에게 "이봐, 너는 이쪽으로 움직여야 해"라고 말해줍니다.
3. 정체성 (Positional): 모든 점의 ID 카드를 기억합니다. 점 #1은 코이고 점 #689는 왼쪽 발이라는 것을 알고 있으므로, 무엇이 어디에 속해야 하는지 절대 헷갈리지 않습니다.

논문은 이 세 가지 단서를 결합함으로써, 신체 전체를 완벽하게 보지 못하더라도 ODin이 노이즈 섞인 점들을 올바른 위치로 안내할 수 있다고 제안합니다. 설령 스캔에서 팔 하나가 누락되었더라도, ODin은 단순히 평균을 내는 것이 아니라 가능한 형태들의 분포에서 샘플링합니다. 이는 ODin이 누락된 부위에 대해 망가진 평균값을 내놓는 대신, 몇 가지 서로 다른 현실적인 버전들을 생성할 수 있음을 의미합니다.

연구 결과

팀은 실제 세계의 데이터를 사용하여 ODin을 테스트했습니다. 여기에는 팔다리가 누락되거나 일부만 보이는 사람의 스캔이 포함되었습니다. 결과는 인상적이었습니다.

• 더 높은 정확도: ODin은 기존의 최선책(예: NICP)보다 뛰어난 성능을 보였으며, 오차를 크게 줄였습니다. DFAUST 데이터셋 테스트에서, ODin은 최종 다듬기 전 기준으로 1.15cm의 오차를 기록하여, 이전의 최고 방식이었던 1.47cm를 앞질렀습니다.
• 속도: 더 정확할 뿐만 아니라 더 빨랐습니다. ODin은 약 9초 만에 등록을 완료한 반면, 기존 방식은 35초가 걸렸습니다. 이는 3배 이상의 속도 향상입니다.
• 누락된 부분 처리: 다리가 스캔에서 사라졌을 때, 기존 방식들은 종종 그 자리에 그루터기처럼 보이거나 몸을 통과하는 "유령 다리"를 만들어냈습니다. 그러나 ODin은 누락된 정보를 존중하면서도 현실적인 포즈를 생성하여, 망가져 보이지 않는 타당한 신체 형태를 만들어냈습니다.

저자들은 또한 "만약에" 실험을 수행했습니다. 그들은 "로컬(local)" 단서(세부 지점 체크)를 제거하거나 "순서(ordering)"(점들의 ID 카드)를 제거해 보았습니다. 이렇게 했을 때 시스템은 완전히 실패했습니다. 순서가 없으면 신체가 무너져 내렸고, 세부 정보가 없으면 형태가 너무 흐릿해졌습니다. 이는 세 가지 요소 모두가 마법이 작동하기 위해 필수적임을 증명했습니다.

결론

이 논문은 3D 인간 등록을 단 하나의 정답이 있는 "추측 게임"으로 취급하는 것이 막다른 길임을 시사합니다. 대신, 확산 모델을 사용하여 다양한 가능성을 탐색함으로써, 입력 데이터가 지저지거나 불완전하더라도 더 정확하고 현실적인 3D 모델을 만들 수 있습니다. 저자들은 자신들의 시스템이 여전히 가구로 가득 찬 방처럼 매우 복잡한 환경에서는 어려움을 겪을 수 있다고 언급했지만, 컴퓨터가 불완전한 실제 세계에서 인간의 몸을 이해하도록 가르치는 새로운 문을 열었습니다. 그들은 이러한 생성적 접근 방식이 경직된 평균적 추측에서 벗어나 유연하고 지능적인 재구성을 향해 나아가는 유망한 새로운 방향임을 시사하고 있습니다.