당신이 비디오 게임이나 로봇의 뇌 속에 하나의 세계를 구축하고 있다고 상상해 보세요. 당신에게는 의자, 서랍, 노트북 같은 아름답고 빛나는 3D 모델들이 있습니다. 그것들은 완벽해 보이지만, "죽어" 있습니다. 만약 이 디지털 세계에서 서랍을 밀려고 한다면, 서랍은 바닥을 통과해 미끄러져 내려가거나, 손잡이가 문을 여는 대신 헬리콥터 프로펠러처럼 빙글빙글 돌 수도 있습니다. 이는 컴퓨터가 형태와 색상만 볼 뿐, '물리 법칙'은 알지 못하기 때문입니다. 컴퓨터는 서랍이 미끄러져 나와야 한다는 것, 문은 경첩으로 움직여야 한다는 것, 혹은 나무 탁자가 플라스틱보다 무겁다는 것을 알지 못합니다. 로봇이 현실 세계와 상호작용하는 법을 배우거나 초현실적인 시뮬레이션을 만들기 위해서는, 이 3D 객체들에게 어떻게 행동해야 하는지를 가르쳐야 합니다. 우리는 그들에게 "근육"(움직임)과 "뼈"(무엇으로 만들어졌는지와 무게)를 부여해야 합니다.

이것이 바로 UniPhysGen이라는 새로운 논문이 다루는 과제입니다. 연구진은 디지털 물리 교사 역할을 하는 스마트한 시스템을 구축했습니다. 이 시스템은 예술가가 만들었든, 컴퓨터가 생성했든, 혹은 모양이 다소 이상하든 간에, 엉망이고 가공되지 않은 원시 3D 모델을 가져와서 그것들이 어떻게 움직여야 하고 무엇으로 만들어졌는지를 자동으로 파악합니다. 그들은 단순히 교사를 만든 것이 아니라, 40,000개의 "교육된" 객체로 구성된 거대한 라이브러리와, 교사가 제대로 가르치고 있는지 확인하기 위한 엄격한 테스트까지 만들어냈습니다. 그 결과, 물리 법칙을 어기며 서랍을 당기거나 수도꼭지를 돌리는 대신, 로봇 시뮬레이션에 바로 투입되어 실제로 작동할 수 있는 3D 에셋 세트를 완성했습니다.

문제점: 아름답지만 서투른 3D 객체들

비디오 게임이나 온라인 카탈로그에서 보는 3D 모델들을 생각해 보세요. 그것들은 마치 상점 쇼윈도에 있는 마네킹과 같습니다. 겉보기에는 훌륭하지만, 팔을 움직이려고 하면 부러지거나 공중에 떠다닐 수도 있습니다. 대부분의 모델은 "시뮬레이션 인식 기능(simulation-unaware)"이 없습니다. 형태는 갖추고 있지만, "물리적 근거(physical grounding)"가 부족합니다.

물리적 근거란 "이 객체가 어떻게 행동해야 하는지 아는가?"를 뜻하는 멋진 표현입니다. 여기에는 두 가지 핵심 요소가 포함됩니다:

1. 관절 의미론(Articulation Semantics): 이것은 "어떻게 움직이는가"에 대한 부분입니다. 문이 경첩을 중심으로 회전하나요? 서랍이 밖으로 미끄러져 나오나요? 회전축은 어디인가요?
2. 고유 물리적 특성(Intrinsic Physical Properties): 이것은 "무엇인가"에 대한 부분입니다. 나무로 만들어졌나요, 플라스틱인가요? 무거운가요, 가벼운가요? 미끄러운가요, 아니면 마찰력이 있나요?

기존 방식들은 이 문제들을 각각 따로 해결하려고 했습니다. 어떤 도구는 문의 움직임을 추측하고, 다른 도구는 무게를 추측할 수 있습니다. 하지만 이 추측들을 합쳐 놓으면 종종 충돌이 발생합니다. 문이 경첩을 중심으로 움직여야 한다고 예측되었는데, 물리 엔진은 그 문이 고무로 만들어졌다고 판단하여 벽에 부딪혀 튕겨 나가게 만들 수도 있습니다. 또는, 시스템이 객체를 완벽한 장난감처럼 가정하여, 약간 망가지거나 이상하게 생긴 실제 세계의 물체를 만났을 때 실패할 수도 있습니다.

해결책: "UniPhys" 파이프라인

저자들은 이 혼란을 해결하기 위해 UniPhys라고 불리는 시스템을 만들었습니다. 가공되지 않은 원시 3D 객체가 한쪽 끝으로 들어가면, 완전히 "물리 준비가 된" 객체가 반대쪽으로 나오는 공장 라인을 상상해 보세요. 이 파이프라인은 네 단계로 구성됩니다:

1. 지각적 분해 (The "Cutting" Stage - 절단 단계):
   객체가 어떻게 움직이는지 가르치기 전에, 먼저 부품이 어디에 있는지 알아야 합니다. 시스템은 객체를 살펴보고, 인간이 자연스럽게 형태를 그룹화하는 방식에 기반한 "지각적" 가이드를 사용하여 객체를 논리적인 조각들로 자릅니다. 단순히 기하학적으로 자르는 것이 아니라, 기능에 따라 자릅니다. 설령 원시 모델에서 서로 붙어 있더라도, 의자 다리는 하나의 조각이고 의자 시트는 다른 조각이라는 것을 이해합니다.

2. 고유 특성 근거화 (The "Material" Stage - 재질 단계):
   부품들이 분리되면, 시스템은 "이것은 무엇으로 만들어졌는가?"라고 묻습니다. 질감과 형태를 보고 이 부분이 금속인지, 나무인지, 플라스틱인지 추측한 다음, 무게와 미끄러움 정도를 계산합니다.

3. 기하학 인지 관절 형성 (The "Movement" Stage - 움직임 단계):
   이것이 까다로운 부분입니다. 시스템은 부품들이 어떻게 움직이는지 알아내야 합니다. 단순히 추측하는 대신, 부품들이 서로 어디서 맞닿아 있는지를 살핍니다. 만약 서랍 앞부분이 프레임과 맞닿아 있다면, 그것은 아마도 미끄러져 나올 것이라고 판단합니다. 문이 프레임과 틈을 두고 맞닿아 있다면, 그것은 회전하며 열릴 것입니다. 시스템은 가능한 움직임 목록을 생성하고, 물리적으로 가장 타당한 것을 선택합니다.

4. 시뮬레이션 기반 검증 (The "Test Drive" Stage - 테스트 드라이브 단계):
   이 단계가 가장 중요합니다. 시스템은 단순히 추측하고 요행을 바라지 않습니다. 객체를 가상 물리 시뮬레이터(비디오 게임 엔진 같은)에 넣고 직접 움직여 봅니다. 만약 서랍이 바닥을 뚫고 떨어지거나 문이 미친 듯이 회전한다면, 시스템은 무언가 잘못되었다는 것을 압선합니다. 그리고 오류를 수정하거나 잘못된 추측을 폐기합니다. 이를 통해 실제로 시뮬레이션에서 작동하는 객체만이 최종 리스트에 오를 수 있도록 보장합니다.

거대 데이터: UniPhys-40K와 UniPhys-Bench

시스템을 훈련시키기 위해 연구진은 방대한 양의 데이터가 필요했습니다. 그들은 40,000개 이상의 3D 객체를 포함하는 UniPhys-40K 데이터셋을 구축했습니다. 이 모델들은 단순히 완벽하고 깨끗한 모델이 아닙니다. 예술가의 투박한 디자인부터 절차적으로 생성된 형태까지 매우 다양한 출처에서 왔습니다. 이러한 다양성은 매우 중요한데, 왜냐하면 실제 로봇은 완벽한 물체가 아니라 지저로하고 이상한 물체들도 마주하게 될 것이기 때문입니다.

시스템이 정말로 우수한지 확인하기 위해, 그들은 UniPhys-Bench라는 테스트 세트도 구축했습니다. 여기에는 1,927개의 객체와 5,469개의 움직이는 부품이 포함되어 있습니다. 인간이 모든 항목을 하나하나 검토하여 물리가 정확한지 확인했습니다. 이것은 AI를 위한 최종 시험과 같습니다.

주인공: UniPhysGen

이 데이터를 사용하여 그들은 UniPhysGen이라는 모델을 훈련시켰습니다. 이 모델을 UniPhys-40K 라이브러리 전체를 읽은 아주 똑똑한 학생이라고 생각하세요. 이 모델은 가공되지 않은 3D 객체를 보고 즉시 다음과 같은 것들을 파악할 수 있습니다:

• 어떤 부품들이 함께 움직이는지.
• 어떤 종류의 관절을 가지고 있는지 (미끄러짐, 회전, 또는 고정).
• 회전축(pivot point)이 어디인지.
• 각 부품이 얼마나 무겁고 어떤 재질인지.

논문은 UniPhysGen이 왜 특별한지를 강조합니다. 기존 모델들은 물체가 똑바로 서 있지 않거나 부품이 빠져 있으면(예: 내부 상자가 없는 서랍) 자주 실패합니다. 하지만 UniPhysGen은 **SO(3) 증강(augmentation)**이라는 영리한 기술을 사용하는데, 이는 기본적으로 3D 공간의 모든 가능한 각도에서 객체를 바라보는 연습을 하는 것을 의미합니다. 이를 통해 "문은 보통 수직이다"라는 식의 암기를 통한 편법을 방지합니다. 대신, 문이 바닥에 누워 있더라도 작동할 수 있도록 문이 가진 '물리' 자체를 학습합니다.

결과: 효과가 있는가?

연구진은 UniPhysGen을 다른 최상위 방법들과 비교 테스트했습니다. 결과는 인상적이었습니다.

• 더 높은 정확도: 관절 유형을 약 **90%**의 확률로 정확히 맞혔으며, 이전 도구들에 비해 움직이는 부품의 정확한 각도와 위치를 훨씬 더 잘 예측했습니다.
• 강건성(Robustness): 물체가 이상한 방향으로 회전되어 있거나 부품이 일부 누락된 경우에도, 다른 방법들은 성능이 급락하거나 엉뚱한 답을 내놓은 반면, UniPhysGen은 우수한 성능을 유지했습니다.
• 실제 시뮬레이션: 연구진은 수치에만 머물지 않았습니다. Uni-PhysGen이 생성한 객체들을 실제 로봇 시뮬레이터인 Isaac Sim에 넣었습니다. 그들은 로봇이 서랍을 당기고, 수도꼭지를 돌리고, 노트북을 닫는 데 성공하는 영상을 보여주었습니다. 객체들은 오류를 일으키지 않았고, 실제 세상의 물리 법칙이 예측하는 대로 정확하게 작동했습니다.

이것이 의미하는 바

이 논문은 사물이 어떻게 움직이는지와 무엇으로 만들어졌는지에 대한 이해를 통합함으로써, 로봇과 시뮬레이션을 위해 진정으로 준비된 3D 에셋을 만들 수 있다는 점을 시사합니다. 저자들은 이 문제들을 별개가 아닌 하나로 취급하는 것이 훨씬 더 안정적이고 현실적인 결과를 낳는다는 것을 보여줍니다.

이 논문이 모든 3D 물리 문제를 해결했다고 주장하는 것은 아니지만, 중요한 진전을 보여줍니다. 우리는 엉망이고 가공되지 않은 3D 데이터를 가져와서 자동으로 신뢰할 수 있는 물리 준수 세계로 바꿀 수 있음을 입증했습니다. 이는 로봇이 우리의 집, 공장, 사무실을 탐색하도록 훈련시키는 데 큰 도움이 될 것이며, 로봇이 컵을 향해 손을 뻗을 때 그것이 얼마나 무거운지, 그리고 떨어뜨리지 않고 어떻게 잡아야 하는지를 정확히 알 수 있게 해줄 것입니다.