Gen2Physics: Grounding Generated 3D Meshes in Physics via Multi-View Material Decomposition

디지털 세계에서 컴퓨터는 3차원 물체를 그리는 데 놀라울 정도로 숙련되었습니다. 현대의 인공지능은 단 한 장의 사진이나 몇 마디의 단어만으로도 놀라운 시각적 디테일을 갖춘 의자, 로봇, 또는 장난감을 만들어낼 수 있습니다. 이러한 디지털 창조물들은 실제처럼 보이지만, 속이 빈 껍데기에 불과합니다. 컴퓨터에게 금속 다리가 달린 나무 의자는 그저 하나의 연속된 표면이자 내부 구조가 없는 단일한 물체일 뿐입니다. 이는 비디오 게임, 로봇 공학, 또는 물리 시뮬레이션을 위해 이러한 이미지를 사용하려는 사람들에게 중대한 문제를 야기합니다. 실제 세상의 물체들은 그 재질에 따라 움직입니다. 가벼운 나무 몸체 위에 놓인 무거운 금속 머리는 균일한 밀도를 가진 블록과는 다르게 기울어지거나 회전할 것입니다. 어떤 부분이 무엇으로 만들어졌는지 알지 못한다다면, 컴퓨터는 물체가 어떻게 떨어지고, 튀어 오르고, 구를지를 시뮬레이션할 수 없습니다. 수십 년 동안, 물체가 어떻게 보이는지와 어떻게 행동하는지 사이의 간극은 큰 장애물이 되어 왔으며, 이로 인해 디지털 제작자들은 아름답지만 정적인, 물리 법칙의 상호작용을 할 수 없는 자산들을 갖게 되었습니다.

한 연구팀은 이 간극을 메우기 위해 Gen2Physics라고 불리는 새로운 시스템을 개발했습니다. 그들의 목표는 정적인 생성 3D 메쉬를 가져와서 그것이 무엇으로 만들어졌는지 자동으로 파악하고, 이를 시뮬레이션이 가능한 별개의 조각들로 분해하는 것이었습니다. 물체를 물리적 특성을 고려하여 처음부터 구축하려고 하는 대신, 그들의 방식은 물체가 이미 생성된 후에 작동합니다. 이것은 마치 디지털 탐정처럼 작용하여, 여러 각도에서 물체를 관찰하고, 표면의 모든 작은 패치의 재질을 식-별하며, 각자의 무게와 밀도를 가진 고체 부품들의 집합체로 물체를 재구성합니다. 그 결과, 디지털 자산은 시각적으로 올바르게 보일 뿐만 아니라, 떨어뜨리거나 밀었을 때 물리 엔진 내에서 올바르게 작동하게 됩니다.

과정은 3D 물체를 모든 면에서 검토해야 하는 조각상처럼 취급하는 것부터 시작됩니다. 시스템은 마치 조각상을 모든 방향에서 둘러보는 것처럼, 11개의 서로 다른 관점에서 물체를 렌더링합니다. 각 뷰에 대해, 특화된 컴퓨터 비전 모델이 이미지를 분석하여 모든 픽셀의 재질을 추측합니다. 이 모델은 광택, 질감, 색상과 같은 단서들을 찾아내어 표면이 나무인지, 금속인지, 유리인지, 혹은 천인지 결정합니다. 그러나 물체를 단 하나의 각도에서만 보는 것은 오해를 불러일으킬 수 있습니다. 반사가 나무 다리를 금속처럼 보이게 만들 수도 있고, 그림자가 플라스틱 손잡이를 가릴 수도 있습니다. 이를 해결하기 위해, 시스템은 11개의 뷰를 3D 모델에 다시 투영하고 투표 시스템을 사용합니다. 만약 11개 중 10개의 뷰가 특정 면이 금속이라고 동의한다면, 시스템은 그것을 진실로 받아들입니다. 이 단계는 최종 재질 지도가 단일 관점으로 인한 혼란으로부터 자유롭고 일관되게 되도록 보장합니다.

일관된 지도가 있더라도, 컴퓨터는 보이는 것에 기반하여 여전히 실수를 할 수 있습니다. 얇고 빛나는 다리는 카메라에 금속처럼 보일 수 있지만, 만약 물체가 의자라면 상식적으로 그것은 나무일 가능성이 높습니다. 이러한 논리적 오류를 수정하기 위해, 시스템은 문맥을 이해하도록 훈련된 인공지능의 일종인 대규모 언어 모델을 활용합니다. 이 모델은 물체의 형태와 기능을 고려하여 전체를 바라보며 재질 레이블을 수정합니다. 모델은 "금속"이라고 레이블링된 부분이 의자 다리의 일부이기 때문에 실제로 "나무"라고 결정하거나, "플라스틱" 부분이 투명한 꽃병이기 때문에 "유리"라고 결정할 수 있습니다. 이 단계는 순수한 이미지 분석이 도달할 수 없는 추론의 층위를 더해주어, 재질이 현실 세계에서 말이 되도록 보장합니다.

재질이 올바르게 식별되면, 시스템은 마지막 과제에 직면합니다. 바로 이러한 평면적인 표면 패치들을 견고하고 물이 새지 않는(watertight) 부피로 바꾸는 것입니다. 시뮬레이션 엔진는 빈 껍데기로는 작동할 수 없습니다. 엔진은 물체가 얼마나 무거운지, 그리고 어떻게 회전할지를 계산하기 위해 물체의 내부를 알아야 합니다. 시스템은 누락된 기하학적 구조를 채워 넣어, 각 재질 부품에 대한 완전한 3D 형상을 생성합니다. 그런 다음 언어 모델에게 각 부품이 파이프나 껍데기처럼 속이 비어 있는지, 아니면 끝까지 고체인지를 추측하도록 요청합니다. 만약 부품이 비어 있다면, 시스템은 벽의 두께를 추정합니다. 이러한 세부 사항을 통해, 컴퓨터는 예를 들어 로봇의 무거운 금속 머리가 상단에 있다는 것을 알 수 있으며, 이는 로봇이 밀렸을 때 중심을 기준으로 완벽하게 회전하는 대신 기울어지게 만드는 원인이 됩니다.

연구진은 자신들의 방법을 대규모 3D 모델 컬렉션에 테스트하고 기존 기술들과 비교했습니다. 그들은 자신들의 접근 방식이 재질을 식야하는 데 훨씬 더 정확하며, 테스트 세트의 거의 절반에 해당하는 부품을 올바르게 레이블링했다는 것을 발견했는데, 이는 이전 방식들의 성공률보다 두 배 이상 높은 수치입니다. 물체가 떨어지고 충돌하는 것을 시뮬레이션했을 때, 결과는 놀라웠습니다. 한 테스트에서, 무거운 금속과 나무 몸체로 이루어진 로봇 머리가 떨어졌습니다. 전체 물체가 동일한 밀도를 가진 것으로 취급했던 기존 방식들은 물체가 기하학적 중심을 기준으로 부자연스럽게 회전하게 만들었습니다. 그러나 새로운 시스템은 무거운 금속 머리를 정확히 식별하고, 실제 무게 중심을 계산하여, 무거운 머리가 물체를 아래로 끌어당겨 현실적으로 회전하게 만드는 실제 물리 법칙에 부합하는 낙하를 시뮬레이션했습니다.

이 작업은 디지털 콘텐츠를 상호작용형 애플리케이션에 사용할 수 있게 만드는 데 있어 중요한 진전을 의미합니다. 복잡한 3D 형상을 재질 구성 요소로 자동 분해하고 현실적인 물리적 특성을 할당함으로써, 이 시스템은 정적인 이미지를 역동적이고 상호작용 가능한 물체로 변화시킵니다. 연구진은 자신들의 방법이 매우 효과적이지만, 여전히 누락된 기하학적 구조를 채우기 위해 외부 도구에 의존하며 초기 3D 모델의 품질에 의존한다는 점을 언급했습니다. 또한 그들은 현재의 테스트가 표면에 재질이 드러나는 물체들에 국la한 것이며, 외부에서 볼 수 없는 복잡한 내부 구조를 가진 물체들은 여전히 과제로 남아 있다고 지적했습니다. 그럼에도 불구하고, 시각적으로 충실하면서도 물리적으로 타당한 자산을 생성하는 능력은 로봇 공학, 게임, 공학 분야에서 더욱 현실적인 시뮬레이션을 열어주어, 디지털 세계와 물리적 세계를 더욱 가깝게 연결해 줍니다.