DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

로봇이 움직임을 배우는 가상 세계에서, 로봇이 상호작용하는 물체들은 종종 지나치게 완벽합니다. 디지털 사과는 절대 찌그러지지 않는 단단한 구체이며, 디지털 수건은 절대 접히지 않는 평평한 시트입니다. 로봇이 시뮬레이션에서 무언가를 잡고, 들어 올리거나, 운반하는 법을 배우기 위해서는, 그 물체가 실제 사물처럼 행동해야 합니다. 그것은 눌렸을 때 뭉개져야 하고, 떨어졌을 때 모양이 잡혀야 하며, 들어 올렸을 때 형태를 유지해야 합니다. 이러한 디지털 물체를 처음부터 만드는 것은 어렵습니다. 왜냐하면 물체의 시각적 외형, 즉 어떻게 보이는가는 이야기의 절반에 불과하기 때문입니다. 나머지 절반은 그 물체의 숨겨진 물리적 본성, 즉 얼마나 무거운지, 얼마나 부드럽거나 딱딱한 재질인지, 그리고 만졌을 때 어떻게 반응하는지에 있습니다. 이러한 보이지 않는 속성을 알지 못하면, 로봇은 디지털 바나나를 집으려다 컴퓨터가 그것을 어떻게 구부려야 할지 몰랐다는 이유만으로, 마치 유리처럼 산산조각 나거나 손가락 사이로 물처럼 빠져나가는 경험을 하게 될 것입니다.

연구자들은 오랫동안 텍스트 설명이나 단 한 장의 사진을 사용하여 이러한 3D 물체를 생성하려고 시도해 왔지만, 지금까지의 결과는 시각적으로는 설득력이 있어도 물리적으로는 망가져 있는 경우가 많았습니다. 그것들은 봉제 인형처럼 보일 수는 있지만, 시뮬레이션 안에서는 자체 무게를 이기지 못하고 무너지거나 로봇의 움켜쥐기에 제대로 반응하지 못할 수도 있습니다. 문제는 사진이나 문장이 컴퓨터에게 물체가 어떻게 변형되어야 하는지를 정확하게 알려줄 만큼 충분한 정보를 담고 있지 않다는 점에 있습니다. 이를 해결하기 위해, 연구진은 '디폼스미스(DeformSmith)'라고 불리는 새로운 시스템을 개발했습니다. 이 프레임워크는 단순히 물체가 어떻게 생겨야 하는지 추측하는 데 그치지 않고, 단계별로 물체를 구축하며, 과정이 끝나기 전에 물체의 물리적 행동을 테스트하고, 시뮬레이션된 로봇을 사용하여 물체를 조작해 봅니다.

이 새로운 접근 방식의 핵심은 인간 엔지니어가 프로토타입을 만드는 방식을 모방하되, 컴퓨터가 막대한 계산을 수행하는 단계별 구축 과정입니다. 시스템은 간단한 설명이나 단 한 장의 사진으로 시작하여 먼저 물체의 3D 형상을 구축합니다. 형상이 존재하게 되면, 시스템은 물체에 물리적 정체성을 부여하여, 얼마나 무거운지 그리고 지면과 어떻게 상호작용하는지를 결정합니다. 그다음에는 재질 특성을 추가하여, 물체가 스펀지처럼 부드러운지 혹은 고무공처럼 단단한지를 결정합니다. 결정적으로, 시스템은 단순히 이 값들을 설정하고 결과가 좋기를 바라는 것에 그치지 않습니다. 물체를 떨어뜨리거나 누르는 일련의 물리적 테스트를 실행하여, 그것이 올바르게 작동하는지 확인합니다. 만약 물체가 너무 쉽게 무너지거나 잘못된 방식으로 튀어 오른다면, 시스템은 자동으로 내부 설정을 조정하고 다시 시도합니다.

이 방법이 독특한 점은 어떻게 로봇을 루프(loop) 안으로 끌어들이느냐에 있습니다. 물체가 기본적인 물리 테스트를 통과하면, 시뮬레이션된 로봇 팔이 그것을 집고, 운반하고, 내려놓는 시도를 합니다. 바로 이 단계에서 시스템은 가장 많은 것을 배웁니다. 로봇이 물체를 잡으려고 하면, 시스템은 물체가 형태를 유지하는지, 미끄러지는지, 혹은 이동을 불가능하게 만들 정도로 변형되는지를 면밀히 관찰합니다. 만약 로봇이 실패한다면, 시스템은 그 실패를 하나의 단서로 사용합니다. 물체가 너무 미끄럽다거나, 움켜쥐는 힘이 너무 약했다거나, 혹은 재질이 작업에 비해 너무 부드럽다는 것을 깨달을 수 있습니다. 그러면 시스템은 다시 돌아가 물체의 속성을 개선하거나 로봇의 움직임을 수정하며, 로봇이 과업을 성공적으로 완료할 때까지 이 순환 과정을 반복합니다. 이는 물체가 실제 상황에서 얼마나 잘 작동하는지에 따라 끊임없이 개선되는 피드백 루프를 생성합니다.

연구진은 텍스트 설명과 단일 이미지를 모두 사용하여 럭비 공부터 봉제 물개에 이르기까지 수십 가지의 다양한 물체를 만들어 이 시스템을 테스트했습니다. 그들은 자신들의 결과를 동일한 작업을 수행하려는 다른 고급 방법들과 비교했습니다. 이러한 비교에서 DeformSmith가 생성한 물체들은 훨씬 더 사실적이었습니다. 떨어졌을 때, 다른 시스템의 물체들이 흔히 팬케이크처럼 납작해지거나 부서지는 것과 달리, DeformSmith의 물체들은 자연스럽게 보이도록 형태를 유지하며 튀어 오르거나 뭉개졌습니다. 어떤 물체가 더 잘 보이고 잘 작동하는지를 사람들이 판단하는 블라인드 테스트에서, 이 새로운 시스템은 대다수의 경우 승리했습니다. 특히 로봇이 물체를 조작할 수 있도록 만드는 데 성공적이었는데, 로봇 유도형 개선(robot-guided refinement)을 사용했을 때 물체를 집어 옮기는 성공률이 절반 미만에서 3분의 2 이상으로 급증했습니다.

이 시스템은 문제를 관리 가능한 단계로 나누어 작동하며, 무게를 걱정하기 전에 형상이 올바른지 확인하고, 재질을 걱정하기 전에 무게가 올바른지 확인합니다. 이는 컴퓨터가 모든 것을 한꺼번에 해결하려다 혼란에 빠지는 것을 방지합니다. 중앙의 '하네스(harness)'는 감독관 역할을 하며, 모든 규칙을 추적하고 한 단계에서 이루어진 변경 사항이 이전 단계에서 수행된 작업을 망가뜨리지 않도록 보장합니다. 예를 들어, 시스템이 물체를 더 부드럽게 만들기로 결정했다면, 이 변화가 물체를 너무 무겁게 만들거나 바닥 속으로 가라앉게 만들지는 않는지 확인합니다. 이러한 세심하고 계층적인 접근 방식 덕분에 시스템은 복잡하고 상호작용이 가능한 물체를 구축하여 로봇 훈련 시뮬레이션에 사용할 준비를 마칠 수 있습니다.

이 시스템은 강력하지만, 연구진은 현재 이것이 액체나 모래와 같은 입자 형태의 물질보다는 쥐거나 늘릴 수 있는 고체 물체에 가장 적합하다고 언급했습니다. 또한, 이 시스템이 추론하는 물리적 속성은 시각적 단서와 시뮬레이션을 바탕으로 한 추정치이므로, 실제 물리적 로봇에 사용될 경우 실제 측정값으로 검증될 필요가 있습니다. 그러나 단순한 입력을 통해 다양한 물리적으로 신뢰할 수 있는 물체를 생성할 수 있는 능력은 로보틱스 분야에 새로운 문을 열어줍니다. 엔지니어들은 이제 로봇이 마주칠 모든 물체를 일일이 모델링하는 대신, 물체를 설명하거나 사진을 보여주는 것만으로도, 테스트와 조작 및 학습이 준비된 '디지털 트윈'을 구축할 수 있습니다. 이러한 능력은 로봇이 자동으로 생성된 방대한 양의 물리적으로 정확한 디지털 자산을 연습함으로써, 일상의 복잡하고 변형 가능한 물체를 다루는 법을 훨씬 빠르게 배울 수 있는 미래를 암시합니다.