MeshPriorDiT: Hierarchical Modeling for Action-Conditioned Cloth Dynamics

로봇은 오랫동안 단단한 세계의 주인으로서, 상자를 집어 올리거나 블록을 쌓고 부품을 조립하는 일을 한 치의 오차 없이 능숙하게 수행해 왔습니다. 하지만 로봇이 셔츠나 시트와 같이 부드럽고 형태가 정해지지 않은 물체를 마주하는 순간, 그 자신감은 종종 증발해 버립니다. 천은 물리학의 역설입니다. 천은 완벽하게 조화를 이루며 움직여야 하는 수천 개의 작은 연결점들로 이루어져 있지만, 동시에 단순한 규칙을 거스르는 듯한 방식으로 뒤틀리고, 접히고, 늘어지기도 합니다. 기계에게 천을 다루는 법을 가르치기 위해, 과학자들은 두 가지 상충하는 진실을 동시에 이해하는 모델을 구축해야 합니다. 첫째, 재료는 국소적으로 행동해야 합니다. 즉, 천 위의 한 점은 그 주변의 이웃들과 물리적으로 연결된 실들을 존중하며 움직여야 합니다. 둘째, 천은 전역적으로 행동해야 합니다. 즉, 한쪽 모서리에서 생긴 주름은 전체 표면을 따라 파동처럼 퍼져나가 반대쪽 끝에 올바르게 안착해야 합니다. 이 두 가지가 모두 없다면, 로봇은 셔츠를 잡는 데는 성공할지 몰라도 접는 데는 실패하여 천을 엉키게 하거나 찢어지게 만들 수 있습니다.

수년간 연구자들은 컴퓨터에게 국소적인 연결을 흉내 내게 하거나 전역적인 흐름을 흉내 내게 하는 방식 중 하나를 가르쳐 이 문제를 해결하려 노력해 왔지만, 두 가지를 동시에 수행하는 경우는 드물었습니다. 한 가지 접근 방식은 천을 친구들이 쪽지를 주고받는 네트워크처럼 취급하며, 각 점이 자신의 즉각적인 이웃이 무엇을 하는지만 알게 하는 것입니다. 이 방식은 작은 움직임에는 잘 작동하지만, 주름이 의류 전체를 가로질러 이동해야 할 때는 실패합니다. 또 다른 접근 방식은 천 전체를 한 번에 볼 수 있는 강력하고 넓은 시야를 가진 모델을 사용하지만, 이들은 특정 지점 사이에서 재료가 어떻게 늘어나고 굽어지는지에 대한 미세한 세부 사항을 놓치는 경우가 많습니다. 그 결과는 멀리서 보기에는 그럴싸해 보이지만, 로봇이 실제로 움직이려고 할 때는 매 단계마다 오류가 누적되어 결국 천이 엉뚱한 곳에 있게 되는 예측을 만들어냅니다.

한 연구팀은 문제를 두 가지 별개의 작업으로 분리함으로써 이 간극을 메우는 'MeshPriorDiT'라는 새로운 방법을 도입했습니다. 단일 모델에게 모든 것을 강요하는 대신, 그들은 한 부분은 신뢰할 수 있는 가이드 역할을 하고 다른 부분은 정밀한 편집자 역할을 하는 시스템을 만들었습니다. 첫 번째 부분인 가이드는 천의 알려진 구조를 기반으로 구축되었습니다. 이 가이드는 천이 어떻게 짜여 있는지, 그리고 로봇의 그리퍼가 그것을 어떻게 잡고 있는지를 정확히 알고 있습니다. 이러한 지식을 사용하여 가이드는 천의 대략적인 경로를 예측하며, 이를 통해 재료가 연결 상태를 유지하고 잡고 있는 지점들이 로봇의 명령을 정확히 따르도록 보장합니다. 이 가이드는 기초적인 작업에는 능숙하지만 완벽하지는 않습니다. 주름이 어떻게 조여지는지 또는 천의 특정 부분이 어떻게 뒤처지는지와 같은 미세한 부분은 놓칠 수 있습니다.

두 번째 부분인 편집자는 작은 실수들을 찾아내고 수정하는 데 특화된 생성 모델입니다. 편집자는 가이드가 제공한 대략적인 경로를 살펴보고 "무엇이 빠졌는가?"라고 묻습니다. 그런 다음 편집자는 가이드가 놓친 복잡하고 장거리적인 상호작용을 고려하여 미세하게 조정된 수정 사항을 생성합니다. 결정적으로, 이 편집자는 전체 이야기를 다시 쓰려고 하지 않습니다. 대신 가이드가 틀린 세부 사항만을 추가합니다. 수정이 완료되면 시스템은 이 두 가지를 결합하여, 최종 예측이 천의 물리적 연결을 존중하면서도 천의 유동적인 전역적 움직임을 포착할 수 있도록 합니다. 이러한 계층적 접근 방식은 천의 구조적 무결성을 유지하면서도, 천 조작을 가능하게 하는 복잡하고 흐르는 듯한 움직임을 예측할 수 있게 해줍니다.

연구진은 이 새로운 시스템을 세 가지 다른 천 조작 작업, 즉 천의 모서리를 옆으로 접기, 대각선으로 접기, 그리고 위로 똑바로 들어 올리기에 대해 테스트했습니다. 그들은 시스템이 15단계에 걸쳐 천의 움직임을 예측하도록 요청했는데, 이는 로봇이 다음 동작을 예측하고, 실행하고, 그 결과를 바탕으로 다음 동작을 다시 예측하는 과정을 반복하는 과정입니다. 이 시뮬레이션에서 새로운 방법은 이전의 접근 방식들보다 훨씬 더 높은 정확도를 보여주었습니다. 국소적 가이드만을 사용하는 시스템과 비교했을 때, 새로운 방법은 천의 위치에 대한 평균 오차를 거의 44% 줄였습니다. 전역적 편집자에만 의존하는 시스템과 비교했을 때는 그 개선 효과가 더욱 극적이었으며, 오차를 75% 이상 줄였습니다.

더 중요한 것은, 새 시스템이 천 자체의 품질을 유지했다는 점입니다. 많은 컴퓨터 모델에서 전체적인 모양을 수정하려고 하면 의도치 않게 가상의 천을 늘리거나 찢어서 부자연스럽게 보이게 만듭니다. 연구진은 자신들의 두 부분으로 된 시스템이 연결된 점들 사이의 거리를 일정하게 유지함으로써 실제 세계에서와 마찬가지로 천이 현실적으로 보이게 한다는 것을 발견했습니다. 시스템은 수정의 강도와 재료를 매끄럽게 유지해야 하는 필요성 사이의 균편을 정교하게 조절함으로써 이를 달성했습니다. 연구진은 편집자의 제안이 얼마나 많은 비중을 가질지 조절함으로써, 위치의 완벽한 정확도와 천 표면의 완벽한 매끄러움 중 어느 쪽을 우선시할지 미세하게 조정하여 양쪽 모두에 적합한 최적의 지점을 찾아낼 수 있었습니다.

연구는 또한 시스템이 장기간 동안 어떻게 작동하는지도 살펴보았습니다. 로봇이 계속해서 예측하고 행동함에 따라, 다른 모델들에서는 작은 오류들이 쌓여 결국 시뮬레이션이 실제와 크게 동떨어지게 되는 경향이 있었습니다. 그러나 새로운 방법은 15단계의 연속적인 예측 후에도 정확도를 안정적으로 유지했습니다. 가이드는 천이 너무 멀리 벗어나지 않도록 안정적인 토대를 제공했고, 편집자는 그동안 발생했을 법한 작은 편차들을 지속적으로 수정하여 큰 실수로 번지는 것을 막았습니다. 이러한 안정성은 이 시스템이 빨래를 접거나 침구류를 정리하는 것과 같이, 초기 단계의 단 한 번의 실수가 전체 작업을 망칠 수 있는 복 복잡한 다단계 작업을 수행해야 하는 로봇들에게 신뢰할 수 있는 도구가 될 수 있음을 시사합니다.

천의 구조를 이해하는 작업과 복잡한 움직임을 예측하는 작업을 분리함으로써, 연구진은 견고하면서도 정밀한 모델을 만들어냈습니다. 가이드는 로봇이 잡고 있는 것과 천이 어떻게 연결되어 있는지를 놓치지 않도록 보장하며, 편집자는 예측이 재료의 미묘하고 흐르는 듯한 성질을 포착하도록 보장합니다. 이러한 역할 분담을 통해 시스템은 로봇 공학자들을 오랫동안 괴롭혀온 국소적 물리학과 전역적 협응이라는 이중 과제를 처리할 수 있게 되었습니다. 결과는 로봇에게 재료의 구조에 대한 명확한 이해와 예측을 정교화할 수 있는 스마트한 방법이 주어졌을 때, 로봇이 이전에는 도달할 수 없었던 수준의 기술로 부드러운 물체를 조작할 수 있음을 보여줍니다.