Dynamic robotic cloth folding with efficient Koopman operator-based model predictive control

기술 요약: 효율적인 쿠퍼만 연산자 기반 모델 예측 제어를 활용한 동적 로봇 천 접기

문제 제기
로봇 천 조작은 여전히 중요한 과제로 남아 있으며, 특히 천의 관성을 활용하기 위해 빠른 동작에 의존하는 동적 접기 작업에서 두드러집니다. 준정적 조작과 달리, 동적 접기는 복잡한 비선형 천 역학을 탐색해야 하므로 시스템 식별 및 궤적 계획이 어렵습니다. 전통적인 물리 모델은 고속 운동에 적용될 때 큰 "시뮬레이션-현실 (sim-to-real)" 격차를 겪는 경향이 있으며, 기존 로봇 접근법은 너무 느리거나 빠르지만 부정확하여 접기를 달성하기 위해 여러 번의 시도가 필요한 경우가 많습니다. 또한 인간 전문가들은 이러한 작업을 역동적이고 효율적으로 수행하지만, 로봇 시스템은 특히 단일 암으로 천의 한 모서리만 조작하는 경우 이러한 민첩성을 재현하는 데 어려움을 겪습니다.

방법론
제안된 접근법은 고희도 물리 기반 시뮬레이터와 효율적인 데이터 기반 대리 모델을 통합한 새로운 모델 예측 제어 (MPC) 프레임워크를 통해 이러한 과제를 해결합니다. 핵심 방법론은 다음 세 가지 주요 구성 요소로 이루어집니다:

1. 물리 기반 시뮬레이션 (시뮬레이션 지향 모델 - SOM):
   시스템은 공기역학, 중력, 강성, 감쇠를 고려한 고희도 비연장성 천 모델을 사용합니다. 이 모델은 사각형 메쉬로 이산화되며, 등식 제약 (비연장성) 과 부등식 제약 (테이블 및 자기 충돌) 을 처리하기 위해 2 차 계획법을 포함하는 반복 과정을 통해 해결됩니다. 이 SOM 은 훈련 데이터를 생성하기 위한 기준 진실 (ground truth) 로서 작용하며, 시뮬레이션 내에서 정확한 피드백을 제공합니다.

2. 데이터 기반 대리 모델 (제어 지향 모델 - COM):
   비선형 MPC 의 계산 비용을 극복하기 위해 저자들은 쿠퍼만 (Koopman) 연산자 회귀를 사용합니다. 이 기술은 천의 비선형 역학을 역학이 선형이 되는 고차원 (무한차원일 수도 있음) 공간으로 변환합니다.

   • 훈련: 모델은 SOM 에 의해 생성된 합성 데이터로 훈련됩니다. 제어 입력은 단일 점이 아닌 천 메쉬의 두 인접 노드의 변위로 정의됩니다 (고정된 방향의 수직 그립 시뮬레이션). 이는 실제 세계의 그립 제약을 더 잘 반영하기 위함입니다.
   • 근사: 무한차원 연산자는 훈련 데이터를 부분 샘플링하여 유한차원 선형 시스템을 생성하는 니스트롬 (Nyström) 방법을 사용하여 근사됩니다. 이는 효율적으로 학습 가능한 선형 상태 공간 모델을 결과로 낳습니다.
   • 재구성: 재구성 행렬은 대리 상태를 물리적 천 상태로 매핑합니다.

3. 선형 모델 예측 제어 (LMPC):
   선형 대리 모델은 LMPC 루프 내에 내장됩니다. 제어기는 특정 제약을 만족하면서 비용 함수 (상태 오차와 제어 노력의 균형) 를 최소화하는 궤적을 생성하기 위해 유한 시간 최적 제어 문제 (OCP) 를 해결합니다.

   • 안전 제약: 잡힌 모서리가 테이블과 충돌하거나 유효 영역 밖으로 이동하는 것을 방지합니다.
   • 부드러움 제약: 실제 로봇이 실행 가능한 궤적을 보장하기 위해 속도 및 가속도 변화에 제한을 부과합니다.
   • 방향 제약: 고정된 엔드 이펙터 방향을 유지하기 위해 제어되는 두 메쉬 점이 동일한 변위로 이동하도록 보장합니다.
   • 경계 제약: 불안정한 동작을 피하기 위해 변위의 크기를 제한합니다.

제어 루프는 예측을 위해 선형 COM 을 사용하여 OCP 를 해결하고, SOM 을 사용하여 폐루프 방식 (시뮬레이션 내) 으로 상태를 업데이트하거나 다음 단계의 초기 상태를 제공하는 방식으로 작동합니다.

주요 기여

• 하이브리드 모델링 아키텍처: 이 논문은 충돌 인식 SOM 과 효율적인 쿠퍼만 연산자 회귀 알고리즘을 결합하여 천 접기를 위한 선형 데이터 기반 COM 을 생성합니다.
• 제약 선형 MPC: 저자들은 이 COM 을 선형 MPC 전략 내에서 사용하여 SOM 과 폐루프 방식으로 제약된 로봇 궤적을 생성하며, 이를 통해 보이지 않는 목표 자세로 천을 접을 수 있게 합니다.
• 제로샷 시뮬레이션 -현실 전이: 방법론은 실제 로봇 플랫폼 (UR5) 에서 실행 및 평가되었으며, 실제 데이터에 대한 재훈련 없이 1.5 초 미만의 고속 접기 궤적의 성공적인 전이를 입증했습니다.

실험 결과
제안된 파이프라인은 양모 (정장) 와 데님 (청바지) 의 두 가지 다른 재료를 사용하여 시뮬레이션과 실제 로봇 모두에서 평가되었습니다.

• 시뮬레이션: 실험 결과, 대리 상태의 크기 (니스트롬 랜드마크의 수) 를 증가시키면 접기 정확도가 향상되는 것으로 나타났습니다. 또한, 성공적인 접기에 필요한 천의 중심을 향해 초기에 이동하는 궤적을 생성하기 위해 더 긴 예측 시간이 결정적으로 중요하다는 것이 밝혀졌습니다.
• 실제 로봇 성능: 시스템은 제로샷 시뮬레이션 -현실 전이를 달성하여 1.5 초 미만의 시간 내에 양모 및 데님 의류를 목표 자세로 성공적으로 접었습니다.
  • 정확도: 상대 접기 오차 ($E_{fold}$) 는 다양한 목표 접기와 재료에 걸쳐 약 0.77% 에서 7.23% 사이였습니다.
  • 관찰: 데님 접기는 수치적 오차 비율이 더 낮았으나, 시각적 분석에 따르면 양모 접기가 더 평평한 표면과 더 정확한 모서리 배치를 달성한 것으로 나타났으며, 이는 재료의 서로 다른 물리적 특성 때문입니다.
  • 실행: 궤적은 현재 고속 시각 피드백 시스템의 지연이 동작 속도에 비해 상대적으로 크기 때문에 오픈루프 방식으로 실행되었습니다.

의의 및 주장
이 논문은 정확한 물리 기반 모델링이 쿠퍼만 연산자 회귀를 통해 선형 대리 모델을 효과적으로 훈련하는 데 사용될 수 있음을 보여주는 데 주요한 의의가 있다고 주장합니다. 이 선형화는 비선형 시뮬레이터의 미분 없이 접기 궤적을 효율적으로 계산할 수 있게 하며, 상태 공간의 차원을 축소합니다.

저자들은 그들의 접근법이 고속 동적 접기에 대한 시뮬레이션 -현실 격차를 성공적으로 해소했다고 강조합니다. 관성 효과가 일반적으로 큰 실패를 초래하는 작업입니다. 단일 조작자와 단일 동작으로 1.5 초 미만의 성공적인 접기를 달성함으로써, 이 연구는 로봇 천 접기가 느리거나 준정적이어야 한다는 관념에 도전합니다. 논문은 현재 시스템이 오픈루프 실행에 의존하지만, 이 프레임워크가 실시간 피드백과 더 복잡한 그립 원시 기능을 통합한 향후 연구를 위한 견고한 기반을 제공한다고 결론지었습니다.