BoxTwin: Learning Elastoplastic Articulated Object Dynamics from Videos

기술 요약: BoxTwin – 비디오로부터 탄소성 관절 객체 역학 학습

문제 정의

비정형 환경에서의 로봇 조작에는 물리적 상호작용을 예측할 수 있는 디지털 트윈이 필요합니다. 강체 및 선형 탄성 재료를 위한 디지털 트윈은 존재하지만, **탄소성 관절 객체(Elastoplastic Articulated Objects, EAOs)**를 모델링하는 데는 실패합니다. 접히는 상자, 판금 조립품, 경첩이 달린 문과 같은 EAO는 현재의 모델들이 동시에 포착할 수 없는 세 가지 복합적인 물리 현상을 나타냅니다:

1. 비선형 탄성(Non-linear Elasticity): 후크 법칙(Hookean behavior)에서 벗어나는 응력-변형률 관계로 인해 에너지 소산 및 자유도 간 결합이 발생합니다.
2. 소성 변형(Plastic Deformation): 임계 하중을 초과할 때 발생하는 비가역적인 형상 변화로, 새로운 휴지 상태(rest configurations)를 형성합니다.
3. 손상 진화(Damage Evolution): 미세 균열 및 층간 분리로 인해 반복적인 하중 사이클 동안 재료 파라미터(예: 강성 저하)가 점진적으로 퇴화하는 현상입니다.

기존의 접근 방식은 대개 강체 역학이나 정적 탄성 변형 중 하나만을 다루며, 관절 객체 내에서 얽혀 있는 소성, 비선plemented 탄성, 그리고 점진적 손상의 상호 관계를 해결하지 못합니다. 이러한 한계로 인해 로봇은 잡기(grasping), 접기(folding) 또는 상호작용 후의 상태 예측 작업에서 실패하게 됩니다.

방법론: BoxTwin 프레임워크

BoxTwin은 비디오 데이터로부터 직접 EAO의 전체 역학을 학습하도록 설계된 상호작용형 디지털 트윈 프레임워크입니다. 이 시스템은 비디오 기반 재구성 파이프라인과 물리 인지형 구성 모델(physics-aware constitutive model)을 통합합니다.

1. 관절형 바디 표현 (Articulated Body Representation)

EAO는 유연한 주름을 나타내는 이상적인 힌지 조인트로 연결된 강체 링크들의 집합으로 모델링됩니다. 토폴로지는 루트 키네매틱 트리 $G = (V, E)$로 정의됩니다. 구성은 조인트 각도의 벡터 $q$로 설명됩니다. 시스템은 조인트 공간 역학을 위해 표준 라그랑주 공식을 사용합니다:
$$M(q)\ddot{q} + C(q, \dot{q})\dot{q} + g(q) = \tau$$
여기서 $\tau$는 외부 접촉으로부터 발생하는 일반화된 힘을 나타냅니다.

2. 물리 인지형 구성 모델링 (Physics-Aware Constitutive Modeling)

BoxTwin은 정적인 파라미터 대신, 세 가지 특정 동작을 포착하기 위해 시간에 따라 진화하는 교정된 모델을 채택합니다:

• 비선형 탄성 응답: 힌지의 탄성 토크 $\tau^{el}_e$는 변형 갭 $\Delta_e = q_e - \bar{q}_e$에 대한 매끄럽고 미분 가능한 매핑 $f_{\theta_e}(\Delta_e)$로 모델링됩니다. 이는 분석적 미분이 가능하면서도 비선형 힌지 거동을 포착합니다.
• 소성 변형: 영구 변형은 내부 스칼라 변수 $\alpha_e$(누적 소성 회전)를 통해 휴지 각도 $\bar{q}_e$가 진화하도록 함으로써 모델링됩니다. 소성 흐름은 탄성 갭이 항복 임계값 $\Delta^y_e$를 초과할 때 활성화됩니다. $\alpha_e$의 진화는 매끄러운 흐름 법칙 $g_{\psi_e}(\Delta_e)$를 따릅니다.
• 손상 진화: 강성 저하 및 소성 변형 능력 감소를 설명하기 위해 스칼라 손상 변수 $d_e \in [0, 1]$가 도입됩니다. 이 변수는 탄성 토크와 소성 흐름율을 곱셈적으로 감쇠시킵니다. 손상율 $\dot{d}_e$는 시간 경과에 따른 총 절대 소성 회전을 기록하는 누적 소성 슬립 $P_e(t)$의 매끄럽고 단조로운 함수의 구동을 받습니다.

3. 학습 파이프라인

프레임워크는 입력 비디오로부터 장면을 재구성하여 EAO 파라미터를 추출합니다. 그 후, 이 파라미터를 사용하여 미래 상태를 예측합니다. 시스템은 시간 가변적인 손상 축적을 반영하기 위해 재료 특성을 지속적으로 업데이트하며, 이를 통해 견고한 시뮬레이션과 제어를 가능하게 합니다.

실험적 평가

저자들은 MuJoCo 시뮬레이터를 사용하여 두 가지 별개의 시나리오에서 BoxTwin을 평가했습니다.

A. 접기 테스트 (수동 변형)

• 설정: 인간이 한쪽 패널이 고정된 두 개의 패널과 하나의 조인트로 구성된 EAO를 수동으로 변형했습니다. 패널 위의 색상 마커를 통해 조인트 각도를 도출했습니다.
• 결과: 물리적 객체에 적용된 것과 동일한 구동이 시뮬레이션으로 전달되었습니다. 모델은 긴 시퀀스 동안 조인트 각도 궤적을 정확하게 추적하였으며, 순간적인 키네매틱 반응과 재료 특성의 점진적 진화(이력 현상 및 마모)를 충실히 재현했습니다.

B. 예측 테스트 (양팔 조작)

• 설정: Trossen Aloha 양팔 로봇이 다양한 EAO(단일 조인트 및 다중 조인트 조립품)를 조작했습니다. 시스템은 리더(leader) 암이 상위 수준의 명령을 받고 팔로워(follower) 암이 물리적 행동을 수행하는 리더-팔로워 구성으로 작동했습니다.
• 결과: 전체 궤적(위치, 속도, 토크, 말단 장치 포즈)이 동일한 키네매틱/다이내믹 파라미터와 실험적으로 식별된 EAO 파라미터를 가진 물리 기반 시뮬레이터에 기록되고 재생되었습니다. 시뮬레이션은 모든 테스트 케이스에서 물리적 하드웨어 측정값과 밀접한 일치성을 보였으며, 이를 통해 반복적인 물리적 실험 없이 알고리즘 개발 및 전이 학습을 위한 환경을 검증했습니다.

주요 기여 및 의의

본 논문은 EAO의 전체 역학을 포착할 수 있는 최초의 상호작용형 디지털 트윈 프레임워크를 소개한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 복합 역학의 통합: 비디오 기반 재구성과 비선형 탄성, 소성 변형, 손상 진화를 동시에 처리하는 물리 인지형 모델을 성공적으로 결합했습니다.
2. 예측 능력: 정적 시뮬레이션이나 강체 가정에 국한되었던 기존 EAO 모델과 달리, 접촉 후의 소성 거동과 장기 궤적 역학을 예측할 수 있는 능력을 갖추었습니다.
3. 적응형 제어: 전통적인 강체 가정이 실패하는 비정형 환경에서 변형 가능한 객체의 적응형 예측 제어를 가능하게 합니다.

저자들은 BoxTwin을 더 안전하고 적응력이 뛰어난 인간-로봇 협업을 위한 기초 단계로 위치시키며, 이를 통해 로봇이 비가역적인 물리적 변화를 겪는 변형 가능한 품목에 대해 상호작용을 예견하고 조작 전략을 개선할 수 있도록 합니다.