기술 요약: EMPM – 변형 가능한 객체의 모델링 및 시뮬레이션을 위한 체화된 MPM (Embodied MPM)

1. 문제 정의

탄성 및 엘라스토플라스틱(elastoplastic) 물질과 같은 연속체 재료를 포함하여 변형 가능한 객체를 정확하게 모델링하는 것은 3D 비전, 컴퓨터 그래픽스 및 로보틱스 분야의 근본적인 과제로 남아 있습니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 과도한 단순화: 전통적인 방법들은 종종 스프링-질량(spring-mass) 시스템이나 입자 기반 모델에 의존하며, 이는 큰 변형, 파쇄(fracture), 찢어짐(tearing), 그리고 영구적인 형상 변화(소성, plasticity)와 같은 복잡한 역학을 포착하지 못합니다.
• 데이터 비효율성: 학습 기반의 직관적 물리 모델은 대규모 훈련 데이터셋을 필요로 하며, 새로운 객체에 대한 일반화 능력이 떨어지는 경우가 많습니다.
• 미분 불가능성: 많은 시뮬레이션 프레임워크는 시각적 관찰로부터 물리적 파라미터를 직접 최적화하는 능력이 부족하여, 로봇 조작을 위한 정확한 "디지털 트윈" 구축을 저해합니다.

이 연구가 다루는 핵심 과제는 물리적으로 타당하고, 일반화 가능하며, 데이터 효율적인 프레임워크를 개발하여 다시점 RGB-D 비디오로부터 기하학적 구조, 외관, 역학을 재구성하고 미분 가능한 물리 시뮬레이션을 가능하게 하는 것입니다.

2. 방법론: EMPM 프레임워크

저자들은 기하학적 재구성, 외관 렌더링, 그리고 미분 가능한 물질 점 방법(Material Point Method, MPM) 시뮬레이터를 통합하는 실재-시뮬레이션-실재(real-to-sim-to-real) 파이프라인인 **EMPM (Embodied MPM)**을 제안합니다. 이 시스템은 오프라인 식별 모드와 온라인 적응형 식별 모드로 작동합니다.

2.1. 핵심 구성 요소

• 미분 가능한 MPM 시뮬레이터: 시스템의 기초는 연속체 균형 법칙(continuum balance laws)과 하이브리드 입자-그리드 이산화를 결 결합한 MPM 엔진입니다. 이를 통해 큰 변형, 접촉, 그리고 엘라스토플라스틱 흐름을 시뮬레이션할 수 있습니다. 이 시뮬레이터는 액션 조건부(action-conditioned)로, 즉 컨트롤러 동작(예: 로봇 그리퍼 또는 손의 움직임)을 경계 조건으로 받아들입니다.
• 기하학 및 외관 재구성:
  • 입력: 다시점 RGB-D 비디오.
  • 프로세스: 시스템은 Grounded SAM2를 사용하여 객체와 컨트롤러를 분할(segmentation)합니다. 이후 깊이(depth) 데이터를 융합하여 3D 포인트 클라우드를 재구성합니다.
  • 렌더링: 고충실도 외관 렌더링을 위해 3D 가우시안 스플래팅(3DGS) 모델을 구축합니다. 가우시안 중심의 움직임은 선형 블렌드 스키닝(Linear Blend Skinning, LBS)을 사용하여 MPM 입자 노드와 보간됩니다.
• 파라미터 최적화: 시스템은 예측된 시뮬레이션 결과물과 실제 세계의 관찰값 사이의 차이를 최소화함으로써 재료 파라미터(영률 $E$, 포아송 비 $\nu$, 밀도 $\rho$, 소성 항복 응력 $y$)를 최적화합니다.

2.2. 오프라인 시뮬레이션 및 최적화

오프라인 설정에서 시스템은 사전 수집된 RGB-D 데이터를 처리합니다:

1. 데이터 처리: 다시점 이미지로부터 3D 포인트 클라우드를 추출하고, 기성 포인트 트래킹 모델을 사용하여 시간적 대응 관계를 설정합니다.
2. 목적 함수: 손실 함수 $L_{offline}$은 시뮬레이션된 입자 상태($\hat{X}$)와 관찰된 상태($\tilde{X}$) 사이의 차이를 최소화합니다:
   • Chamfer Distance: 포인트 클라우드 간의 기하학적 차이를 측정합니다.
   • Tracking Loss: 개별 추적된 입자 간의 $L_2$ 거리를 최소화하여 움직임을 정렬합니다.
3. 최적화: 파라미터는 자동 미분(Warp 프레임워크)을 통한 경사 하강법(gradient-based optimization, AdamW) 또는 무계수 최적화(zero-order optimization, CMA-ES)를 사용하여 업데이트됩니다.

2.3. 온라인 적응형 식별

시스템은 스트리밍 비디오를 통한 실시간 상호작용으로 확장됩니다:

• 스트리밍 감독: 스트림 시작 시점에 초기 포인트 클라우드가 생성됩니다. 이후 프레임은 세그멘테이션되어 3D 관찰값을 업데이트하기 위해 역투영됩니다.
• 제약 조건 처리: 폐쇄(occlusion)로 인해 시간이 지남에 따라 포인트 트래킹의 신뢰도가 저하되므로, 온라인 최적화는 포인트 트래킹에 의존하지 않습니다. 대신, 객체가 고정되어 있을 때와 같은 준정적 평형(quasi-static equilibrium) 상태를 가정합니다.
• 손실 함수: 온라인 손실 $L_{online}$은 다음을 결합합니다:
  • 3D Chamfer Distance: 포인트 클량을 정렬합니다.
  • 2D Segmentation Mask Loss: 시뮬레이션된 입자와 관찰된 객체의 2D 세그멘테이션 마스크 간의 정렬을 규제합니다.
• 적응: 실시간 센서 피드백을 바탕으로 디지털 트윈의 동작을 수정하기 위해 파라미터가 단계별로 업데이트됩니다.

3. 주요 기여

1. Real-to-Sim-to-Real 시스템: 실제 센서 관찰로부터 파라미터 최적화, 기하학 재구성, 외관 렌더링을 공동으로 수행하는 미분 가능한 MPM 물리 시뮬레이션 기반의 새로운 프레임워크입니다.
2. 온라인 파라미터 최적화: 실시간 상호작용 중에 재료 파라미터를 업데이트하는 적응형 스킴을 제공하여, 다운스트림 로봇 제어를 위한 견고하고 물리 기반의 객체 표현을 가능하게 합니다.
3. 광범 \text{범위}의 재료 처리: 탄성(로프, 천, 부드러운 장난감) 및 엘라스토플라스틱(찰흙, 반죽, 피타 브레드) 재료를 모두 포함하여, 기존 베이스라인들이 어려워하는 광범위한 변형 가능한 객체들에 대해 방법론을 입증했습니다.

4. 실험 결과

저자들은 짜기(squeezing), 늘리기(stretching), 찢기(tearing), 찌르기(poking)와 같은 조작이 포함된 6가지 유형의 객체에 대해 EMPM을 평가했습니다.

• 베이스라인과의 비교:
  • PhysTwin [8] (Spring-Mass): EMPM은 특히 파쇄(예: 피타 브레드 찢기) 및 소성 변형(예: 찰흙 짜기) 모델링에서 PhysTwin을 크게 능가했습니다. 스프링-질량 모델은 영구적인 형상 변화와 파쇄 역학을 포착하는 데 실패했습니다.
  • PGND [10] (학습 기반): EMPM은 신경 동역학 베이스라인에 비해 기하학적 및 시각적 지표 모두에서 더 나은 정렬을 달달성했습니다.
• 정량적 지표:
  • 기하학적 정확도: EMPM은 탄성 및 엘라스토플라스틱 카테고리 모두에서 더 낮은 Chamfer 거리와 트래킹 오차를 달성했습니다.
  • 시각적 품질: EMPM은 사진처럼 사실적인 렌더링을 위해 IoU, PSNR, SSIM, LPIPS 지표에서 우수한 성능을 보여주었습니다.
  • 효율성: PGND가 더 빠른 추론 시간을 가졌으나, EMPM은 전체 훈련 프레임에 대한 배치 최적화 덕분에 PGND 및 PhysTwin보다 훈련 시간이 훨씬 효율적이었습니다.
• 온라인 최적화: 양팔 Franka 로봇을 이용한 실험에서, 온라인 교정이 시뮬레이션된 디지털 트윈과 실제 관찰값 사이의 정렬을 점진적으로 개선하여 2D 마스크 및 3D 거리 오차를 모두 감소시킴을 보여주었습니다.

5. 의의 및 주장

본 논문은 EMPM이 복잡한 변형 가능한 물체의 로봇 조작에 대한 새로운 가능성을 연다고 주장합니다. 시각 데이터로부터 온라인으로 최적화할 수 있는 미분 가능하고 물리 기반의 시뮬레이션을 제공함으로써, 이 프레임워크는 다음을 가능하게 합니다:

• 사진 및 물리적으로 사실적인 디지털 트윈 구축.
• 로봇이 가상의 컨트롤러 입력에 대한 객체의 반응을 예측하고 그에 따라 궤적을 계획할 수 있는 물리 기반 로봇 조작 작업(What-if 분석).
• 소성(plasticity) 및 파쇄(fracture)와 같은 비탄성 동작을 보이는 객체에 대해, 과도하게 단순화된 스프링-질량 모델 및 데이터 집약적인 학습 기반 접근 방식에 대한 견고한 대안.

저자들은 심한 폐쇄(occlusion) 및 큰 변형 하에서 포인트 트래킹의 신뢰도와 관련된 한계를 인정하며, 향endo 온라인 최적화를 더욱 향상시키기 위해 새로운 트래킹 모델이 도움이 될 수 있음을 언급했습니다.