🔬 applied physics

SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation

이 논문은 사전 정의된 물리 모델에 의존하지 않고 정확하고 안정적이며 일반화 가능한 실물-시뮬레이션 간의 소프트 바디 조작을 달성하기 위해, 변형 역학, 환경적 힘, 로봇 동작을 잠재 공간에서 통합하는 3D 가우시안 스플래팅 기반 신경 시뮬레이터인 SoMA를 소개한다.

원저자: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Yunsong Zhou, Mulin Yu, Bo Dai, Jiangmiao Pang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 티셔츠가 가득 담긴 빨래 바구니를 접는 법을 가르치려 한다고 상상해 보세요. 말은 쉬워 보이지만, 기계에게 천 조각은 악몽과 같습니다. 고정된 형태를 가진 상자와 달리, 셔츠는 형태가 정해져 있지 않습니다. 뒤틀리고, 늘어나며, 로봇의 눈으로부터 자신의 일부를 숨기기도 합니다. 이러한 흐물흐물한 물체를 다루는 법을 배우기 위해 로봇은 보통 수백만 번의 연습이 필요합니다. 하지만 현실 세계에서 연습하는 것은 느리고 비용이 많이 들며, 무언가를 망가뜨릴 위험도 있습니다. 그래서 과학자들은 로봇이 연습할 수 있는 디지털 놀이터인 '시뮬레이터'를 만듭니다. 문제는 대부분의 디지털 놀이터가 너무 딱딱하거나(실제와 맞지 않는 엄격한 수학 규칙을 사용함), 너무 몽환적이라는 점입니다(다음 상황을 추측하지만 물리 법칙을 틀리게 적용함). 이 연구의 목표는 신뢰할 수 있을 만큼 정확하면서도, 말랑말랑한 물체의 무질서한 현실을 다룰 수 있을 만큼 유연한 시뮬레이터를 구축하는 것입니다.

여기에 부드러운 물체 조작을 위해 특별히 설계된 새로운 종류의 '뉴럴 시뮬레이터'인 SoMA가 등장했습니다. SoMA를 물리 방정식을 계산하는 계산기가 아니라, 영상을 보고 배우는 아주 똑똑한 학생이라고 생각해보세요. 옷이 어떻게 움직여야 하는지 지침을 받는 대신, SoMA는 로봇이 실제로 옷을 움직이는 영상을 보고, 그 영상을 기록한 뒤, 스스로 움직임의 숨겨진 규칙을 파악합니다. SoMA는 '가우시안 스플래팅(Gaussian Splatting)'이라는 영리한 기술을 사용하는데, 이는 물체를 수백만 개의 작고 빛나는 3D 페인트 입자 구름으로 변환하는 것과 같습니다. 모든 실의 물리 법칙을 일일이 계산하는 대신, SoMA는 로봇이 밀었을 때 이 입자들이 어떻게 춤추고 변형되는지를 학습합니다.

이 논문은 SoMA가 로봇이 밧줄, 인형, 셔츠와 같은 물체와 상호작endo하는 영상을 보고, 그 상호작용을 디지털 세상에서 놀라운 정확도로 재현할 수 있음을 보여줍니다. 테스트 결과, SoMA는 단순히 영상을 복제하는 데 그치지 않고 물체의 근본적인 '느낌'을 학습했습니다. 만약 본 적 없는 새로운 방식으로 셔츠를 접도록 요청하더라도, 기존 방식들이 혼란에 빠지거나 물체가 녹아내리는 것처럼 보이게 만들었던 것과 달리, Soло는 여전히 정확하게 수행할 수 있었습니다. 저자들은 로봇이 하는 행동(팔의 움직임)과 물체의 외형을 결합함으로써 이전보다 20% 더 정확한 시뮬레이션을 만들 수 있다는 것을 발견했습니다. 이는 우리가 곧 실제 세계의 작업을 수행할 수 있는 '디지털 트윈'을 갖게 될 것이며, 이 모델은 실제 셔츠를 단 한 벌도 망가뜨리지 않고도 로봇에게 복잡한 집안일을 가르칠 수 있을 만큼 신뢰할 수 있다는 것을 의미합니다.

"SoMA"의 마법

문제점: "말랑말랑한" 격차
로봇은 상자를 옮기는 데는 능숙합니다. 하지만 빨래를 옮기는 데는 엉망입니다. 왜일까요? 상자는 단단해서 밀면 움직이기 때문입니다. 반면 셔츠는 '소프트 바디(soft-body)'로, 구부러지고 접히며 스스로를 숨깁니다. 로봇에게 셔츠를 접는 법을 가르치려면 천의 거동을 이해하는 시뮬레이터가 필요합니다.

기존 방식 1 (규칙집): 과학자들은 예전에 중력이나 마찰력 같은 엄격한 물리 규칙을 컴퓨터에 입력했습니다. 하지만 실제 셔츠에 대해 이 규칙들을 완벽하게 구현하는 것은 거의 불가능합니다. 숫자가 조금만 어긋나도 디지털 셔츠는 셔츠가 아닌 바위나 해파리처럼 행동하게 됩니다.
기존 방식 2 (몽상가): 다른 방법들은 단순히 영상의 다음 프레임을 예측하며 데이터로부터 학습하려고 했습니다. 이 방식은 실제처럼 보이기는 좋지만, 로로봇이 새로운 동작을 할 때 실패하는 경우가 많습니다. 이들은 셔츠가 공중에 뜨거나 테이블을 통과하게 만드는 등, 로봇의 '밀기'를 제대로 이해하지 못합니다.

해결책: "스플랫(Splats)"으로부터의 학습
SoMA는 세상을 표현하는 새로운 방식을 도입합니다. 메쉬(mesh)나 고체 덩어리 대신, 물체를 가우시안 스플래팅(Gaussian Splatting, GS) 포인트들의 집합으로 표현합니다. 셔츠가 천이 아니라, 3D 공간에 떠 있는 수백만 개의 작고 흐릿하며 빛나는 점들로 이루어져 있다고 상상해 보세요.

작동 원 원리: 로봇이 셔츠를 잡으면, 단순히 점들을 움직이는 것이 아니라 점들에 '힘(forces)'을 가합니다. SoMA는 이 힘이 점들의 구름을 통해 어떻게 전달되는지를 학습합니다.
비법: SoMA는 단순히 영상만 보는 것이 아니라, 로봇의 관절도 함께 봅니다. 로봇의 팔이 어떻게 움직였는지 정확히 알고 있습니다. 즉, 로봇의 행동을 점들의 움직임과 직접 연결합니다. 이를 '액션 컨디셔닝(action-conditioned)'이라고 합니다. 이는 마치 시뮬레이터가 "로봇의 팔꿈치가 이렇게 굽혀지면, 셔츠의 왼쪽 모서리는 반드시 저만큼 높이 올라가야 한다"라는 것을 아는 것과 같습니다.

학습 과정: 두 단계의 댄스
긴 작업(셔츠 전체를 접는 것과 같은)을 처리하는 시뮬레이터를 학습시키는 것은 어렵습니다. 작은 실수가 빠르게 누적되기 때문입니다. 만약 첫 1초에 시뮬레이션이 1mm만 어긋나도, 10초 뒤에는 셔츠가 공중에 떠 있을 수 있습니다.

1단계 (전체적인 흐름): SoMA는 먼저 프레임 사이의 간격이 큰 영상을 통해 크고 느린 움직임을 학습합니다. 셔츠의 전반적인 흐름을 배우는 단계입니다.
2단계 (세부 사항): 그다음, 셔츠가 테이블에 닿을 때 어떻게 주름지는지와 같은 작고 빠른 세부 사항을 배우기 위해 줌인합니다.
"혼합된" 레슨: 로봇의 손이 종종 셔츠를 가리기 때문에(폐쇄 현상, occlusion), 시뮬레이터는 모든 것을 볼 수 없습니다. SoMA는 특별한 기술을 사용합니다. 보이는 부분의 영상으로부터만 학습하되, '물리 법칙'(질량 보존 법칙 등)을 사용하여 보이지 않는 부분에서 어떤 일이 일어나고 있는지 추측합니다. 이 덕분에 셔츠가 로봇의 손 뒤에 숨겨져 있을 때도 형태가 무너지지 않습니다.

결과: 이전보다 나은 성능
연구진은 밧줄, 인형, 티셔츠를 포함한 실제 데이터로 SoMA를 테스트했습니다.

정확도: 테스트에서 SoMA는 재시뮬레이션(본 것을 복제)에서 PSNR 33.51을, 일반화(새로운 동작 예측)에서 32.89를 달성했습니다. 이는 기존 최고 방법들보다 20% 향상된 수치입니다.
안정성: 기존 시뮬레이터들은 몇 초가 지나면 물체가 이상해지거나 불안정해지곤 했지만, SoMA는 긴 시간 동안 복잡한 작업(티셔츠 접기 등)을 수행해도 물체가 붕괴하거나 밀려나지 않고 안정적으로 유지되었습니다.
일반화 능력: 한 번도 본 적 없는 조작을 수행하도록 요청받았을 때, SoMA는 무작위로 추측하는 대신 로봇의 행동을 가이드로 삼아 시뮬레이션을 수행하여 현실적인 결과를 만들어냈습니다.

이것이 중요한 이유
이것은 단순히 예쁜 영상을 만드는 것에 관한 것이 아닙니다. 이 정도로 정확하고 안정적인 시뮬레이터를 만듦으로써, 우리는 디지털 세상에서 로봇이 복잡하고 말랑말랑한 작업을 수행하도록 훈련할 수 있습니다. 로봇이 SoMA에서 학습을 마치면, 훨씬 적은 시행착오를 거쳐 실제 세계로 그 기술을 전이할 수 있습니다. 이는 무질서한 소프트 오브젝트(soft objects)의 현실과 깨끗한 컴퓨터 코드의 논리 사이의 간극을 메워주며, 로봇이 실제 셔츠를 단 한 벌도 망가뜨리지 않고도 빨래를 접거나 음식을 다루거나 섬세한 제조 작업을 훨씬 빠르게 수행할 수 있도록 도울 것입니다. 이 논문은 이 접근 방식이 로봇이 우리가 사는 부드럽고 유연한 세상을 진정으로 이해하고 상호작용할 수 있게 만드는 중요한 단계임을 시사합니다.

기술 요약: SoMA - 로봇 소프트 바디 조작을 위한 실재-시뮬레이션(Real-to-Sim) 신경 시뮬레이터

1. 문제 정의

풍부한 로봇 상호작용 하에서의 변형 가능한 객체 시뮬레이션은 실재-시뮬레이션(real-to-sim, R2S) 로봇 조작의 근본적인 과제로 남아 있다. 기존 방식들은 물리적 충실도와 상호작용 일관성 사이에서 트레이드오프를 겪는다:

물리 기반 시뮬레이터(예: FEM, MPM)는 장기적인 일관성을 보장하지만, 시각 데이터로부터 추론하기 어려운 사전 정의된 물리 파라미터에 의존하므로 R2S 편향(bias)이 발생한다.
미분 가능한 시뮬레이터는 제한된 파라미터를 최적화하지만, 단순화된 물리적 가정에 의해 제약을 받는다.
신경 역학 및 4D 재구성 방법은 데이터로부터 움직임을 직접 학습하지만, 주로 관찰된 궤적을 재현하는 데 집중한다. 이들은 로봇 조건부 상호작용(robot-conditioned interaction)을 지원하는 능력이 부족하며, 특히 부분적 폐쇄(occlusion) 및 복잡한 접촉 패턴 하에서 학습 분포를 넘어 일반화하는 데 실패한다.

핵심 과제는 시각적 관찰로부터 변형 가능한 객체의 기하학적 구조와 역학을 충실히 포착하면서도, 지속적이고 행동 조건부인 로봇-객체 상호작용 하에서도 안정적이고 일관성을 유지하는 시뮬레이터를 개발하는 것이다.

2. 방법론: SoMA 프레임워크

SoMA(Simulator of Manipulation for soft-body interaction)는 학습된 가우시안 스플랫(Gaussian Splat) 표현 위에서 직접 작동하는 3D 가우시안 스플랫(GS) 신경 시뮬레이터이다. 이는 사전 정의된 물리 모델 없이 단일 잠재 신경 공간 내에서 변형 가능한 역학, 환경 힘, 로봇 관절 동작을 통합한다.

2.1. R2S 매핑을 통한 장면 초기화

이질적인 좌표계(시각적 재구성, 로봇 운동학, 물리적 프레임) 간의 간극을 메우기 위해, SoMA는 통합된 시뮬레이션 공간을 구축한다:

재구성: 다중 뷰 RGB 이미지를 사용하여 카메라 포즈를 추정하고, 카메라 좌표계 내의 가우시안 스플랫 집합( $G_0$ )으로 변형 가능한 객체를 재구성한다.
로봇 조건화: 재구성된 기하 구조를 로봇 베이스 프레임에 정렬하기 위해 전역 스케일 인자(global scale factor)와 강체 변환(rigid transformation)을 추정한다. 로봇 관절 구성( $q_t$ )은 순운동학(forward kinematics)을 통해 말단 장치(end-effector) 포즈로 변환되어 시뮬레이션 공간으로 매핑된다.
물리적 참조: 지지 테이블 평면을 피팅하여 중력 방향을 결정함으로써, 시뮬레이션이 실제 세계의 물리적 제약과 일치하도록 보장한다.

2.2. 힘 기반 GS 역학 모델링

상태 기반 회귀 모델과 달리, SoMA는 상호작용을 가우시안 스플랫에 직접 작용하는 명시적인 힘으로 모델링한다:

환경 힘: 중력 및 지지 표면 근처의 스플랫에 작용하는 지지력을 포함한 외부 힘으로 모델링된다.
로봇 힘: 로봇 제어 포인트와 GS 노드를 연결하는 상호작용 그래프를 통해 모델링된다. 그래프 기반 신경 모듈은 현재 상태, 인접한 로봇 포인트, 그리퍼 상태를 바탕으로 로봇 유도 힘을 예측한다.
계층적 전파: 총 상호작용 힘은 다단계 그래프 구조를 통해 계층적으로 전파된다. 신경 역학 모델( $\psi_\theta$ )은 과거 상태와 집계된 힘에 조건화되어 각 노드/클러스터의 선속도와 회전을 예측하며, 이를 통해 상태 전용 역학이 아닌 힘 기반 역학을 가능하게 한다.

2.3. 다해상도 학습 전략

장기 시뮬레이션에서의 오차 누적과 불안정성을 해결하기 위해, SoMA는 2단계 학습 접근 방식을 채택한다:

시간적(Temporal): 큰 시간 간격( $k \cdot dt$ )을 사용하여 전역적인 움직임 패턴을 먼저 학습한 후, 무작위 하위 시퀀스를 사용하여 원래 해상도($dt$)에서 미세한 역학을 학습하는 코스-투-파인(coarse-to-fine) 전략을 사용한다.
공간적(Spatial): 세부 사항을 보존하기 위해 초해상도 이미지를 사용하여 GS 기하 구조를 재구성하는 한편, 계산 비용을 줄이기 위해 원래 해상도에서 역학 학습을 수행한다.

2.4. 블렌디드 감독(Blended Supervision)

상호작용 중 발생하는 부분적 관측 불가능성과 폐쇄 문제를 처리하기 위해, SoMA는 블렌디드 감독 체계를 사용한다:

폐쇄 인식 이미지 감독: 허상(spurious) 그래디언트를 방지하기 위해, 이진 객체 마스크에 의해 가려진 가시적인 객체 영역에만 이미지 재구성 손실을 적용한다.
물리적 일관성 정규화: 인접한 계층 수준 간의 질량 보존을 강제하는 자기 지도 학습 제약 조건을 사용한다. 이는 관찰되지 않은 역학을 정규화하여, 정답 힘(ground-truth forces) 없이도 물리적으로 일관되지 않은 움직임이나 드리프트를 방지한다.

3. 주요 기여

R2S 신경 시뮬레이션 패러다임: RGB 관찰 및 로봇 동작으로부터 직접적으로 장기적이고 상호작용 일관성이 있는 시뮬레이션을 지원하는 새로운 소프트 바디 조작 프레임워크를 제시한다.
실행 메커니즘:
- 로봇 조건부 정렬: 인과적 상호작용을 위해 학습된 역학을 실제 로봇 운동학에 고정한다.
- 힘 기반 역학: 명시적 힘 모델링을 통해 접촉과 폐쇄를 처리하는 가우시안 스플랫 역학 모델을 제공한다.
- 안정적 학습: 일반화와 안정성을 위해 다해상도 학습 및 블렌디드 감독을 활용한다.
실증적 검증: 공공 벤치마크와 새로운 실제 데이터셋(로프, 인형, 천, 티셔츠)에 대한 광범위한 평가를 통해 RGB 및 깊이(depth) 지표에서 최첨단 성능을 입증했다.

4. 실험 결과

저자들은 네 가지 변형 가능한 객체에 대해 재시뮬레이션(학습 궤적)과 일반화(미학습 조작 시퀀스) 측면에서 SoMA를 평가하였다.

정량적 성능: SoMA는 모든 지표에서 베이스라인(PhysTwin 및 GausSim)보다 우수한 성능을 보였다.
- 재시뮬레이션: PSNR 33.51(PhysTwin의 28.77 대비) 및 Abs Rel 깊이 오차 0.089(0.102 대비)를 달립다.
- 일반화: PSNR 32.89 및 Abs Rel 0.112를 달성하여, 베이스라인 대비 일반화 정확도에서 20%의 향상을 보여주었다.
복잡한 작업: 큰 변형과 자기 접촉(self-contact)을 포함하는 도전적인 티셔츠 접기 작업에서, PhysTwin은 심각한 아티팩트와 구조적 붕괴를 보인 반면, SoMA는 일관된 기하 구조와 현실적인 역학을 유지했다.
어블레이션 연구(Ablation Studies): 블렌디드 감독(Img-only) 또는 다해상도 학습(w/o MRT)을 제거했을 때 성능이 크게 저하되었으며, 이는 일반화와 안정성을 위한 물리 기반 제약과 다중 스케일 학습의 필요성을 확인시켜 준다.

5. 의의 및 주장

본 논문은 SoMA가 단일 가우시안 스플랫 표현 내에서 로봇-객체 상호작용을 명시적으로 모델링함으로써 물리 기반 시뮬레이션과 데이터 기반 시뮬레이션 사이의 간극을 메운다고 주장한다. 주요 의의는 다음과 같다:

사전 정의된 물리 제거: 수동으로 지정된 물리 파라미터에 의존하지 않고 데이터로부터 엔드 투 엔드로 역학을 학습하여, R2S 시나리오에서의 파라미터 식별 문제를 해결한다.
안정적인 장기 상호작용: 기존 신경 시뮬레이터가 일반적으로 드리프트되거나 붕괴되는 복잡하고 장기적인 작업(예: 천 접기)의 안정적인 시뮬레이션을 가능하게 한다.
실용적인 R2S 백엔드: 현실과의 간극을 줄임으로써, SoMA는 데이터 합성, 증강 및 정책 학습을 위한 기초로서 기능하며, 이는 실제 세계의 데이터 수집 비용과 위험을 줄일 수 있다.

저자들은 So-MA를 물리적 일관성, 제어 가능성, 그리고 실제 관찰에 대한 충실도 사이의 균형을 맞추며, 특히 로봇에 의해 조작되고 폐쇄가 빈번한 임바디드(embodied) 시나리오에 특화된 차별화된 접근 방식으로 포지셔닝한다.