🤖 AI

LeHome: A Simulation Environment for Deformable Object Manipulation in Household Scenarios

LeHome은 기존 시뮬레이터의 한계를 넘어 의류 및 식품 등 다양한 가사용 변형 가능한 물체(deformable objects)의 정교한 물리 역학을 구현하고, 저가형 로봇 플랫폼을 지원하여 실제 가정 환경에서의 로봇 조작 연구를 가속화하기 위한 종합 시뮬레이션 환경입니다.

원저자: Zeyi Li, Yushi Yang, Shawn Xie, Kyle Xu, Tianxing Chen, Yuran Wang, Zhenhao Shen, Yan Shen, Yue Chen, Wenjun Li, Yukun Zheng, Chaorui Zhang, Siyi Lin, Fei Teng, Hongjun Yang, Ming Chen, Steve Xie, Rui

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zeyi Li, Yushi Yang, Shawn Xie, Kyle Xu, Tianxing Chen, Yuran Wang, Zhenhao Shen, Yan Shen, Yue Chen, Wenjun Li, Yukun Zheng, Chaorui Zhang, Siyi Lin, Fei Teng, Hongjun Yang, Ming Chen, Steve Xie, Ruihai Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "로봇은 아직 '말랑말랑한 세상'이 너무 어려워요" 🧊 ➡️ 🍮

지금까지의 로봇들은 주로 공장에서 딱딱한 부품을 옮기는 일을 잘해왔습니다. 마치 **'레고 블록'**을 다루는 것과 같죠. 레고는 모양이 변하지 않으니 로봇이 계산하기 아주 쉽습니다.

하지만 우리 집은 어떤가요?

옷은 구겨져 있고, 만지는 대로 모양이 변합니다.
소시지는 칼로 썰면 툭 끊어지며 모양이 바뀝니다.
커피는 컵을 기울이면 출렁거리며 쏟아집니다.

로봇 입장에서 이런 물건들은 **'정해진 답이 없는 움직임'**을 가진 아주 까다로운 상대입니다. 마치 딱딱한 바둑알만 만지던 아이에게 갑자기 미끌거리는 푸딩이나 흐물거리는 국수를 만지라고 하는 것과 같습니다.

2. 해결책: "LeHome - 로봇을 위한 초정밀 '가상 집' 훈련소" 🏠🎮

연구진은 로봇이 실제 집에서 사고를 치기 전에, 가상 세계에서 완벽하게 연습할 수 있는 **'LeHome'**이라는 초정밀 시뮬레이션 환경을 만들었습니다.

이 훈련소의 특징은 세 가지입니다.

첫째, "진짜보다 더 진짜 같은 물건들" (초정밀 물리 엔진):
단순히 그림만 그리는 게 아니라, 물건의 '성질'을 넣었습니다. 옷은 구겨지게, 물은 출렁거리게, 소시지는 잘리게 만들었죠. 마치 게임 속 캐릭터가 실제 물리 법칙을 따르는 것처럼, 로봇이 가상 세계에서 옷을 접거나 소시지를 써는 연습을 아주 사실적으로 할 수 있습니다.
둘째, "인과관계의 마법" (액션 그래프):
"칼이 소시지에 닿으면(원인) $\rightarrow$ 소시지가 두 조각으로 나뉜다(결과)"라는 논리를 로봇에게 가르칩니다. 단순히 모양만 바뀌는 게 아니라, '행동'과 '결과' 사이의 논리적인 연결 고리를 만들어준 것이죠.
셋째, "가성비 로봇을 위한 맞춤형 교육" (저가형 로봇 지원):
수억 원짜리 산업용 로봇이 아니라, 우리가 실제로 집에 들여놓을 수 있는 **저렴하고 작은 로봇(LeRobot 시리즈)**들을 위해 설계되었습니다. 비싼 장비 없이도 누구나 로봇을 훈련시킬 수 있게 문턱을 낮춘 것입니다.

3. 결과: "가상 세계에서의 연습이 실전에서도 통한다!" 🏆

연구진은 이 훈련소에서 로봇을 훈련시킨 뒤, 실제로 진짜 로봇을 가지고 실험해 보았습니다.

결과는 놀라웠습니다!

실전 경험만 있는 로봇: "어... 옷이 왜 이렇게 움직이지?" 하며 당황해서 실패할 확률이 높았습니다.
LeHome에서 연습한 로봇: 가상 세계에서 수만 번 옷을 접고 커피를 따르는 연습을 해본 덕분에, 실제 집에서도 훨씬 더 똑똑하고 능숙하게 물건을 다루었습니다. (성공률이 약 3배 이상 올라갔습니다!)

요약하자면... 📝

LeHome은 로봇이 우리 집의 **'말랑말랑하고 변덕스러운 물건들'**과 친해질 수 있도록 만들어준 **'최첨단 가상 현실 트레이닝 센터'**입니다. 이 기술이 발전하면, 머지않아 로봇이 우리 집에서 옷을 개어주고, 맛있는 햄버거를 만들어주는 날이 올 것입니다!

[기술 요약] LeHome: 가사 시나리오 내 변형 가능한 물체 조작을 위한 시뮬레이션 환경

1. 문제 정의 (Problem Statement)

가정용 로봇의 핵심 과제는 일상적인 작업(의류 정리, 음식 준비 등)을 수행하는 것이지만, 기존 로봇 시뮬레이션 환경은 다음과 같은 한계가 있습니다.

물체 특성의 한계: 기존 벤치마크는 주로 강체(Rigid)나 관절형(Articulated) 물체에 집중되어 있으며, 형태가 일정하지 않고 비선형적 역학을 가진 **변형 가능한 물체(Deformable objects, 예: 옷, 음식)**에 대한 지원이 부족합니다.
데이터 수집의 어려움: 변형 가능한 물체는 상태 변화가 매우 복잡하여 실제 환경에서 고품질 데이터를 수집하는 데 막대한 비용과 노동력이 소요됩니다.
시뮬레이션-실제 간 격차 (Sim-to-Real Gap): 복잡한 재질 특성과 물리적 상호작용을 정확하게 모델링하는 것이 매우 어렵습니다.

2. 방법론 (Methodology)

본 논문은 이러한 문제를 해결하기 위해 고충실도(High-fidelity) 시뮬레이션 플랫폼인 LeHome을 제안합니다. LeHome은 크게 세 가지 구성 요소로 이루어집니다.

A. LeHome Assets (자산 및 물리 엔진):
다양한 물리적 특성을 가진 물체를 6가지 카테고리로 분류하고, 각 카테고리에 최적화된 물리 엔진을 결합하여 현실성을 높였습니다.

액체(Liquid) & 가스(Gaseous Fluid): PBD(Position-Based Dynamics) 및 Eulerian Fluid Simulation 사용.
입자형(Granular): 먼지(PBD) 및 커피콩(Rigid body) 모델링.
선형(Linear): 케이블, 로프 (Multi-rigid-body chain 또는 FEM 방식).
박막(Thin Shell): 의류, 포스터 (PBD 또는 FEM).
체적형(Volumetric): 소시지, 패티 등 (FEM - 유한요소법 사용).

B. Action Graph (상호작용 메커니즘):
단순한 물리 시뮬레이션을 넘어, '칼로 소시지를 자르는 것'과 같이 **행동에 따른 인과관계(Causal consistency)**를 구현하기 위해 Action Graph라는 그래픽 논리 모델링 방식을 도입했습니다. 이는 트리거(Trigger) $\rightarrow$ 계산(Computation) $\rightarrow$ 상태 업데이트(State Update) 과정을 통해 물체의 형태 변화나 분리(Split)를 논리적으로 처리합니다.

C. LeHome Benchmark (로봇 및 데이터 수집):

저가형 로봇 지원: 고가의 산업용 로봇 대신, 가정용 보급에 적합한 오픈소스 저가형 로봇 플랫폼인 LeRobot 시리즈를 핵심 타겟으로 설정했습니다.
데이터 증강: 도메인 랜덤화(Domain Randomization)를 통해 조명, 배경, 재질 등을 변화시켜 시뮬레이션 데이터의 다양성을 확보하고 Sim-to-Real 격차를 줄였습니다.
원격 조작(Teleoperation): 키보드, 조이스틱, Leader-Follower 시스템을 통해 직관적인 데이터 수집을 지원합니다.

3. 주요 기여 (Key Contributions)

포괄적인 자산 라이브러리: 액체, 가스, 입자, 선형, 박막, 체적형 물체를 모두 포함하는 광범위한 변형 가능한 물체 라이브러리 구축.
Action Graph 도입: 물리적 상호작용에 따른 인과적 상태 변화(예: 물체 절단)를 정교하게 모델링할 수 있는 새로운 메커니즘 제안.
저가형 로봇 중심의 생태계: 실제 가정 환경 배포를 고려하여 저가형 로봇 플랫폼과 시뮬레이션을 통합한 엔드투엔드(End-to-end) 워크플로우 제공.

4. 실험 결과 (Results)

시뮬레이션 성능: 6가지 대표 작업(옷 접기, 버거 조립, 소시지 자르기 등)에 대해 다양한 정책(Diffusion Policy, ACT, SmolVLA 등)을 테스트했습니다. 실험 결과, 각 정책은 작업의 특성에 따라 서로 다른 강점을 보였으며, LeHome이 정책 간의 성능 차이를 변별할 수 있는 유효한 벤치마크임을 입증했습니다.
실제 환경 전이 (Sim-to-Real): 실제 로봇(LeRobot)을 이용한 실험에서, '시뮬레이션 + 실제 데이터 공동 학습(Sim+Real Co-Training)' 방식이 실제 데이터만 사용했을 때보다 성공률이 월등히 높았습니다 (평균 성공률 약 15% $\rightarrow$ 50%로 향상). 이는 LeHome의 시뮬레이션 데이터가 실제 환경에서의 강건성(Robustness)을 높이는 데 크게 기여함을 보여줍니다.

5. 의의 (Significance)

LeHome은 단순히 시뮬레이션 환경을 제공하는 것을 넘어, **"현실적인 물리 법칙 + 다양한 변형 물체 + 저가형 로봇 플랫폼"**을 결합함으로써, 로봇 기술이 실험실을 벗어나 실제 가정 환경으로 확장될 수 있는 중요한 기술적 토대를 마련했습니다. 특히 데이터 효율성이 낮은 변형 물체 조작 분야에서 시뮬레이션을 통한 사전 학습의 효용성을 증명했다는 점에서 큰 의의가 있습니다.