💻 computer science

WorldContact: A Contact-Centric World Model for Scalable Robot Learning

이 논문은 변형 가능한 물체 조작을 위한 고품질 학습 데이터를 효율적으로 생성하며, 소스 시뮬레이터 대비 10배의 속도 향상을 달성하고 실제 로봇 정책의 성공률을 65%에서 95%로 크게 개선한 접촉 중심 세계 모델인 WorldContact을 소개한다.

원저자: Caoliwen Wang, Mengdi Wang, Heng Zhang, Shixun Huang, Siyuan Chen, Chao Liu, Anpei Chen, Zhendong Wang, Peter Yichen Chen, Huamin Wang

게시일 2026-09-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Caoliwen Wang, Mengdi Wang, Heng Zhang, Shixun Huang, Siyuan Chen, Chao Liu, Anpei Chen, Zhendong Wang, Peter Yichen Chen, Huamin Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현실 세계의 무질서하고 예측 불가능한 특성을 다룰 수 있는 로봇들은 근본적인 난관에 봉착해 있습니다. 바로 물체가 만져지거나, 밀리거나, 들어 올려질 때 어떻게 행동하는지를 학습해야 한다는 점입니다. 정해진 패턴대로 움직이는 체스 말과 달리, 쇼핑백, 셔츠, 또는 반죽 조각은 끊임없이 형태가 변하며, 이러한 변화는 물체가 다른 모든 것과 상호작용하는 방식까지 변화시킵니다. 이러한 기술을 안전하고 빠르게 배우기 위해 연구자들은 종종 컴퓨터 시뮬레이션에 의존하며, 이를 통해 로봇은 아무것도 부수지 않고 수천 번 연습할 수 있습니다. 그러나 부드럽고 변형 가능한 물체를 시뮬레이션하는 것은 매우 느리고 어려운 일인데, 컴퓨터가 모든 미세한 주름과 늘어남의 물리 법칙을 실시간으로 계산해야 하기 때문입니다. 이 과정은 오류를 방지하기 위해 시간을 극도로 잘게 쪼개어 아주 미세한 초 단위로 나누어야 하는 고된 작업을 필요로 합니다.

연구팀은 로봇이 물체와 상호작용할 때 부드러운 물체가 어떻게 움직이고 변형되는지를 예측하도록 설계된 특화된 컴퓨터 모델인 '월드컨택트(WorldContact)'라는 새로운 접근 방식을 개발했습니다. 이 모델은 모든 미세한 물리적 단계를 계산하는 대신, 소수의 고품질 사례로부터 학습하여 훨씬 긴 시간 동안의 행동 결과를 예측합니다. 로봇, 물체, 그리고 환경이 서로 맞닿는 지점에 집중함으로써, 이 시스템은 전통적인 시뮬레이터보다 10배 빠른 속도로 로봇을 위한 훈련 데이터를 생성할 수 있습니다. 실제 로봇에 테스트했을 때, 이 방식은 로봇이 쇼핑백을 들어 올리는 복잡한 과업을 기존의 더 느린 시뮬레이션 데이터에만 의존했을 때보다 훨씬 더 효과적으로 학습할 수 있게 해주었습니다.

부드러운 물체를 조작하도록 로봇을 가르치는 핵심 과제는 물리적 복잡성에 있습니다. 로봇이 가방을 잡을 때, 천은 접히고, 스스로 미끄러지며, 테이블에 눌리면서 매 밀리초마다 변하는 상호작용의 그물을 만들어냅니다. 전통적인 시뮬레이터는 가방이 테이블이나 로봇의 손을 통과하지 않도록 하기 위해, 매 순간 충돌을 확인하고 힘을 계산하며 시간을 아주 작은 단계로 나누어 처리합니다. 이 방법은 정확하지만 계산 비용이 많이 들어, 로봇이 새로운 기술을 배우는 데 필요한 방대한 양의 연습 데이터를 생성하는 데 시간이 오래 걸립니다. 월드컨택트의 개발자들은 물리 법칙이 복잡하더라도, 부드러운 물체의 미래 상태를 예측하는 데 있어 가장 결정적인 요소는 접촉 지점, 즉 천이 그리퍼와 닿는 곳, 테이블과 닿는 곳, 그리고 천의 서로 다른 부분들이 서로 맞닿는 곳을 이해하는 것이라는 점을 인식했습니다.

속도 문제를 해결하기 위해 연구팀은 전통적인 시뮬레이션의 미세한 단계별 과정을 건너뛰는 모델을 구축했습니다. 대신, 이 모델은 물체의 형태 변화 전체를 원본 시뮬레이터에서 사용하는 단계보다 약 20배 더 긴 시간 간격으로 예측하는 법을 배웁니다. 이 모델은 정밀한 물리 시뮬레이션이나 실제 환경의 상호작용으로부터 기록된 이동 경로인 '궤적(trajectories)'이라 불리는 제한된 세트의 고품질 데이터를 바탕으로 훈련됩니다. 모델은 이러한 사례들을 분석하여 특정 지점 주변의 국소적 기하 구조와 움직임이 전체에 어떤 영향을 미치는지 파악합니다. 이러한 접촉 구역에 집중함으로써, 시스템은 표준 물리 엔진이 요구하는 모든 미세한 상호작용을 일일이 해결하지 않고도 물체가 어떻게 변형되고 움직일지 예측할 수 있습니다.

연구진은 단순한 충돌부터 복잡한 움켜쥐기와 들어 올리기 시나리오에 이르는 16가지 서로 다른 쇼핑백 조작 과업 데이터셋을 사용하여 이 접근 방식을 테스트했습니다. 그들은 초기 훈련 데이터를 생성하기 위해 자동화된 에이전트를 사용하여, 모든 움직임이 물리적으로 유효하고 물체가 서로 통과하는 것과 같은 오류가 없도록 보장했습니다. 모델이 훈련된 후, 이는 방대한 양의 추가 연습 데이터를 생성하는 데 사용되었습니다. 결과에 따르면, 월드컨택트는 이미지 렌더링이나 파일 저장 시간을 제외하고도 원본 시뮬레이터보다 10배 빠르게 '상태 롤아웃(state rollouts, 시간이 흐름에 따라 물체가 어떻게 움직이는지에 대한 예측)'을 생성할 수 있었습니다. 이 속도 향상 덕분에 연구팀은 로봇의 제어 정책(로봇이 다음 동작을 결정하기 위해 따르는 규칙의 집합)을 훈련하기 위한 훨씬 더 큰 규모의 데이터셋을 만들 수 있었습니다.

이 방법의 진정한 시험대는 연구진이 실제 과업인 로봇의 쇼핑백 들어 올리기를 적용했을 때였습니다. 그들은 사전 훈련된 로봇 정책을 사용하고 시뮬레이션 데이터를 통해 이를 미세 조정(fine-tuning)했습니다. 로봇을 원래의 제한된 25개 시뮬레이션 궤적 데이터로만 훈련했을 때는 65%의 확률로 첫 시도에 가방 들어 올리기에 성공했습니다. 그러나 월드컨택트로 생성된 확장된 데이터셋을 사용하여 동일한 정책을 미세 조정했을 때, 성공률은 95%로 급증했습니다. 이 극적인 개선은 효율적으로 생성된 추가 데이터가 로봇에게 가방을 떨어뜨리거나 잡는 데 실패하지 않고 다루는 법에 대한 훨씬 더 풍부한 이해를 제공했음을 입증했습니다.

이 시스템은 물체를 수천 개의 점, 즉 정점(vertices)으로 분해하고 각 점이 이웃 및 환경과 어떻게 관계를 맺는지에 대한 정보를 인코딩함으로써 작동합니다. 모델은 네 가지 유형의 접촉에 특별히 주의를 기울입니다: 물체의 서로 다른 부분 사이의 공간적 접촉, 물체의 구조 내에서 연결된 점들 사이의 위상적 접촉, 로봇의 팔 및 그리퍼와의 제어 가능한 접촉, 그리고 테이블과 같은 표면과의 환경적 접촉입니다. 이러한 국소적 세부 사항을 장면의 전역적 이해와 결 조합함으로써, 모델은 전체 물체의 미래 상태를 높은 충실도로 예측할 수 있습니다. 시각적 비교에서 다른 방법들은 흔히 그리퍼와 가방 사이의 연결을 유지하지 못해 가방을 떨어뜨리거나 물리적으로 불가능한 변형을 만들어냈습니다. 반면, 월드컨택트는 들어 올리는 과정 내내 안정적인 접촉과 현실적인 움직임을 유지했습니다.

이 연구는 데이터의 가용성이 더 이상 병목 현상이 아니라 데이터 생성의 효율성이 관건이 되는, 확장 가능한 로봇 학습의 새로운 경로를 제시합니다. 접촉 중심 모델을 사용하여 소수의 고품질 경험을 증폭함으로써, 연구자들은 로봇 정책을 새로운 과업과 물체에 빠르게 적응시킬 수 있습니다. 현재의 성공은 시뮬레이션과 특정 쇼핑백 들어 올리기 과업에 국한되어 측정되었지만, 이 접근 방식은 지능형 모델을 사용하여 공백을 메움으로써 로봇이 제한된 실제 상호작용으로부터 복잡한 조작 기술을 배울 수 있는 미래를 향한 강력한 증거를 보여줍니다. 연구진은 실제 세계가 훈련 데이터와 다를 때 모델이 완벽하게 작동하는지를 보장하는 등 여전히 과제가 남아 있다고 언급했지만, 효율적인 데이터 생성이 로봇의 물리적 세계 행동 능력을 크게 높일 수 있다는 점을 입 el히는 설득력 있는 증거를 제시했습니다.

기술 요약: WorldContact

문제 정의

새로운 물체와 작업, 특히 변형 가능한 물체(deformable-object) 조작 영역에 로봇을 적응시키기 위해서는 실제 환경에서 얻기 매우 비용이 많이 드는 광범위한 상호작용 경험이 필요합니다. 월드 모델(world models)은 로봇과 물체의 상호작용 결과를 예측하여 이러한 경험을 제공할 수 있지만, 변형 가능한 물체(예: 천)의 복잡하고 변화하는 물리적 행동을 모델링하는 것은 매우 어렵습니다. 이러한 물체들은 다양한 구성에 따라 신뢰성 있게 모델링하기 어려운 동적인 기하학적 구조, 재료 특성, 그리고 물리적 상호작용(마찰, 미끄러짐, 파지)을 나타냅니다. 또한, 기존의 수치 시뮬레이터(numerical simulators)는 정확하기는 하지만, 급격한 움직임을 해결하고 관통(interpenetration)을 방지하기 위해 작은 적분 시간 단계(integration time steps)를 필요로 하므로, 로봇 정책 학습에 필요한 대규모 데이터셋을 생성하기에는 계산 비용이 너무 많이 듭니다.

방법론

저자들은 제한된 양의 고품질 상호작용 궤적으로부터 물체의 역학을 효율적으로 예측하도록 설계된 접촉 중심(contact-centric) 신경 월드 모델인 WorldContact를 제안합니다. 이 시스템은 고충실도 물리 시뮬레이션과 확장 가능한 데이터 생성 사이의 간극을 메우는 학습된 시뮬레이터로서 작동합니다.

1. 상태 표현 (State Representation)

모델은 두 가지 구성 요소로 장면(scene)을 표현합니다:

물체 상태 ( $S_t$ ): 예측할 모든 물체의 역학을 설명하며, 여기에는 정점 위치( $X_t$ ), 속도( $V_t$ ), 휴지기 토폴로지( $E$ ), 그리고 물체 식별 및 휴지 상태 좌표와 같은 속성( $C$ )이 포함됩니다.
규정된 상태 ( $B_t$ ): 명령된 로봇 관절 회전 및 그리퍼 개방( $a_t$ ), 고정된 키네매틱 구조( $G$ ), 그리고 샘플링된 환경 기하 구조( $X^E_t, V^E_t, C^E_t$ )를 포함한 외부 입력을 지정합니다.

모델은 현재 물체 상태와 미래의 규정된 상태가 주어졌을 때 상태 변화( $\Delta X_t, \Delta V_t$ )를 예측하는 전이 함수 $F_\theta$ 를 학습합니다:
$(\Delta X_t, \Delta V_t) = F_\theta(S_t, B_{t+\Delta t})$

2. 접촉 중심 정점 토크나이저 (Contact-Centric Vertex Tokenizer)

핵심 혁신은 각 정점에 대해 네 가지 뚜렷한 접촉 유형을 기반으로 국소 기하 구조와 운동을 인코딩하는 것입니다:

공간적 접촉 (Spatial Contact): 모든 물체에 걸친 유클리드 공간상의 이웃 (예: 가방 본체에 닿아 있는 가방 끈).
토폴로지 접촉 (Topological Contact): 동일한 물체의 휴지 상태 토폴로지(UV 공간)에서의 이웃.
제어 가능 접촉 (Controllable Contact): 로봇 링크, 그리퍼, 그리고 단단하게 잡힌 물체로부터의 이웃 (직접 및 매개된 접촉을 포착).
환경 접촉 (Environmental Contact): 환경 기하 구조(예: 테이블 표면)로부터의 이웃.

이러한 접촉들은 학습된 컴팩트 서포트 커널(compact-support kernels)을 사용하여 국소 상태와 접촉 정보를 결합한 정점 토큰(vertex tokens)으로 집계됩니다.

3. 계층적 구조 (Hierarchical Architecture)

변형 가능한 물체의 장거리 결합(long-range coupling, 예: 천을 늘리면 먼 곳의 정점에도 영향을 미침)을 처리하면서 모든 정점에 대한 전체 셀프 어텐션(full self-attention)의 계산 비용을 피하기 위해, WorldContact은 계층적 접근 방식을 채택합니다:

계층적 토큰 인코더 (Hierarchical Token Encoder): 코사인 유사도(cosine similarity)에 기반한 토큰 병합 전략을 사용하여 글로벌 셀프 어텐션에 참여하는 토큰 수를 줄입니다. 이를 통해 국소 기하 및 접촉 정보를 요약하는 컴팩트한 글로벌 토큰 세트를 생성합니다.
글로벌 토큰 디코더 (Global Token Decoder): 글로벌 토큰은 셀프 어텐션을 통해 장거리 의존성을 포착합니다. 그 후 이들은 크로스 어텐션(cross-attention) 메커니즘에 사용되어 원래의 정점 토큰을 정교화하며, 이를 통해 각 정점이 국소적 세부 사항을 유지하면서도 관련 글로벌 컨텍스트를 검색할 수 있도록 합니다.
출력: 포인트와이즈 MLP(pointwise MLP)가 상태 보정값( $\Delta x, \Delta v$ )을 예측합니다.

4. 학습 및 안정성 (Training and Stability)

모델은 위치 및 속도 오차를 최소ization하는 자기회귀적 롤아웃(autoregressive rollout) 목적 함수를 사용하여 고품질 궤적(시뮬레이션 또는 실제 세계로부터 추출)에 대해 학습됩니다. 장기적 안정성을 향고하기 위해, 저자들은 예측 루프 내에 미분 가능한 토폴로지 투영( $P$ )을 도입했습니다. 이 투영은 예측된 변위 필드를 부드럽게 만들고 토폴로지 에지 왜곡을 제한하여, 자기회귀적 생성 과정 동안 생성된 궤적이 물리적으로 타당하게 유지되도록 합니다.

5. 데이터 생성 파이프라인 (Data Generation Pipeline)

World-Contact은 소스 수치 시뮬레이터보다 20배 큰 시간 단계(0.04초 vs 0.002초)로 작동합니다. 이는 작은 적분 단계를 거치지 않고 이 큰 간격 동안의 상태 변화를 직접 예측합니다. 예측된 상태 궤적은 관측 모달리티(RGB 뷰)로 렌더링되며, 조건부 로봇 동작과 쌍을 이루어 시각-언어-행동(VLA) 정책 미세 조정을 위한 데이터셋을 생성합니다.

주요 기여 (Key Contributions)

WorldContact 모델: 제한된 고품질 데이터로부터 구축되었으며, 로봇 동작에 따른 물체 역학을 예측하기 위해 국소 기하 및 다중 유형 접촉(공간, 토폴로지, 제어 가능, 환경)을 인코딩하는 접촉 중심 월드 모델입니다.
확장 가능한 데이터 파이프라인: 예측된 궤적을 렌더링하고 이를 조건부 동작과 쌍을 맺어, 정책 미세 조정을 위한 데몬스트레이션 확장을 가능하게 하는 파이프라인입니다.
경험적 검증: 16가지 쇼핑백 조작 작업에 대한 종합적인 연구를 통해 소스 시뮬레이터 대비 10배 빠른 상태 롤아웃 생성 속도와 개선된 실제 로봇 성능을 입증했습니다.

결과 (Results)

저자들은 16가지 쇼핑백 조작 작업(들어 올리기, 지탱하기, 충돌 시나리오 포함)에 대해 WorldContact을 평가했습니다.

계산 효율성: 단일 NVIDIA H100 GPU에서 WorldContact은 소스 수치 시뮬레이터(렌더링 및 디스크 I/O 제외)보다 10배 빠르게 상태 롤아웃을 생성합니다.
역학 충실도 (Dynamics Fidelity): 베이스라인(RoboCraft, RoboCook, AdaptiGraph)과 비교했을 때, World-Contact은 위치(0.0002 vs ~0.03–0.06) 및 속도에 대해 현저히 낮은 평균 제곱 오차(MSE)를 달-성했으며, 관통률(penetration rate) 또한 획기적으로 낮았습니다(0.35% vs 10–25%).
실제 로봇 성능: 가방 들어 올리기 작업에서, 단 25개의 소스 시뮬레이션 궤적으로 미세 조정된 VLA 정책은 **65%**의 성공률(20회 시도 중 13회)을 기록했습니다. 동일한 정책을 WorldContact에 의해 생성된 150개의 궤적으로 확장된 데이터셋으로 미세 조정했을 때, 성공률은 95%(20회 시도 중 19회)로 증가했습니다.

의의 및 주장 (Significance and Claims)

본 논문은 WorldContact이 로봇 제어 정책을 새로운 조작 설정에 적응시키기 위한 효율적인 데이터 생성의 실질적인 해결책을 제공한다고 주장합니다. 접촉 중심의 정식화와 더 큰 시간 단계를 활용함으로써, 이 모델은 제한된 소스 데이터로부터 고품질의 훈련 경험을 생성하며, 과도한 비용이 드는 전체 물리 시뮬레이션을 실행하지 않고도 효과적으로 데이터셋을 확장합니다.

저자들은 이 접근 방식이 역학 검증(dynamics validation)과 관측 생성(observation generation)을 분리하여, 물리적 체크(관통 등)를 위한 명시적 정점 상태를 유지하면서 정책 훈련을 위한 관측치를 렌더링한다는 점을 강조합니다. 그들은 이 방법이 로봇 정책을 새로운 물체와 작업에 적응시키는 데 도움을 준다고 결론짓지만, 분포 변화(distribution shift) 하에서의 예측 오류와 렌더링된 관측치와 실제 관측치 사이의 차이가 향후 과제로 남아 있음을 인정합니다.