🤖 AI

EgoPhys: Learning Generalizable Physics Models of Deformable Objects from Egocentric Video

EgoPhys는 단일 뷰 1인칭 시점 RGB 비디오로부터 제어 가능한 변형 가능한 디지털 트윈을 생성하기 위해 일반화 가능한 물리 모델을 학습하며, 객체별 최적화 없이도 복잡한 역학의 제로샷 예측을 가능하게 하고 실세계 로봇 계획을 용이하게 하는 프레임워크이다.

원저자: Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 하는 모든 것을 기록하는 스마트 글래스를 착용하고 있다고 상상해 보세요. 당신은 수건을 집어 들어 흔들고, 접고, 침대 위로 던집니다. 이제, 로봇이 그 영상을 보고 그 수건이 어떻게 작동하는지, 즉 무게는 얼마인지, 얼마나 잘 늘어나는지, 그리고 다른 각도에서 잡아당기면 어떻게 출렁거릴지를 즉각적으로 이해한다고 상상해 보세요.

이것이 바로 UC 샌디에이고 연구진이 개발한 새로운 시스템인 EgoPhys의 핵심 아이디어입니다. 일상적인 비유를 사용하여 이 시스템이 어떻게 작동하는지 쉽게 설명해 드리겠습니다.

문제점: 로봇은 '부드러운 것'을 이해하지 못한다

로봇은 상자나 컵 같은 딱딱한 물체를 움직이는 데는 뛰어나지만, 담요, 반죽, 옷과 같이 부드럽고 말랑말랑한 물체는 로봇에게 악몽과 같습니다. 컴퓨터에서 이러한 물체를 시뮬레이션하려면 보통 값비싼 3D 스캐너, 완벽한 조명, 그리고 모든 미세한 세부 사항을 측정하는 데 많은 시간이 필요합니다.

기존 방식은 마치 스튜디오에서 전문가가 보여주는 슬로 모션 영상을 보며 저글링을 배우는 것과 같습니다. 정확하긴 하지만, 지저도 못한 주방에서 초보자가 찍은 흔들리는 영상을 보고 배울 때는 제대로 작동하지 않습니다.

해결책: '인간의 놀이'로부터 배우기

EgoPhys는 에고센트릭 비디오(egocentric video), 즉 사람의 시점에서 촬영된 영상(예: 머리에 쓴 고프로 영상)을 통해 학습 방식을 바꿉니다.

"마법의 안경" (에고센트릭 비디오): 이 시스템은 사람이 부드러운 물체(수건을 잡아당기거나 인형을 꾹꾹 누르는 등)와 상호작용하는 단순한 영상을 사용합니다. 깊이 센서나 특수 카메라가 필요하지 않습니다. 일반적인 영상 피드만 있으면 됩니다.
"거친 스케치" (Coarse Initialization): 먼저, 시스템은 물체의 기본적인 3D 모델을 구축하고 일반적인 물리적 특성을 추측합니다. 이것은 마치 아이가 강아지를 대략적으로 그리는 것과 같습니다. 강아지처럼 보이지만 다리 부분이 약간 흔들릴 수 있는 상태입니다.
"치트 시트" (The Codebook): 이것이 이 논문의 핵심 혁신입니다. 매번 새로운 물체마다 물리 법칙을 처음부터 계산하려고 하면 너무 느리고 어렵기 때문에, EgoPhys는 압축된 "치트 시트" 또는 **"물리 규칙 라이브러리"**를 만듭니다.
- 예를 들어, 당신에게 "잘 늘어나는 규칙"과 "말랑말랑한 규칙"이 담긴 도서관이 있다고 상상해 보세요.
- 로봇이 한 번도 본 적 없는 새로운 수건을 보게 되면, 처음부터 물리학을 다시 배울 필요가 없습니다. 그저 수건을 보고 자신의 "치트 시트"를 확인한 뒤 즉시 알게 됩니다. "아, 이건 내 라이브러리에 있는 '폭신한 수건' 항목이구나. 어떻게 굽혀질지 정확히 알겠어."

실제 적용 사례

연구진은 다양한 부드러운 물체(수건, 봉제 인형, 가방)와 상호작용하는 사람들의 데이터셋을 통해 이 시스템을 훈련시켰습니다. 그들은 AI가 이러한 상호작용의 복잡한 물리학을 작고 재사용 가능한 코드북으로 응축하도록 가르쳤습니다.

"개별 스프링" 숙제가 없다: 보통 컴퓨터가 부드러운 물체를 시뮬레이션하려면, 새로운 물체를 볼 때마다 물체 내부의 아주 작은 스프링 하나하나에 대해 수학 문제를 풀어야 합니다. EgoPhys는 이 과정을 건너뜁니다. "치트 시트"를 사용하여 무거운 수학 계산 없이도 동작을 즉각적으로 예측합니다.
제로샷 일반화 (Zero-Shot Generalization): 이는 만약 EgoPhys에게 한 번도 본 적 없는 새로운 종류의 천을 가지고 노는 영상을 보여주더라도, 그 천이 어떻게 움직일지 여전히 예측할 수 있음을 의미합니다. 이는 마치 새로운 종류의 젤리를 처음 봤을 때, '젤리다움'의 일반적인 규칙을 이해하고 있기 때문에 그것이 어떻게 출렁거릴지 즉시 아는 것과 같습니다.

로봇 테스트

팀은 이 시스템이 실제 세계에서 작동하는지 증명하기 위해 Ego-Phys를 실제 로봇 팔(xArm6)에 연결했습니다.

그들은 로봇에게 사람이 수건을 가지고 노는 영상을 보여주었습니다.
EgoPhys는 컴퓨터 안에 그 수건의 "디지털 트윈"(가상 복제본)을 구축했습니다.
로봇은 이 디지털 트윈을 사용하여 실제 수건을 어떻게 움직일지 계획했습니다.
결과: 로봇은 시뮬레이션에서 만든 계획에 따라 실제 수건을 성공적으로 움직였습니다. 실제 결과가 컴퓨터의 예측과 일치했으며, 이는 로 로봇이 인간의 영상을 통해 물리학을 "학습"하고 이를 자신의 몸에 적용할 수 있음을 입증했습니다.

이것이 중요한 이유

이 논문은 이것이 단 하나의 보정되지 않은 웨어러블 비디오만으로 부드러운 물체의 완전하게 상호작용 가능하고 물리적으로 정확한 모델을 구축하는 첫 번째 시스템이라고 주장합니다.

이전에는: 부드러운 물체를 시뮬레이션하기 위해 실험실, 3D 스캐너, 그리고 몇 시간의 계산 시간이 필요했습니다.
이제는: 스마트 카메라로 영상을 찍기만 하면, AI가 로봇이 행동을 계획하는 데 사용할 수 있는 물리 모델을 즉시 구축합니다.

요약하자면, EgoPhys는 인간이 물건을 가지고 노는 모습을 관찰함으로써 로봇에게 세상의 "말랑말랑함"을 이해하도록 가르치며, 단순한 영상을 로봇 계획을 위한 강력한 도구로 변화시킵니다.

기술 요약: EgoPhys

문제 정의

변형 가능한 물체(예: 탄성 재료, 직물)의 복잡한 역학을 충실하게 예측하는 것은 컴퓨터 비전 및 로보틱스 분야에서 여전히 중요한 과제로 남아 있습니다. 인간은 일상적인 상호작 작용을 통해 물체의 물리적 특성을 자연스럽게 추론하지만, 현재의 계산 방식은 다음과 같은 이분법적 한계에 직면해 있습니다:

생성형 비디오 모델: 최근의 비전 사전 학습 기술은 시각적으로 그럴듯한 물체 역학 비디오를 생성할 수 있지만, 명시적인 물리 모델링이 부족하여 해석 가능성이 떨어지고 새로운 상호 작용 하에서의 행동 조건부 시뮬레이션에 한계가 있습니다.
물리 기반 시스템 식별: 시뮬레이션 가능한 물체를 복구하는 기존 방식들은 대개 통제된 3인칭 캡처, 깊이 센서, 정밀한 보정 또는 객체당 테스트 타임 최적화를 요구합니다. 이러한 요구 사항은 확장성을 저해하며, 인간이 자연스럽게 제공하는 비정형적, 단안(monocular), 1인칭(egocentric) 데이터로부터 "디지털 트윈"을 구축하는 것을 방해합니다.

본 연구가 다루는 핵심 문제는 단일 에고센트릭 RGB 전용 비디오로부터 (깊이 센서, 다중 뷰 보정, 또는 객체당 테스트 타임 최적화 없이) 제어 가능한 변형 가능한 물리적 디지털 트윈을 어떻게 구축할 것인가 하는 점입니다.

방법론

EgoPhys는 에고센트릭 관찰과 물리적 시뮬레이션 사이의 간극을 메우기 위해 일반화 가능한 물리적 사전 지식(priors)을 학습하는 프레임워크입니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 에고센트릭 4D 재구성

시스템은 단일 웨어러블 RGB 비디오(예: Meta Project Aria)로부터 시간적으로 일관된 4D 포인트 클라우드를 재구성합니다.

입력 처리: 프레임을 추출하고, 왜곡을 제거하며, Grounded-SAM2를 사용하여 물체와 조작기(손)를 분리하기 위해 세그멘테이션합니다. 조밀한 2D 궤적은 CoTracker3를 사용하여 추적합니다.
3D 리프팅: RGB-D 카메라의 동기화를 가정하는 방식과 달리, EgoPhys는 VGDT를 사용하여 RGB만으로 픽셀당 3D 월드 좌표와 카메라 파라미터를 예측합니다.
필터링: 포인트들은 신뢰도 맵과 깊이 범위를 기준으로 필터링됩니다. 에고센트릭 폐쇄(occlusion)로 인해 발생하는 누락된 영역은 TRELLIS를 사용하여 완성하며, 지면 평면은 관측된 가장 낮은 포인트들을 통해 추론됩니다.
출력: 물체와 손 영역이 분리된 메트릭 일관성을 가진 4D 포인트 클라우드입니다.

2. 객체별 물리 초기화

역물리(inverse physics)를 사용하여 각 훈련 시퀀스에 코스(coarse) 스프링-질량 시뮬레이터를 적합시킵니다.

표현: 물체는 스프링-질량 그래프 $G=(V, E)$ 로 모델링됩니다. 힘은 스프링 강성( $k_{ij}$ ), 휴지 길이( $l_{ij}$ ), 그리고 감쇠( $\gamma$ )를 기반으로 계산됩니다.
최적화: CMA-ES(Covariance Matrix Adaptation Evolution Strategy)를 사용하여, 관측된 4D 포인트 클라우드와의 기하학적(Chamfer distance) 및 운동(tracking) 불일치를 최소화함으로써 그래프 토폴로지와 코스 글로벌 물리 파라미터를 추정합니다.
컨트롤러: 제어 포인트(손)는 반경 탐색(radius search)을 통해 물체 포인트와 연결되며, 휴지 길이는 관측된 손-물체 거리로부터 초기화됩니다.

3. 코드북 기반 물리 사전 지식 (일반화)

새로운 객체에 대해 비용이 많이 드는 객체당 스프링 단위의 테스트 타임 최적화를 피하기 위해, EgoPhys는 훈련된 객체들로부터 얻은 조밀한 강성 솔루션을 압축되고 재사용 가능한 **재료 코드북(material codebook)**으로 증류(distill)합니다.

파라미터화: 절대적인 강성을 예측하는 대신, 모델은 CMA-ES에 의해 추정된 코스 글로벌 강성( $\bar{k}$ )에 대한 로그 강성 오프셋( $\Delta_{e,t}$ )을 예측합니다.
특징 인코딩: 각 스프링에 대해 다음을 결합한 특징 벡터 $\phi_{e,t}$ $ϕ_{e, t}$ 를 구성합니다:
- 정적 특징: 휴지 기하 구조, 엔드포인트 차수, 스프링 유형 플래그 및 형상 큐(shape cues).
- 동적 특징: 변형률( $\epsilon$ ), 변형률 변화율( $\dot{\epsilon}$ ), 방향 및 높이.
비대칭 모델링: 두 개의 프로토타입 뱅크( $C_+, C_-$ )가 인장(tension)과 압축(compression)을 별도로 처리합니다. 경량 MLP는 특징을 소프트 프로토타입 할당(softmax를 통해)으로 매핑하여, 강성 오프셋을 결정하기 위해 프로토타입의 혼합을 선택합니다.
훈련: 롤아웃 손실(기하 및 운동)과 역물리 초기화로부터 유도된 조밀한 로그-강성 타겟을 일치시키는 증류 항(distillation term)을 결합하여 시스템을 훈련합니다. 정규화 항은 프로토타입의 다양성과 결정적인 할당을 보장합니다.

주요 기여

에고센트릭 RGB 전용 변형 가능한 트윈: EgoPhys는 단일 에고센트릭 RGB 비디오로부터 변형 가능한 물리적 디지털 트윈을 구축하는 최초의 프레임워크로 제시되어, 깊이 센싱이나 보정된 다중 뷰 캡처의 필요성을 제거했습니다.
일반화 가능한 물리 사전 지식: 저자들은 조밀한 객체당 스프링 강성 필드를 재사용 가능한 물리적 프리미티브로 증류하는 상태 조건부 재료 코드북을 제안합니다. 이를 통해 시스템은 객체당 스프링 단위의 테스트 타임 미세 조정 없이도 보지 못한 객체에 대해 조밀한 강성 필드를 예측할 수 있습니다.
에고센트릭 벤치마크 및 로봇 검증: 에고센트릭 변형 객체 상호 작용에 대한 새로운 데이터셋을 큐레이션했습니다. 프레임워크는 재구성, 미래 예측 및 제로샷 일반화 성능을 평가받았습니다. 또한, 단일 인간 플레이 비디오로부터 초기화된 디지털 트윈을 실제 xArm6 로봇에 배치하여, 변형 가능한 객체 계획을 위한 내부 월드 표현으로서의 유용성을 입증했습니다.

실험 결과

재 reconstruction 및 예측: per-sequence refinement 설정에서, EgoPhys는 적응된 베이스라인(PhysTwin 및 Spring-Gaus)보다 재구성 및 미래 예측 모두에서 우수한 성능을 보였습니다. 더 낮은 Chamfer Distance (CD)와 Track Error (TE), 그리고 더 높은 IoU를 달립으로써 우수한 기하학적 및 운동 일관성을 입증했습니다.
제로샷 일반화: 객체당 스프링 단위의 미세 조정 없이 홀드아웃(held-out) 객체 카테 category 및 상호 작용 패턴에 대해 평가했을 때, EgoPhys는 PhysTwin을 크게 앞질렀습니다. 학습된 사전 지식은 보지 못한 객체로 성공적으로 전이되어 높은 시뮬레이션 충실도를 유지했습니다.
절제 연구(Ablation Studies):
- 프로토타입 병목(코드북)은 필수적이었습니다. 이를 직접적인 MLP로 교체했을 때 성능이 악화되었으며, 이는 코드북이 정규화 도구 역할을 함을 시사합니다.
- 동적 조건화(운동 특징 사용)는 롤아웃 역학의 시간적 일관성을 향상시켰습니다.
- $K=4$ 개의 프로토타입을 가진 압축된 코드북이 정확도와 표현 크기 사이의 최적의 절충안을 제공했습니다.
Sim-to-Real 전이: xArm6 로봇 실험에서, (단일 인간 비디오에 기반한) EgoPhys 시뮬레이션에서 계획된 궤적은 실제 실행 시 일관된 변형 패턴을 나타내어 객체 구성 오류를 줄였습니다.

의의 및 주장

본 논문은 EgoPhys가 변형 가능한 객체를 위한 real-to-sim 파이프라인의 확장성 병목 현상을 해결한다고 주장합니다. 다양한 인간 상호 작용으로부터 학습된 일반화 가능한 사전 지식을 활용함으로써, 이 프레임워크는 비정형, 단안, 1인칭 데이터로부터 상호 작용 가능하고 물리적으로 정확한 시뮬레이션을 구축할 수 있게 합니다.

저자들은 이 연구를 인간으로부터 물리 법칙을 배우는 자율 시스템을 향한 단계로 포지셔닝합니다. 단일 인간 플레이 비디오로부터 디지털 트윈을 초기화하고 이를 로봇 계획에 사용할 수 있는 능력은, 값비싼 보정이나 통제된 캡처 설정 없이도 접촉이 빈번한 변형 환경에 로봇을 배치할 수 있는 확장 가능한 경로를 보여줍니다. 이 작업은 에고센트릭 관찰(카메라 움직임, 폐쇄, 깊이 부재)의 특정 과제를 해결하면서도 높은 시뮬레이션 충실도를 유지함으로써 기존의 물리 기반 방법들을 보완합니다.