🤖 AI

Learning Visual Feature-Based World Models via Residual Latent Action

본 논문은 DINO 잔차에서 학습되고 흐름 매칭을 통해 예측되는 새로운 잔차 잠재 행동 표현을 활용하여 효율적이고 고충실도 시각 특징 예측을 달성하고, 온라인 상호작용이나 수동 설계 보상 없이 오프라인 비디오로부터 고급 로봇 학습을 가능하게 하는 RLA 세계 모델을 소개합니다.

원저자: Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 컵, 공, 또는 도구를 어떻게 움직여야 하는지 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 "세계 모델(world model)"이 필요합니다. 이는 로봇이 특정 방식으로 팔을 움직였을 때 다음에 어떤 일이 일어날지 추측할 수 있게 해주는 정신적 시뮬레이션입니다.

오랫동안 과학자들은 다음 비디오 프레임의 정확한 픽셀을 예측함으로써 이러한 정신적 시뮬레이션을 구축하려 했습니다 (예를 들어, 모래성이 쌓이기 전에 그 모래성 속의 모든 모래 알갱이를 예측하려는 시도와 같습니다). 이는 계산량이 매우 많고 느리며, 종종 로봇이 존재하지 않는 것들을 "환각"하게 만드는 결과를 초래합니다. 예를 들어, 컵이 갑자기 고양이로 변하는 것과 같은 현상입니다.

다른 연구자들은 원시 픽셀 대신 시각적 특징(객체의 일반적인 모양과 색상 등) 을 예측하려 했습니다. 이는 더 빠르지만, 종종 "흐릿한" 예측으로 이어집니다. 안개 낀 창문을 통해 사진을 보는 것과 같습니다. 복잡한 3 차원 작업에서 이러한 예측은 때때로 완전히 붕괴되어 로봇이 사물의 위치를 잃게 만들었습니다.

이 논문은 RLA-WM(Residual Latent Action World Model, 잔여 잠재 행동 세계 모델) 이라는 새로운 솔루션을 소개합니다. 간단한 비유를 들어 그 작동 원리를 설명하겠습니다.

1. "델타" 트릭 (잔여 잠재 행동)

저자들은 로봇이 세계의 다음 전체 그림을 예측하려 노력하는 대신, "현재"와 "나중" 사이의 차이만 학습하면 된다는 사실을 깨달았습니다.

비유: 영화를 보고 있다고 상상해 보세요. 다음 장면의 모든 프레임을 처음부터 암기하려 노력하는 대신, 무엇이 변했는지만 기억하면 됩니다. 공이 왼쪽으로 움직였나요? 컵이 기울었나요?
혁신: 저자들은 잔여 잠재 행동 (RLA) 이라는 컴팩트한 "변화 코드"를 만들었습니다. 현재 이미지와 미래 이미지 사이의 차이를 가져와 작고 효율적인 벡터 (짧은 숫자 목록) 로 압축한 후, 이를 "행동"이라고 부릅니다.
도움 되는 이유: 이는 로봇에게 전체 새로운 책 대신 "변경 로그"를 주는 것과 같습니다. 훨씬 작고 처리 속도가 빠르며, 움직임에만 집중하기 때문에 "흐릿함" 문제를 피할 수 있습니다.

2. "흐름" 기계

로봇이 이 "변화 코드"를 갖게 되면, 미래에 그 코드가 어떻게 보일지 예측해야 합니다.

비유: 강을 생각해 보세요. 강이 어디로 흐르는지 알기 위해 모든 물 분자를 시뮬레이션할 필요는 없습니다. 흐름과 방향만 알면 됩니다.
혁신: 그들은 Flow Matching(흐름 매칭) 이라는 기술을 사용합니다. 이는 로봇의 행동에 기반하여 "현재"에서 "미래"로 가는 가장 매끄러운 경로를 계산하는 GPS 와 같습니다. 거대한 비디오 공간이 아닌 작은 "변화 코드" 공간에서 이 경로를 계산하기 때문에 매우 빠르고 정확합니다.

3. 로봇을 위한 두 가지 초능력

이 논문은 이 새로운 모델이 로봇이 다음 두 가지 구체적이고 강력한 방식으로 학습하는 데 도움을 준다고 보여줍니다.

A. "침묵" 비디오로부터 학습 (행동 레이블 불필요)

문제: 일반적으로 로봇을 가르치려면 정확히 어떤 버튼이 눌렸는지 (행동 레이블) 를 아는 비디오가 필요합니다. 하지만 인터넷의 대부분의 비디오 (유튜브 등) 는 로봇이 어떻게 움직였는지 알려주지 않고 단순히 움직이는 모습만 보여줍니다.
해결책: RLA 모델은 침묵하는 비디오를 보고 움직임만 관찰하여 "변화 코드 (RLA)"를 파악한 후, 로봇이 그 움직임을 모방하도록 가르칠 수 있습니다. 안무가가 단계들을 알려주지 않아도 다른 사람이 춤추는 비디오를 보고 춤을 배우는 것과 같습니다.

B. "꿈" 속에서 훈련 (시각적 강화 학습)

문제: 실제 세계에서 로봇을 훈련시키는 것은 느리고 위험합니다. 로봇이 컵을 떨어뜨리면, 주워서 다시 시도해야 합니다.
해결책: 저자들은 로봇이 시뮬레이션 (세계 모델) 내부에서 완전히 연습하는 시스템을 구축했습니다.
- 로봇은 작업을 "꿈꿉니다".
- 꿈속에서 움직임을 시도합니다.
- RLA-WM 이 결과를 즉시 예측합니다.
- 꿈속 결과가 이전에 본 성공적인 비디오와 유사하면 로봇은 "보상"을 받습니다.
- 로봇은 실제 물체를 만지거나 인간이 수행 결과를 수동으로 평가할 필요 없이, 머릿속에서 이를 수백만 번 반복하며 완벽한 전략을 학습합니다.

결과

이 논문은 이 방법이 다음과 같다고 주장합니다.

더 정확함: 전체 비디오나 흐릿한 특징을 생성하려 했던 이전 방법들보다 미래 상태를 더 잘 예측합니다.
훨씬 더 빠름: 거대한 비디오 파일 대신 작은 "변화 코드"로 작동하기 때문에 비디오 생성 모델보다 수배 더 빠릅니다.
더 신뢰할 수 있음: 이상한 물체들을 "환각"하지 않으며, 장면의 물리 법칙에 충실합니다.

요약하자면, 이 논문은 로봇들이 미래를 "그려내는" 것을 멈추고, 그곳에 도달하기 위해 필요한 "단계"를 단순히 계산하도록 가르쳐, 로봇이 더 빠르고, 더 지능적으로, 그리고 더 다양한 비디오로부터 학습할 수 있게 합니다.

기술 요약: 잔차 잠재 행동을 통한 시각적 특징 기반 세계 모델 학습

문제 정의

세계 모델은 관찰과 행동으로부터 미래 상태 전이를 예측하여 정책 학습과 추론의 기반을 제공한다. 현재 지배적인 패러다임은 픽셀 정렬 잠재 공간 (예: VAE) 에서의 비디오 생성에 의존한다. 시각적으로 매력적이지만, 이러한 접근법은 높은 계산 오버헤드와 환각(물리적으로 불가능한 상태 생성) 경향으로 고통받는다.

반면, 시각적 특징 기반 세계 모델(예: DINO-WM) 은 원시 픽셀 대신 미래 시각적 특징 (예: DINO 토큰) 을 예측한다. 이 접근법은 더 효율적이며 환각에 덜 취약하다. 그러나 기존 특징 기반 방법은 미래 토큰을 예측하기 위해 직접 회귀에 의존한다. 복잡한 3D 상호작용에서 이는 "평균으로의 회귀"를 초래하여 흐릿하거나 붕괴된 예측을 야기한다. 겉보기에 타당한 대안인 특징 공간에서 직접 생성 모델 (확산 모델 등) 을 사용하는 것은 차원의 저주에 의해 방해받는다. DINO 토큰은 표준 VAE 잠재 공간 (~16k) 에 비해 훨씬 높은 차원성 (예: 512×512 이미지의 경우 약 1M 차원) 을 가지므로, 생성 모델링은 계산적으로 불가능하며 특징 기반 모델의 효율성 목표를 무효화한다.

본 논문은 두 가지 핵심 질문에 답한다:

복잡한 3D 조작으로 확장 가능한 시각적 특징 공간에서 효율적이면서도 정확한 세계 모델을 어떻게 개발할 수 있는가?
이러한 세계 모델을 어떻게 활용하여 하류 로봇 정책을 개선할 수 있는가?

방법론

1. 잔차 잠재 행동 (RLA)

저자들은 **잔차 잠재 행동 (Residual Latent Action, RLA)**이라는 새로운 잠재 행동 표현을 제안한다. 절대적인 미래 상태 $s_{t+h}$ 를 예측하거나 무거운 확산을 통해 생성하는 대신, RLA 는 현재 DINO 토큰 ( $s_t$ ) 과 미래 DINO 토큰 ( $s_{t+h}$ ) 사이의 잔차를 컴팩트한 잠재 벡터 $z$ 로 인코딩한다.

아키텍처: 인코더 $f_{enc}$ 는 잔차 $(s_{t+h} - s_t)$ 와 학습 가능한 쿼리를 처리하여 컴팩트한 잠재 $z$ 를 생성하는 방식으로 오토인코더가 훈련된다. 디코더 $f_{dec}$ 는 $s_t$ 와 $z$ 를 사용하여 $s_{t+h}$ 를 재구성한다.
주요 특성:
- 예측 충분성: 이전의 반복 생성을 위한 약한 조건부로 사용되던 잠재 행동과 달리, RLA 는 단일 순방향 통과로 미래 토큰을 정확하게 재구성할 수 있게 한다.
- 일반화 능력: RLA 인코더는 제한된 작업 무관 데이터로 훈련되더라도 새로운 장면과 운동 패턴에 일반화된다.
- 시간적 위상: 잠재 공간은 자연스럽게 시간적 진행을 인코딩한다. 가우스 잡음과 RLA 벡터 사이의 선형 보간은 중간 시간 상태에 해당하는 표현을 생성한다.

2. RLA 세계 모델 (RLA-WM)

RLA 를 기반으로 저자들은 RLA-WM을 제안한다. 이는 고차원 $s_{t+h}$ 를 직접 예측하는 대신 컴팩트한 RLA 벡터 $z$ 를 예측하는 세계 모델이다.

플로우 매칭: 모델은 가우스 잡음을 목표 RLA $z$ $z$ 로 변환하는 데 필요한 속도를 예측하기 위해 플로우 매칭을 사용한다.
- 입력: 현재 상태 $s_t$ 와 행동 청크 $a_{t:t+h}$ .
- 과정: 조건부 네트워크가 $s_t$ 와 행동을 처리하여 조건부 토큰을 생성한다. 이들은 잡음 잠재 $z_\tau$ 와 연결된다. 플로우 네트워크는 잡음을 최종 RLA $z_1$ 로 반복적으로 변환하기 위한 속도 $\hat{v}$ 를 예측한다.
- 출력: 예측된 RLA $z_1$ 은 $s_t$ 와 함께 디코딩되어 미래 상태 $s_{t+h}$ 를 재구성한다.
효율성: 전체 DINO 토큰 공간이 아닌 컴팩트한 RLA 공간 (예: 2048 차원) 에서 플로우 매칭을 수행함으로써, 모델은 비디오 확산 모델에 비해 훨씬 낮은 계산 비용 (FLOPs) 으로 높은 충실도를 달성한다.

3. 로봇 학습 응용

본 논문은 RLA 및 RLA-WM 의 두 가지 응용을 시연한다:

행동 없는 비디오를 위한 최소주의적 세계 행동 모델 (WAM):
- 관찰로부터 RLA $z$ 를 예측하기 위해 단일 선형 레이어를 추가하여 표준 행동 복제 (BC) 정책 (ResNet-18) 을 확장한다.
- 행동 레이블이 있는 비디오와 없는 비디오의 혼합으로 훈련된다. 행동 없는 비디오의 경우 행동 손실이 마스킹되며, 네트워크는 비디오 쌍에서 유도된 RLA 목표를 예측하여 정책을 안내하도록 학습한다.
- 이를 통해 정책이 무거운 비디오 생성 백본에 결합되지 않고도 대규모 레이블 없는 비디오로부터 학습할 수 있다.
RLA-WM 내부의 시각적 강화 학습 (WMRL):
- 오프라인 비디오만으로 학습된 세계 모델 내부에서 완전히 훈련된 시각적 RL 의 첫 번째 시연이다.
- RL 단계 동안 온라인 상호작용, 수동 설계 보상, 또는 보조 BC 손실은 사용되지 않는다.
- 비디오 정렬 보상 (VAR): 보상은 모델의 롤아웃 DINO 토큰과 시간 동기화된 기준 오프라인 비디오의 실제 DINO 토큰 사이의 음의 L1 거리로 정의된다.
- BC 로 초기화된 정책은 RLA-WM 내부에서 완전히 생성된 롤아웃을 사용하여 PPO 를 통해 최적화된다.

주요 기여

잔차 잠재 행동 (RLA): DINO 잔차로부터 학습된 단순하고 컴팩트한 잠재 행동 표현으로, 예측 가능하며 일반화되고 시간적 위상을 인코딩한다.
RLA-WM: 플로우 매칭을 통해 RLA 를 예측하는 최첨단 시각적 특징 기반 세계 모델이다. 기존 특징 기반 모델 및 비디오 확산 모델보다 정확도가 우수하면서도 수 배 더 빠르다.
새로운 응용:
- 행동 없는 비디오로부터의 모방 학습을 개선하는 최소주의적 WAM.
- 온라인 상호작용이나 수동 보상 엔지니어링 없이 학습된 세계 모델 내의 롤아웃을 통해 정책을 최적화하는 시각적 RL 프레임워크 (WMRL).

실험 결과

예측 품질

ManiSkill(시뮬레이션) 및 IWS(실세계 양손 조작) 데이터셋에서 평가:

지표: RLA-WM 은 DINO-WM(회귀), RAE(특징 공간 확산), FM-WM(특징 공간 플로우 매칭), Vid2World(비디오 확산) 를 포함한 베이스라인보다 LPIPS, SSIM, DINO L1 거리에서 우수한 성능을 달성했다.
효율성: RLA-WM 은 추론당 3.5T FLOPs를 요구하여 Vid2World(1.1P FLOPs) 및 RAE/FM-WM(14.3T FLOPs) 보다 현저히 낮았다.
정성적: RLA-WM 은 최소한의 환각으로 물리적으로 타당한 예측을 생성한 반면, 비디오 확산 모델 (Vid2World) 은 종종 날카롭지만 물리적으로 일관성 없는 궤적을 생성했다.

로봇 학습 성능

행동 없는 비디오 학습: 행동 레이블이 있는 데이터 5% 만을 사용한 모방 학습 작업에서, RLA 기반 WAM 은 35.6% 의 평균 성공률을 달성하여 BC 베이스라인 (27.2%) 및 기타 잠재 행동 방법 (예: AdaWorld 33.7%) 을 능가했다. 개선은 도전적인 Push-T 작업에서 가장 두드러졌으며 (+15.2%, 베이스라인 대비).
시각적 RL (WMRL): 1500 개의 평가 시드를 통해 WMRL 은 XArm 및 UR10e 로봇에서 초기 BC 정책에 비해 정책 성능을 크게 향상시켰다. 평균적으로 추가적인 실세계 상호작용 데이터 없이 다섯 가지 작업에서 BC 대비 **+1.1%**의 향상을 달성했다.

중요성 및 주장

본 논문은 RLA-WM 이 시각적 특징 기반 세계 모델을 위한 강력한 진전을 나타낸다고 주장한다. 직접 회귀나 무거운 생성 모델링에서 잔차 잠재 행동 모델링으로 전환함으로써, 저자들은 고차원 특징 공간에서 이전에 달성할 수 없었던 효율성, 정확성, 확장성의 균형을 달성했다.

그 중요성은 다음과 같다:

차원의 저주 극복: 목표가 전체 특징 벡터가 아닌 컴팩트한 잔차 표현인 경우 특징 공간에서 생성 모델링이 가능함을 입증했다.
오프라인 전용 RL 가능: 고비용의 온라인 탐색이나 수동 설계 보상 함수 없이 오프라인 비디오 데이터와 학습된 세계 모델만으로도 고품질 시각적 RL 이 가능함을 증명했다.
레이블 없는 데이터로의 확장성: 최소주의적 WAM 접근법을 통해 방대한 양의 레이블 없는 로봇 비디오 데이터를 정책 개선을 위해 활용할 수 있는 경로를 제공한다.

저자들은 카메라 흔들림과 같은 작업과 무관한 배경 운동 처리의 어려움 및 부분 관측성 (가림) 과 같은 한계를 인정하며, 3D 뷰 독립적 RLA 및 다중 프레임 조건부 처리에 대한 향후 연구를 제안한다. 그러나 그들은 소규모 데이터셋에서의 결과가 단순한 데이터 확장으로부터 방법론적 이점을 분리하여 미래의 오픈 월드 응용을 위한 견고한 기반을 확립했다고 강조한다.