💻 computer science

SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control

SelfWAM은 로봇의 셀프 마스크(self-mask)에 기반하여 행동과 행동 조건부 미래 관측치를 공동으로 예측함으로써, 예측이 특정 행동의 결과를 반영하도록 보장하는 동시에 빠른 추론 속도를 유지하며 로봇 정책 학습을 향상시키는 통합된 월드 액션 모델(unified world action model)입니다.

원저자: Bikang Pan, Fan Liu, Haotao Lu, Jingya Wang, Ye Shi

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bikang Pan, Fan Liu, Haotao Lu, Jingya Wang, Ye Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 샌드위치를 만드는 법을 가르치고 있다고 상상해 보세요. 당신은 사람이 토마토를 써는 영상을 로봇에게 보여줍니다. 단순한 로봇은 그저 토마토와 칼의 이미지를 암기한 뒤, 사람의 손동작을 그대로 따라 하려고 할 것입니다. 하지만 여기서 까다로운 점이 있습니다. 로봇이 영상만 본다면, 토마토가 왜 움직이는지 그 이유를 정말로 이해하지 못한다는 것입니다. 로봇은 칼을 더 세게 누르면 토마토가 더 빨리 썰린다는 것도, 반대로 잘못된 방향으로 누르면 토마토가 테이블 아래로 굴러떨어진다는 것도 알지 못합니다.

이것이 바로 로봇 공학에서의 '세계 행동 모델(World Action Models)'이 직면한 과제입니다. 이 모델들은 로봇이 지금 하고 있는 행동을 바탕으로 미래가 어떻게 보일지를 예측하려고 노력하는 특별한 AI 두뇌입니다. 이것들을 로봇의 '상상력'이라고 생각할 수 있습니다. 만약 로봇이 미래를 상상할 수 있다면, 더 나은 계획을 세울 수 있습니다. 하지만 오랫동안 이러한 상상력은 약간의 백일몽과 같았습니다. 장면이 몇 초 후에 어떻게 변할지는 추측할 수 있었지만, 그 추측을 로봇이 실제로 한 구체적인 움직임과 연결하는 데는 서툴렀습니다. 마치 영화를 보고 결말을 추측하면서도, 정작 등장인물들이 방금 무엇을 했는지는 모르는 것과 같았습니다. 과학자들의 큰 질문은 이것입니다. 어떻게 하면 로봇이 단순히 어떤 일이 일어나는지를 배우는 것을 넘어, 자신의 몸이 어떻게 사물에 영향을 미치는지 배우도록, 즉 자신의 행동의 결과로서의 미래를 구체적으로 상상하도록 가르칠 것인가 하는 점입니다.

여기, 로봇을 위한 '자기 인식형' 상상력 코치 역할을 하는 새로운 접근 방식인 SelfWAM이 등장했습니다. 이 연구의 개발자들은 이전 방식들이 결정적인 연결 고리를 놓치고 있다는 사실을 깨달았습니다. 즉, 로봇이 자신의 구체적인 움직임과 눈에 보이는 시각적 변화를 연결하도록 강제되지 않았던 것입니다. 이를 해결하기 위해, 그들은 로봇이 두 가지를 동시에 주목하도록 만드는 시스템을 구축했습니다. 하나는 장면의 미래 영상이고, 다른 하나는 그 장면 속을 움직이는 자신의 몸의 '유령 같은' 윤곽입니다.

SelfWAM이 어떻게 작동하는지 간단한 비유를 들어 설명하겠습니다. 여러분이 저글링을 배우고 있다고 상상해 보세요. 일반적인 AI는 사람이 저글링하는 영상을 보고 공이 다음에 어디로 갈지 예측하려고 할 것입니다. 하지만 그 과정에서 공의 색깔이나 배경 벽에 정신이 팔릴 수도 있습니다. Self-WAM은 다릅니다. 이 모델은 로봇이 방금 수행한 동작에 대한 '깨끗한' 복사본, 즉 던지기 동작의 완벽하고 노이즈 없는 청사진을 제공하며, 이 청사진을 사용하여 미래를 예측합니다. 결정적으로, 로봇은 '셀프 마스크(self-mask)', 즉 장면 속에서 움직이는 자신의 팔과 손의 흑백 실루엣을 예측하도록 요구받습니다.

이 실루엣이 왜 그렇게 중요할까요? 이것을 조명(spotlight)이라고 생각해 보세요. 저글링 동작의 미래를 예측하려 할 때, 배경 벽이나 조명의 변화는 노이즈일 뿐이며 저글링이 성공할지 여부를 알려주지 않습니다. 하지만 로봇 자신의 팔의 움직임은 신호입니다. 로봇이 (지저분한 배경 세부 사항은 무시하고) 다음 몇 초 동안 자신의 몸이 정확히 어떻게 움직일지를 예측하도록 훈련함으로써, 로봇은 "내가 이 동작을 했다"와 "그 결과로 이런 일이 일어났다" 사이의 훨씬 더 긴밀한 연결 고리를 학습하게 됩니다.

논문은 이 과정이 로봇의 속도를 늦추지 않고 작동하는 영리한 트릭을 설명합니다. 훈련 단계 동안 로봇은 움직임과 미래의 시각적 변화 사이의 연결을 배우기 위해 동작의 '깨끗한' 청사진을 볼 수 있습니다. 하지만 실제로 현장에서 작업할 때(추론 시), 로봇은 그 미래 영상이나 실루엣을 생성할 필요가 없습니다. 그저 동작을 학습한 가벼운 부분의 두뇌만을 사용하면 됩니다. 이는 마치 학생이 도표가 그려진 상세한 학습 가이드를 사용하여 시험 공부를 하지만, 실제 시험 날에는 그저 핵심 사실들을 빠르게 떠올리기만 하면 되는 것과 같습니다. 무거운 작업인 미래 예측은 실제 업무 중이 아니라 오직 연습 중에만 일어납니다.

연구진은 이 아이디어를 두 가지 주요 방식으로 테스트했습니다. 첫째, 두 개의 팔을 가진 로봇이 50가지 이상의 다양한 작업을 수행하는 RoboTwin 2.0이라는 복잡한 컴퓨터 시뮬레이션을 사용했습니다. 그 결과, SelfWAM은 배경이 바뀌거나 무작위로 변할 때(예: 가구 이동이나 조명 변경) 이전 방식들보다 더 뛰어난 성능을 보였습니다. 특히 평균 약 92.6%의 성공률을 기록하며 다른 상위 모델들을 앞질렀습니다. 둘째, 실험실의 실제 물리적 로봇 팔에 적용했습니다. 컵을 받침대에 놓거나 펜을 컵에 넣는 것과 같은 네 가지 특정 작업을 주었을 때, SelfWAM은 95%의 성공률을 보이며 다른 방법들을 능가했습니다.

아마도 가장 흥식한 발견은 이 '슈퍼 상상력'이 로봇을 느리게 만들지 않았다는 점일 것입니다. 논문에 따르면, 로봇이 다음 동작을 결정하는 데 걸리는 시간은 1% 미만(구체적으로 0.97%)으로 증가했습니다. 이는 로봇이 더 똑똑해지면서도 둔해지지 않는다는 것을 의미합니다. 또한, 연구진이 로봇의 '상상력'을 테스트했을 때, SelfWAM은 미래를 훨씬 더 잘 예측한다는 것을 발견했습니다. 만약 로봇에게 팔을 약간 위로 움직이라고 명령하면, SelfWAM의 상상력은 팔이 위로 움직이는 모습을 정확히 보여주었습니다. 기존 모델들은 혼란을 겪으며 동작이 변해도 예측을 크게 바꾸지 못하는 경우가 많았습니다.

요약하자면, Self-WAM은 로봇의 상상력을 자신의 신체 움직임에 근거하게 함으로써—즉, 세상 속을 움직이는 자신의 '그림자'를 시각화하도록 가르침으로써—로봇이 훨씬 더 잘 배울 수 있음을 시사합니다. 로봇은 자신이 한 행동과 우연히 일어난 일을 구분하는 법을 배웁니다. 그 결과, 로봇은 의사 결정 속도를 거의 동일하게 유지하면서도 더 빠르고, 정확하며, 환경 변화에 강인해졌습니다. 이는 로봇이 단순히 세상에 반응하는 것을 넘어, 자신의 행동이 세상을 어떻게 변화시키는지 진정으로 이해하는 단계로 나아가는 발걸음입니다.

기술 요약: SelfWAM

문제 정의

World Action Models (WAMs)는 행동과 미래 관측치를 결합하여 모델링함으로써 로봇 정책 학습을 개선하는 것을 목표로 합니다. 그러나 FastWAM과 같은 기존 방식은 미래의 시각적 예측을 특정 실행된 행동에 기반하기보다는 현재의 관측치와 작업 프롬프트에만 의존하여 조건화하는 경우가 많습니다. 이러한 한계로 인해 모델은 특정 행동에 의해 유도된 구체적인 시각적 결과 대신 일반적인 작업 진행 과정만을 포착하게 됩니다. 또한, 표준 RGB 미래 예측은 로봇의 움직임과는 약하게 연관된 외형적 세부 사항(질감, 조명, 배경)에 의해 지배되어, 행동에 의해 유도된 역학(dynamics)을 위한 학습 신호를 가릴 가능성이 있습니다. 핵심 과제는 행동 전용 추론의 효율성을 저해하지 않으면서, 로봇의 가시적인 신체와 행동에 의해 유도된 움직임에 미래 예측을 명시적으로 접지(grounding)시키는 통합된 모델을 만드는 것입니다.

방법론

저자들은 모달리티 특화 혼합 트랜스포머(Mixture-of-Transformers, MoT) 아키텍처를 기반으로 하는 통합된 자가 접지형(self-grounded) WAM인 SelfWAM을 제안합니다. 이 방법은 기존 WAM의 한계를 해결하기 위해 두 가지 주요 혁신을 도입합니다.

1. 비대칭 클린-액션 조건화 (Asymmetric Clean-Action Conditioning)

SelfWAM은 사전 학습된 비디오 백본과 혼합 어텐션(mixed attention)으로 결-합된 경량 액션 전문가(action expert)로 구성된 FastWAM의 2-스트림 MoT 설계를 유지합니다. 핵심적인 아키텍처 수정 사항은 비대칭 정보 흐름입니다:

학습 시: 시연된 행동의 "클린(clean)" 복사본이 인코딩되어 미래 시각적 쿼리(RGB 및 셀프 마스크 모두)에만 노출됩니다. 노이즈가 섞인 미래-액션 쿼리(정책 예측에 사용됨)는 현재 컨텍스트와 자신의 노이즈 섞인 상태에만 어텐션을 수행하며, 클린 액션 복사본으로부터는 숨겨진 상태를 유지합니다.
효과: 이를 통해 비디오 브랜치는 실행된 행동에 따른 행동 특유의 결과(실행된 행동에 따라 미래를 구분함)를 학습할 수 있는 동시에, 정책 브랜치로의 "타겟 누수(target leakage)"를 방지할 수 있습니다. 결과적으로 정책 경로는 배포 시 사용되는 경량 액션 전용 추론 경로와 동일하게 유지됩니다.

2. 미래 로봇 셀프-마스크 예측 (Future Robot Self-Mask Prediction)

외형 변화보다는 행동과 관련된 변화에 시각적 학습 목표를 집중시키기 위해, Self-WAM은 RGB 예측과 함께 보조 목표로서 로봇 셀프-마스크 예측을 도입합니다.

메커니즘: 모델은 클린 액션을 조건으로 하여 미래의 로봇 셀프-마스크(로봇의 가시적인 신체 분할)를 예측합니다.
이점: 외형 세부 사항(질감, 배경)을 억제함으로써, 셀프-마스크는 조건부 행동과 시간적 진화가 밀접하게 결합된 타겟을 제공합니다. 이는 행동에 의한 역학에 집중된 학습 신호를 제공하여 미래 예측의 "자가 접지(self-grounding)"를 강화합니다.

학습 및 추론

학습: 모델은 플로우 매칭(flow-matching) 목적 함수를 사용하여 학습됩니다. 전체 손실(loss)은 액션 디노이징 손실( $L_{act}$ )과 RGB 및 셀프 마스크 비디오 디노이징 손실의 혼합( $L_{rgb/mask}$ )을 결합합니다.
추론: 배포 시 SelfWAM은 빠른 액션 전용 경로를 따릅니다. 모델은 현재 컨텍스트를 인코딩하고 경량 액션 전문가를 사용하여 액션 청크(action chunk)를 반복적으로 디노이징합니다. 클린 액션 조건화와 미래 시각적 디노이징(RGB 또는 마스크)은 생략되어 낮은 지연 시간을 유지합니다. 후보 액션을 클린 액션 경로에 삽입함으로써 선택적인 시각적 롤아웃(visual rollouts)을 수행할 수 있습니다.

주요 기여

통합된 행동 조건부 아키텍처: 저자들은 클린 액션 복사본을 위한 조건부 경로를 포함하도록 2-스트림 MoT를 확장하여, 액션 예측과 액션 조건부 미래 모델링을 통합했습니다. 이 설계는 경량 액션 전용 추론 경로를 유지하면서도 모델이 서로 다른 행동의 미래 결과를 구분할 수 있게 합니다.
셀프-마스크 감독 (Self-Mask Supervision): 본 논문은 미래 로봇 셀프-마스크 시퀀스 예측을 보조 목표로 도입했습니다. 이는 외형 및 배경 변화를 제외하고 로봇의 미래 가시적 움직임에 집중하여 예측의 자가 접지를 강화합니다.
실증적 검증: 실험을 통해 Self-WAM이 더 행동 민감적인 미래를 생성하며, 추론 효율성을 유지하면서도 정책 성능을 향상시킨다는 것을 입증했습니다.

실험 결과

본 논문은 RoboTwin 2.0 시뮬레이션 벤치마크와 AgileX ALOHA 플랫폼을 사용한 실제 환경의 양손 조작 작업에서 SelfWAM을 평가합니다.

정책 성능:
- RoboTwin 2.0에서 SelfWAM은 92.62%(클린 및 랜덤 설정의 평균)의 성공률을 달성하여, FastWAM(91.84%), Motus(87.84%), GigaWorld-Policy(85.70%)를 능가했습니다.
- 실제 작업(예: 컵 놓기, 펜 꽂기)에서 SelfWAM은 FastWAM(85%) 및 $\pi_{0.5}$ (90%)에 비해 높은 평균 성공률인 **95%**를 달성했습니다.
미래 예측 품질:
- 275개의 궤적 하위 집합에 대해, SelfWAM(액션 조건부)은 unconditioned FastWAM 베이스라인보다 우수한 비디오 충실도를 보였으며, 이는 더 낮은 LPIPS(0.0429 vs. 0.0636), 더 높은 PSNR(32.79 vs. 29.24), 그리고 더 낮은 FVD-I3D(34.55 vs. 45.92)로 증명되었습니다.
- 액션 섭동 (Action Perturbation): 액션이 방향성 있게 섭동되었을 때, Self-WAM의 예측된 셀프-마스크는 그에 따라 이동하여 실제 값(ground-truth)의 경향과 일치한 반면, unconditioned 베이스라인은 거의 변하지 않았습니다.
추론 효율성:
- SelfWAM은 FastWAM과 비교했을 때 액션 전용 추론 지연 시간을 단 0.97%, 결합된 액션-비디오 지연 시간을 단 **1.36%**만 증가시켰으며, 피크 메모리 사용량의 증가도 없었습니다.

의의 및 주장

본 논문은 SelfWAM이 미래 예측을 일반적인 보조 목표에서 행동 조건부 결과 모델링(action-conditioned consequence modeling) 메커니즘으로 성공적으로 전환했다고 주장합니다. 미래의 시각적 상태를 시연된 행동 및 로봇의 신체 움직임과 명시적으로 연결함으로써, 모델은 행동 특유의 결과를 예측하는 데 있어 더 높은 충실도를 달-성합니다.

저자들은 이 접근 방식이 배포 중에 미래 비디오 생성을 요구하지 않으므로 폐루프 제어(closed-loop control)에 필요한 효율성을 유지할 수 있음을 강조합니다. 셀프-마스크 감독의 도입은 외형과 배경 변화를 격리하고 로봇의 체화된 역학(embodied dynamics)을 학습하는 참신한 방법으로 강조되며, 이는 원시 RGB 예측보다 로봇 제어에 더 직접적으로 관련된 신호를 제공합니다. 결과는 자가 접지된 감독이 상당한 계산 비용 없이 외형 변화에 대한 강건성을 높이고 전반적인 정책 성능을 향상시킨다는 것을 시사합니다.