🤖 AI

WAM-OPD: On-Policy Distillation for World Action Models

이 논문은 비디오 우선 월드 액션 모델(video-first World Action Models)을 밀도 높은 교사 감독(dense teacher supervision) 하에 모델 스스로 생성한 이력(histories)으로 학습시켜, 희소 보상 강화 학습(sparse-reward reinforcement learning) 없이도 작업 성공률을 크게 향상시키는 온-폴리시 증류(on-policy distillation) 기반의 사후 학습 방법인 WAM-OPD를 소개한다.

원저자: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇들은 단순히 현재 일어나는 일에 반응하는 것을 넘어, 다음에 어떤 일이 일어날지를 상상함으로써 세상을 이해하려고 노력하는 새로운 종류의 지능을 통해 보고 움직이는 법을 배우고 있습니다. 수년 동안 연구자들은 방대한 양의 비디오와 지시 데이터를 사용하여 로봇을 훈련시켜 왔으며, 이를 통해 로봇이 보는 것과 팔을 어떻게 움직여야 하는지를 연결하도록 가르쳤습니다. 흔히 시각-언어-행동(vision-language-action) 모델이라 불리는 이러한 시스템들은 강력하지만, 실시간으로 복잡한 과업을 수행하도록 요청받았을 때 느리고 서투를 수 있습니다. 이들을 더 빠르게 만들기 위해 과학자들은 '증류(distillation)'라고 불리는 기술을 개발했는데, 이는 마치 느리지만 명석한 스승을 데려와 그 행동을 흉내 내는 빠르고 영리한 학생 버전을 훈련시키는 것과 같습니다. 목표는 단일하고 유연한 동작 속에서 생각하고 행동할 수 있는 로봇을 만드는 것입니다. 하지만 여기에는 함정이 있습니다. 로봇의 두뇌를 빠르게 만들면, 때때로 까다로운 상황을 처리하는 법을 잊어버리거나 초기 훈련 과정에서 보지 못했던 상태에서 길을 잃기도 합니다. 로봇은 빨라졌지만, 일을 완수하는 능력은 상실하게 되는 것입니다.

여기서 WAM-OPD라고 불리는 새로운 접근 방식이 등장합니다. 이 방법은 시행착오를 통해 처음부터 다시 배우기 위해 로봇을 밖으로 내보낼 필요 없이, 이러한 빠른 로봇들의 문제를 해결하기 위해 설계되었습니다. 미래의 비디오 프레임을 예측하여 움직임을 계획하는 시스템을 활용해 연구하던 팀은, 이러한 가속화된 로봇들을 훈련시키는 표준적인 방식에 결함이 있다는 것을 깨달았습니다. 문제는 빠른 로봇이 느린 스승의 완벽한 예측을 바탕으로 행동하도록 교육받고 있었지만, 실제 세상에서 빠른 로봇은 자신의 약간은 불완전한 예측을 바탕으로 행동해야 한다는 점이었습니다. 이는 마치 완벽한 운전자의 영상을 보여주며 학생에게 운전을 가르친 뒤, 학생의 차는 다르게 움직이고 있음에도 불구하고 스승과 똑같이 도로에 반응하기를 기대하며 핸들을 넘겨주는 것과 같았습니다. 로봇이 예상하는 모습과 실제로 보는 모습 사이의 불일치는 로봇을 실패하게 만드는 원인이 되었습니다.

이를 해결하기 위해 연구팀은 빠른 로봇이 실제로 시뮬레이션 환경 속으로 들어가 스스로 움직이는 훈련 루프를 만들었습니다. 로봇이 움직이면서, 로봇은 자신이 보고 행하는 것들의 기록을 생성합니다. 이때 고정된, 느리지만 매우 정확한 스승 로봇이 이러한 특정 순간들을 관찰하고 다음에 어떤 일이 일어나야 하는지에 대한 정답을 제공합니다. 결정적으로, 빠른 로봇은 자신의 불완전한 시각을 바탕으로 미래를 예측하고 행동을 선택하도록 배우는 동시에, 여전히 스승의 정답과 일치하도록 노력합니다. 이를 통해 로봇은 결코 보지 못할 수도 있는 시나리오가 담긴 교과서 목록을 암기하는 것이 아니라, 실제로 마주하는 구체적인 상황들을 다루는 법을 배웁니다. 연구진은 이 방법을 시뮬레이션 상의 두 가지 특정 과업, 즉 한 로봇 손에서 다른 로봇 손으로 마이크를 전달하는 것과 물체를 서랍 안에 넣는 작업에 테스트했습니다.

결과는 이 방법이 로봇의 과업 수행 능력을 유의미하게 향ло상시킬 수 있음을 보여주었습니다. 빠른 로봇이 처음에 완전히 실패했던 과업인 마이크 전달 작업의 경우, 새로운 훈련법은 성공률을 절반 이상으로 높였습니다. 이미 어느 정도 성공적이었던 서랍 과업의 경우, 개선 폭은 더 작았지만 여전히 눈에 띄었으며, 성공률을 약 6번 중 1번에서 3번 중 1번으로 높였습니다. 이러한 수치들은 매우 구체적인 테스트 세트와 적은 수의 시뮬레이션 장면을 사용한 결과이므로, 연구진은 이것이 보편적인 해결책이라기보다 개념 증명(proof of concept)이라고 신중하게 밝히고 있습니다. 그들은 이 방법이 이러한 특정 도전 과제들에 효과적이라는 것을 발견했으며, 이는 현명하지만 정적인 스승의 안내를 받아 로봇이 자신의 실시간 경험으로부터 배우도록 가르치는 것이 빠르고 가속화된 AI의 약점을 보완하는 유망한 방법임을 시사합니다. 이 연구는 모든 상황에 대한 로봇 학습을 해결했다고 주장하는 것이 아니라, 고속 시스템을 실제로 현장에 투입했을 때 더 신뢰할 수 있게 만들기 위한 명확한 경로를 제시하고 있습니다.

기술 요약: WAM-OPD

문제 정의
World Action Models (WAMs)는 시각적 미래 예측과 로봇 동작 생성을 통합하여 로봇 제어를 위한 구조화된 접근 방식을 제공합니다. 그러나 이러한 시스템으로부터 증류(distillation)를 통해 파생된 가속화된 "학생(student)" 모델(예: Flash-WAM)은 종종 작업 능력의 손실을 겪습니다. 이러한 성능 저하는 가속화된 학생 모델이 초기 훈련에 사용된 오프라인 데이터에 잘 표현되지 않은 상태를 배포(deployment) 중에 마주할 수 있기 때문에 발생합니다. 온라인 강화 학습(RL)이 이를 해결할 수 있지만, 이는 희소한 이진 보상(sparse binary rewards)에 의존하므로 긴 궤적에 대한 크레딧 할당(credit assignment)이 비용이 많이 들고 어렵습니다. 학생이 상태 분포를 결정하고 교사(teacher)가 조밀한 감독을 제공하는 기존의 온-폴리시 증류(OPD) 방법들은 액션 전용 정책이나 자기회귀 토큰 모델에는 적용되었으나, 비디오 우선(video-first) WAM의 특정 아키텍처에는 아직 적응되지 않았습니다.

WAM에 OPD를 적용할 때 발생하는 핵심적인 기술적 과제는 **조건 불일치(conditioning mismatch)**입니다. 비디오 우선 WAM에서 동작 생성은 예측된 비디오 플랜( $z_t$ )에 조건화됩니다. 배포 중에 학생은 자신의 비디오 플랜( $z_S$ )을 생성하고 이를 바탕으로 액션 브랜치를 조건화합니다. 만약 동결된 교사가 자신의 우수한 비디오 플랜( $z_T$ )을 사용하여 학생의 히스토리를 라벨링한다면, 학생의 액션 브랜치를 $z_T$ 에 대해 훈련시키는 것은 배포 시의 조건인 $z_S$ 와 불일치를 만듭니다. 또한, 비디오와 액션 경로가 Transformer 백본 블록을 공유하기 때문에, 한 모달리티를 업데이트하면 다른 모달리티에서 사용되는 표현(representation)이 의도치 않게 변경될 수 있습니다.

방법론
본 논문은 희소 보상 RL을 요구하지 않으면서 이러한 문제들을 해결하도록 설계된 배포 일관적(deployment-consistent) 사후 훈련 레시피인 WAM-OPD를 소개합니다. 핵심 방법론은 다음과 같습니다:

배포 일관적 데이터 생성: 가속화된 학생 모델이 환경 내에서 행동하며, 실제 폐루프(closed-loop) 동작을 반영하는 히스토리 분포( $h \sim d_{\pi_S}$ )를 생성합니다.
동결된 교사 라벨링: LingBot-VA 기반의 동결된 느린 "교사" 모델이 이러한 학생 생성 히스토리에 대해 일관된 비디오( $z_T$ ) 및 액션( $a_T$ ) 타겟을 라벨링합니다.
배포 일관적 훈련 그래프: 결정적으로, 훈련 최적화 단계 동안 학생은 정확히 자신의 배포 계산 그래프를 따릅니다:
- 먼저 자신의 비디오 플랜을 생성합니다: $z_S = f^{vid}_{\theta}(h_S)$ .
- 그 다음, 자신의 플랜에 조건화되어 액션을 예측합니다 (플랜 텐서에 stop-gradient 적용): $a_S = f^{act}_{\theta}(h_S, \text{sg}(z_S))$ .
- 이를 통해 액션 브랜치가 추론 시 실제로 사용할 비디오 플랜 하에서 작동하는 법을 학습하게 하여, 조건 인터페이스 불일치를 방지합니다.
결합 목적 함수: 30개 블록의 공유 Transformer 백본 전체에 걸쳐 경량 rank-8 JointLoRA 어댑터를 통해 업데이트되는 세 가지 구성 요소를 결합합니다:
- 비디오 손실(Video Loss): 학생이 생성한 비디오 플랜( $z_S$ )을 교사의 타겟( $z_T$ )과 정렬하는 pseudo-Huber 페널티.
- 액션 손실(Action Loss): 학생의 액션( $a_S$ )을 교사의 타겟( $a_T$ )과 정렬하는 pseudo-Huber 페널티.
- Flow-Matching 정규화 항: 액션 스트림을 위한 flow-matching 학습 신호를 유지하기 위해 고노이즈 경계에서의 보조 손실.
- 전체 손실은 다음과 같습니다: $L(\theta) = \lambda_z \rho_\delta(z_S - z_T) + \lambda_a \rho_\delta(a_S - a_T) + \lambda_{FM} \|v^{act}_\theta(x^a_{\sigma=1}, 1, c) - (\epsilon_a - a_T)\|^2_2$ .

주요 기여

조건 불일치 식별: 저자들은 교사의 비디오 플랜으로 액션을 훈련하는 것이 학생의 배포 조건과 불일치를 만드는 비디오 우선 WAM OPD의 특정 실패 모드를 규명했습니다.
결합 비디오-액션 손실 및 LoRA 업데이트: 이들은 배포 그래프를 존중하면서 비디오 정렬을 통해 교사와 학생 간의 플랜 격차를 줄이는, 공유된 flow 기반 WAM을 위한 결합 목적 함수 및 매개변수 효율적 업데이트 전략(JointLoRA)을 정의했습니다.
실증적 검증: 본 논문은 두 가지 RoboTwin 2.0 작업에 대한 정확한 쌍 기반 평가를 제공하며, 동일한 레시피가 두 설정 모두에서 성공률을 개선하지만 그 크기는 다양함을 보여줍니다.

결과
저자들은 RoboTwin 2.0 시뮬레이션 환경의 두 가지 작업인 HANDOVER MIC(로봇 양손 사이의 마이크 전달)와 PUT OBJECT CABINET(서랍에 물체 넣기)에 대해 WAM-OPD를 평가했습니다. 출시된 1-비디오/1-액션 스텝 Flash-WAM을 베이스라인으로 사용했을 때:

HANDOVER MIC: 성공률이 0.0%(베이스라인)에서 **58.3%**로 향상되었습니다.
PUT OBJECT CABINET: 성공률이 16.7%(베이스라인)에서 **33.3%**로 향상되었습니다.

이 결과는 8개의 학생 궤적, 160개의 교사 라벨링 컨텍스트, 120개의 옵티마이저 스텝을 사용하여 얻었으며, 두 개의 고정된 노이즈 뱅크 하에서 6개의 홀드아웃(held-out) 씬 시드에 대해 평가되었습니다.

의의 및 주장
본 논문은 WAM-OPD를 완성된 범용 방법론이라기보다 비디오 우선 WAM을 위한 유망한 사후 훈련 인터페이스로 포지셔닝합니다. 저자들은 결과가 광범위하거나 균일한 일반화의 증거라기보다는 **"초기 능력 증명(initial capability proof)"**임을 명시적으로 밝힙니다.

의의는 학생 유도 히스토리에 대한 조밀한 교사 감독이 희소 보상 RL에 의존하지 않고도 가속화된 WAM의 작업 능력을 효과적으로 복구할 수 있음을 입증했다는 데 있습니다. 저자들은 작업 간의 상이한 개선 폭이 현재의 결과가 작업 의존적임을 강조한다는 점을 언급합니다. 또한 작은 샘ло 크기, 고정된 궤적 패키지 사용(초기 수집기에 대해서만 엄격히 온-폴리시임), SFT나 RL과 같은 다른 방법들과의 컴퓨팅 매칭 비교 부재를 포함한 한계를 인정합니다. 이 연구는 이 특정 모델 제품군에 대한 배포 일관적 증류의 실행 가능성을 확립하는 수직적 단면(vertical slice) 역할을 합니다.

기술 요약: WAM-OPD

유사한 논문