💻 computer science

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

이 논문은 디노이징 궤적의 결합 확률을 최적화함으로써 주변 행동 확률의 계산 불가능성을 극복하고, 통합된 가변 단계 스케줄링 접근 방식을 통해 로봇 조작 벤치마크에서 최첨단 성능을 달와하는 이산 확산 시각-언어-행동 모델을 위한 강화 학습 프레임워크인 dVLA-RL을 소개한다.

원저자: Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 수플레와 같은 복잡한 요리를 가르치고 있다고 상상해 보세요.

과거의 방식 (The "Copycat" Problem - 모방꾼 문제):
이전에는 로봇이 인간 셰프가 하는 동작을 한 번 보고 그대로 따라 하는 방식으로 학습했습니다. 이것을 "지도 미세 조정(Supervised Fine-Tuning)"이라고 합니다. 단순한 작업에는 효과적이지만, 주방이 지저도해지거나 재료가 약간만 달라져도 로봇은 당황하며 실패합니다. 이는 마치 연습 시험의 답을 통째로 외웠지만, 새로운 문제는 풀지 못하는 학생과 같습니다.

새로운 도구 (The "Denoising" Robot - 노이즈 제거 로봇):
최근 과학자들은 dVLA(이산 확산 시각-언어-행동 모델)라는 새로운 유형의 로봇 두뇌를 만들었습니다. 이 로봇은 다음 동작을 즉각적으로 결정하는 대신, "노이즈"가 섞인 방식으로 생각합니다. 로봇이 낙서로 가득 찬 빈 종이에서 시작한다고 상상해 보세요(노이즈). 그런 다음 로봇은 낙서를 단계적으로 지워나가며 완벽한 레시피를 드러냅니다.

1단계: 몇 단어를 추측합니다.
2단계: 보이는 것을 바탕으로 그 단어들을 정교하게 다듬습니다.
3단계: 레시피를 완성합니다.

이 "천천히 드러내는" 과정은 로봇이 마치 예술가가 밑그림을 그린 뒤 잉크를 입히듯, 반복적으로 계획을 정교하게 다듬을 수 있게 해줍니다.

잃어버린 조각 (The "Reinforcement Learning" Gap - 강화 학습의 공백):
이 "천천히 드러내는" 로봇은 똑똑했지만, 여전히 모방꾼에 불과했습니다. 스스로의 실수로부터 배우지 못했기 때문입니다. 과학자들은 로봇이 무언가를 시도하고, 성공하면 "엄지 척(보상)"을 받고, 실패하면 "엄지 아래(벌점)"를 받으며 시간이 흐를수록 더 잘하도록 만드는 방법인 **강화 학습(RL)**을 사용하고 싶어 했습니다.

큰 문제점:
수학적인 장애물이 있었습니다. 표준적인 로봇 두뇌에서는 정답을 맞힐 확률을 쉽게 계산할 수 있습니다. 하지만 이 "천천히 드러내는" 로봇의 경우, 최종 답변은 일련의 긴 추측 과정을 거친 결과물입니다. 로봇이 취할 수 있었던 모든 가능한 경로를 살펴보며 최종 결과의 정확한 확률을 계산하려는 것은, 조수의 흐름을 예측하기 위해 해변의 모든 모래알을 세려는 것과 같습니다. 이는 수학적으로 불가능(intractable)합니다.

해결책: dVLA-RL (The "Journey" Approach - 여정 접근법)
논문의 저자들은 dVLA-RL을 통해 질문을 바꾸어 이 문제를 해결했습니다. "어떻게 하면 완벽한 최종 답안에 도달할 확률이 높은가?"라고 묻는 대신, "우리가 방금 걸어온 '특정한 경로'를 따를 확률은 얼마인가?"라고 물었습니다.

비디오 게임을 생각해보세요:

과거의 수학: 게임을 시작하기도 전에 토너먼트 전체에서 우승할 확률을 계산하려고 노력하는 것.
새로운 수학 (dVLA-RL): 다음 레벨에 도달하기 위해 방금 밟았던 구체적인 단계들을 밟을 확률을 계산하는 것.

로봇의 "천천히 드러내는" 과정을 하나의 단계별 여정(궤적)으로 취급함으로써, 그들은 표준적인 강화 학습을 사용하여 로봇을 가르칠 수 있었습니다. 그들은 최종 결과만이 아니라, 문제를 해결하기 위해 로봇이 거친 '전체 경로'에 대해 보상을 줍니다.

"하이브리드" 전략 (The "Smart Scheduler" - 스마트 스케줄러)
논문은 또한 Hybrid dVLA-RL이라는 영리한 기법을 도입했습니다.

쉬운 작업: 로봇이 컵을 집는 것과 같은 단순한 작업에 능숙하다면, 굳이 10단계를 거쳐 생각할 필요가 없습니다. 단 1~2단계만으로도 충분합니다. 이는 시간과 에너지를 절약해 줍니다.
어려운 작업: 블록을 쌓는 것과 같이 복잡한 작업의 경우, 로봇은 계획을 생각하고 정교하게 다듬기 위해 더 많은 단계를 밟을 수 있도록 허용됩니다.

이는 마치 선생님이 쉬운 문제에는 짧은 퀴즈를 내고, 어려운 연구 논문에는 에세이 형식을 허용하는 것과 같습니다. 이를 통해 로봇은 쉬운 일에는 더 빠르게, 어려운 일에는 더 똑똑하게 대처할 수 있습니다.

결과
연구팀은 두 가지 주요 로봇 훈련장에서 테스트를 진행했습니다:

LIBERO: 단일 팔 로봇을 위한 시뮬레이션입니다. 새로운 방식은 99.7%의 성공률을 달 achievement, 사실상 과업을 완벽하게 수행했습니다.
RoboTwin 2.0: 인간처럼 두 팔을 사용하는 더 어려운 시뮬레이션입니다. 새로운 방식은 기존의 "모방꾼" 버전보다 성공률을 30.6% 향상시켰으며, 다른 최고 수준의 로봇 두뇌들을 능가했습니다.

요약
이 논문은 "천천히 생각하는" 로봇이 자신의 경험으로부터 배우는 방법을 제시합니다. 최종 결과에 대한 불가능한 수학적 계산에 막히는 대신, 그곳에 도달하기 위해 거친 구체적인 여정을 통해 학습하도록 만듭니다. 이 방식은 로봇이 명령을 따르고 복잡한 물리적 과업을 수행하는 능력을 현저히 향상시킵니다.

기술 요약: dVLA-RL

문제 정의

시각-언어-행동(VLA) 모델은 대규모 시각-언어 모델(VLM)의 의미론적 추론에 제어 기능을 결td하여 로봇 조작을 위한 강력한 패러다임을 구축했습니다. 이산 확산 VLA(Discrete Diffusion VLAs, dVLAs)는 마스크 생성 모델링을 통해 시각, 언어, 행동을 단일 이산 토큰 공간으로 통합함으로써 유망한 대안으로 등장했지만, 이들의 학습은 지도 미세 조정(Supervised Fine-Tuning, SFT)에 국한되어 왔습니다.

네이티브 dVLA에 강화 학습(RL)을 적용하는 데에는 근본적인 병목 현상이 존재합니다: 바로 한계 행동 확률(marginal action probability)의 계산 불가능성입니다. 표준 정책 경사 알고리즘(예: PPO)은 실행된 최종 행동의 정확한 확률인 $\pi_\theta(a_t | s_t)$ 를 요구합니다. 그러나 이산 확산 모델에서 최종 행동은 $K$ -단계의 확률적 디노이징(denoising) 과정의 결과물입니다. 최종 행동의 한계 확률을 계산하려면 가능한 모든 중간 디노이징 궤적의 조합적 공간을 합산해야 하는데, 이는 계산적으로 불가능합니다. 또한, 마지막 단계의 출력만을 사용하여 정책을 근사하는 것은 롤아웃(rollout)을 결정짓는 중간 상태들을 무시하게 되어, 그래디언트 불일치와 학습 불안정성을 초과래합니다.

방법론: dVLA-RL

이를 해결하기 위해 저자들은 dVLA-RL을 제안하며, 학습 목표를 다루기 힘든 한계 행동 확률에서 **샘플링된 디노이징 궤적의 결합 확률(joint probability)**로 전환합니다.

1. 궤적 수준의 확률 모델링

저자들은 디노이징 과정을 마르코프 결정 과정(MDP)으로 모델링합니다. 최종 행동 확률을 최적화하는 대신, 디노이징 과정의 전개(unroll)를 통해 특정 샘플링 생성 경로 $\tau = (x_K, \dots, x_0)$ 의 확률을 다음과 같은 단계별 전이의 곱으로 공식화합니다:
$\log \pi_\theta(\tau | s_t) = \sum_{k=1}^K \left[ \log P_{\text{unmask}}(U_k | p_\theta, k) + \sum_{i \in U_k} \log p_\theta(x_{k-1}^i | x_k, s_t) \right]$
여기서 $U_k$ 는 $k$ 단계에서 언마스킹(unmasking)을 위해 선택된 토큰의 부분 집합입니다.

2. 언마스킹 과정의 암묵적 최적화

중요한 과제는 토큰 언마스킹 스케줄(Gumbel-TopK 메커니즘에 의해 결정됨)이 이산적이고 미분 불가능하다는 점입니다. 언마스킹 선택 확률을 통해 직접 역전파하는 것은 높은 분산의 그래디언트를 유발합니다.

해결책: 저자들은 언마스킹 과정을 내재적인 비미분 시스템 역학으로 취급합니다. 그들은 그래디언트 업데이트에서 언마스킹 항을 제외하고, 특정 토큰 ID로 전환되는 토큰 생성 확률에만 집중합니다.
암묵적 효과: 핵심 토큰 예측 정확도를 최적화함으로써 네트워크의 신뢰도 분포가 개선되며, 이는 명시적인 스케줄러용 그래디언트 추정기를 요구하지 않고도 Gumbel-TopK 스케줄러가 불확실한 영역을 타겟팅하도록 암묵적이고 적응적으로 최적화합니다.

3. 하이브리드 디노이징 단계 전략

궤적 수준의 공식화가 가진 유연성을 활용하여, 저자들은 하이브리드 dVLA-RL 접근 방식을 도입합니다. 프레임워크가 자연스럽게 가변적인 디노이징 수평(horizon)을 수용할 수 있으므로, 작업의 복잡성과 초기 SFT 성능에 따라 서로 다른 디노이징 단계를 할당할 수 있습니다:

단순 작업: 더 적은 디노이징 단계는 롤아웃 및 추론 비용을 줄이면서 높은 성공률을 유지합니다.
복잡한 작업: 더 큰 디노이징 수평은 더 나은 초기 행동과 반복적인 정제를 위한 더 유익한 온라인 탐색을 제공합니다.

주요 기여

이산 확산 RL의 공식화: 본 논문은 다단계 이산 디노이징 정책과 표준 정책 경사 RL(PPO)을 결합할 수 있는 실행 가능한 방법을 제공함으로써, 최종 행동의 다루기 힘든 한계 가능성 대신 샘플링된 디노이징 궤적의 확률을 최적화하는 네이티브 이산 확산 VLA를 위한 강화 학습을 공식화했습니다.
통합 학습 전략: 저자들은 디노이징 단계를 작업 복잡도에 맞춤화하는 통합 단계 스케줄링 방식(Hybrid dVLA-RL)을 도입했습니다. 이는 단일 프레임워크 내에서 행동 품질, 샘플 효율성 및 계산 비용 사이의 균형을 맞춥니다.
실증적 검증: 이 프레임워크는 RL이 SFT 초기화 단계를 넘어 이산 확산 VLA 정책을 실질적으로 개선할 수 있음을 입증하며, 표준 벤치마크에서 최첨단(SOTA) 결과를 달성했습니다.

실험 결과

저자들은 두 가지 로봇 조작 벤치마크인 LIBERO(단일 암)와 RoboTwin 2.0(양손 조작)에서 dVLA-RL을 평가했습니다.

LIBERO: dVLA-RL은 네 가지 모든 제품군(Spatial, Object, Goal, Long)에서 평균 99.7%의 성공률을 기록하며, SFT 전용 베이스라인 및 기존 VLA/World-Action Model(WAM) 베이스라인을 능가했습니다.
RoboTwin 2.0: 이 방법은 SFT 전용 MM-ACT 베이스라인 대비 30.6%의 절대적 향상(평균 성공률 61.4%에서 92.0%로 상승)을 달お성했습니다. 이는 까다로운 양손 조작 벤치마크에서 VLA 기반 방법 중 최고의 성능을 보였으며, 강력한 WAM 베이스라인과 비교해도 경쟁력 있는 성능을 유지했습니다.
절제 연구(Ablation Studies):
- 궤적 vs. 마지막 단계: 비교 결과, 궤적 수준의 모델링이 필수적임을 보여주었습니다. "마지막 단계 전용" 프록시는 특히 디노이징 단계 수가 증가함에 따라 불안정한 학습과 낮은 성공률을 초래했습니다.
- 하이브리드 전략: 하이브리드 접근 방식은 고정 단계 전략에 비해 더 적은 환경 상호작용 단계로도 더 높은 성공률을 달성함으로써 샘플 효율성을 성공적으로 개선했습니다.

의의 및 주장

본 논문은 dVLA-RL이 다단계 이산 확산 과정과 표준 RL 목표 사이의 근본적인 불일치를 해결한다고 주장합니다. 최적화 대상을 디노이징 궤적의 결합 확률로 재설정함으로써, 저자들은 다단계 디스리트 디퓨전 정책에 온라인 RL을 성공적으로 적용할 수 있는 첫 사례를 제시했습니다.

결과는 이산 확산이 RL로 최적화된 VLA 정책을 위한 유망한 행동 생성 패러다임이며, 단일 암 및 복잡한 양손 조작 작업 모두에서 최첨단 성능에 도달할 수 있음을 시사합니다. 이 연구는 디퓨전 모델의 "한계 확률의 계산 불가능성"이 RL 목표를 실제 디노이징 실행 경로와 일치시킴으로써 우회될 수 있음을 강조하며, 이를 통해 행동 복제(behavior cloning)를 넘어선 정책 정제의 잠재력을 열어주었습니다.