🤖 AI

ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation

이 논문은 대규모 비지도 비디오 - 텍스트 데이터로 학습된 강건한 진행도 추정기와 미분 가능한 진행도 안내 메커니즘을 도입하여, 기존 비전 - 언어 - 행동 (VLA) 모델의 한계를 극복하고 장기 작업의 성공률과 일반화 성능을 획기적으로 향상시킨 'ProgressVLA' 모델을 제안합니다.

원저자: Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 로봇이 복잡한 일을 할 때 **"지금 내가 얼마나 진척되었는지"**를 스스로 알고, 그 정보를 바탕으로 더 똑똑하게 움직이게 만드는 새로운 방법인 **'ProgressVLA(프로그레스-VLA)'**를 소개합니다.

기존의 로봇들은 "상자 열기" 같은 복잡한 명령을 받으면, 단순히 "손을 움직여라"라는 명령만 반복하다가, "어? 다 했나?"라고 판단할 때 어색하게 멈추거나, 이미 다 한 일을 계속 반복하는 실수를 하곤 했습니다. 마치 길을 가다가 "도착했나?"라고 물어보는 사람이 없으면, 목적지에 도착한 후에도 계속 걷고 있는 것과 비슷합니다.

이 문제를 해결하기 위해 연구팀은 세 가지 핵심 아이디어를 섞어서 로봇에게 '진행 상황 감지 능력'을 심어주었습니다.

1. "진행 상황 예언자" (Progress Estimator)

우선 로봇에게 **"지금 내가 목표에 얼마나 가까워졌는지"**를 0 에서 1 사이 숫자로 알려주는 **'진행 상황 예언자'**를 만들었습니다.

비유: 이 예언자는 마치 등산로에 있는 표지판과 같습니다. "정상까지 10km 남음", "5km 남음"처럼 현재 위치를 알려주죠.
특징: 이 예언자는 단순히 로봇이 찍은 사진을 보는 게 아니라, "상자를 여는 중이야"라는 **말 (명령)**과 **현재 상황 (사진)**을 함께 보고 판단합니다. 그래서 "빨간 공을 집어라"라고 하면 빨간 공이 잡혔을 때 점수가 올라가고, "파란 공"을 잡으면 점수가 오르지 않는 식으로 정확하게 반응합니다.

2. "미래를 보는 상상력" (World Model & Inverse Dynamics)

로봇이 "이제 손을 움직여야지"라고 생각할 때, 단순히 현재만 보는 게 아니라 **"이렇게 움직이면 1 초 뒤엔 어떨까?"**를 미리 상상합니다.

비유: 체스 선수가 다음 수를 두기 전에 "이 수를 두면 상대방이 어떻게 반응할지"를 머릿속으로 시뮬레이션하는 것과 같습니다.
작동 원리: 로봇이 "손을 들어 올릴까?"라고 고민할 때, 머릿속으로 "손을 들어 올리면 상자가 열릴까?"라는 미래를 예측합니다. 그리고 그 미래의 상태를 '진행 상황 예언자'에게 보여줍니다. "아, 상자가 열리면 진행도가 0.8 이 되겠구나!"라고 판단하는 거죠.

3. "나침반을 든 길잡이" (Progress-Guided Diffusion)

이제 로봇이 움직이는 방향을 결정할 때, 이 '미래 예측'과 '진행 상황 점수'를 나침반처럼 사용합니다.

비유: 안개 낀 밤에 길을 찾을 때, 그냥 무작정 걷는 게 아니라 **"진행도가 높아지는 방향"**으로 발걸음을 옮기게 하는 것입니다.
효과: 로봇이 실수해서 엉뚱한 곳으로 가려 하면, "아, 저쪽은 진행도가 떨어지네?"라고 나침반이 경고하고, 로봇은 다시 올바른 방향 (진행도가 오르는 방향) 으로 꺾어집니다. 이렇게 하면 불필요한 동작을 줄이고, 목표에 더 빠르게 도달할 수 있습니다.

이 방법이 왜 대단한가요? (실제 실험 결과)

연구팀은 이 방법을 **시뮬레이션 (컴퓨터 게임)**과 실제 로봇 (ARX 로봇 팔) 모두에서 테스트했습니다.

더 빠르고 정확하게: 기존 로봇들은 같은 일을 하더라도 불필요하게 많이 움직였지만, 이 방법을 쓴 로봇은 동작 수를 절반 이상 줄이면서도 성공률을 높였습니다. (예: 187 단계에서 53 단계로 감소)
새로운 상황에도 강함: 조명 바뀌거나, 처음 보는 물건을 줍는 상황에서도 '진행 상황 예언자'가 잘 작동하여 로봇이 당황하지 않고 일을 계속했습니다.
스스로 멈추는 법을 배움: "일이 다 끝났어"라는 신호를 명확하게 받아서, 더 이상 쓸데없이 움직이지 않고 자연스럽게 멈춥니다.

요약하자면

이 논문은 로봇에게 **"지금 어디에 있고, 어디로 가야 하는지"**를 스스로 판단하게 하는 스마트한 나침반을 달아주었습니다. 덕분에 로봇은 이제 복잡한 일을 할 때, 막연하게 움직이는 대신 목표를 향해 효율적이고 똑똑하게 움직일 수 있게 되었습니다. 마치 길을 모르는 관광객이 아니라, 지도와 나침반을 든 현지 가이드처럼 말이죠!

1. 문제 정의 (Problem)

기존의 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델들은 로봇 조작 작업, 특히 긴 시간 범위 (long-horizon) 의 작업을 수행할 때 다음과 같은 한계를 가지고 있습니다.

진행 상황 인식의 부재: 대부분의 모델은 작업의 진행 정도 (progress) 를 명시적으로 파악하지 못합니다. 대신 작업 종료 시점을 판단하기 위해 수동으로 설계된 휴리스틱 (heuristic) 에 의존합니다.
비효율적인 생성: 생성형 계획 (diffusion policy 등) 은 국소적으로 타당한 동작을 생성할 수 있지만, 명시적인 진행 신호가 없어 목표 달성에 무관한 경로를 생성하거나 불필요한 계산을 소모할 수 있습니다.
취약한 종료 조건: 목표 달성 여부가 명확하지 않아 과잉 실행 (overshooting) 이나 조기 종료의 문제가 발생합니다.
데이터 노이즈: 로봇 비디오의 카메라 흔들림, 배경 변화, 방해 물체 등 시각적 노이즈가 진행 신호 학습을 방해하여 실제 목표 달성도와 불일치하는 신호를 생성합니다.

2. 제안 방법 (Methodology: ProgressVLA)

저자들은 ProgressVLA라는 새로운 프레임워크를 제안하며, 이는 학습된 진행 추정기를 확산 (diffusion) 정책의 생성 과정에 통합하여 목표 지향적인 행동을 유도합니다.

핵심 구성 요소

진행 추정기 (Progress Estimator):
- 현재 시각 관찰 ( $o_t$ ), 초기 관찰 ( $o_0$ ), 그리고 언어 지시 ( $l$ ) 를 입력받아 작업 완료도 ( $p \in [0, 1]$ ) 를 예측하는 비전 - 언어 평가기입니다.
- 학습 전략: 대규모 비지도 로봇 비디오 - 텍스트 데이터셋 (Open X-Embodiment, OXE) 에서 사전 학습 (Pretraining) 후, 특정 작업 (LIBERO, CALVIN) 에 맞춰 미세 조정 (Finetuning) 합니다.
- 특징: 객체 중심의 시각 특징 공간에 기반하여 학습되므로, 카메라 흔들림 등 불필요한 시각적 변화에 강건합니다.
역동역학 기반 세계 모델 (Inverse Dynamics World Model):
- 역동역학 (Inverse Dynamics): 현재 상태 ( $o_t$ ) 와 미래 상태 ( $o_{t+N}$ ) 사이의 차이를 압축된 잠재 행동 (latent action, $a_z$ ) 으로 매핑합니다.
- 순방향 동역학 (Forward Dynamics): 현재 상태와 잠재 행동을 입력받아 미래의 시각 상태 ( $\hat{o}_{t+N}$ ) 를 예측합니다.
- 이 모델은 잠재 공간에서 행동을 시뮬레이션하여 미래 상태를 "상상" (imagination) 할 수 있게 합니다.
진행 유도 확산 정책 (Progress-Guided Diffusion Policy):
- 클래식ifier Guidance (CG): 확산 모델이 잠재 행동 ( $x_\tau$ ) 을 생성하는 각 단계에서, 세계 모델을 통해 예측된 미래 상태를 진행 추정기에 입력하여 진행 점수 ( $\hat{p}$ ) 를 얻습니다.
- 미분 가능한 유도: 이 진행 점수의 기울기 ( $\nabla \hat{p}$ ) 를 역전파하여 잠재 행동의 샘플링 방향을 목표 달성도가 높은 쪽으로 조정합니다.
- 2 단계 생성:
  1. 잠재 행동 전문가 (Latent Action Expert): 고수준의 작업 전략을 잠재 공간에서 생성.
  2. 행동 디코더 (Action Decoder): 잠재 행동을 로봇 실행 가능한 저수준 동작 시퀀스로 변환.
강화 학습 (RL) 미세 조정:
- 온라인 경험 (실제 로봇 실행 데이터) 을 활용하여 진행 추정기의 정확도를 높이고 (단조성 손실 적용), KL 제약 하에 정책이 더 높은 진행 점수를 갖는 행동을 선택하도록 최적화합니다.

3. 주요 기여 (Key Contributions)

강건한 진행 추정 (Robust Progress Estimation): 대규모 OXE 데이터셋에서 사전 학습된 진행 추정기는 시뮬레이션과 실제 세계 (Zero-shot) 에서 높은 정확도 (잔차 0.07~0.1) 를 보이며, 조명 변화나 새로운 물체와 같은 도메인 변화에 강건합니다.
미분 가능한 진행 유도 (Differentiable Progress Guidance): 진행 추정기를 세계 모델과 결합하여, 확산 샘플링 과정에서 진행 기울기를 직접 활용하는 새로운 유도 메커니즘을 제안했습니다. 이는 행동을 생성하는 동시에 평가하는 "계획 - 평가" 통합 프로세스를 가능하게 합니다.
광범위한 실험적 검증: CALVIN, LIBERO 벤치마크 및 실제 로봇 (ARX Dual-arm) 배포를 통해 기존 SOTA 모델 대비 성공률과 일반화 성능이 크게 향상되었음을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션 벤치마크 (CALVIN & LIBERO)

CALVIN (ABC→D):
- 성공률: 기존 Diffusion Policy 대비 95.2% (연속 1 개 성공) 로 향상되었으며, 5 단계 연속 성공률은 52.0% (Base) 에서 52.0% (Full, RL 포함 시 더 높은 평균 성공 길이 달성) 수준을 보입니다.
- 효율성: 진행 유도 (Classifier Guidance) 를 적용하면 작업 완료에 필요한 평균 단계 수 (Avg. steps) 가 90.4에서 77.3으로 감소하여 더 빠른 수행을 가능하게 합니다.
- 전사 학습 효과: 사전 학습된 평가기를 사용한 경우, scratch 로 학습한 경우보다 성능이 크게 향상되어 (5-in-a-row 52.8% → 56.4%) 사전 학습의 중요성을 입증했습니다.
LIBERO:
- LIBERO-LONG (긴 시간 범위): OpenVLA 대비 66.2% (ProgressVLA Full) 대 53.7% 로, 긴 시간 범위 작업에서 특히 큰 성능 향상을 보였습니다.
- 평균 성공률: 모든 하위 데이터셋에서 진행 유도 (w/ CG) 와 RL 미세 조정 (Full) 을 적용했을 때 가장 높은 평균 성공률 (84.5%) 을 기록했습니다.

실제 로봇 실험 (Real-World)

환경: ARX AC-One 듀얼 암 로봇, 5 가지 다양한 조작 작업 (토이→서랍, 복숭아 집기, 서랍 열기 등).
성능:
- 성공률: Octo (23%) → ProgressVLA (w/o CG, 66%) → ProgressVLA (w/ CG, 76%) 로 크게 향상.
- 효율성: 평균 이동 거리 (Dist) 와 실행 단계 (Steps) 가 크게 감소 (Steps: 187.9 → 53.3).
- 시각화: 진행 유도 없이 실행 시 불필요한 흔들림 (dithering) 과 실패가 발생했으나, 유도 적용 시 목표 지향적이고 안정적인 동작을 보였습니다.

진행 추정기 일반화

조명 변화 (Lighting Shift) 와 새로운 물체 (Novel Objects) 환경에서 Pretrained + Finetuned 모델은 From Scratch 모델 대비 Pearson 상관관계 (0.81 → 0.97) 와 종료 신뢰도 (Stop Reliability, 3.6% → 80.8%) 에서 압도적인 우위를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조작 분야에서 명시적인 '진행 (Progress)' 개념을 도입하여 생성형 정책의 한계를 극복한 선구적인 연구입니다.

목표 지향성 강화: 단순히 다음 동작을 예측하는 것을 넘어, "이 행동이 목표에 얼마나 가까워지는가?"를 실시간으로 평가하고 이를 생성 과정에 피드백함으로써, 불필요한 탐색을 줄이고 효율적인 경로를 생성합니다.
실제 적용 가능성: 대규모 데이터 사전 학습과 실제 로봇 데이터의 미세 조정을 결합하여, 실제 환경에서의 조명 변화나 물체 변경과 같은 도메인 격차 (Domain Gap) 를 효과적으로 해결했습니다.
종료 조건의 과학적 접근: 수동 휴리스틱에 의존하던 작업 종료 조건을, 학습된 진행 점수의 임계값을 기반으로 하는 과학적이고 신뢰할 수 있는 기준으로 대체했습니다.

결론적으로, ProgressVLA는 긴 시간 범위의 복잡한 로봇 작업을 수행할 때 필요한 **계획 (Planning), 평가 (Evaluation), 실행 (Execution)**의 통합된 프레임워크를 제공하며, 향후 Vision-Language-Action 모델의 발전 방향을 제시합니다.