기술 요약: DenseReward

문제 정의

강화 학습(RL)은 시행착오 방식의 상호작용을 통해 모방 학습의 성능 한계를 넘어설 수 있는 경로를 제공합니다. 그러나 로봇 조작 분야에서 RL의 실질적인 채택은 **조밀하고 정보가 풍부한 피드백(dense and informative feedback)**을 제공하는 신뢰할 수 있는 시각-언어 보상 모델의 부재로 인해 병목 현상을 겪고 있습니다. 현재의 접근 방식들은 두 가지 주요 과제에 직면해 있습니다:

1. 실패 모드에 대한 데이터 부족: 다양한 실패 데이터를 대규모로 확보하는 것은 어렵습니다. 인간의 원격 제어는 노동 집약적이며, 기존의 데이터 증강 방법(예: 성공적인 에피소드 절단 또는 하위 최적 롤아웃의 재라벨링)은 충돌, 그립 미스, 물체 놓침, 회복 동작과 같은 실제 환경의 복잡한 물리적 역학을 포착하지 못하는 "의사 실패(pseudo-failures)"를 생성합니다.
2. 희소한 보상 신호: 대부분의 기존 보상 모델은 희소하거나 이진(binary) 형태의 레이블, 또는 궤적 수준의 레이블(에피소드 종료 시점에만 성공/실패 판정)을 예측합니다. 이러한 타임스텝별 피드백의 부재는 심각한 신용 할당(credit assignment) 문제를 야기하며, 정책 최적화를 샘플 비효율적으로 만들고 장기 목표(long-horizon) 작업에 대한 확장을 어렵게 만듭니다.

방법론

저자들은 시각적 관찰과 언어 지시를 기반으로 세밀한 타임스텝별 보상 점수를 예측하도록 설계된 조밀한 시각-언어 보상 모델인 DenseReward를 소개합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 자동화된 데이터 생성 파이프라인

인간의 라벨링 없이 다양한 실패 데이터를 확보하기 위해, 저자들은 시뮬레이션에서 물리적으로 현실적인 궤적을 합성하는 자동화된 파이프라인을 개발했습니다.

• 단계 분해(Phase Decomposition): 조작 작업은 **도달(Reach), 잡기(Grasp), 들어올리기(Lift), 이동(Move), 놓기(Place)**의 다섯 가지 표준 단계로 분해됩니다.
• 표적화된 섭동(Targeted Perturbations): 서로 다른 실행 단계에서 특정 섭동을 적용함으로써, 시스템은 여섯 가지 뚜렷한 궤적 유형을 유도합니다:
  • 성공(Success): 섭동이 없는 실행.
  • 충돌(Collision): 충돌 회피 없이 계획된 움직임으로 인해 환경과 접촉 발생.
  • 미스(Miss): 그립 대상 포즈가 어긋나 그리퍼가 공중에서 닫힘.
  • 낙하(Fall): "이동" 단계 중 무작위 회전 섭동으로 인해 물체를 떨어뜨림.
  • 부드러움(Smooth): 가우시안 관절 노이즈를 주입하여 하위 최적의 떨리는 움직임을 생성.
  • 회복(Recover): 로봇이 충돌을 겪지만 성공적으로 재계획하여 작업을 완료함.
• 조밀한 라벨링(Dense Labeling): 이진 레이블 대신, 시스템은 작업 진행도를 반영하는 타임스텝별 보상 점수($r_t \in [0, 1]$)를 할당합니다. 보상 곡선은 진행에 따라 상승하고, 성공적인 마일스톤에서 정점에 도달하며, 실패 이벤트(예: 충돌 또는 낙하) 발생 시 감소하거나 급락하여 부분적 완료 및 회복 역학을 포착합니다.

2. 데이터셋 구축

이 파이프라인을 사용하여 저자들은 DROID(실제 환경), RoboSuite, Isaac Sim, LIBERO에서 가져온 다양한 장면과 물체를 아우르는 27,000개의 에피소드로 구성된 데이터셋을 큐레이션했습니다. 이 데이터셋에는 조밀한 프레임 수준 보상 레이블과 실패 모드 주석이 포함된 성공 및 실패 궤적이 모두 포함되어 있습니다.

3. DenseReward 모델 학습

모델은 Qwen3-VL-4B-Instruct를 기반으로 구축되었습니다. 이 모델은 언어 지시, 현재 시각적 관찰, 그리고 과거 프레임을 입력으로 받아 현재 타임스텝의 작업 진행도를 추정하는 스칼라 보상 점수를 출력하도록 미세 조정되었습니다. 모델은 미세한 진행 차이(예: 목표에 가까워지는 것 vs 낙하로부터 회복하는 것)를 학습하기 위해 소수점 셋째 자리까지 유지하는 조밀한 프레임 수준 감독(supervision)을 통해 학습됩니다.

주요 기여

1. 자동화된 실패 합성: 인간의 수동 주석 없이 물리적으로 현실적인 실패 궤적(충돌, 미스, 낙하, 회복)과 조밀한 보상 레이블을 생성하는 새로운 파이프라인을 통해 의사 실패 데이터의 한계를 극복했습니다.
2. DenseReward 데이터셋 및 모델: 실행 상태(성공 또는 특정 실패 모드)를 식별하고 세밀한 작업 진행도를 추정할 수 있는 27k 에피소드 데이터셋과 학습된 시각-언어 보상 모델을 공개했습니다.
3. 다운스트림 효능: DenseReward가 일반 목적의 VLM 및 기존 로봇 보상 모델보다 조밀한 보상 예측에서 우수하며, 다운스트림 모델 예측 제어(MPC) 및 강화 학습(RL)에 효과적인 가이드를 제공함을 입증했습니다.

실험 결과

보상 예측 정확도

DROID, Isaac Sim, RoboSuite, LIBERO에 걸친 정량적 평가에서 DenseReward는 평균 절대 오차(MAE) 0.081을 달이트며, 강력한 베이스라인인 Qwen3-VL-8B(0.293) 및 RoboReward-8B(0.230)를 크게 앞질렀습니다. 질적 분석 결과, DenseReward는 베이스라인의 노이즈가 많거나 이진적인 예측에 비해 실제 작업 진행과 더 밀접하게 일치하는 보상 곡선을 생성함을 보여주었습니다.

모델 예측 제어 (MPC)

후보 행동의 점수를 매겨 최적의 실행을 선택하는 MPC 설정에서, DenseReward 가이드 제어는 세 가지 조작 작업(캔, 컵, 레몬)에서 물체와 그리퍼 사이의 평균 최소 거리를 0.229로 줄였습니다. 이는 RoboReward 및 VLAC 베이스라인보다 뛰어난 성능으로, 우수한 행동 선택 능력을 나타냅니다.

강화 학습 (RL) 미세 조정

• 시뮬레이션 (LIBERO): $\pi_0$ 정책의 PPO 미세 조정을 위한 조밀한 중간 보상을 제공하는 데 사용되었을 때, DenseReward는 희소 보상 베이스라인에 비해 LIBERO-Spatial 및 LIBERO-10 제품군에서 성공률을 높였으며, LIBERO-Object에서는 동등한 성능을 보였습니다.
• 실제 환경 (DROID 플랫폼): Franka 암에서 고정된 $\pi_0$ 정책을 적응시키기 위한 DSRL을 사용할 때, DenseReward 가이드는 "컵 쌓기"에서 성공률을 **40%에서 80%**로, "바구니에 공 넣기"에서 **30%에서 70%**로 증가시켜 제한된 실제 롤아웃 예산 내에서의 효과를 입증했습니다.

절제 연구 (Ablation Studies)

• 실패 데이터: 훈련에서 실패 궤적을 제거하면 MAE가 0.0809에서 0.1312로 증가하여, 실패 데이터가 세밀한 보상 신호를 학습하는 데 필수적임을 확인했습니다.
• 역사적 맥락 (Historical Context): 두 개의 과거 프레임을 사용하는 것이 최적의 트레이드오프(MAE 0.081)를 제공했으며, 세 개의 프레임을 사용하는 것은 성능을 약간 저하시켰습니다. 이는 과도한 히스토리에 따른 수익 체감 현상을 시사합니다.

의의 및 주장

본 논문은 실패를 인지하는 조밀한 보상 모델링 프레임워크를 제공함으로써 로봇 조작을 위한 강화 학습 확장의 핵심적인 병목 현상을 해결한다고 주장합니다. 다양한 실패 모드를 자동으로 합성함으로써, 저자들은 단순한 성공뿐만 아니라 부분적 진행과 회복의 뉘앙스까지 이해하는 보상 모델을 학습할 수 있게 했습니다. 결과는 실패 인지형 조밀한 보상 모델링이 희소한 이진 보상이나 일반적인 VLM보다 시뮬레이션 및 실제 환경 모두에서 정책 최적화를 가이드하는 데 있어 유효한 경로임을 시사합니다. 저자들은 이 분야의 추가 연구를 지원하기 위해 데이터셋, 모델 및 평가 스위트를 공개합니다.