기술 요약: SARM2 – 자기 개선형 로봇 조작을 위한 다중 작업 단계 인지 보상 모델링

1. 문제 정의

시각-언어-행동(VLA) 모델은 엔드 투 엔드 정책 학습을 지배적인 패러다임으로 확립했습니다. 그러나 이러한 모델들은 도메인 내 데이터에 대한 광범한 미세 조정 없이는 긴 호흡의 작업(long-horizon tasks)을 수행하는 데 어려움을 겪는 경우가 많습니다. 지도 미세 조정(SFT)은 비용이 많이 들고 고품질인 인간의 시연 데이터에 의존하며, 분포 외(OOD) 실패에 취약합니다. 강화 학습(RL)은 자기 개선을 위한 경로를 제공하지만, 두 가지 결정적인 병목 현상에 직면해 있습니다:

1. 희소 보상(Sparse Rewards): 기존의 온라인 RL 방법들은 종종 희소한 종단 보상(terminal rewards)에 의 reliance하며, 이는 긴 호흡의 접촉 집약적(contact-rich) 작업에 필요한 조밀한 단계별 감독을 제공하지 못합니다.
2. 보상 모델의 한계: 현재의 보상 모델링 접근 방식은 두 가지 차선의 범주로 나뉩니다:
   • 작업 특화 모델(Task-Specific Models): 정확하지만 매 새로운 작업마다 주석(annotation)과 재학습이 필요하여(예: SARM), 확장성이 제한됩니다.
   • 범용 VLM 모델(General-Purpose VLM Models): 광범위하게 적용 가능하지만, 단계 수준에서 거칠고 노이즈가 많은 예측을 생성하여 정밀한 조작 진행 상황을 위한 조밀한 감독 신호로 사용하기에는 부적합합니다.

본 논문은 VLA-RL의 스케일링을 위해서는 조밀하고(dense), 정확하며(accurate), 일반적인(general) 보상 모델이 필요하다고 주장합니다.

2. 방법론

저자들은 SARM2(Multi-Task Stage Aware Reward Modeling)와 SPIRAL(Self-Policy Improvement via Reward-Aligned Learning)을 제안합니다.

3.1 SARM2: 다중 작업 단계 인지 보상 모델

SARM2는 작업 불가지론적(task-agnostic) 단계 추정기와 특화된 가치 헤드(value head)를 결합하여 일반화와 정확도 사이의 트레이드오프를 해결합니다.

• 행동 프리미티브 단계 추정기 (Action-Primitive Stage Estimator):

  • 작업 특화적인 단계 주석 대신, 모델은 중간 표현으로서 행동 프리미티브(예: "집기(Pick)", "놓기(Place)", "회전(Rotate)", "지우기(Erase)")라는 공유된 어휘를 사용합니다.
  • 10,000시간 이상의 조작 데이터를 분석한 결과, 저자들은 작업 시간의 90% 이상을 커버하는 K=21개의 행동 프리미티브와 불확실성을 위한 "null" 클래스를 식별했습니다.
  • 이 추정기는 멀티 뷰 이미지(손목-좌, 손목-우, 탑다운)와 고유 수용 감각(proprioceptive) 상태를 입력으로 받는 4계층 인과적 트랜스포머(causal Transformer)입니다. 이는 현재 세그먼트를 K+1=22개의 프리미티브 클래스 중 하나로 분류합니다.
  • 이 추정기는 100개의 작업을 아우르는 66시간의 세그먼트로 구성된 균형 잡힌 데이터셋으로 학습되어 도메인 전반에 걸쳐 일반화될 수 있습니다.

• Multi-Gate Mixture-of-Experts (MMoE) 가치 헤드:

  • 조밀한 가치 추정치(구체적으로, 완료까지 남은 단계의 정규화된 값)를 생성하기 위해, SARM2는 MMoE 디코더를 채택합니다.
  • 구조: 가치 모델은 별도의 6계층 인과적 트랜스포머 백본을 사용합니다. 이는 단계 추정기와 동일한 시각/고유 수용 입력을 받으며, 여기에 작업 임베딩과 단계 추정기에서 예측된 프리미티브 임베딩이 추가됩니다.
  • 라우팅 메커니즘: 예측된 프리미티브는 MMoE의 특정 게이트를 선택합니다. 각 게이트는 토큰을 공유된 전문가 풀(3계층 MLP)로 라우팅합니다. 이 설계는 모델이 특정 프리미티브 그룹의 시각적 역학 및 진행 징후에 특화되면서도 작업 간에 용량을 공유할 수 있게 합니다.
  • 목적 함수: 모델은 남은 진행도를 나타내는 조밀한 보상 $r_t \in [-1, 0]$를 예측합니다. 손실 함수는 목표 거리(goal distance)에 대한 평균 제곱 오차(MSE)와 게이트 균형 및 엔트로피를 위한 보조 손 loss를 결합하여 라우터 붕괴를 방지합니다.

3.2 SPIRAL: 자기 정책 개선 프레임워크

SPIRAL은 SARM2의 조밀한 보상을 사용하여 "로봇 데이터 플라이휠"을 만들기 위해 설계된 온-폴리시(on-policy), 보상 가이드 프레임워크입니다.

• 잔차 RL 기질 (Residual RL Substrate): SPIRAL은 DICE-RL 프레임워크를 기반으로 구축되었으며, 베이스 VLA 정책의 출력을 수정하는 잔차 학습(residual learning) 접근 방식을 사용합니다.
• 하이브드 목적 함수 (Hybrid Objective):
  • 조밀 성분: SARM2가 제공하는 조밀한 단계별 보상을 사용하여 TD3를 사용합니다.
  • 희소 성분: 궁극적인 작업 목표와의 정렬을 보장하기 위해 이를 희소한 에피소드 수준 보상에 의해 구동되는 몬테카를로(MC) 목적 함수와 결합합니다.
• 자율 루프: 프레임워크는 다음과 같이 폐쇄 루프로 작동합니다:
  1. 초기화: 행동 복제(BC)를 통해 베이스 VLA 정책을 미세 조정합니다.
  2. 일회성 적응: 소수의 인간 주석이 달린 롤아웃(rollout)을 통해 보상 모델을 정책의 롤아웃 분포에 적응시킵니다.
  3. 자기 개선: 시스템은 자율적으로 롤아웃을 수집하고, 이를 적응된 SARM2로 레이블링한 뒤, 잔차 RL을 통해 정책을 업데이트합니다. 이 사이클은 추가적인 인간의 개입 없이 반복됩니다.

3. 주요 기여

1. SARM2: 일반화 가능한 행동 프리미티브 단계 추정기와 다중 게이트 MMoE 가치 헤드를 결이 결합한 다중 작업 단계 인지 보상 모델입니다. 이 구조는 단일 모델 내에서 다양한 긴 호흡의 작업에 대해 정확하고 조밀한 보상을 생성하여 매번 재학습할 필요를 없앱니다.
2. SPIRAL: 저렴한 자율 롤아웃으로부터 지속적인 정책 정제를 가능하게 하여 자율적인 로봇 데이터 플라이휠을 완성하는, 보상 정렬된 온-폴리시 잔차 RL 프레임워크입니다.
3. 실증적 검증: 고품질의 조밀한 보상이 안정적인 자기 개선을 위한 핵심 요소임을 보여주며, 실제 환경 작업에서 희소 보상 및 VLM 기반 베이스라인보다 상당한 성능 향상을 입증했습니다.

4. 실험 결과

저자들은 10개 작업 벤치마크와 두 가지 특정 실제 긴 호흡 작업인 반바지 접기(Folding Shorts) 및 **화이트보드 닦기(Cleaning Whiteboard)**에서 SARM2와 SPIRAL을 평가했습니다.

보상 모델 성능

• 정확도: SARM2는 가장 강력한 베이스라인들(ReWiND, TOPReward, Robometer)에 비해 홀드아웃(held-out) 시연 데이터에서의 평균 제곱 오차(MSE)를 80% 감소시켰습니다.
• 일반화: "화이트보드 닦기"(T2) 작업에서 SARM2는 롤아웃 분류 상관관계($\rho$) 0.667을 달성하였으며, 이는 과도한 낙관주의로 인해 종종 음의 상관관계를 보이는 범용 VLM 기반 모델들을 크게 상회하는 수치입니다.
• 어블레이션 연구 (Ablations): 단계 추정기를 제거하면 데모 손실이 약 70% 증가했고, 다중 게이트 설계를 제거하면 손실이 약 30% 증가했습니다. 이는 단계 인지와 MMoE 라우팅이 모두 시너지 효과를 낸다는 것을 확인시켜 줍니다.
• 라우터 건강도: MMoE 라우팅은 균형 잡힌 상태를 유지(밀도 점수 ~0.10)한 반면, 단일 게이트 변형은 라우터 붕괴(밀도 > 0.80)를 겪었습니다.

정책 학습 성능 (SPIRAL)

• 반바지 접기:
  • Flat: 성공률이 SPIRAL(SARM2 사용) 3라운드 후 58%(초기 BC/RL-Dense)에서 **100%**로 향상되었습니다.
  • Crumpled (더 어려운 조건): 성공률이 **33%에서 67%**로 향상되었습니다. 특히, 희소 보상 베이스라인은 이 작업에서 성능이 저하(17%로 하락)되어 조밀한 보상의 필요성을 강조했습니다.
• 화이트보드 닦기:
  • 성공률이 **50%에서 90%**로 향상되었습니다.
  • 평균 진행도 점수가 0.813에서 0.975로 증가했습니다.
• 비교: SPIRAL(SARM2 포함)은 LoRA로 미세 조정된 VLM 보상 모델(Robometer-FT)과 희소 보상 RL을 포함한 모든 베이스라인을 일관되게 능가했습니다. 결과는 밀도(density)가 필수적일 뿐만 아니라, 보상의 품질과 단계 인지 능력이 효과적인 자기 개선의 병목 구간임을 나타냅니다.

5. 의의 및 주장

본 논문은 SARM2와 SPIRAL이 고품질의 조밀한 보상이 자기 지속적인 로봇 데이터 플라이휠을 위한 "핵심적인 하중 지지 요소(load-bearing factor)"임을 입증한다고 주장합니다. 이 연구는 범용 VLM이 미세한 로봇 제어에 충분하다는 통념에 도전하며, 정밀한 진행 상황 추정을 위해서는 구조화된 프리미티브 기반 접근 방식이 필요함을 보여줍니다.

저자들은 이 방법이 초기 적응 단계 이후 최소한의 인간 개입만으로 긴 호흡의 작업에 대해 지속적인 정책 정제를 가능하게 한다고 강조합니다. 단계 추정(일반화된 프리미티브)과 가치 추정(특화된 전문가)을 분리함으로써, 하나의 모델로 확장 가능하면서도 온-폴리시 RL을 가이드할 수 있을 만큼 정밀한 모델을 달로 성취했습니다.

저자들이 인정한 한계점:

• 체화 범위 (Embodiment Scope): 행동 프리미티브 어휘는 양손 테이블탑 데이터에서 유도되었습니다. 이동형 조작(mobile manipulation)으로 확장하려면 프리미티브 세트를 다시 구축해야 합니다.
• 잔차 RL의 천장 (Residual RL Ceiling): 이 프레임워크는 VLA 가중치를 업데이트하는 대신 잔차 학습을 통해 정책을 정제하므로, 의도(intention)나 고수준의 작업 분해 단계에서의 오류를 수정할 수는 없습니다.
• 샘플 효율성: 자율적이지만, 온-폴리시 롤아웃 수집 과정에서도 에피소드 사이의 정기적인 리셋을 위해 인간 운영자의 도움이 여전히 필요합니다.