기술 요약: 할인된 생존성 형식을 통한 조작 정책의 오프라인 정책 평가

문제 정의

본 논문은 로봇 조작 정책에 대한 오프라인 정책 평가 (OPE) 의 과제를 다룹니다. 정책 평가는 로봇 시스템의 개발과 배포에 필수적이지만, 표준 강화 학습 (RL) 방법은 실제 세계의 조작 시나리오에서 세 가지 특정 특성으로 인해 상당한 장애물에 직면합니다:

1. 희소 보상 (Sparse Rewards): 보상은 일반적으로 밀집형이 아닌 이진형 (작업 완료 대 실패) 으로 제공되어 중간 진행 상황을 학습하기 어렵습니다.
2. 유한 시간 범위 단절 (Finite-Horizon Truncation): 평가 롤아웃은 종종 수동 시간 초과에 의해 종료됩니다. 오프라인 데이터에서는 실제로 실패한 정책과 단순히 시간이 부족했을 뿐 더 많은 시간이 주어졌다면 성공했을 수 있는 정책을 구별할 수 없습니다. 이는 단절 편향 (truncation bias) 을 유발하여 TD(0) 및 몬테카를로와 같은 표준 방법들이 정책 성능을 체계적으로 과소평가하게 만듭니다.
3. 비단조적 진행 (Non-Monotonic Progression): 조작 정책은 종종 회복 행동 (예: 물체를 떨어뜨렸다가 다시 집어 올림) 을 보입니다. 이로 인해 작업 진행이 비단조적이 되어, 목표에 대한 꾸준한 접근을 전제로 하는 누적 보상 형식의 가정을 위반합니다.

방법론

저자들은 오프라인 정책 평가를 할인된 생존성 (discounted liveness) 문제로 재형식화하는 프레임워크를 제안합니다. 기대 누적 보상을 추정하는 대신, 이 방법은 작업 완료까지의 "의미적 거리"를 나타내는 가치 함수를 학습합니다.

1. 할인된 생존성 형식

저자들은 보상 함수 $R$ 을 목표 집합 $L$ (목표 상태) 까지의 거리를 인코딩하는 목표 함수 $l(s)$ 로 대체하여 표준 마코프 결정 과정 (MDP) 을 수정합니다.

• 목표 함수: $s$ 가 목표 상태이면 $l(s) = -1$ 이고, 그렇지 않으면 $l(s) = 1$ 입니다.
• 가치 정의: 상태 $s$ 의 가치는 모든 가능한 미래 궤적에서 달성된 최소 목표 값의 기대값으로 정의됩니다:
  $$V_\pi(s) = \mathbb{E} \left[ \min_{k} l(\xi(k)) \right]$$
• 보수적 추정: 과도한 낙관주의를 피하기 위해 저자들은 보수적 (비관적) 고정점 벨만 연산자를 유도합니다. 수축 매핑을 유도하기 위해 할인 인자 $\gamma$ 를 도입하여 다음과 같은 업데이트 규칙을 도출합니다:
  $$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ l(s), \tilde{V}_\pi(s') \}$$
  이 형식은 궤적이 실패 (값 1) 를 만나면 값이 역방향으로 전파되지만, 목표 (값 -1) 를 만나면 그 목표까지의 단계를 반영하도록 보장합니다.

2. 2 단계 부트스트래핑 프레임워크

밀집된 보상의 부재와 단절 편향 문제를 해결하기 위해 저자들은 2 단계 알고리즘을 도입합니다:

• 1 단계 (앵커 계산): 알고리즘은 성공적으로 목표에 도달한 에피소드의 모든 상태인 "모호하지 않은" 상태를 식별합니다. 벨만 연산자를 사용하여 이러한 상태와 그 후손들에 대한 가치 추정을 계산합니다. 이러한 값들은 관찰된 성공에 기반한 "앵커" 역할을 합니다.
• 2 단계 (부트스트래핑): 1 단계의 가치 함수 $V_\pi$ 를 사용하여 목표 함수 $l(s)$ 를 정제합니다. 시간 초과 (실패) 에피소드의 상태에 대해, 해당 상태 (또는 잠재 공간의 유사 상태) 가 성공한 에피소드의 상태와 겹치는 경우, 해당 상태의 목표 값은 기본 비관적 값 (1) 에서 성공적인 궤적에서 유도된 낙관적 값으로 업데이트됩니다.
  • 업데이트 규칙은 다음과 같습니다: $\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ V_\pi(s), \tilde{V}_\pi(s') \}$.
  • 이 메커니즘은 성공 신호를 단절된 에피소드를 통해 역방향으로 전파하여, 시간 초과가 필연적인 실패를 의미한다는 가정을 덮어씁니다.

주요 기여

1. 생존성 기반 형식화: 가치를 누적 보상이 아닌 작업 진행 (생존성) 의 척도로 해석하는 희소 보상 조작 작업을 위한 OPE 의 새로운 재형식화.
2. 단절 편향 완화: 관찰된 성공을 활용하여 유한 시간 범위 오프라인 데이터에 내재된 비관적 편향을 수정하는 2 단계 부트스트랩 평가 알고리즘.
3. 이론적 보장: 제안된 할인 벨만 연산자가 수축 매핑을 유도하여 고유한 고정점 가치 함수의 존재를 보장한다는 증명.

실험 결과

이 방법은 비전 - 언어 - 행동 (VLA) 모델, 확산 정책, 그리고 인간 데모로 생성된 데이터셋을 사용한 세 가지 사례 연구에서 평가되었습니다:

1. LIBERO-Spatial (픽 앤 플레이): VLA 정책을 사용한 시뮬레이션 작업.
2. 스퀘어 페그 삽입: 확산 정책을 사용한 시뮬레이션 작업.
3. 천 접기: 인간 원격 조작 데이터를 사용한 프랑카 판다 암의 하드웨어 작업.

베이스라인: 이 방법은 TD(0), 몬테카를로 (MC), 분포형 MC (MC-D), 그리고 부트스트래핑이 없는 자체 방법의 절제 (Ours-NB) 와 비교되었습니다.

지표:

• 성공 지표: 성공한 에피소드에서 추정된 목표까지의 단계 수가 실제 에피소드 길이보다 작은 프레임의 백분율.
• 실패 지표: 실패한 에피소드에서 추정된 목표까지의 단계 수가 표준 작업 시간 범위를 초과하는 프레임의 백분율.
• 종합 지표: 위의 산술 평균.

결과:

• 성능: 제안된 방법은 세 가지 작업 전반에 걸쳐 성공 지표와 종합 지표에서 최고의 성능을 달성하여 기존 베이스라인을 크게 앞섰습니다.
• 단절 편향: 이 방법은 단절 편향을 현저히 줄여, 시간 초과 에피소드의 많은 상태가 실제로는 실패가 아니라 회복 가능한 성공에 가까웠음을 올바르게 식별했습니다.
• 실패 지표 트레이드오프: 이 방법은 일부 베이스라인에 비해 실패 지표에서 약간 더 낮은 성능을 보였습니다. 저자들은 이를 부트스트래핑 메커니즘이 성공적인 상태와 시각적으로 유사한 시간 초과 에피소드의 상태에 대해 "낙관적"이어서 일부 실제 실패를 회복 가능한 것으로 잘못 분류할 수 있기 때문이라고 설명합니다.
• 강건성: 이 방법은 더 작은 데이터셋 크기 (최소 50 에피소드) 에서도 효과적이었으며, 이미지 인코더 (SigLIP2, CLIP, DINOv2) 선택에 거의 영향을 받지 않았습니다.

중요성과 주장

본 논문은 정책 평가를 생존성 문제로 재구성하고 부트스트래핑 메커니즘을 활용함으로써, 조작 작업에서 비단조적 작업 진행을 정확하게 반영하는 가치 함수를 학습할 수 있다고 주장합니다. 주요 중요성은 실제 세계 로봇공학에서 시간 초과가 흔한 상황에서 신뢰할 수 있는 오프라인 평가를 위해 정책 실패와 에피소드 단절을 구별할 수 있는 능력에 있습니다.

저자들은 그들의 접근 방식이 회복 행동을 보이는 정책에 특히 효과적이라고 언급합니다. 그러나 다음과 같은 한계를 인정합니다:

• 성공한 에피소드와 실패한 에피소드 간의 상태 겹침이 잘못 학습될 경우 (예: 시각적 단서가 부족한 Square 작업과 같은 작업), 부트스트래핑 메커니즘은 과도한 낙관주의로 이어질 수 있습니다.
• 이 방법은 데이터셋 분포에 크게 의존하며, 그 범위를 벗어난 경우 잘 일반화되지 않을 수 있습니다.
• 부트스트래핑 메커니즘이 전파할 "앵커"가 적기 때문에, 회복 행동을 보이지 않는 정책의 경우 성능이 저하됩니다.

이 연구는 실패 감지 정확도에서 작은 트레이드오프를 도입하지만, 희소 보상과 유한 시간 범위 하에서 조작 정책을 평가할 때 성공적인 작업 진행을 포착하는 데 있어 현저한 개선을 이루므로, 조작 정책 평가에 더 우수한 도구라고 결론 내립니다.