RMTL: Reinforced Micro-task Learning for Long-Horizon Manipulation with VLM Rewards

기술 요약: RMTL – 긴 호흡의 조작을 위한 강화된 마이크로 태스크 학습 (Reinforced Micro-task Learning for Long-Horizon Manipulation with VLM Rewards)

문제 정의

장기적(long-horizon) 로봇 조작을 위한 강화 학습(RL)은 보상 설계(reward design)에서 근본적인 병목 현상에 직면해 있습니다. 수동으로 설계된 조밀한 보상(dense rewards)은 취약하며 종종 특권적인 시뮬레이터 상태(privileged simulator states)를 요구하는 반면, 인간의 시연으로부터 보상을 학습하는 것은 비용이 많이 들고 확장이 어렵습니다. 최근의 접근 방식들은 고정된 시각-언어 모델(VLM)을 제로샷 보상 모델로 활용하여, 최종 목표를 설명하는 단일 텍스트 프롬프트로 수동 설계를 대체하고 있습니다.

그러나 저자들은 이 "단일 프롬프트" 체계에서의 결정적인 실패 모드를 지적합니다. 무작위 초기 조건이 포함된 장기적 작업의 경우, 단일 글로벌 프롬프트는 전체 궤적(trajectory)의 대부분에 걸쳐 보상이 거의 평탄한(near-flat) 신호를 생성합니다. 로봇은 최종 상태에 도달하기 전 단계별 과정(예: 접근, 정렬, 잡기)을 거쳐야 하므로, 초기 중간 상태들은 최종 목표 프롬프트와 의미론적 유사성이 매우 낮습니다. 결과적으로 에이전트는 초기 탐색을 가이드할 그래디언트(gradient) 신호를 거의 받지 못하게 됩니다. 또한, 단일 뷰(single-view) VLM 스코어링은 폐쇄 노이즈(occlusion noise, 예: 그리퍼가 물체를 가리는 현상)에 취착하여 신호를 더욱 저하시킵니다.

방법론: RMTL

저자들은 작업을 언어로 설명된 일련의 마이크로 태스크(micro-tasks)로 분해하여 더 유익한 보상 지형을 설계하는 파이프라인인 **강화된 마이크로 태스크 학습(RMTL)**을 제안합니다. 이 방법은 Fetch 조작 환경과 고정된 VLM(PE-Core-bigG-14-448)을 사용하여 작동하며, 다음과 같은 핵심 구성 요소로 이루어져 있습니다.

1. 마이크로 태스크 분해 및 단계별 보상

RMTL은 단일 글로벌 프롬프트 대신, 작업을 $K$개의 짧고 단계별로 특화된 프롬프트(예: "접근", "정렬", "잡기")로 분해합니다.

• 능동적 프롬프트 선택 (Active Prompt Selection): 특정 시점에서 에이전트는 현재 활성화된 마이크로 태스크에 해당하는 프롬프트에 대해서만 평가됩니다.
• 보상 계산: 보상은 이미지 임베딩과 활성 마이크로 태스크의 텍스트 임베딩 사이의 코사인 유사도로 계산되며, 타겟 프롬프트와 베이스라인 "진전 없음(no-progress)" 프롬프트 사이의 차이로 정의된 의미론적 축을 따라 투영됩니다.
• 신호 변환: 이러한 분해는 단일 프롬프트의 평탄한 신호를 **구간별 단조 신호(piecewise-monotone signal)**로 변환하여, 에이전트가 각 특정 단계를 진행함에 따라 양의 그래디언트를 받을 수 있도록 합니다.

2. 다중 뷰 집계 (Multi-View Aggregation)

폐쇄(occlusion) 및 뷰 특이적 모호성을 완화하기 위해, 시스템은 $V=6$개의 고정된 카메라 뷰포인트를 렌더링합니다. VLM은 각 뷰를 활성 마이크로 태스크 프롬프트에 대해 독립적으로 점수화하며, 이 점수들은 산술 평균을 통해 하나의 스칼라 보상으로 **집계(aggregation)**됩니다. 이 방식은 픽셀 데이터를 사전에 융합하지 않고도 per-view 변동과 폐쇄 노이즈를 부드럽게 만들어 줍니다.

3. 역방향 커리큘럼 학습 (Reverse Curriculum Learning)

완전히 무작위화된 초기 조건에서 직접 학습하는 것은 VLM 보상이 물체로부터 멀리 떨어진 에이전트에게 정보력이 없기 때문에 불안정합니다. RMTL은 그리퍼의 초기 포즈 분포를 "쉬운" 영역(물체 근처)에서 전체 무작위 작업 공간으로 점진적으로 넓히는 역방향 커리큘럼을 채택합니다. 더 어려운 초기 조건으로의 진행은 온라인 성공 통계에 의해 제어되며, 이를 통해 에이전트가 현재 레벨을 안정적으로 해결한 후에만 더 어려운 과제에 직면하도록 보장합니다.

4. 계층적 정책 학습 (2단계)

시스템은 규칙 기반(rule-based)에서 완전 학습형 단계 선택(phase selection)으로 전환하기 위해 두 가지 별도의 단계로 훈련됩니다.

• 1단계 (규칙 기반): PPO 워커는 결정론적인 거리 기반 규칙을 사용하여 활성 마이크로 태스크를 선택하도록 훈련됩니다. 이는 안정적인 베이스라인을 제공하고 다음 단계를 위한 데이터를 생성합니다.
• 2단계 (학습된 매니저): 규칙 기반 선택기를 대체하기 위해 작은 이산 행동 계층적 매니저(작은 MLP)가 도입됩니다.
  • 웜스타트 (Warmstart): 매니저는 1단계 규칙의 레이블을 사용한 행동 복제(Behavior Cloning, BC)를 통해 초기화됩니다.
  • 정교화 (Refinement): 매니저는 세그먼트 리턴(segment returns)을 사용하여 REINFORCE로 추가 정교화되며, 이때 PPO 워커의 액터(actor)는 학습 타겟을 안정화하기 위해 초기에 동결됩니다.
  • 결과: 이를 통해 휴리스틱한 단계 선택을 완전히 학습된 계층적 정책으로 전환합니다.

주요 기여

본 논문은 네 가지 주요 기여를 주장합니다.

1. 마이크로 태스크 분해: VLM 보상을 세 개의 단계별 프롬프트로 나누는 것이 단일 프롬프트를 평탄한 신호를 올라갈 수 있는 구간별 단조 신호로 변환하여, 단일 프롬프트 베이스라인이 실패하는 곳에서 PPO가 수렴할 수 있음을 입증했습니다.
2. 학습된 계층적 매니저: 규칙 기반 선택기로 웜스타트된 작은 학습된 매니저가 규칙의 성능을 따라잡거나 능가할 수 있으며, 단계 선택을 효과적으로 자동화할 수 있음을 보여주었습니다.
3. 다중 뷰 집계: 여러 뷰에 걸쳐 VLM 점수를 평균 내는 것이 그래디언트 형상에 영향을 주지 않으면서도 폐쇄 노이즈를 줄이고 단일 뷰보다 더 매끄러운 훈련 신호를 생성함을 증명했습니다.
4. 역방향 커리큘럼: 언어 보상만으로는 가장 어려운 시나리오에서 탐색을 시작하기에 불충분하므로, 쉬운 초기 조건과 무작위 초기 조건 사이의 간극을 메우기 위해 역방향 커리큘럼이 필수적임을 확립했습니다.

실험 결과

실험은 무작위 초기 조건이 포함된 FetchPickAndPlace-v4 환경에서 수행되었습니다.

• 성능: 학습된 매니저를 포함한 전체 RMTL 스택은 무작위 초기화에서 약 98%의 성공률을 달성했습니다.
• 비교:
  • 단일 프롬프트 베이스라인: 단일 글로벌 프롬프트(단일 뷰 또는 다중 뷰 모두)를 사용하는 변형 모델은 수렴에 실패했습니다 (성공률 0%).
  • 규칙 vs. 학습된 매니저: 학습된 매니저는 거리 기반 규칙과 73%만 일치함에도 불구하고, 규칙보다 높은 성능을 보였습니다 (98% 대 94%). 이는 규칙이 유용한 귀납적 편향(inductive bias)이지만 최적은 아님을 시사합니다.
  • 비계층적 PPO: 계층적 분해 없이 표준 PPO 워커만 사용했을 때는 89%의 성공률을 기록했습니다.
• 보상 품질: 분석 결과, 다중 뷰 집계가 단일 뷰보다 더 매끄러운 보상 궤적을 생성했으며, 마이크로 태스크 분해가 단일 프롬프트 방식보다 훨씬 더 유익한 그래디언트를 제공함을 확인했습니다.

의의 및 주장

본 논문은 마이크로 태스크별 언어 프롬프트로 VLM 보상을 분해하는 것이 로봇 조작을 위한 언어 가이드 강화 학습의 확장성을 크게 향상시킨다고 주장합니다. "평탄한 보상"이라는 단일 프롬프트 방식의 실패 모드를 해결함으로써, RMTL은 특권적인 시뮬레이터 상태나 값비싼 인간의 시연 없이도 오직 시각적 관찰과 자연어만을 사용하여 복잡하고 장기적인 작업을 학습할 수 있게 합니다.

저자들은 이 접근 방식이 효과적이지만, 기반이 되는 VLM의 지각적 한계(예: 조명 및 질감에 대한 민감도)를 물려받으며 현재는 수동으로 작성된 프롬프트에 의존하고 있다고 언급합니다. 향후 연구는 LLM을 사용하여 고수준 작업을 마이크로 태스크로 분해함으로써 프롬프트 생성을 자동화하여, 파이프라인의 마지막 수동 요소를 제거하는 것을 목표로 합니다.