Benchmarking Action Spaces in Reinforcement Learning for Vision-based Robotic Manipulation

기술 요약: 시각 기반 로봇 조작을 위한 강화 학습의 액션 공간 벤치마킹

문제 정의

강화 학습(RL)은 로봇 제어를 위한 강력한 프레임워크로 부상했으나, 실제 환경에 적용할 때는 안전성, 동작의 매끄러움(smoothness), 그리고 심투리얼(sim-to-real) 전이 성능 측면에서 상당한 난관에 봉착한다. RL 공식화에서 중요하지만 아직 충분히 탐구되지 않은 설계 선택지는 바로 **액션 공간(action space)**이다. 기존 연구들은 다양한 액션 공간 표현(예: 관절 위치, 토크, 속도)을 조사해 왔으나, 주로 시뮬레이션 전용 환경 내의 상태 기반 관측값에 의존해 왔다. 이는 특히 집기(picking)와 밀기(pushing) 같은 접촉이 빈번한 작업에서, 시각 기반 관측(부분 관측성 및 지각 노이즈를 유발함)이 사용될 때 액션 공간 설계가 학습 역학 및 전이 성능에 어떤 영향을 미치는지에 대한 이해의 공백을 남긴다.

방법론

저자들은 Franka Emika Panda 로봇 팔을 이용한 두 가지 시각 기반 조작 작업에 대해 네 가지 일반적인 액션 공간 표현을 비교하는 포괄적인 벤치마킹 연구를 수행하였다:

1. PandaPickCuboid: 로봇이 빨간색 큐브로 접근하여, 잡고, 목표 높이까지 들어 올려야 하는 파지(prehensile) 작업.
2. PandaPushCuboid: 로봇이 표면 위의 큐브를 밀어야 하는 비파지(non-prehensile) 작업.

평가된 액션 공간

연구에서는 다음의 표현 방식들을 비교하였다:

• 포즈 증분 ($\delta x$): 데카르트 좌표계의 위치 및 방향 증분.
• 포즈 속도 ($\dot{x}$): 데카르트 좌표계의 속도 명령.
• 관절 위치 증분 ($\delta q$): 관절 각도의 증분.
• 관절 속도 ($v$): 목표 관절 속도.

시스템 아키텍처

• 알고리즘: 정책(Policy)은 고차원 시각 입력과의 호환성 및 심투리얼 전이에서의 입증된 효과를 바탕으로 **PPO(Proximal Policy Optimization)**를 사용하여 학습되었다.
• 시뮬레이션: 학습은 MuJoCo에서 수행되었으며, 심투리얼 간극을 메우기 위해 도메인 무작위화(visual 및 dynamic 섭동)를 활용하였다.
• 실세계 배포: 정책은 Franka ROS 인터페이스를 통해 배포되었다. 시스템은 다음과 같은 특정 구동 인터페이스를 사용하였다:
  • 위치 기반 액션 ($\delta x, \delta q$)은 역기구학(IK)을 통해 관절 목표값으로 매핑되어 임피던스 제어기를 통해 실행되었다.
  • 속도 기반 액션 ($\dot{x}, v$)은 목표 관절 속도로 직접 매핑되었다.
• 관측값: 에이전트는 RGB 이미지(64x64), 고유 수용 감각 데이터(관절 위치/속도, 파지 상태), 말단 장치(end-effector) 높이, 그리고 이전 액션을 전달받았다.

주요 결과

1. 시뮬레이션 vs. 실세계 불일치

시뮬레이션에서 모든 액션 공간은 집기 작업에 대해 유사하게 높은 성공률(0.98–1.00)을 달了. 그러나 이 성능이 실세계로 선형적으로 전이되지는 않았다. 액션 공간의 선택은 심투리얼 전이의 강건성을 크게 변화시켰다.

2. PandaPickCuboid (집기) 성능

• 관절 속도 ($v$): 100% 성공률과 중간 완료 시간 3.58초를 달성하였다. 이는 **가장 낮은 측정된 저크(jerk)**를 보였으며 충돌을 일관되게 회피하였다.
• 관절 위치 증분 ($\delta q$): 역시 100% 성공률을 달성하였으며 가장 빠른 중간 시간(2.12초)을 기록하였다. 다만, 진동을 방지하기 위해 임피던스 게인을 세밀하게 튜닝하는 과정이 필요했다.
• 포즈 증분 ($\delta x$): 저조한 성능(41.67% 성공)을 보였다. 정책이 물체를 들어 올리기 전에 로봇 베이스 쪽으로 물체를 끌어당기는 현상이 발생했는데, 이는 시뮬레이션에서는 관찰되지 않았던 동작이다.
• 포즈 속도 ($\dot{x}$): 완전히 실패하였다(0% 성공). 종종 불안정한 구성으로 드리프트하거나 작업 공간을 벗어나는 모습이 관찰되었다.

3. PandaPushCuboid (밀기) 성능

• 관절 속도 ($v$): 가장 큰 중간 변위(0.405m)를 달성하였으나, 물체 모서리와 더 강한 충돌을 일으켰다.
• 관절 위치 증분 ($\delta q$): 두 번째로 높은 변위(0.104m)를 달성하였으나, 튜닝된 임피던스 제어기 덕분에 더 순응적인(compliant) 동작을 보이며 강한 충돌 이벤트가 적었다.
• 데카르트 액션 ($\delta x, \dot{x}$): 변위 측면에서 저조한 성능을 보였다.

4. 저크(Jerk) 및 안전성 분석

연구는 동작의 매끄러움 및 토크 변화의 대리 지표로서 저크(가속도의 변화율)를 분석하였다.

• 관절 속도는 시뮬레이션과 실세계 실험 모두에서 일관되게 가장 낮은 저크를 생성하였다.
• 설명: 저자들은 위치 기반 제어(높은 비례 이득 $K_p$ 사용)가 정책 출력의 고주파 변동을 증폭시켜 큰 토크 변화와 높은 저크를 유발한다고 설명한다. 반면, 속도 제어는 저역 통과 필터(low-pass filter) 역할을 한다. 즉, 속도 명령을 적분하여 위치를 생성하는 과정이 자연스럽게 고주파 노이즈를 매끄럽게 만들어 더 부드러운 궤적을 생성한다.
• IK 민감도: 데카르트 액션 공간은 역기구학(IK)에 의존한다. 시뮬레이션과 실제 사이의 링크 파라미터 불일치는 IK 매핑을 통해 오차를 전파하며, 이는 특히 특이점(singularity) 근처에서 실제 액추에이터가 추적하기 어려운 부정확한 관절 목표값을 생성한다.

주요 기여 및 의의

본 논문은 특히 시각 기반 작업에서 액션 공간 표현이 심투리얼 전이의 핵심 요소임을 입증함으로써 RL 실무자들에게 실질적인 가이드를 제공한다.

• 관절 속도의 우수성: 저자들은 관절 속도가 시각 기반의 집기와 밀기 작업에 있어 강건성, 매끄러움, 작업 성능의 최적의 균형을 제공한다고 결론지었다. 이는 위치 기반 방식에 필요한 복잡한 임피던스 튜닝 없이도 가장 높은 성공률과 가장 부드러운 동작을 달성하였다.
• 데카르트 공간의 한계: 본 연구는 데카르트 액션 공간(포즈 증분/속도)이 IK 매핑 오차 및 액추에이터 추적 능력과 관련하여 심투리얼 불일치에 매우 민감하다는 점을 강조한다.
• 안전 및 순응성: 관절 속도가 가장 부드러운 동작을 제공했지만, 저자들은 위치 기반 액션(튜닝된 임피던스 활용 시)이 접촉 중 더 순응적인 동작을 제공하여 충돌의 심각성을 줄일 수 있다는 점에 주목하였다.

이 연구는 시뮬레이션 성능이 필수적인 기초 지표이기는 하나, 실세계에서의 성공을 예측하기에는 불충분하다는 점을 분명히 한다. 액션 공간의 선택은 학습 역학의 형태를 근본적으로 결정하며, 배포된 정책의 물리적 안전성을 좌우한다.