Learning to Throw Objects Safely in Multi-Obstacle Environments

기술 요약: 다중 장애물 환경에서의 안전한 물체 투척 학습

문제 정의
로봇 투척은 자동화 시스템의 유효 작업 공간을 확장하고 처리량을 높이는 메커니니즘을 제공한다. 이는 즉각적인 도달 범위를 넘어선 곳에 물체를 빠르게 배치할 수 있게 하기 때문이다. 그러나 TossingBot과 같은 기존 방식은 주로 장애물이 없는 환경을 가정한다. 창고나 분류 센터와 같은 실제의 비정형 환경에서는 벽, 빈(bin), 또는 다른 물품과 같은 장애물에 의해 직접적인 투척 궤적이 차단되는 경우가 빈번하다. 본 논문에서 다루는 핵심 과제는 로봇 투척을 안전 강화 학습(Safe Reinforcement Learning, RL) 문제로 정식화하는 것이다. 즉, 로봇은 무작위로 배치된 장애물과의 충돌을 엄격히 피하면서 목표 바스켓에 물체를 던지는 성공률을 극대화하는 방법을 학습해야 한다.

방법론
저자들은 이 과제를 연속적인 상태 및 행동 공간을 가진 마르코프 결정 과정(MDP)으로 정식화하였으며, 오프 폴리시(off-policy) RL 알고리즘(SAC, DDPG, TD3)을 채택하였다. 방법론은 세 가지 주요 기둥을 기반으로 구축되었다:

1. 키네스틱 티칭(Kinesthetic Teaching)을 통한 안전한 초기화:
   복잡한 장면에서 학습 초기 단계의 불안전한 무작위 탐색을 방지하기 위해, 키네스틱 티칭을 사용하여 투척 동작을 초기화한다. 인간 시연자가 로봇 팔을 물리적으로 유도하여 안전하고 물리적으로 실행 가능한 "투척 커널(throwing kernel)"을 정의한다. RL 정책은 이 시연을 직접 모방하는 것이 아니라, 다양한 물체와 장애물 구성에 적응하기 위해 커널의 파라미터(초기/최종 어깨 관절 값, 방출 시간, 투척 지속 시간)를 **조절(modulate)**하는 법을 학습한다.

2. 상태 표현(State Representations):
   본 논문은 환경 정보를 인코딩하는 두 가지 구별된 방법을 비교한다:

• 명시적 포즈 표현(Explicit Pose Representation, EPR): 장애물을 중심 위치와 상대적 거리를 상태 벡터에 추가하여 인코딩한다. 이는 빠른 수렴을 가능하게 하지만, 상태 차원이 장애물 수에 따라 선형적으로 증가하므로 각 특정 구성마다 별도의 정책이 필요하다.
• 포텐셜 필드 표현(Potential Field Representation, PFR): 이 새로운 접근 방식은 작업 공간을 덮는 고정 크기의 그리드($15 \times 15$)에 바스켓(인력)과 장애물(척력)을 인코딩한다. 각 셀은 연속적인 포텐셜 값을 저장한다. 이 표현은 CNN 인코더에 의해 처리되어 공간적 특징을 추출하며, 추출된 특징은 고유 수용 감각 데이터(proprioceptive data)와 결합된다. 결정적으로, PFR은 장애물의 수와 관계없이 고정된 차원의 입력을 제공하므로, 단일 정책이 임의의 장애물 수와 구성에 대해 일반화될 수 있게 한다.

3. 보상 함수:
   보상 구조는 충돌(장애물이 움직이면 보상을 0으로 설정)에 대해 페널티를 부여하고, 성공적인 착지에 대해서는 보상(보상 1)을 부여한다. 바스켓에 도달하지 못한 비충돌 투척의 경우, 복합 보상 함수가 사용된다. 이는 목표와의 거리에 기반한 항(근접성을 장려)과, 물체가 시작 지점보다 목표에서 더 멀어졌을 때만 활성화되는 페널티 항(무작위 방향 투척을 방지)으로 구성된다.

주요 기여

• 문제 정식화: 저자들은 장애물이 존재하는 상황에서의 로봇 투척을 안전한 RL 과제로 정식화하였으며, 학습 초기 단계의 안전성과 초기 탐색을 보장하기 위해 키네스틱 티칭을 활용하였다.
• 확장 가능한 상태 표현: 포텐셜 필드 표현(PFR)의 도입은 단일 정책이 명시적 포즈 인코딩의 확장성 한계를 극복하고, 임의의 수와 구성의 장애물에 대해 일반화될 수 있도록 한다.
• 실증적 검증: 시뮬레이션 및 실제 UR5e 로봇에서의 광범한 실험을 통해, PFR 기반 정책이 높은 성공률과 견고한 심투리얼(sim-to-real) 전이 성능을 달 수 있음을 입증하였다. 특히 보지 못한 투척 가능한 물체에 대해서도 효과적이었다.

결과

• 알고리즘 성능: 테스트된 알고리즘(SAC, TD3, DDPG) 중 **Soft Actor-Critic (SAC)**이 가장 일관된 성능을 보였다.
• PFR vs. EPR: 시뮬레이션에서 PFR은 복잡한 시나리오에서 EPR보다 일관되게 우수한 성능을 보였다. 예를 들어, 장애물이 3개인 상황에서 SAC-PFR은 "코카콜라 캔"에 대해 EPR의 76% 대비 90%의 정확도를 달s성했다. PFR은 장애물이 최대 3개까지 있을 때도 90% 이상의 성공률을 유지했으나, EPR의 성능은 혼잡도가 증가함에 따라 더 크게 저하되었다.
• 그리드 해상도: 그리드 해상도에 대한 절제 연구(ablation study) 결과, $15 \times 15$ 그리드가 학습 효율과 공간적 충실도 사이의 최적의 절충안을 제공하였으며, 일반화 및 계산 비용 측면에서 더 거친($10 \times 10$) 또는 더 미세한($30 \times 30$) 그리드보다 우수함을 보여주었다.
• 실제 로봇 전이: 시뮬레이션에서 훈련된 정책을 실제 로봇에 제로샷(zero-shot)으로 배포하였다. PFR 방식과 SAC를 사용했을 때, 시스템은 더 큰 타겟 바스켓이 있는 혼잡한 장면에서 90%의 성공률을, 표준 크기 바스켓에서는 보지 못한 물체(운동화)를 사용하여 70%의 성공률을 달성하였다. 이는 심투리얼 전이의 견고함을 확인시켜 주었다.

의의 및 주장
본 논문은 포텐셜 필드 표현이 비정형 환경에서의 안전한 로봇 투척을 위한 실용적이고 견고한 솔루션을 제공한다고 주장한다. 정확성, 확장성, 전이 가능성의 균형을 맞춤으로써, 제안된 프레임워크는 로봇이 새로운 장면마다 재학습할 필요 없이 임의의 장애물 구성에 일반화되는 투척 전략을 학습할 수 있게 한다. 저자들은 이 접근 방식이 로봇 투척을 물류, 제조 및 서비스 애플리케이션의 실제 현장 적용에 더 가깝게 만든다고 단언한다.

논문은 실제 실험에서의 실패가 주로 부정확한 물체 포즈 추정, 그리퍼 명령 실행 지연, 불안정한 파지(grasp) 포즈 선택에 기인했음을 언급하며 한계를 인정하였다. 그러나 전반적인 결과는 포텐셜 필드와 강화 학습을 결합하는 것이 혼잡한 환경에서의 안전하고 효율적인 물체 배치 과제를 효과적으로 해결할 수 있음을 보여준다.