기술 요약: 사족 보행 로봇의 어포던스 기반 계층적 강화 학습을 이용한 페디퓰레이션(Pedipulation)

문제 정의

사족 보행 로봇의 자율적인 물체 조작은 여전히 중요한 연구 과제로 남아 있다. 기존 연구들은 저수준 정책 학습(보행 및 기초 조작)을 위해 강화 학습(RL)을 성공적으로 활용해 왔으나, 개방형 환경에서의 작업 수행은 여전히 전문가가 설계한 고수준 궤적에 의존하는 경우가 많다. 특히, 로봇 베이스의 실행 가능한 포즈와 대상 물체의 적절한 상호작용 지점을 모두 자율적으로 선택하는 문제는 아직 충분히 탐구되지 않았다. 이러한 격차는 매우 중요한데, 불균일한 지형에서 물체를 조작할 경우 미모델링된 표면 기하학, 미지의 마찰력, 그리고 한쪽 다리가 물체와 상호작용하는 동안 나머지 다리로 균형을 유지해야 하는 복잡성이 발생하기 때문이다. 현재의 접근 방식들은 인간의 가이드 없이 도달 가능성(reachability), 국부적 지형 특성, 표면 특징을 고려한 어포던스 인지형 포즈를 자율적으로 식별하는 능력이 부족한 경우가 많다.

방법론

저자들은 시각 기반 어포서 분석과 분리된 제어 정책을 통합하는 3단계 계층적 강화 학습(RL) 프레임워크를 제안한다. 이 시스템은 사족 보행 로봇이 목표 물체로 자율적으로 이동하고, 실행 가능한 상호작용 지점을 식별하며, "페디퓰레이션(pedipulation, 다리를 이용한 조작)" 작업을 수행하도록 설계되었다.

1. 계층적 구조

프레임워크는 세 가지 뚜렷한 층으로 구성된다:

• 고수준 (포즈 어포던스 및 내비게이션): 시각 기반 모듈이 LiDAR 포인트 클라우드 데이터를 처리하여 지형과 물체를 분할한다. 이 모듈은 국부적 지형 경사도와 물체의 기하학적 구조를 계산하여 로봇을 위한 실행 가능한 목표 베이스 포즈(위치 및 헤딩)를 생성한다. 이 포즈는 로봇이 물체에 닿을 수 있는 범위 내에 있고 지형 경사에 대해 올바르게 방향을 잡도록 보장한다.
• 중수준 (내비게이션 정책): 이 정책은 목표 포즈와 로봇의 상태(속도, 방향)를 입력받아 속도 명령을 예측한다. 이는 폐루프 방식으로 저수준 컨트롤러를 안내하여 목표 베이스 위치에 도달하게 한다.
• 저수준 (보행 및 페디퓰레이션 정책):
  • 보행(Locomotion): 사전 학습된 정책이 내비게이션 층의 속도 명령을 실행하기 위해 관절 위치를 출력한다.
    death 페디퓰레이션(Pedipulation): 로봇이 목표 포즈에 도달하면 시스템은 페디퓰레이션 정책으로 전환된다. 이 정책은 "홈(home)" 위치, 시각적으로 식별된 물체의 접촉점, 그리고 중간 오프셋 지점 사이를 잇는 큐빅 스플라인(cubic spline) 보간을 통해 생성된 고수준 웨이포인트(waypoint)를 조건으로 한다. 이 정책은 나머지 세 다리로 균형을 유지하면서 엔드 이펙터(특히 전방 우측 다리)를 제어하여 물체를 밀도록 제어한다.

2. 어포던스 기반 계획

본 연구의 핵심 혁신은 포즈 어포던스 모듈에 있다. 정해진 궤적에 의존하는 대신, 시스템은 다음을 동적으로 계산한다:

• 목표 베이스 포즈: 물체의 중심, 원하는 푸싱(pushing) 헤딩, 그리고 국부적 지형 경사를 바탕으로 도출된다.
• 상호작용 지점: 엔드 이펙터와 가장 가까운 지점을 찾아 접촉 궤적 길이를 최대화하도록 물체의 표면 기하학을 분석하여 결정된다.
• 궤적 생성: 시작점과 끝점에서 속도가 0이 되는 제약 조건을 충족하고 안전을 위해 높이를 제한하는 큐빅 스플라인을 구축하여 매끄러운 전환을 보장한다.

3. 학습 및 구현

• 환경: 정책들은 Unitree Go2 사족 보행 플랫폼을 사용하여 Isaac Sim 생태계에서 학습되었다.
• 알고리즘: **근사 정책 최적화(PPO)**를 사용하는 액터-크리틱(Actor-critic) 구조를 사용하였다.
• 도메인 랜덤화(Domain Randomization): 강건성을 확보하기 위해 베이스 질량, 무게 중심, 외력, 지형 경사의 랜덤화를 학습에 포함했다.
• 실세계 배포: 시스템은 상태 추정을 위한 오차 상태 확장 칼만 필터(ESEKF)와 운영 모드를 관리하기 위한 유한 상태 머신(FSM)을 포함하는 ROS2 프레임워크를 사용하여 실세계에 배포되었다.

주요 기여

본 논문은 네 가지 주요 기여를 명시한다:

1. 시각적 어포던스 기반 포즈 명령 생성: 도달 가능성, 지형 경사, 물체 표면 특징을 명시적으로 고려하여 로봇 베이스와 엔드 이펙터의 목표 포즈를 생성하는 모듈.
2. 다층 계층적 RL 프레임워크: 상위 수준의 행동이 하위 수준의 정책을 블랙박스로 추상화하는, 완전 자율 내비게이션 및 페디퓰레이션을 가능하게 하는 시스템.
3. Sim-to-Real 전이: 비정형적인 실외 환경에서 시뮬레이션에서 실세계로 시스템을 성공적으로 이전함을 입증함.
4. 물체 상호작용 데이터셋: 향후 물체 탐색 연구를 용이하게 하기 위해 로봇 텔레메트리(엔드 이펙터 힘 피드백 포함), 물체 특징, 상호작용 포즈를 포함하는 데이터셋.

실험 결과

프레임워크는 다양한 경사면에 무작위로 배치된 물체를 대상으로 시뮬레이션과 실세계 환경 모두에서 평가되었다.

• 시뮬레이션:
  • 어포던스 효과성: 어포던스 기반 목표 포즈(지형 경사 포함)를 사용하는 것이 무작위 또는 고정된 목표 포즈를 사용하는 것보다 물체 변위 효율이 높음을 보여주었다.
  • 접촉점 선택: 엔드 이펙터와 가장 가까운 상호작용 지점을 선택하는 것이 로봇 베이스 또는 기하학적 중심을 기준으로 하는 전략보다 높은 효율(단위 힘당 변위)을 나타냈다.
• 실세계:
  • 내비게이션: 로봇은 약 9°까지의 경사에서 목표 포즈에 도달할 때 평균 위치 오차 0.12 m 및 평균 요(yaw) 오차 **16.37°**를 달 기록했다.
  • 페디퓰레이션: 시스템은 물체 상호작용(힘 임계값 25 N으로 정의)에 대해 86%의 성공률을 달성했다.
  • 성능: 성공적인 시도 전반에서 로봇은 평균 피크 접촉력 33 N과 함께 평균 물체 변위 0.17 m를 달성하였으며, 결과적으로 평균 효율 점수는 0.51 m N⁻¹였다.
  • 강건성: 시스템은 무선 컨트롤러를 통한 안전 체크에 의존하여, 인간의 개입 없이 내비게이션에서 조작으로의 동적 전환을 성공적으로 수행했다.

의의 및 주장

본 논문은 개방형 환경에서 물체 중심의 페디퓰레이션 계획을 가능하게 함으로써 자율 로봇 공학의 중요한 격차를 해결한다고 주장한다. 전문가의 가이드에 의존하거나 저수준 제어에만 집중하는 기존 방식과 달리, 이 프레임워크를 통해 사족 보행 로봇은 다음과 같은 능력을 갖춘다:

• 시각적 어포던스를 기반으로 실행 가능한 베이스 포즈와 상호작용 지점을 자율적으로 식별한다.
• 미리 설계된 궤적이나 인간의 시연 없이 복잡한 조작 작업(물체 밀기)을 수행한다.
• 다양한 지형 경사가 있는 비정형 환경에서 효과적으로 작동한다.

저자들은 이 능력이 지연 시간이나 위험성 때문에 실시간 원격 제어가 불가능한 행성 탐사, 샘플 수집, 구조 작업 등의 응용 분야에 매우 유용하다고 보고 있다. 본 연구는 별도의 매니퓰레이터 암 없이 기존의 다리 하드웨어를 사용하여 정교한 조작을 달성함으로써, 사족 보행 로봇의 내재된 기동성을 활용한다는 점을 강조한다. 저자들은 시스템이 효과적이긴 하지만, 연결된 구성 요소(비전, 상태 추정, 제어) 간의 오차 누적이 고정밀 작업에는 여전히 도전 과제로 남아 있음을 겸허히 언급하며, 향후 연구는 수집된 데이터를 활용하여 더 나은 물체 중심 표현을 학습하는 데 집중할 것이라고 밝혔다.