Learning to Act Through Contact: A Unified View of Multi-Task Robot Learning

기술 요약: 접촉을 통한 행동 학습

문제 제기
로봇 공학의 현재 강화 학습 (RL) 접근법은 종종 작업별 목표에 의존하여, 재학습 없이 보지 못한 시나리오에 일반화하는 데 어려움을 겪는 정책을 초래합니다. RL 은 민첩한 4 족 보행이나 정교한 조작과 같은 특정 영역에서 성공을 거두었지만, 지배적인 방법들은 접촉을 운동 최적화의 부수적 산물로 취급할 뿐 근본적인 제어 원시 (primitive) 로 간주하지는 않습니다. 이러한 추상화는 걷기에서 물체 조작에 이르기까지 다양한 물리적 상호작용 간, 그리고 서로 다른 로봇 형태 간에 기술의 이전성을 제한합니다. 3D 위치 목표나 운동 참조와 같은 기존 목표 표현들은 접촉 타이밍과 배치의 결정적 중요성을 간과하는 경우가 많아, 단일 프레임워크 하에서 보행과 조작을 통합하기 어렵게 만듭니다.

방법론
저자들은 **접촉 명시적 표현 (contact-explicit representation)**에 기반한 통합 프레임워크를 제안합니다. 서로 다른 작업에 대해 별도의 정책을 설계하는 대신, 이 접근법은 **접촉 목표 (contact goals)**의 시퀀스를 통해 작업을 정의합니다. 이러한 목표는 다음을 지정합니다:

• 목표 접촉 위치 ($p^{con}$)
• 접촉 타이밍/지속 시간 ($S$)
• 활성 엔드 이펙터 (이진 지시자 $I^{con}$)
• 물체 포즈 목표 (조작 작업의 경우)

이 시스템은 이러한 접촉 목표 시퀀스를 생성하는 고수준 플래너와, 이를 실행하는 목표 조건부 RL 정책을 통해 작동합니다. 해당 정책은 특정 로봇 형태나 작업 유형에 관계없이 관절 토크를 사용하여 이러한 목표를 추적하도록 훈련됩니다.

접촉 단계 및 보상
프레임워크는 각 엔드 이펙터에 대해 상호작용을 세 가지 명확한 단계로 분해하여 제어된 접촉 생성 및 해체를 가능하게 합니다:

1. 도달 (Reach, R): 엔드 이펙터가 원하는 접촉 위치로 이동합니다.
2. 유지 (Hold, H): 엔드 이펙터가 달성된 위치에서 접촉을 유지합니다.
3. 이탈 (Detach, D): 엔드 이펙터가 접촉 없이 자유롭게 이동합니다.

정책을 훈련하기 위해 저자들은 현재 단계에 따라 특정 행동을 장려하는 밀도 보상 구조를 사용합니다:

• 도달 보상: 접촉 지시자가 0 일 때 목표 접촉 위치까지의 거리를 최소화하도록 장려합니다.
• 유지 보상: 지시자가 1 일 때 원하는 위치에서 접촉을 유지하도록 장려합니다.
• 이탈 보상: 지시자가 0 일 때 의도하지 않은 접촉을 패널티로 부과합니다.
• 포즈 보상: 조작의 경우, 추가 항이 물체의 위치와 방향을 추적합니다.

정책은 고유감각 상태 (관절 위치/속도), 현재 및 다음 접촉 목표, 그리고 명령 지속 시간을 관찰합니다. 주목할 점은 이 프레임워크가 시뮬레이션 내 훈련을 위해 로봇의 발에서 명시적인 접촉 감지에 의존하지 않는다는 것입니다.

주요 기여

1. 통합 접촉 명시적 프레임워크: 저자들은 작업을 접촉 목표로 정의하는 목표 조건부 RL 프레임워크를 제안하여, 단일 정책이 다양한 보행 보행법과 조작 기술을 학습할 수 있게 합니다.
2. 형태 간 경험적 검증: 이 프레임워크는 4 족 및 인간형과 같이 형태적으로 구별되는 로봇에서 광범위한 작업을 수행하며 검증되었으며, 명시적 접촉 추론이 서로 다른 구현체 전반에 걸쳐 견고하고 역동적인 행동을 촉진함을 입증했습니다.

실험 결과
이 프레임워크는 세 가지 주요 시나리오에서 평가되었습니다:

1. 4 족 보행: 단일 정책이 trot, pace, bound, jump, crawl 등 여러 보행법을 성공적으로 실행하고 간극 횡단과 같은 까다로운 지형을 항해했습니다.
2. 인간형 보행: 단일 인간형 정책이 보행 및 점프와 같은 이족 보행과 기어오르기, pace, 점프와 같은 4 족 보행 (손을 이용한 움직임 포함) 을 수행했습니다.
3. 양손 조작: 인간형 로봇이 테이블 위의 물체 방향을 바꾸거나 들어 올리면서 물체 포즈를 추적하는 등 복잡한 작업을 수행했습니다.

일반화 발견 사항:

• 보지 못한 속도/방향: 속도 목표에 대해 훈련된 정책과 비교하여, 접촉 명시적 정책은 훈련 중 측면 운동에 대한 특정 보상을 받지 않았음에도 불구하고 측면 이동 및 분포 외 (out-of-distribution) 속도 방향에 대해 훨씬 더 잘 일반화되었습니다.
• 다중 보행법 vs 단일 보행법: 다중 보행법 정책은 단일 보행법 정책보다 다양한 명령 지속 시간에 걸쳐 접촉 계획 편차 (햄밍 거리) 가 낮아, 보행법 간의 효과적인 보간을 시사합니다.
• 보지 못한 물체 형태: 조작 작업에서 접촉 명시적 정책은 원-핫 작업 인코딩을 사용하는 기준선과 비교하여 보지 못한 물체 형태 (원통형 및 구형) 에 대해 더 잘 일반화되었습니다. 접촉 명시적 정책은 구르는 구형 물체에서 포즈를 추적하기 위해 재시도 전략과 같은 발현 행동을 보였습니다.
• 보지 못한 물체 포즈: 접촉 명시적 정책은 훈련 분포를 넘어선 외삽된 물체 포즈에서 추적 오차와 변동성이 기준선보다 낮았습니다.

의의 및 주장
본 논문은 접촉을 최적화의 부산물이 아닌 중심 물리 원시 (primitive) 로 취급함으로써 로봇 작업에 대한 더 근본적인 추상화가 가능하다고 주장합니다. 접촉 목표를 통해 보행과 조작을 통합함으로써, 이 접근법은 단일 정책이 형태적으로 구별되는 시스템과 보지 못한 시나리오 전반에 걸쳐 일반화되도록 합니다. 저자들은 접촉 명시적 정책 학습을 확장 가능한 로코 - 조작 (loco-manipulation) 을 위한 유망한 기반으로 위치시키며, 이는 모든 새로운 작업에 대해 처음부터 재학습할 필요 없이 작업 간 공유 구조를 활용하여 적응성을 향상시킨다고 논증합니다. 향후 연구는 이 저수준 정책을 학습된 고수준 플래너와 통합하여 자율적 장기 과제 (long-horizon tasks) 를 수행하고, 시뮬레이션에서 실제 (sim-to-real) 로의 견고성을 탐구하는 것을 제안합니다.