💻 computer science

Contact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL

이 논문은 비파지 조작(non-prehensile manipulation)에서의 복잡한 하이브리드 역학 및 희소한 접촉 문제를 극복하기 위해 멀티 크리틱 강화 학습 프레임워크 내에서 접촉 유도 탐색 전략을 제안하며, 실제 환경의 4족 보행 모바일 매니퓰레이터 상에서 의자 운반과 같은 작업에 대한 배포 가능한 기술을 성공적으로 입증한다.

원저자: Simone Tolomei, Mayank Mittal, Franco Angelini, Manolo Garabini, Paolo Salaris, Marco Hutter

게시일 2026-08-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Simone Tolomei, Mayank Mittal, Franco Angelini, Manolo Garabini, Paolo Salaris, Marco Hutter

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 공장 바닥의 주인으로서, 무거운 부품을 들어 올리고 완벽한 정밀도로 배치해 왔습니다. 하지만 통제된 환경인 공장을 벗어나 가정이나 창고로 나오면 규칙이 바뀝니다. 이곳의 물체들은 너무 무거워 들어 올릴 수 없거나, 그리퍼로 잡기에는 너무 어색한 형태인 경우가 많습니다. 부피가 큰 안락의자나 커다란 상자를 옮기기 위해 로봇은 단순히 그것을 집어 올릴 수 없습니다. 대신 바닥을 따라 밀거나, 당기거나, 미끄러지듯 움직여야 합니다. 이를 비파지 조작(non-prehensile manipulation)이라고 합니다. 이는 물리 법칙이 매우 까다롭기 때문에 어려운 기술입니다. 물체를 쥐는 것과 달리, 밀기 동작은 접촉이 견고하지 않습니다. 밀기는 마찰력과 접촉 각도에 의존합니다. 만약 로봇이 잘못된 각도로 밀면, 물체가 미끄러져 나가거나 넘어질 수 있으며, 로봇 스스로 균형을 잃을 수도 있습니다. 수년간 엔지니어들은 로봇에게 충돌하거나 물체를 움직이는 데 실패하지 않고 어떻게 이 섬세한 접촉의 춤을 수행할지 가르치는 데 어려움을 겪었습니다.

최근 한 연구팀이 로봇의 학습 과정을 처음부터부터 안내하는 방식을 사용하여, 로봇에게 이러한 기술을 가르치는 새로운 방법을 개발했습니다. 연구진은 로봇이 우연히 물체를 미는 방법을 찾아낼 때까지 무작위로 추측하게 하는 대신, 어디를 만져야 할지에 대한 지도를 제공했습니다. 그들은 컴퓨터 알고리즘을 사용하여 의자의 다리나 식기세척기의 손잡이처럼 물체의 가장 논리적인 접촉 지점을 식별했습니다. 그런 다음 로로봇이 이러한 특정 지점을 찾는 것에 보상을 주는 훈련 시스템을 구축했습니다. 그러나 연구진은 로봇이 오직 올바른 지점을 찾는 데만 신경 쓴다면, 실제로 물체를 목적지까지 이동시키는 법은 배우지 못할 수도 있다는 점을 알고 있었습니다. 이를 해결하기 위해 그들은 접촉 지점을 찾는 데 집중하는 것으로 시작하여, 그 집중도를 점진적으로 줄여나가면서 로봇이 적절한 파지력을 확보한 후에는 물체를 효율적으로 이동시키는 법을 강제로 배우게 만드는 학습 스케줄을 만들었습니다.

연구진은 이 접근 방식을 팔이 달린 4족 보행 로봇, 즉 불규칙한 지형을 이동하며 물체를 조작하도록 설계된 기계에 테스트했습니다. 시뮬레이션에서 로봇은 상자를 밀고 의자를 특정 위치로 운반하는 법을 배웠습니다. 결과에 따르면, 이러한 유도된 접근 방식이 없으면 로봇은 물체에 닿는 것조차 자주 실패하거나, 물체를 넘어뜨리는 방식으로 밀기도 했습니다. 이들의 방식을 사용함으로써 로봇은 실험의 90% 이상에서 성공적으로 물체를 이동시켰습니다. 결정적으로, 로봇은 무거운 가구가 넘어지는 것을 방지하기 위해 자신의 무게 중심을 낮추는 등, 물체를 안정적으로 유지하기 위해 몸체와 팔을 조절하는 법을 배웠습니다.

진정한 시험은 연구진이 로봇을 컴퓨터 밖 실제 세상으로 가져왔을 때 찾아왔습니다. 그들은 로봇 앞에 본 적 없는 다양한 의자들을 놓아두었는데, 여기에는 다리가 세 개인 의자나 접이식 메커니즘이 있는 의자도 포함되었습니다. 형태와 무게의 차이에도 불구하고, 로봇은 성공적으로 의자를 밀고 당겨 목표 지점으로 옮겼습니다. 한 실험에서는 의자에 추가 무게를 더해 로봇의 팔이 기술적으로 들 수 있는 무게보다 더 무겁게 만들었습니다. 로봇은 다리와 지면을 지지대로 사용하여 이를 움직여냈으며, 이는 로봇이 작업을 수행하기 위해 온몸을 사용하는 법을 배웠음을 증명했습니다. 또한 로봇은 실수를 복구하는 능력도 보여주었습니다. 만약 미끄러지거나 접촉을 놓치면, 로봇은 자동으로 자세를 재설정하고 멈추지 않고 다시 시도했습니다.

연구진은 이 기술을 더 복잡한 작업인 식기세척기 열기에 적용했습니다. 이 물체는 움직이는 부품이 있어, 로봇이 먼저 손잡이를 잡은 다음 문이 열리는 동안 문 패널을 밀도록 전환해야 합니다. 로봇은 손잡이를 시작점으로 식별한 다음, 문이 완전히 열릴 때까지 문을 미는 동작으로 매끄럽게 전환하는 법을 배웠습니다. 이는 이 방법이 단순히 정지된 블록이 아니라, 작업 중에 형태가 변하는 물체도 다룰 수 있음을 보여주었습니다. 이 연구는 로봇의 초기 호기심을 의미 있는 접촉 지점으로 유도한 다음 점진적으로 나머지를 스스로 해결하게 함으로써, 엔지니어들이 기계가 우리 일상생활에서 발견되는 무겁고 어색하며 예측 불가능한 물체들을 다룰 수 있도록 가르칠 수 있음을 시사합니다. 이 시스템은 여전히 물체의 위치를 추적하기 위해 외부 카메라에 의존하지만, 핵심 학습 전략은 실제 세계의 무게, 모양, 마찰력의 변화를 처리할 만큼 충분히 견고하다는 것이 입증되었으며, 이는 로봇이 우리 가정에서 진정으로 무거운 짐을 드는 것을 도울 수 있는 단계에 한 걸음 더 다가섰음을 의미합니다.

기술 요약: 멀티 크리틱 RL을 이용한 비파지형 로코매니퓰레이션(Locomanipulation)을 위한 접촉 유도 탐색

문제 정의
비파지형 조작(밀기, 당기기, 슬라이딩)과 이동 플랫폼의 결다는 구조화되지 않은 환경에서 무겁거나 부피가 큰 물체를 이동시키는 데 매우 다재다능한 솔루션을 제공한다. 그러나 이러한 상호작용을 제어하는 것은 까다로운데, 이는 강체 파지(rigid grasp)가 아닌 일방향 접촉 제약과 마찰 원뿔(friction cones)에 의존하는 하이브리드 특성을 가진 역학 때문이다. 심층 강화 학습(DRL)은 전통적인 모델 예측 제어(MPC)에 대한 모델 프리(model-free) 대안을 제공하지만, 로코매니퓰레이션 작업에서 발생하는 심각한 "탐색 병목 현상(exploration bottleneck)"에 직면한다. 이러한 장기 호라이즌(long-horizon) 작업에서 무작위 탐색은 유효한 접촉을 이끌어내는 경우가 드물어 보상이 희소하게 나타난다. 결과적으로 에이전트는 에너지나 움직임 페널티를 최소화하기 위해 접촉 자체를 피하는 국소 최적점(local minima)으로 수렴하게 되며, 필수적인 상호작용 기술을 학습하는 데 실패한다. 또한, 기존 방법들은 균일한 표면 샘플링이 운동학적으로 불가능한 접촉점을 생성할 수 있는 복잡하고 비볼록(non-convex)한 물체 기하학 구조에서 어려움을 겪는 경우가 많다.

방법론
저자들은 멀티 크리틱 강화 학습(Multi-Critic RL) 프레임워크 내에서 구현된 접촉 유도 탐색(Contact-Guided Exploration) 전략을 제안한다. 핵심 아키텍처와 학습 과정은 다음과 같다:

객체 중심 접촉 사전 정보(Object-Centric Contact Priors): 균일한 샘플링 대신, 시스템은 일반적인 파지 알고리즘을 사용하여 객체 메쉬 상의 후보 상호작용 지점(예: 의자 다리, 손잡이) 세트를 생성한다. 학습 에피소드 동안, 엔드 이펙터를 유도하기 위해 이 세트에서 특정 목표 접촉 지점이 샘플링된다.
멀티 크리틱 아키텍처: 프레임워크는 세 가지 특화된 크리틱 헤드를 갖춘 공유 백본을 사용하며, 각 헤드는 서로 다른 보상 그룹에 대응한다:
1. 태스크 보상 ( $r_{task}$ ): 목표 달성(객체 위치 및 속도)에 집중한다.
2. 탐색 보상 ( $r_{exp}$ ): 엔드 이펙터가 샘플링된 접촉 지점에 도달하도록 장려하는 조밀한(dense) 보상이다.
3. 정규화 보상 ( $r_{reg}$ ): 급격한 움직임, 에너지 소비, 그리고 관절 제한(예: 훅 높이) 위반에 대해 페널티를 부여한다.
가중치 어드밴티지 혼합(Weighted Advantage Mixing): 정책은 합성 어드밴티스 함수 $A_t = \sum w_h A^h_t$ 를 사용하여 업데이트되며, 여기서 $w_h$ 는 각 보상 그룹의 가중치를 나타낸다.
감쇠 스케줄(Decay Schedule): 크리틱 가중치의 동적 스케줄링은 핵심적인 구성 요소이다. 탐색 가중치( $w_{exp}$ )는 학습 초기 단계(5k–10k 스텝) 동안 0.1에서 0.01로 선형적으로 감소(annealing)하는 반면, 정규화 가중치는 증가한다. 이는 정책이 초기에 의미 있는 접촉을 찾는 것을 우선시하게 하고, 점진적으로 태스크 성능과 안정성을 최적화하는 단계로 전환하도록 강제하여, 탐색 단계와 최종 태스크 목적을 분리한다.
시스템 제어: 상위 정책은 목표 암 관절 위치, 베이스 속도, 베이스 높이를 출력한다. 베이스 높이는 팔이 낮게 확장될 때 숄더 관절 제한에 도달하는 것을 방지하기 위해 능동적으로 조절된다. 하위 레벨 다리 명령은 동결된(frozen) 사전 학습된 로코모션 정책에 의해 처리된다.

주요 기여

접촉 유도 탐색 전략: 균일한 샘플링이나 전문가 시연에 의존하는 대신, 파지 알고리즘에서 유도된 객체 중심 사전 정보를 사용하여 RL 탐색을 의미 있는 상호작용 영역으로 유도하는 새로운 접근 방식이다.
감쇠를 포함한 멀티 크리틱 정식화: 감쇠되는 전용 탐색 크리틱을 구현함으로써, 에이전트가 접촉이 풍부한 행동을 조기에 학습하고, 이를 최적의 태스크 수행을 위한 견고한 정책으로 정교화할 수 있게 한다. 이는 탐색에 의한 부적절한 행동에 갇히지 않도록 한다.
체계적인 평가 및 하드웨어 검증: 박스 밀기, 의자 운반, 식기세정기 문 열기 작업에 걸친 광범위한 평가를 수행했다. 결정적으로, 의자 운반 정책은 실제 사족 보행 모바일 매니퓰레이터(ALMA)에서 검증되었으며, 보지 못한 객체 기하학 및 질량에 대해 제로샷 일반화 성능을 입증했다.

결과

시뮬레이션 성능: 제안된 방법(Multi-Critic PPO + 가중치 스케줄)은 의자 운반에서 **94.1%**의 성공률을 달성하여, 높은 "접촉 실패(Missed Contact)"율을 보인 표준 PPO 및 고정 가중치 멀티 크리틱 베이스라인을 크게 앞질렀다. (고정 가중치 모델은 지속적인 탐색 유도로 인해 더 높은 "전도(Tipover)"율을 보였다.)
실패 모드 분석: 해당 방법은 "접촉 실패" 문제를 효과적으로 완화(무시할 만한 수준으로 감소)했으며, 불안정한 학습이나 국소 최적점으로 고전하는 베이스라인들에 비해 "전도" 이벤트(4.4%)를 최소화했다.
실제 환경 배포: ALMA 사족 보행 로봇에서, 정책은 네 가지 미지의 IKEA 제품(접이식 의자 및 삼각 테이블 포함)에 대해 **69.0%**의 종합 성공률을 달 기록했다. 시스템은 다음을 입증했다:
- 일반화: 미세 조정 없이도 비대칭 및 비표준 기하학 구조를 성공적으로 조작함.
- 반응적 회복: 미끄러짐이나 실패한 시도 후 자율적으로 재계획하고 접촉을 재확립하는 능력.
- 고하중 처리: 지면 지지 및 모바일 베이스 역학을 활용하여, 암의 정적 적재 용량을 초과하는 5kg 추가 페이로드(총 6.5kg)를 실은 의자를 성공적으로 운반함.
- 외란 거부: 운반 중 물리적인 밀기(push)로부터의 회복력.
관절형 객체: 식기세정기 문 열기 작업에서, 정책은 기하학적 구조가 변함에 따라 핸들에서 도어 패널로 접촉을 동적으로 전환하는 법을 학습했으며, 이는 표준 PPO 대비 팔이 관절 제한 근처에서 머무는 시간을 59% 감소시켰다.

의의
본 논문은 탐색 과정을 구조화함으로써 비파지형 로코매뉴퓰레이션의 근본적인 어려움인 희소 보상 문제를 해결한다고 주장한다. 감쇠 스케줄이 적용된 멀티 크리틱 아키텍처를 통해 탐색과 태스크 목적을 분리함으로써, 이 시스템은 페널티 회피와 접촉 발견 사이의 트레이드오프를 극복한다. 이 연구는 접촉이 풍부한 고하중 조작이 전문가의 시연 없이도 처음부터 학습될 수 있음을 보여주며, 다양한 물체의 형태와 질량에 대해 시뮬레이션에서의 견고한 성능과 실제 하드웨어에 배포 가능한 행동을 달성했다. 저자들은 결과가 유망하지만, 외부 모션 캡처에 대한 의존도가 현장 배포를 제한할 수 있으며, 향후 연구에서는 하이퍼파라미터 민감도를 줄이기 위해 적응형 성능 기반 커리큘럼을 탐구할 수 있다고 언급했다.

유사한 논문