💻 computer science

Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space

본 논문은 복잡한 정교한 기술을 고전 물리학 및 제어 이론에서 유도된 제약 조건과 가이드를 통해 학습되는 더 단순한 구성 요소들로 분해함으로써, 기존의 엔드 투 엔드 강화 학습이 가진 불안정성과 비효전성을 극복하고 안정적인 인-그라스프(in-grasp) 조작을 학습하는 효율적인 접근 방식을 제안한다.

원저자: Ha Thang Long Doan, Hikaru Arita, Kazuto Nakashima, Kenji Tahara

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ha Thang Long Doan, Hikaru Arita, Kazuto Nakashima, Kenji Tahara

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 손에게 저글링을 가르치거나, 동전을 회전시키거나, 혹은 물건을 쥐고 카드 덱을 재배열하는 법을 가르치려 한다고 상상해 보십시오. 이것은 과학자들이 로봇을 인간의 손가락처럼 민첩하게 만들기 위해 노력하는 분야인 **정교한 조작(dexterous manipulation)**의 세계입니다. 오랫동안 엔지니어들은 모든 손가락, 스프링, 그리고 마찰력이 어떻게 작동해야 하는지를 정확하게 설명하는 완벽한 수학 방정식을 작성하여 이 문제를 해결하려 했습니다. 하지만 현실 세계는 무질서합니다. 고무는 미끄러지고, 금속은 휘어지며, 마찰력은 변합니다. 그래서 이러한 완벽한 수학 모델들은 로봇이 실제로 움직이려고 할 때 실패하는 경우가 많습니다.

최근에 과학자들은 **강화 학습(Reinforcement Learning, RL)**이라는 다른 기술을 사용하기 시작했습니다. 이것은 로봇이 여러 번 시도하며 배우는 캐릭터가 되는 비디오 게임과 같습니다. 만약 물체를 떨어뜨리면 "게임 오버"가 되어 다시 시작합니다. 만약 성공하면 점수를 얻습니다. 문제는 가이드 없이 로봇이 학습하면 매우 느리게 배운다는 것입니다. 로봇은 물체를 공중에 던졌다가 잡는 식의 "치트 코드"를 우연히 발견할 수도 있고, 혹은 물체를 떨어뜨리는 동작이 실수처럼 보이지만 실제로는 아무것도 가르쳐주지 못하는 상황에 빠질 수도 있습니다. 로봇은 물건이 떨어지지 않게 유지하는 기본적인 물리 법칙을 이해하지 못한 채, 불안정하고 위험한 움직임의 굴레에 갇히게 됩니다.

"비낙하 액션 공간에서의 안정적인 인그립 조작 학습(Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space)"이라는 제목의 이 논문은 영리한 절충안을 제안합니다. 저자들은 로봇에게 맨바닥에서부터 학습하게 하거나 완벽한 수학에만 의존하는 대신, 견고한 물리학에 기반한 "보조 바퀴(training wheels)" 시스템을 제공할 것을 제안합니다. 그들은 물체를 안정적으로 잡는 알려진 방법을 사용하여 로봇이 학습할 수 있는 안전한 놀이터를 구축합니다. 이 놀이터 안에서 로봇은 자유롭게 실험하고 더 나아질 수 있지만, 물체를 떨어뜨리거나 자신의 손가락을 부수는 것은 물리적으로 불가능합니다. 그 결과, 로봇은 이전보다 훨씬 빠르고 정확하게 물체를 조작하는 법을 배우며, 이 모든 과정이 안전하게 이루어집니다.

로봇 손을 위한 "보조 바퀴"

일본 규슈 대학교 연구진인 저자들은 로보틱스의 특정 난제, 즉 로봇이 물체를 놓치지 않고 '쥐고 있는 상태에서' 어떻게 움직이게 할 것인가를 다루었습니다. 이를 그들은 "인그립 조작(in-grasp manipulation)"이라고 부릅니다. 테니스 공을 손에 쥐고, 손가락이 미끄러지지 않게 하면서 로고가 당신을 향하도록 공을 회전시키는 장면을 상상해 보십시오.

이 논문은 순수 강화 학습만을 사용하여 로봇에게 이 기술을 가르치는 것이, 갓 걸음마를 뗀 아이에게 절벽 끝에서 레이싱 카를 운전하도록 가르치는 것과 같다고 주장합니다. 로봇이 결국 운전하는 법을 알아낼 수는 있겠지만, 그전에 훨씬 많은 사고를 칠 것입니다. 강화 학습의 세계에서 이를 "롱테일 불안정성 문제(long-tail instability problem)"라고 부릅니다. 로봇은 언뜻 보기에는 효과가 있어 보이지만 결국 물체를 떨어뜨리게 만드는 기이하고 불안정한 움직임을 찾아냅니다. 저자들은 로봇이 물체를 떨어뜨릴 때, 왜 실패했는지 알지 못하기 때문에 학습 과정이 혼란에 빠지며, 애초에 고장 나서는 안 될 것들을 고치느라 시간을 낭비한다는 것을 발견했습니다.

해결책: 안전한 모래 놀이터

이 문제를 해결하기 위해 저자들은 수학을 버린 것이 아니라, 사용하는 방식을 바꿨습니다. 그들은 FTODG(Fingers-Thumb Opposability-based Dynamic Grasping)라는 검증된 물리 기반 방법을 기초로 삼았습니다. FTODG를 물체가 절대 떨어지지 않도록 잡는 법을 정확히 아는 매우 엄격하고 똑똑한 선생님이라고 생각하십시오. 이 선생님은 물체를 안정적으로 유지하기 위해 힘과 균형에 관한 특정 규칙을 사용합니다.

하지만 이 "선생님"에게는 결함이 있습니다. 약간 경직되어 있다는 점입니다. 물체를 완벽하게 잡을 수는 있지만, 물체를 정밀하게 새로운 위치로 옮기거나 원하는 대로 회전시키는 데는 서툽니다. 마치 자전거에서 떨어지지 않게 잡아줄 수는 있지만, 묘기(wheelie)를 부리는 법은 가르쳐주지 못하는 선생님과 같습니다.

이 논문의 핵심 아이디어는 이 선생님과 학생을 결합하는 것입니다. 그들은 TSIGL(The Theoretically Stable In-Grasp Learning)이라는 시스템을 만들었습니다. 작동 방식은 다음과 같습니다:

안전 구역(The Safe Zone): 그들은 "안정적인 액션 공간(stable action space)"을 구축했습니다. 높은 벽이 있는 모래 놀이터를 상상해 보십시오. 이 놀이터 안에서 로봇은 손가락을 움직이고 물체를 회전시키거나 이동시키는 다양한 방법을 자유롭게 시도할 수 있습니다.
안전 그물(The Safety Net): 그들은 **제어 장벽 함수(Control Barrier Functions, CBFs)**라는 수학적 도구를 사용했습니다. 이것을 모래 놀이터 주변의 보이지 않는 포스 필드(force field)라고 생각하십시오. 만약 로봇이 물체를 떨어뜨리거나 너무 세게 쥐는 동작을 하려고 하면, 이 포스 필드가 즉시 그 동작을 멈추고 로봇을 다시 안전한 위치로 부드럽게 밀어 넣습니다.
학습(The Learning): 로봇(강화 학습 사용)은 오직 이 안전 구역 안에서만 탐색할 수 있습니다. 로봇은 손가락의 힘과 속도를 미세하게 조정하며 물체를 움직이는 최선의 방법을 배우지만, 물체를 떨어뜨려 "게임 오버"가 되는 상황은 전혀 걱정할 필요가 없습니다.

연구 결과

연구팀은 "Shadow Dexterous Hand"라는 로봇 손을 사용하여 컴퓨터 시뮬레이션에서 이 아이디어를 테스트했습니다. 그들은 로봇에게 세 가지 기술을 가르쳤습니다: 세 손가락으로 물체 잡기, 물체를 놓지 않고 새로운 위치로 이동시키기, 그리고 물체 회전시키기.

결과는 명확하고 인상적이었습니다. 로봇에게 (표준적인 엔드 투 엔드 학습을 사용하여) "안전한 모래 놀이" 없이 학습하게 했을 때, 로봇은 물체를 수천 번 떨어뜨렸습니다. 한 테스트에서 표준 방식은 물체를 회전시키려고 학습하는 동안 캔을 3,138번이나 떨어뜨렸습니다. 반면, 안전 그물이 있는 TSIGL 방식은 물체를 단 한 번도 떨어뜨리지 않았습니다.

로봇은 실패한 시도에 시간을 낭비하지 않았기 때문에 훨씬 빠르게 학습했습니다. 시뮬레이션에서 TSIGL 로봇은 42번의 연속 성공 기록을 달성한 반면, 표준 방식은 물체를 떨어뜨리기 전까지 연속 1~2번의 성공조차 간신히 해내는 데 그쳤습니다. 게다가, 로봇이 기술을 습득한 후에는 원래의 물리 모델(FTODG) 단독일 때보다 오히려 더 뛰어난 성능을 보였습니다. 로봇은 경직된 수학 모델보다 더 정확하게 물체를 움직이기 위해 손의 움켜쒸는 힘을 미세하게 조정하는 법을 배웠습니다.

이것이 중요한 이유

저자들은 이 실험이 아직 실제 로봇이 아닌 시뮬레이션에서 수행되었다는 점을 주의 깊게 언급합니다. 그러나 시뮬레이션은 물리 법칙의 안전함과 학습의 유연성을 결합함으로써, 로봇이 훨씬 더 효율적으로 복잡한 기술을 배울 수 있음을 보여주었습니다.

이 논문은 단순히 강화 학습만으로 이러한 문제를 해결할 수 있다는 생각을 명시적으로 부정하며, "안전 그물"이 없다면 학습이 너무 느리고 불안정하다는 것을 보여줍니다. 또한, 단순히 물체를 떨어뜨리는 것에 대한 페널티(로봇에게 "떨어뜨리지 마"라고 말하는 것)를 주는 것만으로는 충분하지 않다는 점도 보여줍니다. 로봇은 학습하는 동안 여전히 그것을 떨어뜨리는 편법을 찾아낼 것입니다. 그들이 발견한 유일한 진정한 해결책은, 물체를 떨어뜨리는 것이 수학적으로 불가능하도록 로봇의 행동을 물리적으로 제한하는 것입니다.

요약하자면, 이 논문은 로봇에게 정교한 조작을 가르치는 가장 좋은 방법은 로봇이 부딪히고 타격을 입게 내버려 두는 것이 아니라, 물리 법칙의 보호 아래 기술을 숙달할 때까지 연습할 수 있는 안전한 놀이터를 제공하는 것이라고 제안합니다.

기술 요약: 비낙하 액션 공간에서의 안정적인 인그립(In-Grasp) 조작 학습

문제 정의
본 논문은 다지형 로봇 손을 이용한 안정적이고 정확한 인핸드(in-hand) 조작을 달리는 과제를 다룹니다. 전통적인 접근 방식은 물리적 파라미터(예: 고정된 마찰력, 강성, 감쇠)에 대한 강력한 가정을 전제로 하는 해석적 모델에 의존하며, 이는 다양한 특성을 가진 물체에 적용될 때 부정확한 조절로 이어지는 경우가 많습니다. 반면, 엔드 투 엔드(end-to-end) 강화 학습(RL)은 복잡한 모델링을 피할 수 있지만, 효율성 문제와 "롱테일(long-tail)" 불안정성 문제에 직면합니다. 순수 RL에서 에이전트는 단기적으로는 성공적인 것처럼 보이지만 결국 물체를 떨어뜨리게 되는 "불안정한" 동작(예: 불필요한 손가락 해제 또는 물체 던지기)을 발견할 수 있습니다. 이러한 실패는 상충하는 학습 목표와 명시적인 안정성 보장의 부재로 인해 식별 및 수정이 어렵습니다.

방법론: TSIGL 프레임워크
저자들은 이론적으로 안정적인 인그랩 학습(Theoretically Stable In-Grasp Learning, TSIGL) 프레임워크를 제안하며, 이는 숙련된 기술을 고전 물리학 및 제어 이론에 의해 유도되는 분석 가능한 구성 요소로 분해합니다. 핵심 방법론은 손가락-엄지 대립 기반 동적 파지(Fingers-Thumb Opposability-based Dynamic Grasping, FTODG) 제어 이론을 제어 장벽 함수(Control Barrier Functions, CBFs)로 제약된 RL과 통합하는 것입니다.

FTODG를 통한 안정적인 액션 공간:
프레임워크는 FTOG를 활용하여 "안정적인 액션 공간"을 정의합니다. FTODG는 힘/토크 평형을 보장하는 안정적인 파지 신호( $u_{stable}$ )를 계산하기 위해 손가락 끝에서 생성된 **가상 프레임(Virtual Frame, VF)**에 의존합니다. 이는 **조작 신호 중첩 원리(Principle of Manipulation Signal Superposition)**를 채택하며, 여기서 최종 제어 신호( $u_i$ )는 안정적인 파지 항, 위치 조작 항( $u_{pos}$ ), 그리고 방향 조립 항( $u_{ori}$ )의 합입니다. 이러한 설계는 외부 센서 없이 내부 관절 데이터만을 사용하여, 물체를 재배치하거나 방향을 바꾸는 동안에도 물체가 손 안에서 안정적으로 유지되도록 보장합니다.
정확도를 위한 RL:
FTOG가 안정성은 보장하지만, 모델 가정과 변화하는 물체 특성으로 인해 정확도가 부족할 수 있습니다. TSIGL은 재배치 및 방향 전환을 위한 손가락 끝의 힘과 모멘트를 결정하는 특정 이득(gain) 파라미터( $P_i, O_{n,i}, O_{t,i}$ )를 학습하기 위해 RL을 사용하여 이 문제를 해결합니다. RL 정책( $\pi_{RL}$ )은 관측값을 이러한 이득 파라미터로 매핑합니다.
안전성을 위한 CBF 필터링:
RL 에이전트가 FTOG의 안정성 조건을 위반하는 액션을 탐색하는 것을 방지하기 위해, 프레임워크는 제어 장벽 함수(CBF) 필터를 사용합니다. RL 정책으로부터 나온 원시 액션( $K_{RL}$ )은 이차 계획법(QP) 솔버를 통해 처리됩니다. 이 필터는 엄격한 구현 요구 사항을 충족하도록 액션을 최소한으로 조정합니다:

접촉 유지: 손가락 끝이 물체와의 접촉을 끊지 않도록 보장합니다.
힘 제한: 미끄러짐이나 과도한 힘을 방지하기 위해 손가락 끝의 힘이 안전 범위( $F_{min}$ ~ $F_{max}$ ) 내에 머물도록 제한합니다.
정적 모델 근사: 필터는 단순한 정적 모델을 사용하여 현재 컨트롤러 토크를 기반으로 미래의 손가락 끝 힘을 추정함으로써, 센서 노이즈와 지연이 존재하는 상황에서도 안전 제약을 허용합니다.

주요 기여

안정적인 액션 공간: 저자들은 안전한 RL 원칙에 기반한 FTOG 기반 액션 공간을 개발하여, 탐색이 이론적으로 안정적인 범위 내에서만 이루어지도록 보장합니다.
TSIGL 프레임워크: 이들은 CBF를 사용하여 RL 탐색을 안정적인 액션 공간 내로 제한함으로써, 안정성(이론이 담당)과 정확도(학습이 담당)를 효과적으로 분리하는 새로운 학습 아키텍처를 제안합니다.
실증적 검증: 본 연구는 NVIDIA Isaac Lab 시뮬레이션 환경에서 Shadow 데스처러스 핸드와 다양한 물체(큐브, 실린더, 캔 등)를 사용하여 센서 노이즈, 지연, 무작위 마찰 조건 하에서 성능을 입증했습니다.

결과
프레임워크는 NVIDIA Isaac Lab 시뮬레이션 환경에서 Shadow 데스처러스 핸드와 다양한 물체(큐브, 실린더, 캔 등)를 사용하여 센서 노이즈, 지연, 무작위 마찰 조건 하에서 평가되었습니다.

안정성: Skill 1(정밀 파지)에서 FTOG 컨트롤러는 미끄러짐 없이 최대 8.6 N의 외력을 견뎌냈습니다.
샘플 효율성: Skill 2(위치 조작)에서 TSIGL 프레임워크는 탐색 중 물체 낙하가 0건이었으며, 약 44회의 연속 성공으로 수렴했습니다. 반면, 소프트 페널티(Soft 1, 2, 3)를 사용하는 베이스라인 방법들은 학습 발산, 높은 낙하 횟수(최대 738회 낙하), 그리고 현저히 낮은 성공률을 보였습니다.
엔드 투 엔드 RL과의 비교: Skill 3(방향 조작)에서 표준 엔드 투 엔드 RL 방법은 물체를 수천 번(예: 3,138회 낙하) 떨어뜨렸고 일관된 성공을 거두지 못했습니다. TSIGL 프레임워크는 낙하 0건과 42회 이상의 연속 성공을 달성했습니다.
정확도 향상: 배포 시, 학습된 TSIGL 정책은 고정된 FTOG 파라미터를 가진 컨트롤러보다 우수한 성능을 보였습니다. 연속 성공률은 위치 조작의 경우 130~~155%, 방향 조작의 경우 다양한 물체에 대해 39~~81% 향상되었습니다.

의의 및 주장
본 논문은 안정성이 단순히 RL 최적화에만 맡겨져서는 안 된다고 주장합니다. 기술을 더 단순한 구성 요소로 분해하고 과학적 지식(특히 FTOG 및 CBF)으로 RL을 가이드함으로써, 안정적인 인그랩 조작을 효율적으로 학습할 수 있음을 보여줍니다. 본 연구의 의의는 "롱테일" 불안정성 문제 없이 복잡한 조작 기술을 탐색하면서, 동시에 이론적 컨트롤러만으로는 가능한 수준을 넘어서는 조작 정확도를 달성할 수 있다는 점에 있습니다. 저자들은 본 연구가 현재 시뮬레이션 기반이지만, 이 프레임워크가 구조화되지 않은 환경에서 안전하고 샘플 효율적인 데스처러스 조작을 위한 유망한 경로를 제시한다고 언급했습니다.

로봇 손을 위한 "보조 바퀴"

해결책: 안전한 모래 놀이터

연구 결과

이것이 중요한 이유

유사한 논문