💻 computer science

Data and Learning Where it Matters for Contact-Rich Manipulation

본 논문은 자유 공간 운동을 위한 전통적인 계획법과 핵심적인 접촉 밀집 구간에 대한 소규모의 표적 데이터셋 기반 자동 오프라인 심층 강화 학습을 결합한 하이브리드 접근 방식을 제안하며, 이를 통해 순수 엔드 투 엔드 학습 정책의 취약성과 일반화 문제를 극복하면서 도전적인 실제 환경 작업 전반에서 96%의 성공률을 달성한다.

원저자: Oliver Hausdörfer, Linus Schwarz, Gabor Marko, Christian Dietz, Timo Class, Luka Hofer, Jim Yun-Jin Li, Johannes Hechtl, Ralf Römer, Angela P. Schoellig

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Oliver Hausdörfer, Linus Schwarz, Gabor Marko, Christian Dietz, Timo Class, Luka Hofer, Jim Yun-Jin Li, Johannes Hechtl, Ralf Römer, Angela P. Schoellig

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 복잡한 레고 성을 만드는 법을 배우려는 서투른 유아와 같은 세상을 상상해 보십시오. 로봇은 벽돌 하나를 집어 들고 방을 가로질러 가는 것(그것은 쉬운 부분입니다)은 쉽게 할 수 있지만, 두 조각을 끼워 맞추려고 하는 순간 조각들을 떨어뜨리거나, 놓치거나, 너무 세게 밀어서 부서뜨리곤 합니다. 이것이 로 로봇 공학에서 말하는 '접촉 풍부 조작(contact-rich manipulation)'의 핵심입니다. 즉, 인간의 손처럼 정밀하게 만지고, 밀고, 끼워 맞추는 능력을 갖추는 것입니다. 수년 동안 과학자들은 로봇에게 방대한 양의 비디오 데이터를 입력하여, 마치 아이가 시행착오를 통해 배우는 것처럼 로봇이 수천 개의 사례를 관찰하며 배우기를 기대해 왔습니다. 하지만 문제는 여기에 있습니다. 로봇은 매우 비싸고 시간은 곧 돈인데, 단순히 더 많은 데이터를 들이붓는 것만으로는 문제가 해결되지 않았습니다. 로봇은 여전히 까다롭고 정밀한 순간에 어려움을 겪고 있으며, 장면이 조금만 바뀌어도 혼란에 빠집니다.

이 논문은 다음과 같은 단순하고도 당연해 보이는 질문을 던짐으로써 바로 이 문제를 다룹니다. 왜 우리는 로봇에게 쉬운 부분까지 어렵게 가르치고 있는가? 저자들은 거대하고 무질서한 데이터 뭉치를 사용하여 처음부터 전체 과업을 학습하는 대신, 업무를 나누어야 한다고 제안합니다. 즉, 고전적이고 신뢰할 수 있는 수학적 방법을 사용하여 '주변을 움직이는' 쉬운 부분을 처리하고, 오직 로봇이 조각들을 서로 밀어 넣어야 하는 아주 작고 결정적인 순간에만 비용이 많이 들고 데이터가 많이 필요한 '학습'을 사용하는 것입니다. 정말로 중요한 부분에만 학습 노력을 집중함으로써, 그들은 로봇이 수년간의 연습 없이도 훨씬 더 높은 신뢰성을 확보할 수 있는 방법을 찾아냈습니다.

"결승점에 집중하라"는 전략

독일 뮌헨 공과대학교(TU Munich)와 지멘스(Siemens) 팀이 협력하여 수행한 이 연구진은 대부분의 로봇 실패가 특정 순간, 즉 '결정적 구간(critical segment)'에서 발생한다는 사실을 발견했습니다. 이것은 마치 오픈 월드에서 자유롭게 뛰어다닐 수 있지만, 단 하나의 작은 점프라도 실패하면 게임이 끝나버리는 비디오 게임 레벨과 같습니다. 로봇 작업에서 '자유로운 세계'는 물체를 잡기 위해 팔을 움직이는 것이고, '작은 점프'는 소금통을 좁은 선반에 밀어 넣거나 레고 브릭을 베이스 위에 딱 맞게 끼우는 것과 같은 '접촉'의 순간입니다.

이 논문은 현재의 '엔드 투 엔드(end-to-end)' 학습 방식(로봇이 전체 과정을 한꺼번에 배우려고 하는 방식)이 단 하나의 점프를 배우기 위해 게임 맵 전체를 암기하려는 것과 같다고 주장합니다. 이는 비효율적이고 취약합니다. 대신, 저자들은 하이브리드 접근 방식을 제안합니다. 쉬운 움직임에는 표준적인 사전 프로그래밍된 플래너를 사용하고, 까다로운 접촉 단계에 도달했을 때만 '학습된' 뇌로 전환하는 것입니다.

수행 방법:

설정: 연구진은 과업에 대한 단 한 번의 인간 시연(선생님이 학생에게 한 번 보여주는 것과 같은 방식)으로 시작했습니다.
"스마트한" 연습: 인간이 매번 로봇을 안내하는 대신, 로봇이 그 까다로운 부분에 도달할 때까지 데모를 반복 재생하도록 했습니다. 그 후, 로봇은 스스로 '탐색'을 시작했습니다. 로봇은 물체를 정확히 밀어 넣는 법을 알아내기 위해 무작위 움직임과 영리한 추측을 섞어서 시도했습니다. 이 과정은 인간이 로봇의 손을 잡아주지 않고도 자동으로 이루어졌습니다.
학습: 연구진은 '오프라인 심층 강화 학습(offline Deep Reinforcement Learning)' 기술을 사용했습니다. 이는 로봇이 움직이는 동안 실시간으로 배우는 것이 아니라, 자신의 연습 시도들(성공과 실패 모두)이 담긴 거대한 라이브러리를 나중에 검토하며 최선의 움직임을 배우는 것을 상상해 보십시오. 이 방식이 더 안전하고 빠릅니다.
전환: 로봇이 배치되었을 때, 로봇은 표준 플래너를 사용하여 물체를 잡습니다. 그러다 '툭' 하는 느낌(접촉)이 느껴지는 순간, 로봇은 새로 학습된 '전문가 뇌'로 전환하여 작업을 마무리합니다. 로봇은 작업이 성공적으로 완료되었는지 확인하기 위해 '신뢰도 점수(Q-함수라고 불림)'를 체크하여 종료 여부를 판단합니다.

결과: 속도, 정밀도, 그리고 초신뢰성

결과는 놀라울 정도로 효과적이었습니다. 단 2~2.5시간의 자율 데이터 수집(로봇이 스스로 연습한 시간)만으로, 이 시스템은 네 가지 어려운 실제 환경 과업에서 평균 **96%**의 성공률을 달고했습니다. 이 과업들은 다음과 같습니다:

선반 채우기: 종이 소금 상자를 좁고 빽빽한 선반에 끼워 넣기.
레고 쌓기: 브릭 위에 다른 브릭을 정밀하게 배치하기.
팬 커버 조립: 변형 가능한 부품을 구부리고 눌러야 하는 플라스틱 커버를 베이스에 끼우기.

이를 기존의 가장 강력한 방식들(베이스라인)과 비교하면, 기존 방식들은 겨우 **55%**의 성공률을 기록하는 데 그쳤습니다. 기존 방식들은 로봇을 적절한 위치까지는 가져다 놓았지만, 물체를 끝까지 밀어 넣지 못하거나 너무 세게 밀어 물체를 부수곤 했습니다.

저자들은 또한 배경 오브젝트가 달라지거나 위치가 약간 이동한 경우처럼 로봇이 본 적 없는 '분포 외(out-of-distribution)' 시나리오에서도 테스트를 진행했습니다. 엔드 투 엔드 학습 로봇들이 완전히 혼란에 빠져 실패한 반면, 저자들의 방식은 높은 성공률을 유지하며 침착함을 유지했습니다. 이는 접촉의 역학 관계에 집중함으로써, 로봇이 전체 장면을 암기하는 데 의존하지 않고 더 견고한 기술을 학습했음을 시사합니다.

이것이 중요한 이유

이 논문은 "더 많은 데이터"가 항상 정답은 아니라는 점을 명시적으로 주장합니다. 데이터가 흩어져 있고 집중되지 않았다면, 단순히 데이터 수집 규모를 키우는 것만으로는 문제가 해결되지 않음을 보여줍니다. 대신, **구조(structure)**가 핵심임을 증명했습니다. 쉬운 부분은 이미 '해결된' 것으로 간주하고, 어려운 부분에만 집중적인 학습을 적용함으로써 시간과 자원을 절약했습니다.

또한, 이 방식이 물체에 훨씬 더 부드럽게 작용한다는 것을 발견했습니다. 로봇이 접촉에 필요한 정밀한 힘을 학습했기 때문에, 베이스라인 방식보다 평균적으로 49% 적은 힘을 가했습니다. 이는 너무 세게 밀면 쉽게 부서질 수 있는 종이 상자나 플라스틱 부품 같은 섬세한 물건을 다룰 때 매우 중요합니다.

요약하자면, 이 논문은 로봇 학습의 미래가 모든 것을 아는 더 큰 뇌를 만드는 것이 아니라, 신뢰할 수 있는 플래너가 '걷기'를 담당하고 특화된 고도로 훈련된 전문가가 '까다로운 악수'를 담당하는 더 스마트한 팀을 구축하는 데 있다고 제안합니다. 이는 '모든 것을 배우는 것'에서 '중요한 것을 배우는 것'으로의 전환이며, 로봇이 인간과 같은 정밀도로 실제 업무를 수행할 수 있게 하는 승리하는 전략인 것으로 보입니다.

기술 요약: 접촉이 빈번한 조작(Contact-Rich Manipulation)을 위한 데이터 및 학습의 핵심 영역

문제 정의

대규모 데이터셋을 기반으로 학습된 엔드 투 엔드(end-to-end) 로봇 학습은 분석적으로 모델링하기 어려운 접촉 빈번 조작 작업에서 유망한 가능성을 보여주었습니다. 그러나 이러한 접근 방식은 고정밀 시나리오에서 취약성을 보이며, 분포 외(out-of-distribution, OOD) 설정에 대한 일반화에 어려움을 겪는 경우가 많습니다. 저자들은 이러한 한계가 단순히 데이터 규모의 부족 때문이 아니라, 데이터 수집의 구조적 결여에서 기인한다고 주장합니다. 구체적으로, 엔드 투 엔드 방식은 전체 작업을 균일하게 다루는 반면, 고정밀 작업은 대개 특정 "임계 구간"(예: 삽입 시의 좁은 간극)에서만 실패하며, 나머지 부분은 제어가 용이한 자유 공간 운동(free-space motion)으로 구성됩니다. 또한, 현재의 데이터 수집 파이프라인은 숙련된 인간 텔레오퍼레이터(teleoperator)에 과도하게 의존하여 비용이 많이 들고 변동성이 크다는 문제가 있습니다.

방법론

본 논문은 작업을 두 가지 별개의 단계, 즉 자유 공간 운동과 임계 접촉 구간으로 분리함으로써 접촉 빈번 작업의 구조를 명시적으로 활용하는 구성적 프레임워크(compositional framework)를 제안합니다.

1. 작업 분해 및 계획

자유 공간 운동: 작업의 비제약적인 부분(접근, 잡기, 운반)을 위해, 시스템은 기성 포즈 추정(언어 가이드 세그멘테이션 및 6D 포즈 추정 사용)과 전통적인 모션 플래닝에 의존합니다. 이 단계에서는 로봇 특화 학습 데이터가 필요하지 않습니다.
임계 구간: 학습된 정책(policy)은 접촉이 발생하고 정밀도가 요구되는 임계 구간에만 적용됩니다.

2. 자율 데이터 수집

저자들은 인간의 지속적인 개입 없이도 임계 구간에 집중하여 밀도 높은 데이터를 수집할 수 있도록 설계된 자동 데이터 획득 체계를 도입했습니다.

초기화: 작업과 장면 레이아웃을 정의하기 위해 키네스틱 티칭(kinesthetic teaching)을 통해 단 한 번의 시연(demonstration)을 기록합니다.
재생 및 탐색: 포즈 추정의 불확실성(pose estimation uncertainty)에 의해 정의된 임계 구간에 도달할 때까지 시연을 재생합니다. 그 후, 시스템은 혼합 탐욕-무작위 탐색 정책(greedy-random exploration policy, $\pi_{explore}$ $π_{e x pl or e}$ )을 실행합니다.
- 확률 $p$ 로 로봇은 무작위 행동을 취합니다.
- 확률 $1-p$ 로 로봇은 목표 상태와의 거리를 최소화하는 탐욕적(greedy) 행동을 취합니다.
- 안전 필터는 말단 장치(end-effector)가 임계 구간 밖으로 벗어나지 않도록 안전한 구(sphere) 내로 제한합니다.
제어: 이러한 임계 상호작용 동안, 시스템은 순응적(compliant) 동작을 보장하기 위해 하이브리드 힘-위치 제어(hybrid force-position control)를 사용합니다.
보상: 작업 완료 시(최종 상태까지의 거리)에만 트리거되는 희소 보상(sparse reward)을 사용하여, 사전 학습된 비전 기반 보상 분류기의 필요성을 제거합니다.

3. 정책 학습

알 알고리즘: 시스템은 **오프라인 심층 강화 학습(Offline DRL)**을 사용하며, 특히 샘플 효율성을 높이기 위해 Soft Actor-Critic(SAC)을 개선한 방식(비판자(critic)를 위한 레이어 정규화 및 무작위 앙상블 더블 Q-러닝 적용)을 구축합니다.
학습: 정책은 수집된 데이터셋을 바탕으로 오프라인에서 학습됩니다. 오프라인 설정이므로 엔트로피 계수는 온라인에서 적응시키는 대신 고정됩니다.
배포 전환: 실행 중에는 접촉 이벤트(힘 임계값)와 Q-함수 값을 기준으로 모션 플래너와 학습된 정책 사이를 전환합니다. 학습된 Q-함수는 작업이 완료되었을 때 정책을 종료하는 성공 분류기 역할도 수행합니다.

주요 기여

구성적 프레임워크: 자유 공간 운동에는 전통적인 모션 플래닝을 활용하고, 임계 작업 구간에 대해서만 밀도 높은 데이터 수집과 오프라인 DRL을 활용하는 방법론을 제시했습니다.
자율 데이터 수집 체계: 숙련된 인간 텔레오퍼레이터에 대한 의존도를 낮추기 위해, 혼합 탐욕-무작위 탐색을 사용하여 임계 구간에서 밀도 높은 데이터를 생성하는 자동화된 파이프라인을 구축했습니다.
통합 배포: 접촉 이벤트와 Q-함수 임계값을 사용하여 계획과 학습을 결면하는 순차적 실행 전략을 통해 다양한 작업에서 높은 성공률을 달est했습니다.

실험 결과

이 접근 방식은 네 가지 도전적인 실제 작업(선반 적재, 레고 쌓기, 팬 커버 조립, 그리고 방해 요소가 포함된 어려운 버전의 팬 커버 조립)에 대해 평가되었습니다.

성공률: 제안된 방법은 모든 작업에서 평균 **96%**의 성공률을 달성했으며, 개별 작업 성공률은 94%에서 98% 사이였습니다. 이는 최대 평균 55%를 기록한 가장 강력한 베이스라인들을 크게 상회하는 수치입니다.
데이터 효율성: 이 방법은 데이터 수집을 위해 2~2.5시간의 자율적인 실제 시간(wall-clock time)만을 필요로 했습니다. 반면, HIL-SERL과 같은 베이스라인은 더 긴 시간과 더 많은 인간의 개입을 요구했습니다.
일반화 (OOD): 제안된 방법은 OOD 시나리오(예: 다른 물체 배치, 방해 요소 존재)에서도 높은 성공률을 유지한 반면, 엔드 투 엔드 베이스라인(모방 학습 및 DRL)은 어려운 OOD 조건에서 성공률이 거의 0에 가깝게 떨어지는 등 큰 어려움을 겪었습니다.
힘 적용: 이 모듈형 접근 방식은 베이스라인에 비해 물체에 가하는 힘을 현저히 적게 적용했습니다(평균 49% 또는 -4.7 N 감소). 이는 판지나 PBT/PC 몰드와 같은 변형 가능한 부품을 다룰 때 매우 중요합니다.
절제 연구(Ablation Studies): 실험을 통해 임계 구간에 대한 밀도 높은 데이터 커버리지가 필수적임을 확인했습니다. 순수 무작위 탐색이나 순수 모방(낮은 탐색)은 견고한 정책을 생성하는 데 실패했으며, 적절한 균형(무작위 행동 확률 $p \approx 0.8$ )이 최적임을 입증했습니다.

의의 및 주장

본 논문은 고정밀 접촉 빈번 작업에서의 성능 격차가 단순히 데이터 규모의 문제가 아니라 데이터의 구조와 집중도의 문제라고 주장합니다. 임계 구간에만 데이터 수집을 집중하고 나머지 부분에는 전통적인 플래닝을 활용함으로써, 저자들은 다음을 입증했습니다:

최소한의 자율 데이터 수집 시간(2~2.5시간)만으로 높은 성공률을 달성할 수 있습니다.
데이터 수집 단계에서 숙련된 인간 텔레오퍼레이터에 대한 의존도를 제거할 수 있습니다.
학습된 정책의 범위를 전체 작업이 아닌 국소적인 접촉 상호작용으로 좁힘으로써 OOD 시나리오에 대한 강건성을 향상시킬 수 있습니다.
이 접근 방식은 정밀 조작 애플리케이션을 더욱 실용적이고 견고하게 만드는 표적 데이터 수집 전략의 길을 열어줍니다.

저자들은 순차적 경계 정의가 어려운 작업(예: 접기)이나 이색적이거나 가려진 물체에 대한 기성 포즈 추정 모델의 정확도 의존성에 대한 한계를 언급했습니다. 그러나 이러한 포즈 추정 모델은 전체 로봇 정책을 훈련하는 것보다 훨씬 쉽게 미세 조정(fine-tuning)될 수 있다고 주장합니다.