💻 computer science

Visual-Tactile Peg-in-Hole Assembly Learning from Peg-out-of-Hole Disassembly

이 논문은 피벗-홀 (PiH) 조립 학습을 용이하게 하기 위해 그 역과제인 피벗-홀 분해 (PooH) 의 데이터를 활용하는 새로운 시각-촉각 기술 학습 프레임워크를 제안하며, 이를 통해 직접 학습하는 방법보다 성공률을 크게 향상시키고 접촉 힘을 감소시키는 결과를 입증했습니다.

원저자: Yongqiang Zhao, Xuyang Zhang, Zhuo Chen, Matteo Leonetti, Emmanouil Spyrakos-Papastavridis, Shan Luo

게시일 2026-04-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yongqiang Zhao, Xuyang Zhang, Zhuo Chen, Matteo Leonetti, Emmanouil Spyrakos-Papastavridis, Shan Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 로봇이 **"구멍에 못을 박는 것 (Peg-in-Hole)"**이라는 매우 까다로운 작업을 어떻게 더 쉽고 빠르게 배울 수 있는지에 대한 혁신적인 방법을 소개합니다.

마치 **역주행 (Reverse Driving)**을 통해 주차를 배우는 것과 같은 아이디어입니다.

1. 문제: 로봇은 왜 '못 박기'를 못 할까요?

상상해 보세요. 로봇이 책상 위에 있는 작은 구멍에 못을 정확히 넣으려 한다고 칩시다.

시각 (눈): 구멍이 어디 있는지 대략적으로 볼 수는 있지만, 아주 미세한 오차나 못이 구멍 벽에 닿는 느낌은 알 수 없습니다.
촉각 (손): 못이 구멍에 닿았을 때의 느낌을 알 수 있지만, 구멍이 멀리 어디 있는지 모르면 손만 허공을 헤맬 뿐입니다.

기존의 로봇 학습 방식은 로봇이 수천 번 실수하며 "아, 여기가 아니었구나"라고 스스로 깨닫게 하는 시행착오 (Trial and Error) 방식이었습니다. 하지만 이 방식은 시간이 너무 오래 걸리고, 로봇이 부러지거나 물건을 망가뜨릴 위험이 큽니다.

2. 해결책: "역으로 생각하기" (PooH to PiH)

이 논문의 핵심 아이디어는 아주 직관적입니다. **"못을 구멍에 넣는 것 (Assembly)"이 어렵다면, 반대로 **못을 구멍에서 빼는 것 (Disassembly)**부터 배워보자는 것입니다.

못 빼기 (PooH): 못이 이미 구멍에 꽂혀 있다면, 로봇은 그냥 당기기만 하면 됩니다. 구멍과 못을 정확히 맞추는 복잡한 과정이 필요 없기 때문에 훨씬 쉽고, 로봇이 실수해도 물건을 망가뜨릴 확률이 낮습니다.
못 넣기 (PiH): 이 반대로 생각하면, "빼는 과정"을 거꾸로 돌리면 "넣는 과정"이 됩니다.

3. 어떻게 작동할까요? (마치 거울처럼)

연구진은 다음과 같은 3 단계 과정을 만들었습니다.

쉬운 작업 먼저 배우기: 로봇에게 "못을 구멍에서 빼는 것"을 먼저 가르칩니다. 이때 로봇의 **눈 (카메라)**과 **손끝 (촉각 센서)**을 모두 사용하게 합니다. 로봇은 빼는 과정에서 구멍의 위치를 보고, 접촉감을 느끼며 데이터를 모읍니다.
시간을 거꾸로 돌리기: 로봇이 빼는 과정을 녹화한 뒤, 영상을 거꾸로 재생합니다. 마치 "빼는 영상"을 거꾸로 틀면 "넣는 영상"이 되는 것과 같습니다.
약간의 '요리' 추가 (랜덤화): 하지만 단순히 거꾸로 돌리는 것만으로는 부족합니다. 실제로 못을 넣을 때는 구멍에 걸려서 흔들리거나 (Jamming), 살짝 비틀어야 들어가는 경우가 많기 때문입니다. 그래서 연구진은 거꾸로 돌린 데이터에 **의도적인 흔들림과 실수 (랜덤한 움직임)**를 섞어주었습니다. 마치 요리할 때 레시피를 그대로 따라 하는 게 아니라, "이렇게 살짝 흔들면 더 맛있겠지?"라고 상상하며 데이터를 풍부하게 만든 것입니다.

이렇게 만들어진 데이터를 로봇에게 보여주면, 로봇은 처음부터 시행착오를 겪지 않고도 **"어떻게 못을 넣어야 하는지"**를 이미 경험한 것처럼 빠르게 배웁니다.

4. 왜 '눈'과 '손'을 함께 쓸까요?

이 연구는 로봇에게 두 가지 감각을 동시에 사용하게 합니다.

눈 (Vision): "저기 구멍이 있네!"라고 멀리서 대략적인 위치를 알려줍니다. (접근 단계)
손 (Tactile): "아, 살짝 걸리네!"라고 가까이서 미세한 접촉을 알려줍니다. (맞춤 단계)

이 두 가지를 합친 결과, 로봇은 단순히 눈만 쓰는 경우보다 6.4% 더 부드러운 힘으로 못을 박았으며, 성공률도 기존 방법보다 18.1%나 높아졌습니다.

5. 요약: 이 연구의 의미

이 논문은 로봇이 "어려운 일 (못 박기)"을 배울 때, 그 역순인 "쉬운 일 (못 뽑기)"을 먼저 경험하게 하고, 그 데이터를 거꾸로 돌려 활용하는 지혜로운 방법을 제시했습니다.

마치 운전 면허를 딸 때, 먼저 '주차'를 배우는 게 아니라 '차에서 내리는 것'부터 연습하면 주차가 훨씬 쉬워지는 것과 같은 원리입니다. 이 방법을 통해 로봇은 더 적은 시간과 비용으로 복잡한 조립 작업을 마스터할 수 있게 되었습니다.

논문 요약: 시각 - 촉각 피그 - 인 - 홀 (PiH) 조립을 위한 피그 - 아웃 - 오브 - 홀 (PooH) 해체 학습

1. 문제 정의 (Problem)

배경: 로봇 조립의 기본이면서도 가장 어려운 작업 중 하나인 '피그 - 인 - 홀 (Peg-in-Hole, PiH)' 작업은 정밀한 힘 제어와 정렬이 필요하여 로봇의 민첩성을 요구합니다.
도전 과제:
- 강화학습 (RL) 의 한계: RL 은 목표 위치 변화에 강건하지만, 탐색 (exploration) 이 필요하여 방대한 데이터와 상호작용 시간이 소요됩니다.
- 지도학습 (SL) 의 한계: 전문가 시연 데이터에 의존하며, 보이지 않는 장면이나 새로운 물체에 대한 일반화 능력이 떨어집니다.
- 센싱의 한계: 시각만으로는 접촉 감지나 정밀한 정렬이 어렵고, 촉각만으로는 장거리 접근 (approach) 이 불가능합니다.
핵심 아이디어: PiH(조립) 는 어렵지만, 그 역과제인 PooH(피그 - 아웃 - 오브 - 홀, 해체) 는 마찰만 극복하면 되므로 상대적으로 쉽습니다. 인간의 신경학적 연구에 따르면 역과제 학습이 양방향 행동 - 효과 학습을 지원한다는 점에 착안하여, 쉬운 PooH 작업의 데이터를 역순으로 변환하여 어려운 PiH 작업의 학습 데이터로 활용하는 프레임워크를 제안합니다.

2. 방법론 (Methodology)

제안된 프레임워크는 시각 - 촉각 (Visual-Tactile) 정보를 통합한 단일 POMDP(부분 관측 마르코프 결정 과정) 환경에서 다음과 같은 3 단계로 구성됩니다.

A. 통합 에이전트 및 관찰 공간:
- 관찰 (Observation): 로봇 운동학 (Kinematics, $K$ $K$ ), 시각 (Vision, $V$ $V$ ), 촉각 (Tactile, $C$ $C$ ) 정보를 통합합니다.
  - 시각: 96x96 해상도의 이미지 (전역 컨텍스트 및 접근 유도).
  - 촉각: 비전 기반 촉각 센서 (GelSight 등) 의 마커 흐름을 PCA 로 축소된 15 차원 벡터 (국소 접촉 및 정렬 정보).
- 행동 (Action): 엔드 이펙터의 이산적 변위 ( $a_t = k_{t+1} - k_t$ ).
- 알고리즘: Soft Actor-Critic (SAC) 을 사용하여 연속 제어 공간을 학습합니다.
B. PooH 정책 학습 (Policy Learning):
- 먼저 PooH(해체) 작업에 대해 SAC 를 사용하여 시각 - 촉각 정책을 학습합니다.
- PooH 는 정렬이 덜 필요하므로 데이터 수집이 효율적이며, 다양한 접촉 조건을 안전하게 탐색할 수 있습니다.
C. PiH 데모 생성 (Demonstration Generation):
- 학습된 PooH 정책의 궤적 (Trajectory) 을 시간 역순 (Temporal Reversal) 으로 변환합니다.
- 행동 무작위화 (Action Randomization): 단순 역순 변환만으로는 PiH 의 복잡한 접촉 (끼임, 정렬 보정) 을 재현하기 어렵습니다. 따라서 피그와 구멍이 접촉하기 직전 (z 축 거리 < 0.01m) 에 무작위 변위 ( $\Delta x, \Delta y$ ) 를 추가하여 접촉 패턴을 다양화하고, PiH 의 접촉 역학에 더 가깝게 만듭니다.
- 이 과정에서 시뮬레이터의 촉각 모델을 사용하여 역순 궤적에 맞는 새로운 촉각 데이터를 재생성합니다.
D. PiH 정책 학습 (Policy Learning):
- 생성된 PiH 데모 데이터를 활용하여 PiH 정책을 학습합니다.
- 하이브리드 리플레이 버퍼 (Hybrid Replay Buffer): 환경 상호작용 데이터와 생성된 전문가 데모 데이터를 혼합하여 샘플링합니다.
- 행동 복제 손실 (Behavior Cloning Loss): RL 업데이트 외에 전문가 행동의 로그 가능도를 최대화하는 BC 손실을 추가하여 학습 초기의 안정성과 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

PooH-to-PiH 학습 프레임워크: PiH 와 PooH 를 동일한 POMDP 로 모델링하고, 역과제인 PooH 의 궤적을 시간 역순 및 행동 무작위화를 통해 PiH 의 전문가 데이터로 변환하는 새로운 접근법을 제시했습니다.
시각 - 촉각 융합: 접근 단계에는 시각 정보를, 접촉 및 정렬 단계에는 촉각 정보를 활용하여 상호 보완적인 강점을 극대화했습니다.
효율성 및 일반화: 직접적인 RL 학습이나 기존 지도학습보다 훨씬 높은 성공률과 낮은 접촉 힘을 달성하며, 보지 못한 (unseen) 물체에서도 우수한 일반화 성능을 입증했습니다.

4. 실험 결과 (Results)

실험 환경: ABB YuMi 로봇, GelSight 기반 촉각 센서, Intel RealSense 카메라를 사용한 시뮬레이션 (MuJoCo) 및 실제 환경.
성능 비교:
- 성공률: 제안된 방법은 평균 87.5% (보이는 물체) 및 77.1% (보이지 않는 물체) 의 성공률을 기록했습니다. 이는 처음부터 PiH 를 학습하는 직접 RL(Direct RL) 방법보다 18.1% 높은 성공률입니다.
- 접촉 힘: 단일 모달리티 (시각만 또는 촉각만) 방법보다 6.4% 낮은 접촉 힘을 기록하여, 로봇과 물체의 손상을 줄이고 부드러운 조립을 가능하게 했습니다.
- 성분 분석 (Ablation Study):
  - 시각 또는 촉각 센서를 제거하면 성공률이 급격히 하락 (51.2% 또는 42.3%) 하여, 두 센서의 융합이 필수적임을 증명했습니다.
  - 행동 무작위화 (Action Randomization) 가 없으면 성공률이 14.8% 감소하여, 접촉 다양성이 중요함을 확인했습니다.
Sim-to-Real: 시뮬레이션에서 학습된 정책을 실제 로봇에 적용했을 때, 72.1% 의 평균 성공률을 달성하며 효과적인 전이 학습이 가능함을 입증했습니다.

5. 의의 (Significance)

데이터 효율성: PiH 조립과 같이 위험하거나 시간이 많이 소요되는 작업을 직접 학습하는 대신, 상대적으로 안전하고 쉬운 해체 (PooH) 작업을 통해 데이터를 확보함으로써 학습 비용을 크게 절감했습니다.
실용성: 다양한 기하학적 형태 (정육면체, 원기둥, D 자형 등) 와 간극 (0.5mm~2mm) 에서 검증되었으며, 실제 산업 환경에 적용 가능한 견고한 솔루션을 제시했습니다.
미래 지향성: 이 프레임워크는 조립/해체뿐만 아니라 다른 역과제가 존재하는 다양한 로봇 조작 작업 (Manipulation Tasks) 으로 확장 가능하다는 가능성을 보여주었습니다.

이 논문은 로봇이 인간의 직관 (역과제 학습) 을 모방하여 복잡한 조립 작업을 효율적으로 습득할 수 있는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.