SHaRe-RL: Structured, Interactive Reinforcement Learning for Contact-Rich Industrial Assembly Tasks

1. 문제 정의 (Problem Statement)

• 배경: 중소기업 (SME) 에서 흔히 발생하는 다품종 소량 생산 (HMLV, High-Mix Low-Volume) 산업 조립은 높은 정밀도, 안전성, 신뢰성을 요구하면서도 제품 변형과 환경적 불확실성에 유연하게 대응해야 합니다.
• 현황의 한계:
  • 기존 수동 프로그래밍은 적응이 어렵고 비용이 많이 듭니다.
  • 기존 학습 기반 방법 (RL 등) 은 접촉이 많은 작업 (Contact-Rich Tasks) 에서 샘플 효율성이 낮고, 안전하지 않은 탐색 (Unsafe Exploration) 으로 인해 실제 산업 환경에 적용하기 어렵습니다.
  • 특히 0.2~0.4 mm 의 미세한 틈새 (Clearance) 를 가진 산업용 커넥터 삽입과 같은 작업은 로봇이 실패하기 매우 쉽습니다.

2. 제안 방법론: SHaRe-RL (Methodology)

저자들은 SHaRe-RL이라는 새로운 강화학습 프레임워크를 제안합니다. 이는 세 가지 주요 사전 지식 (Prior Knowledge) 소스를 통합하여 효율적이고 안전한 온라인 학습을 가능하게 합니다.

A. 구조화된 기술 (Structured Skills: Manipulation Primitives)

• MP-Nets (Manipulation Primitive Nets): 복잡한 조립 과정을 '조작 원시 (Manipulation Primitives, MPs)'라는 기본 단위로 분해합니다.
• 하이브리드 제어: 각 원시는 작업 프레임 (Task Frame) 에 대한 힘/위치 제어 정책을 정의하며, 상태 머신으로 구성됩니다.
• 적응형 원시 (AMPs): 학습이 필요한 부분 (예: 정밀 정렬) 만은 정책이 제어하는 변수로, 나머지 반복적인 부분 (접근, 이격 등) 은 고정된 설정값으로 실행합니다. 이는 탐색 공간을 의미 있는 하위 공간으로 축소하여 학습 효율을 극대화합니다.

B. 인간 - 로봇 상호작용 (Human-in-the-Loop)

• 오프 - 정책 학습 (Off-policy RL): RLPD (Reinforcement Learning from Prior Data) 알고리즘을 기반으로 합니다.
• 데이터 소스:
  1. 오프라인 시연 (Demonstrations): 숙련된 작업자가 SpaceMouse 로 수집한 초기 데이터.
  2. 온라인 수정 (Interventions): 학습 중 작업자가 버튼을 눌러 로봇을 직접 제어하여 실패를 방지하거나 희귀한 실패 사례를 유도하여 정책이 회복 행동을 학습하도록 합니다.
• 효과: 인간의 전문성을 활용하여 탐색을 가속화하고, RL 이 인간의 비최적 행동을 넘어설 수 있도록 합니다.

C. 적응형 안전 제한 (Adaptive Safety Limits)

• 문제: 접촉 작업 중 로봇이 큰 힘을 가해 하드웨어를 손상시키거나 에피소드를 조기 종료할 위험이 있습니다.
• 해결책: 축별 적응형 힘 제한 (Per-axis Adaptive Force Limits) 메커니즘을 도입했습니다.
  • 자유 공간 (Free-space) 에서는 큰 명령을 허용하여 반응성을 유지합니다.
  • 접촉이 감지되면 ($F_{meas} > 0$), 힘 제한값이 자동으로 축소되어 접촉 힘을 물리적으로 의미 있는 상한선 (예: 5 N) 으로 제한합니다.
  • 이는 수학적적으로 안정성이 보장되며 (Fixed point convergence), 수동 튜닝 없이도 안전한 탐색을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 시스템: 조작 원시 네트워크 (MP-Nets) 와 인간 - 로봇 상호작용 오프 - 정책 강화학습을 결합한 최초의 시스템입니다.
2. 안전 보장 메커니즘: 접촉 중 상호작용 힘을 수학적으로 증명된 방식으로 제한하면서도 자유 공간의 동역학을 보존하는 적응형 축별 순응 (Compliance) 메커니즘을 제안했습니다.
3. 실제 환경에서의 검증: 3 시간의 실제 상호작용 시간 내에 0.2~0.4 mm 공차의 산업용 커넥터 삽입 작업에서 100% 성공률을 달성했으며, 숙련된 인간 시연자의 사이클 시간 (4.5 초) 보다 빠른 3.5 초를 기록했습니다.
4. 일반화 능력: 학습된 정책은 훈련 시 보지 못한 커넥터 변형체 (Variants) 에 대해서도 제로샷 (Zero-shot) 으로 성공적으로 일반화되었습니다.
5. 오픈소스 구현: LeRobot 프레임워크를 기반으로 구현되어 저비용 매니퓰레이터에서도 호환되도록 공개되었습니다.

4. 실험 결과 (Experimental Results)

• 실험 설정: UR3e 로봇, Harting HanDD 커넥터 삽입 작업 (0.2~0.4 mm 틈새). 3 시간의 학습 시간, NVIDIA RTX 3060 Ti 사용.
• 비교 대상:
  • SHaRe-RL (제안 방법): 100% 성공, 3.5 초 사이클 시간.
  • HIL-SERL (구조화 없는 인간 개입 RL): 65% 성공, 7.4 초.
  • SHaRe-BC (구조화된 행동 복제): 80% 성공, 7.4 초 (시연 데이터의 한계에 갇힘).
  • 인간 전문가: 100% 성공, 4.5 초.
• 주요 발견:
  • 구조화 (MP-Nets) 와 인간 개입 (시연 + 수정) 의 결합이 학습 속도와 최종 성능을 결정적으로 향상시킵니다.
  • 시각 피드백 (Vision) 은 필수적입니다. 시각 정보를 제거한 경우 성공률이 10% 로 급감하여, 힘/속도 정보만으로는 기하학적 모호성을 해결할 수 없음을 보여줍니다.
  • 적응형 힘 제한은 20 N 의 충돌 명령에도 5 N 으로 안정적으로 수렴하여 하드웨어 보호를 입증했습니다.
  • 일반화: 훈련된 모델은 별도의 미세 조정 없이 새로운 커넥터 유형에서도 90% 이상의 성공률을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 산업적 가치: SHaRe-RL 은 도메인 전문가의 지식 (프로세스 구조, 작업자 시연) 을 RL 에 효과적으로 주입함으로써, 샘플 효율성과 안전성이라는 RL 의 두 가지 주요 장벽을 해결했습니다.
• 실용성: 이 접근법은 중소기업이 자동화 전문가가 없더라도 RL 을 활용한 접촉이 많은 조립 작업을 안전하고 경제적으로 배포할 수 있는 길을 열었습니다.
• 향후 과제: 복잡한 작업에 필요한 인간 감독의 양을 줄이기 위한 모델 기반 탐색, 자가 지도 보상 신호, 그리고 사전 훈련된 기초 모델 (Foundation Models) 과의 결합이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 구조화된 작업 추상화, 인간 피드백, 안전한 힘 제어를 결합하여 실제 산업 환경의 까다로운 조립 문제를 해결한 획기적인 RL 프레임워크를 제시합니다.