Rainbow Deep Q-Learning with Kinematics-Aware Design for Cooperative Delta and 3-RRS Parallel Robot Insertion

기술 요약: 협동 델타 및 3-RRS 병렬 로봇 삽입을 위한 운동학 인식 설계가 적용된 레인보우 딥 Q-러닝

문제 제기
본 논문은 이종 병렬 로봇 쌍을 이용한 협동 핀 - 구멍 삽입 조작의 과제를 다룹니다. 해당 로봇 쌍은 3 개의 병진 자유도를 제공하는 델타 매니퓰레이터와 2 개의 회전 및 1 개의 수직 병진 자유도를 제공하는 3-RRS(회전 - 회전 - 구형) 매니퓰레이터로 구성됩니다. 이 작업은 3-RRS 가 운반하는 돔형 플랫폼의 목표 구멍에 핀을 삽입하기 위해 정밀한 동기화가 필요합니다. 저자들은 세 가지 주요 과제를 식별했습니다: (1) 동적 조건 하에서 병진 및 회전의 정밀한 시간적 정렬 필요성, (2) 명시적 재프로그래밍 없이 변화하는 상대 포즈에 적응할 필요성, 그리고 (3) 병렬 메커니즘의 제어 복잡성을 유발하는 특이점과 작업 공간 경계를 피하면서 제한된 작업 공간 내에서 안전한 운동을 유지하고 운동학적 제약을 준수할 필요성입니다.

방법론
제안된 솔루션은 기하학적 설계 최적화 단계와 레인보우 딥 Q-네트워크 (DQN) 를 통합하는 "운동학 기반" 심층 강화 학습 (DRL) 프레임워크입니다.

1. 기하학적 최적화 단계: 학습 시작 전에 3-RRS 매니퓰레이터의 기하학적 매개변수가 최적화됩니다. 무경사 심플렉스 방법 (Nelder-Mead) 을 사용하여 특이점이 없는 방향 작업 공간의 면적을 최대화하고 야코비안의 조건수를 개선합니다. 이 단계는 강화 학습 에이전트가 탐색할 수 있는 안전한 영역을 확장하여 운동학적 위반으로 인해 에피소드가 종료될 가능성을 줄입니다.
2. 마르코프 결정 과정 (MDP) 공식화: 협동 작업은 유한 시간 MDP 로 모델링됩니다.
   • 상태 공간: 델타 플랫폼의 데카르트 포즈, 3-RRS 플랫폼의 방향 (롤/피치) 및 수직 위치, 핀 팁과 목표 구멍 간의 상대 변위, 그리고 목표 구멍의 법선 벡터로 구성된 12 차원 벡터입니다.
   • 행동 공간: 6 개의 제어된 자유도 (델타의 3 개 병진, 3-RRS 의 2 개 회전 및 1 개 수직 병진) 에 대한 양수와 음수의 증분 명령으로 구성된 12 개의 행동으로 이루어진 이산 집합입니다.
   • 보상 함수: 밀집 근접 안내 (목표까지의 거리, 점진적 진전), 작업 공간 또는 역운동학 (IK) 위반에 대한 페널티, 그리고 성공적인 삽입에 대한 희소 보너스를 결합한 형태화된 보상입니다.
3. 학습 알고리즘: 저자들은 표준 DQN 에 여섯 가지 확장을 통합한 레인보우 DQN 을 사용합니다. 이는 과대추정 편향을 줄이기 위한 Double Q-러닝, 상태 가치와 이점 추정을 분리하는 듀얼링 아키텍처, 샘플 효율성을 위한 우선 경험 재생, 더 빠른 보상 전파를 위한 멀티스텝 반환, $\epsilon$-greedy 스케줄 없이 상태 의존적 탐색을 위한 노이즈 선형 레이어, 그리고 분산 가치 헤드를 포함합니다.
4. 훈련 프로토콜: 2 단계 커리큘럼이 사용됩니다. 에이전트는 먼저 4 개의 주변 구멍의 하위 집합 (C0 단계) 에서 훈련한 후, 이동 평균 성공률이 75% 를 초과하면 모든 6 개의 구멍 (C1 단계) 으로 진행합니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. 순차적 공동 설계 워크플로우: DRL 훈련 전에 3-RRS 기하학을 최적화하여 특이점이 없는 작업 공간을 최대화하고 조건을 개선하는 방법론입니다. 이는 이종 델타 + 3-RRS 쌍을 위한 안전한 탐색 영역을 확장합니다.
2. 작업 특화 레인보우 DQN 공식화: 12 차원 상태, 12 개의 증분 명령으로 구성된 이산 행동 집합, 그리고 운동학 지식 (작업 공간 제약 및 IK 유효성) 을 명시적으로 포함하여 밀집 형태화를 수행하는 보상 함수를 특징으로 하는 통합 프레임워크입니다.
3. 포괄적 시뮬레이션 연구: 개별 레인보우 DQN 구성 요소와 기하학적 최적화 단계의 영향을 평가하는 제거 연구로, Vanilla DQN 과 고전적인 샘플 기반 계획자 (RRT-Connect) 를 기준으로 벤치마킹되었습니다.

결과
검증은 맞춤형 Python 환경을 사용하는 고정밀 운동학 시뮬레이터에서 수행되었습니다. 5 개의 시드에서 100 개의 테스트 에피소드를 평균한 결과는 다음과 같습니다:

• 성능 우위: 레인보우 DQN 접근법은 **95% ± 2%**의 성공률을 달성하여 Vanilla DQN(68% ± 5%) 과 고전적 RRT-Connect 계획자 (55% ± 4%) 를 크게 능가했습니다.
• 효율성: 제안된 방법은 평균 완료 시간을 7.1 초로 단축했습니다 (Vanilla DQN 은 9.8 초, 계획자는 12.4 초) 그리고 더 낮은 RMS 궤적 오차 (1.5 mm) 를 달성했습니다.
• 제거 연구 결과:
  • 우선 재생 또는 듀얼링 헤드를 제거하는 것이 가장 큰 성능 저하를 초래했습니다 (각각 성공률이 82% 와 85% 로 하락).
  • 기하학적 최적화 단계는 75% 성공률에 도달하는 데 필요한 환경 단계 수를 약 3 분의 1( $11.2 \times 10^5$ 에서 $7.6 \times 10^5$ 단계로) 줄이고 훈련 중 특이점 관련 종료를 완전히 제거한 것으로 나타났습니다.
• 견고성: 정책은 테스트 중 가우시안 잡음 (정규화된 상태 범위의 1%) 에 노출되었을 때 88% 의 성공률을 유지했습니다.

의의 및 주장
본 논문은 기하학적 최적화와 운동학 기반 DRL 의 통합이 제한적이고 특이점이 발생하기 쉬운 환경에서의 협동 조작을 위한 견고한 솔루션을 제공한다고 주장합니다. 저자들은 사전 훈련 기하학적 최적화가 단순한 설계 단계가 아니라 샘플 복잡성을 줄이고 운동학적 특이점으로 인한 훈련 실패를 방지하는 핵심 촉진제라고 주장합니다.

이 연구는 명시적 계획 파이프라인이 동적 조정과 엄격한 허용 오차에 어려움을 겪는 다중 로봇 시스템을 위한 적응형 데이터 기반 정책 합성으로 나아가는 한 걸음으로 자리매김합니다. 저자들은 시뮬레이션에 대한 의존성 (하드웨어 검증 부재), 궤적 부드러움을 제한할 수 있는 이산 행동 공간의 사용, 그리고 중앙 집중식 제어기의 특성 등 한계를 명시적으로 지적합니다. 또한 하드웨어 검증, 연속 행동 확장 (예: SAC, PPO), 그리고 분산형 다중 에이전트 공식화를 향후 필요한 방향으로 제시합니다.