A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning

기술 요약: 새로운 쿼터니언 조인트 케이블 구동 중복 매니퓰레이터 구성과 FABRIK 및 잔차 강화 학습을 통한 제어

문제 정의
고도로 장애물이 많은 작업 공간에서 임의의 공간 경로를 탐색할 수 있는 로봇 팔은 위성 수리에서 수술에 이르기까지 다양한 산업 분야에서 매우 중요합니다. 케이블 구동 중복 매니퓰레이터(CDRM)는 경량화와 유연성 측면에서 이점을 제공하지만, 전통적인 설계는 2N 자유도(DOF)를 구현하기 위해 3N개의 모터를 필요로 하는 경우가 많습니다. 쿼터니언 조인트를 활용한 최근의 발전은 이를 2N 자유도에 대해 2N개의 모터로 줄여 더욱 컴팩트한 구조를 가능하게 했습니다. 그러나 이러한 시스템을 제어하는 것은 여전히 까다로운 과제입니다. 쿼터니언 조인트의 복잡한 운동학 모델은 높은 계산 부하를 초신하며, 이러한 시스템에 내재된 비선형성은 설계와 실제 제작(예: 제조 정밀도, 케이블 히스테리시스) 사이의 불일치를 증폭시킵니다. FABRIK(Forward and Backward Reaching Inverse Kinematics) 알고리즘과 같은 기존 제어 방식은 제작 상태가 완벽에 가깝지 않으면 구조화되지 않은 환경에서 수렴 안정성이 떨어지는 경향이 있습니다.

방법론
저자들은 이러한 과제를 해결하기 위해 새로운 기계적 설계와 하이브리드 제어 전략을 제안합니다.

1. 기계적 설계:

   • 팀은 4개 세그먼트, 8개 조인트 매니퓰레이터를 개발했습니다. 3개의 조인트를 사용하는 이전 구성(예: Huang 등, 총 12개)과 달리, 이 설계는 세그먼트당 조인트 수를 2개로 줄였습니다.
   • 줄어든 조인트 수를 보완하면서 작업 공간을 유지하기 위해, 이 설계는 조인트당 최대 굴곡 각도를 $\pm 40^\circ$에서 $\pm 70^\circ$로 늘렸습니다.
   • 쿼터니언 조인트는 유니버설 조인트 메커니즘에 적합하도록 조정된 Denavit-Hartenberg(DH) 파라미터를 사용하여 모델링되었으며, 굴곡 방향($\phi$)과 각도($\theta$)에 대한 다항식 근사가 적용되었습니다.

2. 제어 전략:

   • FABRIK 구현: 베이스라인 모델 기반 컨트롤러가 구현되었습니다. 매니퓰레이터의 상태는 위치 및 방향 벡터를 통해 가상 등가 모델로 변환됩니다. 이 알고리즘은 내부 반복(전방 및 후방 도달을 통한 5자유도 해결)과 외부 반복(최종 롤 자유도 해결)을 수행하여 목표 포즈로 수렴합니다.
   • 잔차 강화 학습(Residual Reinforcement Learning, RRL): 비선형성과 모델링 오차를 처리하기 위해 잔차 강화 학습 접근 방식이 개발되었습니다.
     • 베이스 컨트롤러: 심층 순방향 모델(신경망)과 역운동학(IK) 솔버가 결합되어 명목상의 케이블 길이 명령을 생성합니다.
     • 잔차 정책(Residual Policy): RL 에이전트(Brax 프레임워크 내에서 PPO를 통해 학습됨)는 베이스 명령에 더해질 교정용 "잔차" 동작을 학습합니다.
     • 학습 아키텍처: 시스템은 비대칭 액터-크리틱(asymmetric actor-critic) 설정을 사용합니다. *액터(Actor)*는 실제 세계에서 사용 가능한 데이터(센서 이력, 목표 포즈, 베이스 명령)만을 관찰하는 반면, 크리틱(Critic)(시뮬레이션에서만 사용됨)은 특권 정보(실제 텐던 길이, 속도 및 지면 진실 오차)에 접근할 수 있습니다.
     • Sim-to-Real: 시뮬레이션과 실제 간의 격차를 줄이기 위해 케이블 댐핑, 마찰 및 관성에 대해 광범한 도메인 무작위화(Domain Randomization, DR)가 적용되었습니다.

주요 기여

• 새로운 구성: 12개 조인트 설계와 대등한 작업 공간을 달면서도 하드웨어 복잡성과 비용을 줄인 4세그먼트 8조인트 쿼터니언 매니퓰레이터의 설계 및 구현.
• 수학적 모델링: 쿼터니언 조인트 및 다중 세그먼트 매니퓰레이터에 대한 완전한 운동학 모델과 FABRIK을 위한 등가 벡터 모델의 유도.
• 제어 프레k워크: 이 특정 하드웨어에 대한 FABRIK 제어와 잔차 강화 학습 구현에 대한 종합적인 설명.
• 실험적 검증: 시뮬레이션(MuJoCo) 및 물리적 프로토타입 모두에 대한 두 제어 방법의 비교 평가.

결과

• 작업 공간: 조인트 굴곡 각도를 $70^\circ$로 높임으로써, 8조인트 설계가 12조인트 베이스라인과 대등한 작업 공간을 성공적으로 확보하였으며, 이를 통해 조인트 수와 각도 범위 사이의 트레이드오프를 입증했습니다.
• FABRIK 성능: FABRIK 알고리즘은 70.4%의 성공률과 0.0221초의 평균 계산 시간을 달랐습니다. 속도는 빠르지만, 학습 기반 방식에 비해 견고성 측면에서 한계를 보였습니다.
• RRL 성능: 논문은 잔차 강화 학습 방식이 위치 및 방향 정확도 측면에서 FABRIK보다 3 자릿수(1,000배) 더 우수한 성능을 보인다고 보고합니다.
  • 참고 (수렴성): 저자들은 RRL 아키텍처가 기능적이며 단조롭게 학습되지만, 본 연구에서 학습된 특정 정책(5,000만 스텝)이 실험 예산 내에서 배포 가능한 상태로 완전히 수렴하지는 못했다고 명시했습니다. 학습된 잔차 정책은 무작위 정책 대비 평균 위치 오차를 32% 감소시켰으나, 정지 상태에서 평가된 단독 베이스 컨트롤러보다는 성능이 낮았습니다. 저자들은 이를 딱딱한 케이블 역학에 대한 연속 동작 PPO의 높은 샘플 복잡도와 까다로운 평가 분포 때문이라고 설명했습니다.
• 운동학적 편차: 분석 결과, 조인트 모델은 낮은 각도에서는 이상적이지만, $\pm 70^\circ$로 작동할 때 체계적이고 예측 가능한 운동학적 오차(이상적인 원형 경로로부터의 타원형 편차)가 발생하며, RRL 프레임워크가 이를 보정하도록 설계되었음을 확인했습니다.

의의 및 주장
본 논문은 제안된 4세그먼트 8조인트 구성이 이전 설계보다 작업 효율적이고 비용 효율적인 솔루션을 제공한다고 주장합니다. 또한 잔차 강화 학습이 이러한 유형의 매니퓰레이터를 제어하는 데 있어 유효하고 우월한 방법임을 입증하며, FABRIK과 같은 모델 기반 컨트롤러를 괴롭히는 비선형성과 제작 불일치를 보정할 수 있음을 보여줍니다.

저자들은 자신들의 연구가 설계자들에게 이 계열의 매니퓰레이터를 개발하기 위한 새로운 도구를 제공한다고 강조합니다. 그들은 기계적 설계와 베이스 컨트롤러 결과는 견고하지만, RRL 구성의 완전한 잠재력을 끌어내기 위해서는 베이스 컨트롤러 단독 평가 시의 정확도 수준에 도달하기 위한 추가적인 계산 자원과 보상 튜닝이 필요함을 명시했습니다. 본 연구는 잔차 학습 인프라가 올바르게 작동한다는 점과, 고정밀 케이블 구동 시스템의 실제 기계적 비선형성을 보정하기 위해 학습 기반 방식이 필수적이라는 점을 보여주는 개념 증명 역할을 합니다.