기술 요약: REGRIND – 숙련된 조작을 위한 미니멀리스트 리타겟팅 가이드 RL 레시피

문제 정의

숙련된 조작(Dexterous manipulation)은 접촉 모드와 힘의 섬세한 조절을 요구하는 복잡하고 접촉이 빈번한 역학을 포함합니다. 휴머노이드 전신 제어는 "리타겟팅 후 학습(retarget-then-learn)" 방식(인간의 움직임을 로봇의 운동학에 맞춰 리타겟팅하고 이를 추적하도록 강화 학습(RL) 정책을 훈련하는 방식)을 성공적으로 채택해 왔으나, 이 접근 방식은 숙련된 조작 분야로 효과적으로 전이되지 못했습니다. 현재의 조작 기술은 주로 실제 로봇을 통한 원격 조종 데모에 의존하거나 시뮬레이션 내로 국한되어 있습니다.

핵심적인 문제는 단순한 운동학적 리타겟팅(kinematic retargeting)이 인간 손의 포즈는 일치시킬지언정, 손과 물체 사이의 상호작용은 무시한다는 점입니다. 이는 물리적으로 불가능한 궤적(예: 손과 물체의 침투)을 생성하여, 하위 RL 학습을 위한 부적절한 참조값(reference)이 되는 결과를 초래합니다. 또한, 숙련된 조작은 보행(locomotion)에 비해 시뮬레이션-실제 간 격차(마찰, 컴플라이언스, 기하학적 구조 등)에 훨씬 더 민감하게 반응하므로, 제로샷 전이(zero-shot transfer)가 어렵습니다.

방법론: REGRIND

저자들은 단 하나의 인간 데모로부터 숙련된 조작 정책을 학습하는 미니멀리스트 파이프라인인 REGRIND(REtargeting-Guided ReINforcement learning for Dexterous manipulation)를 제안합니다. 이 파이 pipeline은 실재-시뮬레이션-실재(real-to-sim-to-real) 워크플로우를 따릅니다.

1. 상호작용 보존형 모션 리타겟팅 (Interaction-Preserving Motion Retargeting)

표준 운동학적 리타겟팅 대신, 본 방법은 손과 물체 사이의 공간 및 접촉 관계를 보존하도록 리타겟팅을 최적화 문제로 정식화합니다.

• 상호작용 메쉬 (Interaction Meshes): 인간의 손과 물체의 의미론적 키포인트(source)와 그에 대응하는 로봇 손과 물체의 키포인트(target)를 연결하는 "상호작용 메쉬"를 구축합니다.
• 최적화 목적 함수: 로봇 궤적은 소스(source)와 타겟(target) 상호작용 메쉬 사이의 변형 에너지를 최소화하도록 최적화됩니다. 이는 메쉬 정점들의 라플라시안 좌표(Laplacian coordinates) 변화량으로 측정됩니다.
• 제약 조건: 최적화에는 운동학적 제약, 충돌 회피, 그리고 시간적 매끄러움(temporal smoothness)을 위한 정규화 항이 포함됩니다.
• 결과: 이를 통해 단순 역운동학(IK) 방식에서 흔히 발생하는 물리적으로 불가능한 파지(grasp)를 피하고, 유효한 접촉 구조를 유지하는 로봇 참조 궤적을 생성합니다.

2. 증강을 이용한 RL 훈련 (RL Training with Augmentation)

잔차 강화 학습(residual RL) 정책을 시뮬레이션에서 훈련하여 리타겟팅된 참조 궤적을 추적합니다.

• 액션 공간 (Action Space): 정책은 명목상의 리타겟팅 구성($q_{target} = \bar{q}_t + \alpha \odot \pi_\theta(\bar{q}_t, o_t)$)에 더해지는 잔차 액션(residual action)을 학습합니다.
• 관측 공간 (Observation Space): 액터(actor)는 물체 포즈, 로봇 관절 위치, 이전 액션, 그리고 페이즈 변수(phase variable)를 사용합니다. 시뮬레이션-실제 간 격차를 최소화하기 위해, 정책은 속도와 같은 노이즈가 섞인 센서 측정값을 사용하지 않습니다.
• 보상 함수 (Reward Function): 주요 보상은 물체 키포인트에 기반한 근접성 지표($\epsilon_{object}$)이며, 이는 로봇이 참조 대비 물체의 상태를 추적하도록 유도합니다. 이는 명시적인 접촉 보상 없이도 상호작용 사전 지식(interaction priors)을 암묵적으로 인코딩합니다.
• 데이터 증강 (Data Augmentation): 단일 데모로부터 발생하는 데이터 부족 문제를 해결하기 위해, 방법론은 참조 궤적을 동적으로 증강합니다. 초기 물체 구성(위치 및 방향)을 섭동(perturb)시키고, 전체 리타겟팅된 궤적에 시간에 따라 변하는 강체 변환(rigid transformation)을 적용합니다. 이는 궤적의 시작 부분을 새로운 초기 상태로 왜곡하면서도 원래의 목표로 부드럽게 돌아오게 함으로써, 비용이 많이 드는 리타겟팅 최적화를 다시 수행하지 않고도 다양한 훈련 샘플을 생성합니다.
• 커리큘럼 및 랜덤화 (Curriculum & Randomization): 훈련에는 도메인 랜덤화(마찰, 모터 게인), 관측 노이즈, 그리고 무작위 푸시(push) 및 점진적인 중력 증가를 포함하는 커리큘럼이 포함됩니다.

3. 시뮬레이션-실제 전이 (Sim-to-Real Transfer)

훈련된 정책은 제로샷 전이를 통해 하드웨어에 배포됩니다. 저자들은 성공적인 전이를 위해서는 리타겟팅 전략뿐만 아니라 세심한 시스템 식별(system identification)과 배포 중 모션 캡처 시스템으로부터의 물체 포즈 사용이 필수적임을 강조하며, 이를 통해 인지 오류를 혼란 변수(confounding factor)로서 제거합니다.

주요 기여 (Key Contributions)

1. 미니멀리스트 프레임워크: 상호작용 보존형 리타겟팅을 사용하여 단 하나의 인간 데모로부터 접촉이 빈번한 숙련된 조작을 학습하는 일반적인 파이프라인을 제시합니다.
2. 상호작용 보존형 리타겟팅: 손-물체 간의 공간 및 접촉 관계를 유지함으로써, 순수 운동학적 리타겟팅이 숙련된 조작 환경에서 겪는 실패 문제를 해결하는 새로운 리타겟팅 목적 함수를 제안합니다.
3. 동적 데이터 증강: 초기 상태를 섭동시키고 궤적을 왜곡함으로써 단일 데모로부터 다양한 참조 궤적을 합성하는 전략을 통해, 정책의 강건성과 일반화 능력을 향상시킵니다.
4. 체계적 분석: 숙련된 조작에서 시뮬레이션-실제 전이를 결정짓는 핵심 요소들을 평가하여, 상호작용 보존형 참조값과 세심한 시스템 식별의 필요성을 입증합니다.

실험 결과

본 방법론은 두 종류의 로봇 손(16-DoF LEAP 및 20-DoF WUJI)과 두 가지 도구(가위 및 드라이버)를 사용하는 네 가지 작업에 대해 평가되었습니다.

• 리타겟팅 품질: 정성적 결과에 따르면, REGRIND는 상호작용의 의미를 보존하는 인간다운 파지를 생성하는 반면, 베이스라인(Mink IK, DexMachina)은 물리적으로 불가능한 침투나 불안정한 파지를 생성합니다.
• 시뮬레이션 성능: REGRIND는 네 가지 작업 모두에서 98.7%~99.8%의 높은 성공률과 낮은 추적 오차를 달 기록했습니다. SPIDER와 같은 베이스라인은 RL 초기화를 효과적으로 수행하지 못했고, DexMachina는 가위 작업의 복잡한 접촉 역학에 크게 고전했습니다.
• 시뮬레이션-실제 전이 (Sim-to-Real Transfer):
  • REGRIND는 네 가지 작업 중 세 가지(LEAP-가위, LEAP-드라이버, WUJI-드라이버)에서 성공적으로 하드웨어로 전이되어 10회 중 9~10회의 성공률을 달성했습니다.
  • 베이스라인(DexMachina, Mink IK + RL)은 시뮬레이션 아티팩트에 대한 의존성과 상호작용 보존형 정규화의 부재로 인해 불안정한 파지나 충돌을 일으키며 효과적으로 전이되지 못했습니다.
  • WUJI-가위 작업은 모든 방법론이 실패했는데, 이는 비역구동(non-backdrivable) 모터와 실제 가위의 부정확한 메쉬 모델링 때문인 것으로 보입니다.
• 일반화 (Generalization): REGRIND로 훈련된 정책은 실제 환경에서 무작위화된 초기 물체 구성에 대해서도 잘 일반화되었으며, 데모된 구성과 유사한 성능을 유지했습니다.

의의 및 주장

본 논문은 리타겟팅 과정에서의 상호작용 보존이 접촉이 빈번한 숙련된 조작의 RL 성능을 향상시키는 데 결정적인 요소라고 주장합니다. 저자들은 보행(locomotion)에는 리타겟팅 기반 학습이 효과적이지만, 조작(manipulation)은 모델링 오차에 매우 민감하기 때문에 더 미묘한 접근 방식이 필요하다고 강조합니다.

REGRIND의 의의는 상호작용 인식 리타겟팅, 잔차 RL, 그리고 단순한 데이터 증강을 결합한 미니멀리스트 파이프라인이 단 하나의 데모로부터 실제 하드웨어에서 견고하고 인간다운 숙련된 조작을 달성할 수 있음을 보여준 데 있습니다. 이 연구는 성공적인 시뮬레이션-실제 전이를 위해서는 단순히 시뮬레이션을 확장하거나 보상 엔지니어링을 하는 것이 아니라, 상호작용 보존형 참조값, 사려 깊은 관측/액션 공간 설계, 그리고 세심한 시스템 식별을 포함하는 총체적인 접근 방식이 필요함을 시사하며 커뮤니티에 실질적인 가이드를 제공합니다.