기술 요약: 인간의 시연으로부터 로봇 손 생성하기

문제 정의

로봇 학습이 대규모 데이터와 원격 조종을 통해 제어 정책("두뇌")을 습득하는 데 있어 비약적인 발전을 이루었지만, 물리적 신체("형태/Embodiment")를 학습하는 것은 여전히 큰 과제로 남아 있습니다. 핵심적인 어려움은 **공동 설계(co-design)**에 있습니다. 하드웨어 형태와 제어 정책을 함께 최적화하는 것은 거대하고 비볼록(nonconvex)한 조합 탐색 공간을 만들어냅니다. 로봇의 기하학적 구조를 변경하면 최적의 컨트롤러가 바뀌고, 컨트롤러를 변경하면 설계의 효용성이 바뀝니다. 기존 방식들은 종종 작업 특화된 보상 함수에 의존하며, 모든 하드웨어 반복마다 컨트롤러를 반복적으로 적응시켜야 하므로 계산 비용이 많이 들고 확장하기 어렵습니다. 또한, 인간의 손 동작은 조작을 위한 풍부한 사전 지식(prior)을 제공하지만, 실제 로보틱스용 손은 크기, 비용, 배선 문제로 인해 인간의 손보다 적은 수의 액추에이터를 필요로 하는 경우가 많습니다. 현재의 리타겟팅(retargeting) 방식은 인간의 동작을 기존의 로봇 손으로 매핑할 수는 있지만, 선택된 형태(embodiment)로 인해 발생하는 근본적인 운동학적 불일치를 해결하지는 못합니다.

방법론

저자들은 인간의 엄지-검지 끝단 궤적으로부터 로봇 손 설계를 직접 생성하는 **배포 정렬 공동 설계 프레임워크(deployment-aligned co-design framework)**를 제안합니다. 핵심 통찰은 훈련과 배포 사이의 비대칭성을 활용하는 것입니다. 훈련 중에는 하드웨어 파라미터와 관절 궤적을 모두 최적화할 수 있지만, 배포 시에는 하드웨어는 고정된 상태에서 컨트롤러만 조정 가능합니다. 따라서, 모든 후보 설계에 대해 복잡한 정책을 학습하는 대신, 제작 후 사용될 것과 동일한 단순한 제어 정책(역운동학, Inverse Kinematics) 하에서 설계를 최적화합니다.

1. 문제 정식화

이 프레임워크는 인간의 엄지-검지 끝단 궤적 집합($X^\star$)을 입력으로 받아, 하드웨어 변수($\phi$)와 관절 각도 궤적($q$)으로 매개변수화된 트리 구조의 로봇 손을 출력합니다. 최적화는 다음과 같은 합성 손실 함수를 최소화합니다:
$$\Theta^\star = \arg \min_{\phi, q} \mathcal{L}_{track} + \lambda_{joint}\mathcal{L}_{joint} + \lambda_{design}\mathcal{L}_{design} + \lambda_{col}\mathcal{L}_{col}$$

• 추적 오차 ($\mathcal{L}_{track}$): 로봇의 시뮬레이션된 손끝 위치와 목표 인간 궤적 사이의 거리를 최소화합니다.
• 관절 부드러움 ($\mathcal{L}_{joint}$): 실현 가능한 움직임을 보장하기 위해 관절 각도의 급격한 변화에 페널티를 부여합니다.
• 설계 제약 ($\mathcal{L}_{design}$): 불필요하게 긴 링크를 억제하고 연결 파라미터를 정규화합니다.
• 충돌 회피 ($\mathcal{L}_{col}$): 링크 세그먼트 간의 거리에 기반한 매끄러운 근사치를 사용하여 자기 충돌을 방지합니다.

2. 설계 공간

프레임워크는 두 가지 유형의 손 구조를 지원합니다:

• 완전 구동형 손 (Fully Actuated Hands): 표준 링크 길이, 모터 장착 위치, 관절 방향을 최적화합니다.
• 저자유도 특화형 손 (Low-DoF Specialized Hands): 공간 4절 링크 미믹 관절(Bennett linkage 기반)을 포함합니다. 이러한 수동 결합은 자식 관절의 움직임을 부모 관절의 움직임에 연결하여($\theta_c = f - 2 \atan2(\dots)$), 적은 수의 액추에이터로 구조화된 평면 외(out-of-plane) 궤적을 생성할 수 있게 합니다.

3. 궤적 조건부 하드웨어 생성

미믹 관절을 가진 저자유도 손을 최적화하는 것은 경사 하강법(GD)이 초기값에 민감한 매우 비볼록한 탐색 공간을 도입합니다. 이를 해결하기 위해 저자들은 **궤적 조건부 액터(trajectory-conditioned actor)**를 도입했습니다:

• 궤적 인코더는 목표 동작을 압축된 컨텍스트 벡터 $z$로 매핑합니다.
• 액터 네트워크(3층 MLP)는 $z$에 조건화된 후보 하드웨어 파라미터와 관절 각도 초기값을 샘플링합니다.
• 이 후보들은 미분 가능한 경사 하강법을 통해 정교화됩니다.
• 액터는 높은 보상(낮은 오차, 낮은 충돌)을 이끄는 초기값을 제안하도록 강화 학습을 통해 훈련되며, 이를 통해 탐색 과정을 효율적으로 처리(amortize)합니다.

4. 제작

최적화된 운동학적 설계는 강체 메쉬(박스, 링, 실린더)로 변환되어 단일 피스 형태의 프린트 인 플레이스(print-in-place) 구조로 3D 프린팅됩니다. 서포트 제거 후, 회전 관절은 별도의 조립 없이도 작동하며, 모터는 지정된 홀더에 부착됩니다.

주요 결과

범용 6-DoF 손

• 성능: 생성된 6-DoF 손은 전체 인간 동작 데이터셋(OakInk)에 대해 평균 0.24 mm의 손끝 추적 오차를 달성했습니다. 엄지 프레임의 95.38%, 검지 프레임의 98.19%가 1 mm 이내로 추적되었습니다.
• 비교: 이는 상용 베이스라인들을 크게 상회하는 성능입니다. XHand(동일한 6-DoF)는 7.40 mm의 전체 오차를 보였고, Inspire Hand는 31.17 mm를 기록했습니다. 이는 동작 분포에 맞춰 하드웨어를 형성하는 것이 단순히 자유도를 높이는 것보다 더 효과적임을 입증합니다.
• 실제 환경: 이 손은 실시간 원격 조종(핀치 동작, 얇은 냅킨 들어올리기)과 프로그래밍된 작업(한 손가락으로는 원을 그리고 다른 손가락으로는 사각형을 그리는 작업)을 성공적으로 수행했습니다.

저자유도 작업 특화형 손

• 성능: 뚜껑 돌리기, 열쇠 삽입, 원-사각형 궤적과 같은 특정 작업을 위해 미믹 관절이 포함된 특화된 3-DoF 손이 생성되었습니다.
• 효율성: 열쇠 삽입 및 원-사각형 그리기와 같은 구조화된 작업에서, 미믹 관절 설계는 완전 구동형 모델에 비해 추적 오차를 크게 줄였습니다(예: 열쇠 삽입의 경우 2.93 mm에서 1.10 mm로 감소). 이는 움직임에 기하학적 규칙성이 있을 때 수동 운동학이 직렬 체인보다 우수할 수 있음을 증명합니다.

탐색 가속화

• 액터 기반 초기화는 하드웨어 생성 시간을 수 시간에서 수 분으로 단축했습니다. 표준 교차 엔트로피 방법(CEM) 탐색이 특정 성능 수준에 도달하는 데 약 5시간이 걸린 반면, 액터 초기화 방식은 약 30분 만에 대등하거나 더 나은 결과를 달ach했습니다.

의의 및 주장

본 논문은 대규모 인간 동작 데이터가 컨트롤러 훈련을 위한 목표일 뿐만 아니라, 로봇의 물리적 형태를 최적화하고 생성하기 위한 참조가 될 수 있다고 주장합니다. 제어 정책의 복잡성을 설계 탐색으로부터 분리함으로써(고정된 역운동학 사전 지식 사용), 이 프레임워크는 기계적으로는 더 단순하면서도 인간의 조작 행동을 재현하는 데 매우 효과적인 범용 및 작업 특화형 로봇 손을 생성할 수 있게 합니다.

저자들은 이 접근 방식이 데이터 기반 학습과 물리적 설계 사이의 간극을 메워, 수행해야 할 동작에 본질적으로 적합한 신체를 가진 로봇을 만들 수 있게 한다고 강조합니다.

한계점

저자들은 몇 가지 한계점을 인정했습니다:

1. 최적화 범위: 현재 방법은 엄지와 검지의 끝단 위치만을 최적화하며, 전체 손의 상호작용, 접촉력 및 물체 기하학은 무시합니다.
2. 설계 공간: 탐색은 두 손가락 트리 구조 메커니즘과 공간 4절 미믹 관절로 제한되어 있으며, 더 풍부한 손바닥 기하학이나 다른 메커니즘 군을 제외합니다.
3. 제작: 파이프라인이 완전히 자동화되어 있지 않습니다. 생성된 메쉬는 수동 프로세싱(예: 융합된 관절 제거, 모터 홀더 조정)이 필요합니다.
4. 구조적 강도: 3D 프린팅된 프린트 인 플레이스 관절은 마모나 파손 가능성 때문에 아직 무거운 하중 조작 작업에 필요한 강도를 갖추지 못했습니다.

향후 연구는 접촉력과 하중을 포함하도록 목적 함수를 확장하고, 메커니즘 라이브러리를 넓히며, 구조적 강도와 제조 가능성을 최적화 과정에 통합하는 것을 목표로 합니다.