기술 요약: NeuralActuator

문제 정의

미분 가능한 시뮬레이터(Differentiable simulators)는 로봇 제어를 발전시켜 왔으나, **액추에이터 역학(actuator dynamics)**은 특히 저가형 플랫폼에서 심각한 sim-to-real 오차의 원인으로 남아 있습니다. 표준 제어 근사는 모터 전류와 관절 토크 사이의 선형 관계($\tau = K_t I$)를 가정합니다. 그러나 비용 효율적인 서보 구동 플랫폼(예: 코어리스 브러시드 DC 서보)의 경우, 모델링되지 않은 비이상적 특성(기어박스 마찰, 히스테리시스, 백래시, 전류 포화, 열 드리프트 등)으로 인해 이 근사가 실패합니다. 이러한 시변 효과들은 내부 전달 상태(internal transmission states)에 접근할 수 없기 때문에 분석적으로 모델링하기 어렵습니다. 결과적으로, 선형적인 전류-토크 매핑에 의존하는 것은 전용 힘/토크 센서가 없는 상황에서 불충분한 노력 추적(effort tracking), 불안정한 임피던스 동작, 그리고 저하된 힘 인지 능력을 초래합니다.

방법론

저자들은 액추에이터의 거동과 외부 상호작용을 공동으로 예측하는 데이터 기반의 미분 가능한 신경망 모델인 NeuralActuator를 제안합니다.

1. 아키텍처 및 입력

NeuralActuator는 시간적 의존성과 비선형적이고 이력에 의존적인(history-dependent) 액추에이터 역학을 포착하기 위해 트랜스포머(Transformer) 기반 아키텍처를 활용합니다.

• 입력 시퀀스: 각 타임스텝 $t$에서 모델은 명령된 목표값, 고유 수용 감각 상태(위치, 속도), 액추에이터 텔레메트리(전류, 전압, 온도)를 포함하는 9개의 토큰($H_{hist} + 1$) 시퀀스를 처리합니다.
• 멀티 태스크 헤드(Multi-Task Heads): 트랜스포머 인코더는 네 가지 별도의 출력 헤드로 연결됩니다:
  1. 토크 대리 헤드(Torque-Surrogate Head): 시뮬레이터와 동등한 일반화된 노력 대리값($\tau_{pred}$)을 예측합니다. 이는 직접적인 물리적 토크 측정값이 아니라, 미분 가능한 시뮬레이터에 입력되었을 때 관측된 운동을 재현하는 값입니다.
  2. 힘 헤드(Force Head): 가공되지 않은 3D 외부 힘 벡터($\hat{f}_{raw}$)를 예측합니다.
  3. 접촉 게이트(Contact Gate): 힘 출력을 조절하기 위한 접촉 확률($g \in [0, 1]$)을 예측합니다 ($\hat{f} = g \cdot \hat{f}_{raw}$).
  4. 모터 상태 헤드(Motor-Condition Head): 특정 관절의 정상 작동 여부 또는 기계적 제한 작동 여부를 나타내는 점수를 예측합니다.

2. 학습 전략

핵ка 핵심 혁신은 직접적인 토크 센서가 신뢰할 수 없는 저가형 플랫폼에서도 사용 가능한 감독(supervision) 체계입니다.

• 토크 대리 감독(Torque-Surrogate Supervision): 토크 대리 헤드는 미분 가능한 시뮬레이션을 통해 학습됩니다. 예측된 대리값은 클리핑(clipping)되어 미분 가능한 물리 엔진(MuJoCo/MJX)에 입력됩니다. 손실(loss)은 시뮬레이션된 궤적(미래 포즈)과 실제 로봇에서 기록된 궤적 사이의 불일치를 바탕으로 계산됩니다. 이를 통해 모델은 고정된 전류-토크 변환을 가정하지 않고도 역학을 일치시키기 위해 필요한 유효 입력을 학습할 수 있습니다.
• 직접 감독(Direct Supervision): 힘, 접촉 게이트, 모터 상태 헤드는 직접적인 레이블(힘 센서 측정값, 접촉 이벤트, 알려진 기계적 제한 사항)을 사용하여 학습됩니다.
• 데이터셋 (NAD): 저자들은 트윈 암 텔레오퍼레이션(twin-arm teleoperation) 시스템을 통해 수집된 **Neural Actuation Dataset (NAD)**을 도입합니다. 이 데이터셋은 자유 운동, 페이로드 핸들링, 접촉 상호작용 전반에 걸친 동기화된 로봇 상태, 액추에이터 텔레메트리, 외부 힘 레이블을 포함합니다.

3. 통합

모델은 엔드 투 엔드(end-to-end) 학습을 위해 시뮬레이션 루프에 통합됩니다. 추론 시에는 토크 대리값이 궤적 전파를 위해 시뮬레이터를 구동하며, 힘 및 상태 헤드는 인지 및 진단을 위한 보조 출력을 제공합니다.

주요 기여

1. NeuralActuator 모델: 직접적인 토크 센서 없이도 시뮬레이터와 동등한 토크 대리값, 외부 힘, 접촉 확률 및 모터 상태 점수를 예측하는 미분 가능하고 멀티 태스크를 수행하는 신경 액추에이터 모델입니다.
2. 미분 가능한 물리학을 통한 학습: 전류-토크 캘리브레이션의 필요성을 우회하여, 포즈 궤적을 통해 토크 대리값을 감독하는 새로운 학습 체계를 제시합니다.
3. Neural Actuation Dataset (NAD): 커스텀 트윈 암 텔레오퍼레이션 시스템을 통해 수집된, 시간적으로 정렬된 로봇 상태, 액추에이터 텔레메트리 및 말단 장치 외부 힘 레이블을 특징으로 하는 실제 로봇 데이터셋입니다.
4. 교차 플랫폼 검증: 광범위한 가격대($500 ~$30,000 이상)를 아우르는 세 가지 플랫폼에 대한 포괄적인 평가를 수행했습니다:
   • OpenManipulator-X: 5-DoF, 저가형, 서보 구동 방식.
   • SO-101: 6-DoF, 저가형, LeRobot 스택.
   • Franka Emika Panda: 7-DoF, 산업용 등급.

실험 결과

본 논문은 여러 벤치마크를 통해 NeuralActuator를 검증합니다:

• 롤아웃 정확도(Rollout Accuracy): OpenManipulator-X에서 모델은 관절 각도(예: 600 스텝에서 ~2.5°–3.1°) 및 그리퍼 위치에서 낮은 평균 절대 오차(MAE)를 달성하며, 긴 호라이즌(horizon) 동안 베이스라인보다 우수한 성능을 보였습니다.
• 힘 추정(Force Estimation):
  • 접촉 탐지: 접촉 궤적에서 낮은 힘 MAE(0.36–0.57 N)를 달성하였고, 비접촉 궤적에서는 거의 0에 가까운 예측값을 보였습니다.
  • 페이로드 벤치마크: 다양한 무게(200g–500g)에 대해 중력 부하를 정확하게 추정했습니다(0.08–0.12 N MAE).
  • 비교: 모델 기반 베이스라인(선형 마찰, Stribeck 마찰 및 일반화 운동량 옵저버를 포함한 역역학 모델)보다 현저히 높은 성능을 보였습니다(예: 최상위 베이스라인의 0.66 N MAE 대비 0.12 N MAE).
• 모터 상태 추정: 정상 작동과 기계적 제한(고무줄로 구속된 관절) 작동을 구분하는 데 있어 91.0%의 정확도와 0.95의 AUC-ROC를 달로 성, 이는 임계값(threshold), SVM 및 Random Forest 베이스라인을 크게 상회하는 수치입니다.
• 다운스트림 제어: 프리즈드(frozen) 사전 학습 모듈로 사용되었을 때, 힘을 인지하는 정책(force-aware policy)은 위치 전용 베이스라인(80%)에 비해 작업 성공률을 향상시켰습니다(예: pick-and-place에서 92.5%).
• 효율성: 구현체는 60Hz 제어 속도에서 적절한 파라미터 규모(1.44M 파라미터)로 서브 밀리초 단위의 GPU 추론 시간(평균 0.25 ms)을 달성했습니다.

의의 및 주장

본 논문은 NeuralActuator가 분석적인 액추에이터 모델링에 대한 강력하고 데이터 기반의 대안을 제공함으로써 저가형 로보틱스의 중요한 격차를 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

• 센서 없는 힘 인지 가능: 표준 텔레메트리(전류, 전압, 온도)와 고유 수용 감각만을 사용하여 외부 힘과 접촉을 인지할 수 있게 함으로써, 힘/토크 센서의 비용 장벽을 제거합니다.
• Sim-to-Real 간극 해소: 마찰, 백래시 및 열 효과를 고려하는 이력 의존적 매핑을 학습함으로써, 저가형 하드웨어에 대한 미분 가능한 시뮬레이션의 충실도를 높입니다.
• 확장성: 다양한 액추에이터 제품군과 가격대를 가로질러 검증되었으며, 이는 저렴한 로봇 플랫폼 생태계가 커짐에 따라 일반화 가능한 솔루션임을 시사합니다.
• 진단 능력: 추가적인 하드웨어 없이도 기계적 제한(예: 잼 걸린 관절)을 감지할 수 있는 능력은 로봇 시스템에 신뢰성과 유지보수 능력을 더해줍니다.

저자들은 기록된 텔레메트리에 의해 조건화된 롱 호라이즌 롤아웃에서의 오차 누적 문제와, 추가적인 노력-반응 모델 없이는 반사실적 계획(counterfactual planning)을 수행할 수 없다는 한계점을 언급했습니다. 그러나 온라인 적응(online adaptation)을 통해 드리프트를 완화할 수 있음을 보여주었으며, 모델이 실제 조작 작업들을 효과적으로 지원함을 입증했습니다.