TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation

기술 요약: TAC-LOCO

문제 정의
본 논문은 팔과 그리퍼를 장착한 사족 보행 로봇의 동적 전신 로코-매니퓰레이션(loco-manipulation) 과제를 다룹니다. 특히, 로봇이 물체를 잡은 후, 미지의 시변 외력(time-varying external forces)을 탐색하고 상호작용하며 물체를 운반해야 하는 포스트 그래스프(post-grasp) 제어 단계에 초점을 맞춥니다. 기존 방식들은 대개 외력을 암시적으로 모델링하거나 고유 수용 감각(proprioception)에만 의존하며, 이는 두 가지 주요 한계로 이어집니다: (1) 내부 파지 상태(예: 미끄러짐 경향, 접촉 상실)를 직접 관찰할 수 없다는 점, (2) 동적으로 파지 강도를 조절하기보다 지나치게 보수적이고 고정된 파지 전략을 사용한다는 점입니다. 핵심 문제는 불확실한 하중(예: 점진적인 저항 또는 갑작스러운 해제 이벤트) 하에서 원하는 말단 장치(end-effector, EE) 궤적과 본체 속도를 추적하는 동시에, 잡은 물체와 안정적인 물리적 상호작용을 유지하는 것입니다.

방법론: TAC-LOCO
저자들은 촉각 센싱을 전신 제어에 통합하는 통합 강화 학습(RL) 프레임워크인 TAC-LOCO를 제안합니다.

• 아키텍처: 이 프레임워크는 다층 퍼셉트론(MLP)을 사용하여 다리 관절, 팔 관절, 그리퍼 관절을 공동으로 제어하는 단일 통합 정책을 활용합니다. 계층적 접근 방식과 달리, 이 정책은 결합된 상체와 하체의 움직임을 동시에 최적화합니다.
• 촉각 통합: 유연한 그리퍼 손가락으로부터 얻은 고차원 촉각 어레이 데이터를 2층 MLP를 사용하여 압축된 잠재 표현(latent representation)으로 인코딩합니다. 이 잠재 벡터는 로봇의 고유 수용 감각(베이스 속도, 관절 위치 등) 및 인코딩된 관측 이력과 결합되어 정책의 입력값이 됩니다. 이러한 설계는 원시 촉각 데이터를 그대로 결합할 때 발생하는 차원의 문제를 피하면서도 공간적 접촉 패턴을 보존합니다.
• 훈련 및 MDP 정식화: 정책은 Isaac Lab 시뮬레이션 환경에서 근사 정책 최 optimization(PPO)을 사용하여 훈련됩니다. 훈련 환경은 Unitree Go2 사족 보행 로봇과 Interbotix WidowX 250 팔을 시뮬레이션합니다.
  • 외력: 물체에는 점진적으로 변하거나 갑자기 사라질 수 있는(예: 과일 줄기가 부러지는 이벤트 모델링) 무작위 스프링-댐퍼 힘이 가해집니다.
  • 보상 설계: 특화된 파지 안정성 보상($r_{grasp}$)이 도입되었으며, 이는 세 가지 항으로 분해됩니다:
    1. 힘 조절 ($r_{force}$): 과도한 내부 파지력을 억제하여 순응형 접촉(compliant contact)을 유도합니다.
    2. 미끄러짐 억제 ($r_{slip}$): 물체와 말단 장치 사이의 상대 속도를 억제합니다.
    3. 유지 ($r_{retention}$): 물체를 떨어뜨리는 것을 방지하기 위해 과도한 상대 변위를 억제합니다.
  • 어드밴티지 믹싱(Advantage Mixing): 선행 연구에서 영감을 받아, 훈련 시 어드밴티지 믹싱 메커니즘을 사용하여 먼저 다리와 팔 헤드를 별도로 업데이트한 후 점진적으로 결합함으로써, 고차원 액션 공간에서의 크레딧 할당(credit assignment)을 용이하게 합니다.
• Sim-to-Real: 시뮬레이션과 실제 간의 격차를 줄이기 위해, 저자들은 촉각 도메인 무작위화(domain randomization)를 적용하고, 절대적인 힘 값이 아닌 접촉 강도에 기반하여 촉각 관측값을 정규화합니다. 정책은 미세 조정 없이 하드웨어에 **제로샷(zero-shot)**으로 배포됩니다.

주요 기여

1. 통합 프레임워크: TAC-LOCO는 촉각 센싱, 온라인 그리퍼 조절, 전신 정책 학습을 공동으로 통합하는 동적 레그드 로코-매니퓰레이션을 위한 최초의 전신 제어 프레임워크로 제시됩니다.
2. 촉각 기반 적응: 이 방법은 로봇이 암시적인 힘 추정이나 고정된 파지 모드에 의존하는 대신, 직접적인 촉각 피드백을 통해 파지 상태를 추론하고 그리퍼 동작을 온라인으로 적응할 수 있게 합니다.
3. 성능 지표: 이 프레임워크는 베이스라인 대비 파지력을 47% 감소시키면서도, 시뮬레이션에서 물체 낙하율을 1% 미만으로 유지합니다.
4. 제로샷 배포: 정책은 재학습 없이 실제 하드웨어(Unitree Go2 + WidowX 250 + FlexiTac 센서)로 성공적으로 전이되어, 다양한 물체 형상과 모델링되지 않은 외란에 대한 강건성을 입증했습니다.

실험 결과

• 시뮬레이션:
  • 적응: 정책은 증가하는 외력에 반응하여 움켜쥐는 힘을 강화하고, 힘이 갑자기 제거될 때 힘을 완화하여 미끄러짐과 과도한 힘 적용을 모두 방지하는 데 성공했습니다.
  • 성공률: 8,000회의 무작위 롤아웃에서, 촉각 정보 기반 정책은 고유 수용 감각 전용 베이스라인(46.4%)과 달리 궤적 시간 동안 99.9%의 물체 유지율을 기록했습니다.
  • 추적: 정책은 비촉각 베이스라인과 유사한 수준의 낮은 본체 속도 및 말단 장치 위치 추적 오차를 유지했습니다.
• 하드웨어 배포:
  • 강건성: 시스템은 스프링이 장착된 물체 및 갑작스러운 자석 탈착 이벤트가 포함된 동적 로코-매니퓰레이션 작업을 성공적으로 수행했습니다.
  • 일반화: 정책은 특정 물체 형상이 아닌 정규화된 촉각 패턴에 의 Rely하여, 미세 조정 없이도 보지 못한 물체 기하 구조(예: 구형, 인공 딸기)에 일반화되었습니다.
  • 베이스라인 비교: 고정된 그리퍼 폭을 가진 Deep WBC 베이스라인과 비교했을 때, TAC-LOCO는 50%의 성공률을 보인 베이스라인에 비해 90%의 성공률을 달성했습니다. 베이스라인은 점진적인 물체 미끄러짐과 그로 인한 물체 낙하 시 로코모션 불안정성 때문에 실패했습니다.

의의 및 주장
본 논문은 촉각 센싱이 접촉이 빈번한 환경에서 동적 전신 제어를 위해 필수적임을 입증함으로써 TAC-LOCO가 중요한 진전임을 주장합니다. 저자들은 직접적인 파지 내부 상태 관찰이 로봇으로 하여금 접촉력을 적응적으로 조절할 수 있게 하여, 안정성과 힘 효율성 사이의 트레이드오프를 해결한다고 설명합니다. 이 연구는 촉각 피드백을 통합된 RL 정책에 통합하는 것이 전통적인 모델 기반 또는 고유 수용 감각 전용 방식이 어려워하는 불확실한 외부 상호작용을 처리할 수 있게 함을 강조합니다. 저자들은 시뮬레이터가 실제 그리퍼의 변형을 완벽하게 재현하지 못한다는 점과 서보 제어형 팔의 역학을 모델링하는 것의 어려움에 대해 한계를 언급하며, 향후 토크 제어형 팔을 사용하면 동적 성능을 더욱 향상할 수 있을 것이라고 덧붙였습니다.