기술 요약: VOFA – 인간형 로봇을 위한 힘 적응형 제어를 통한 시각적 객체 목표 밀기

문제 제기

본 논문은 인간형 로봇이 온보드 이고센트릭(perception) 관측만 사용하여 목표 지향적 객체 밀기(loco-manipulation) 를 수행할 수 있도록 하는 과제를 다룹니다. 이 능력은 창고 재고 재배치와 같은 실제 응용 분야에서 중요합니다. 시스템은 다음 세 가지 주요 제약 하에서 견고하게 작동해야 합니다:

1. 알려지지 않은 물리적 특성: 로봇은 다양한 질량과 지면 마찰 계수를 가진 미지의 객체를 처리해야 합니다.
2. 노이즈가 있는 온보드 관측: 시스템은 특권적인 객체 상태 정보 (예: 실제 객체 위치 또는 속도) 에 의존할 수 없으며, 노이즈가 있는 깊이 이미지와 고유 감각 데이터를 사용하여 작동해야 합니다.
3. 폐루프 적응성: 로봇은 접촉을 시작하기 전에 객체와 목표에 대해 스스로 재배치해야 하는 경우를 포함하여 다양한 객체 - 목표 구성에 실시간으로 적응해야 합니다.

기존 솔루션은 종종 이러한 기준을 동시에 충족하지 못하며, 특권적 센싱에 의존하거나 물리적 변화에 대한 견고성이 부족하거나, 수동 단계 정의 없이 다른 목표 구성에 적응하지 못합니다.

방법론

저자들은 인간형 로봇 Booster T1을 위해 설계된 계층적 2 단계 시스템인 VOFA(힘 적응형 제어를 통한 시각적 객체 - 목표 밀기) 를 제안합니다.

1. 계층적 아키텍처

• 고수준 시각 운동 정책: 이 정책은 온보드 관측 (고유 감각 및 깊이 이미지) 과 원하는 목표 위치를 처리하여 고수준 명령을 생성합니다. 이는 50Hz 로 작동합니다.
• 저수준 힘 적응형 제어기: 이 제어기는 고수준 명령을 관절 수준의 동작으로 변환합니다. 이는 FALCON 프레임워크를 기반으로 하며, 엔드 이펙터에서 상당하고 알려지지 않은 외력을 명시적으로 처리하도록 설계되어 질량이 다양한 객체와의 상호작용 중 안정성을 보장합니다.

2. 훈련 전략: 교사 - 학생 증류

노이즈가 있는 시각적 입력으로부터 학습하는 과제를 극복하기 위해 VOFA 는 교사 - 학생 프레임워크를 사용합니다:

• 교사 정책: 근접 정책 최적화 (PPO) 를 사용하여 특권 정보(예: 정확한 객체 방향, 베이스 선속도, 객체 상태) 로 훈련됩니다. 이 정책은 목표 조건부 밀기에 대한 최적 행동을 학습합니다.
• 학생 정책: DAgger(데이터 집계) 를 사용하여 교사로부터 증류됩니다. 학생은 특권 입력을 온보드 고유 감각 히스토리 및 깊이 이미지로 대체합니다.
• 시각적 증강: 시뮬레이션에서 실제로의 격차를 해소하기 위해 학생 훈련에는 센서 아티팩트 및 배경 혼란을 시뮬레이션하기 위해 원거리 평면 깊이 교란, 상관된 깊이 노이즈, 픽셀 드롭아웃을 포함한 시각적 무작위화가 포함됩니다.

3. 보상 설계

훈련은 네 가지 주요 항을 가진 복합 보상 함수를 사용합니다:

• 도달 보상 ($R_{reach}$): 두 엔드 이펙터 모두 객체에 접근하도록 장려합니다.
• 밀기 보상 ($R_{push}$): 객체와 목표 간의 거리 감소를 보상합니다.
• 헤드 추적 보상 ($R_{track}$): 로봇이 카메라로 객체를 시각적으로 추적하도록 장려합니다.
• 객체 - 목표 정렬 보상 ($R_{align}$): 로봇이 밀기 전에 목표 반대편 객체 측면으로 재배치하도록 장려하는 새로운 구성 요소입니다. 이는 수동으로 정의된 훈련 단계의 필요성을 제거하고 단시점 접촉 전략보다 장기 계획 수립을 장려합니다.

4. 시뮬레이션 및 도메인 무작위화

훈련은 객체 질량 (1–8 kg), 마찰, 초기 객체 - 목표 배치에 대한 광범위한 무작위화와 함께 Isaac Gym에서 수행됩니다. 시뮬레이션에서 실제로의 시각 격차를 해결하기 위해 시스템은 카메라 외향 (이동 및 회전) 을 무작위화하고 실제 세계 깊이 카메라 (ZED 2i) 에서 관찰된 센서 노이즈 패턴을 모방합니다.

주요 기여

1. 시각적 목표 조건부 시스템: 온보드 시각 관측만 사용하여 다양한 객체 - 목표 구성에 걸쳐 폐루프 목표 지향적 밀기가 가능한 VOFA 시스템 도입.
2. 알려지지 않은 질량에 대한 견고성: 17 kg(로봇 체중의 절반을 초과) 에 달하는 하중을 포함하여 다양하고 이전에 보지 못한 질량을 가진 객체를 성공적으로 밀고 있음을 입증하며, 해당 특정 질량에 대한 재훈련 없이 이를 수행함.
3. 실제 하드웨어 검증: 다양한 장면 구성 및 물리적 특성에서 시뮬레이션 및 실제 실험 모두에서 높은 성공률을 달성한 Booster T1 인간형 로봇에 대한 성공적인 배포.

실험 결과

시스템은 대규모 시뮬레이션 및 Booster T1 에 대한 실제 실험에서 평가되었습니다.

• 성공률: VOFA 는 시뮬레이션에서 90% 이상의 성공률을, 실제 실험에서는 80% 이상의 성공률을 달성했습니다.
• 질량 견고성: 실제 실험에서 시스템은 최대 8 kg 의 질량으로 훈련되었음에도 불구하고 17 kg 객체(12 kg 의 추가 하중이 있는 5 kg 상자) 를 성공적으로 밀었습니다.
• 구성 적응성: 시스템은 전면, 측면, 후면 목표 구성 전반에 걸쳐 높은 성공률 (>90%, 학생 정책 기준) 을 유지했습니다.
• 절제 연구:
  • 힘 적응형 제어: 힘 적응형 저수준 제어기를 제거하면 성공률이 크게 감소했습니다 (예: 학생 정책의 경우 91.38% 에서 59.32% 로 감소) 및 객체를 "차는" 것과 같은 불안정한 행동이 발생했습니다.
  • 정렬 보상: 객체 - 목표 정렬 보상을 제거하면 특히 재배치가 필요한 후면 목표 구성에서 조기 접촉 실패가 발생했습니다.
  • 시각적 무작위화: 시각적 무작위화 없이 훈련하면 배경 노이즈 및 도메인 불일치에 대한 민감성으로 인해 실제 세계 측면 및 후면 시나리오에서 성능이 크게 저하되었습니다.
• 폐루프 기능: 실제 세계 시연에서 로봇은 외부 측면 교란으로부터 회복하고, 편심된 질량 중심 분포를 보상하며, 재설정 없이 여러 목표로 객체를 순차적으로 밀 수 있음을 보여주었습니다.

중요성 및 주장

본 논문은 VOFA 가 비구조화된 환경에서 견고한 자율 인간형 loco-manipulation 을 향한 중요한 단계라고 주장합니다. 고수준 시각 운동 계획과 저수준 힘 적응형 제어를 분리함으로써 시스템은 정책 훈련을 단순화하면서도 물리적 변화에 대한 견고성을 유지합니다.

저자들은 객체 - 목표 정렬 보상이 수동 스테이징 없이 복잡한 장기 행동 (밀기 전 재배치) 을 학습하도록 하는 데 결정적이라고 강조합니다. 또한, 무거운 하중 (17 kg) 을 가진 실제 하드웨어로의 성공적인 이전은 힘 적응형 제어와 시각적 무작위화의 조합이 시뮬레이션에서 실제로의 격차를 효과적으로 완화함을 보여줍니다.

이 연구는 현재 한계, 특히 단일 객체 시나리오에 초점을 맞추고 상대적 목표 위치 결정에 외부 모듈에 의존한다는 점을 지적하며 마무리합니다. 향후 연구는 프레임워크를 다중 객체 환경으로 확장하고 원시 감각 입력으로부터 객체 및 목표 국소화를 위한 완전한 엔드 투 엔드 추론을 개발하는 것을 목표로 합니다.