ManiSoft: Towards Vision-Language Manipulation for Soft Continuum Robotics

기술 요약: ManiSoft: 소프트 연속체 로봇을 위한 비전 - 언어 조작을 향한 접근

문제 제기
기존의 비전 - 언어 조작 (VLM) 연구는 주로 정확한 고유감각 (proprioception) 과 저차원 운동학에 의존하는 강체 로봇 팔을 대상으로 합니다. 구조화된 환경에서는 효과적이지만, 강체 형태는 상당한 형태 적응이 필요한 혼잡하거나 협소한 공간에서 근본적인 한계에 직면합니다. 소프트 로봇 팔은 연속적인 변형 가능성으로 인해 장애물을 우회할 수 있어 유망한 대안을 제공합니다. 그러나 VLM 을 소프트 팔에 적용하면 고유한 도전 과제가 발생합니다: 신뢰할 수 있는 고유감각 센서의 부재 (종종 시각 데이터만으로 추론 필요), 분산된 저수준 구동 (예: 토크, 압력) 의 복잡성, 그리고 고차원이며 결합된 행동 공간입니다. 또한, 기존 시뮬레이터는 탄성 역학을 모델링하는 데 뛰어나지만 견고한 접촉 상호작용이 부족하거나, 접촉을 잘 처리하지만 연속 변형을 시뮬레이션하지 못합니다.

방법론
이러한 격차를 해결하기 위해 저자들은 소프트 팔을 위한 비전 - 언어 조작 연구를 촉진하도록 설계된 벤치마크인 ManiSoft를 소개합니다. 방법론은 세 가지 핵심 구성 요소로 구성됩니다:

1. 하이브리드 시뮬레이터 (ManiSoft-Sim):
   저자들은 소프트 바디 역학과 강체 상호작용 간의 격차를 해소하는 맞춤형 시뮬레이터를 개발했습니다.

   • 소프트 바디 모델링: 팔은 Elastica 라이브러리를 사용하여 코시라트 로드 (Cosserat rod) 로 모델링되며, 외부 토크 하에서 축, 전단, 굽힘, 비틀림 변형을 포착하기 위해 $N$개의 세그먼트로 이산화됩니다.
   • 상호작용 모델링: 엔드 이펙터 (EEF) 와 환경적 접촉은 효율적인 접촉 및 마찰 시뮬레이션을 위해 MuJoCo로 처리됩니다.
   • 결합: 새로운 탄성 힘 제약이 변형 가능한 소프트 바디와 강체 EEF 를 연결합니다. 부착점 사이의 상대적 병진 ($\Delta x$) 과 회전 ($\Delta \theta$) 은 훅의 법칙을 통해 복원력과 토크를 생성하여 조화롭지만 순응적인 운동을 보장합니다.
   • 렌더링: 시각적 관찰은 고정된 카메라 시점에서 Blender 를 사용하여 생성됩니다.

2. 작업 정의 및 데이터 생성:
   ManiSoft 는 변형 가능한 제어의 다양한 측면을 강조하는 네 가지 조작 작업을 정의합니다:

   • 수집 (COLL): 물체를 용기에 모으기.
   • 정렬 (ALN): 물체를 특정 6 자유도 (6-DoF) 자세로 위치시키기.
   • 적층 (STK): 물체를 안정적인 수직 더미로 조립하기.
   • 배치 (ARR): 물체를 지정된 공간 구성에 배치하기.

   벤치마크에는 6,300 개의 장면 - 궤적 쌍 (2,100 개의 정제된 장면, 4,200 개의 무작위화된 장면) 이 포함됩니다. 자동화된 파이프라인이 263 개의 객체 자산 라이브러리를 사용하여 이러한 장면을 생성합니다. 중요하게도, 벤치마크는 정책 입력에서 내부 고유감각 상태 (예: 관절 각도) 를 제외하여 모델이 시각적 관찰만으로 팔의 구성을 추론하도록 강제합니다.

3. 계층적 궤적 생성:
   대규모 고품질 전문가 시연을 생성하기 위해 저자들은 계층적 메커니즘을 사용합니다:

   • 고수준 계획: 규칙 기반 계획자가 작업을 6 자유도 웨이포인트 시퀀스로 분해합니다.
   • 저수준 제어: 밀집 보상 함수 (자세 차이 및 안정성 보상 결합) 로 훈련된 강화 학습 (RL) 실행기가 웨이포인트 간 소프트 팔을 구동하기 위해 토크 명령을 생성합니다. 이 분해는 긴 시간 범위에서 토크 시퀀스를 직접 계획하는 어려움을 완화합니다.

주요 기여

• ManiSoft 벤치마크: 하이브리드 시뮬레이터, 다양한 작업, 대규모 전문가 궤적 데이터셋을 특징으로 하는 소프트 연속체 로봇을 위한 비전 - 언어 조작에 특화된 최초의 벤치마크.
• 하이브리드 시뮬레이션 프레임워크: 탄성 힘 제약을 통한 코시라트 로드 역학과 강체 접촉 시뮬레이션의 혁신적인 통합으로, 변형 가능한 바디를 통한 현실적인 접촉이 풍부한 조작을 가능하게 함.
• 체계적 평가: 정제된 및 무작위화된 조건 하에서 세 가지 대표적인 정책 모델 (Diffusion Policy, RDT, OpenVLA-OFT) 에 대한 포괄적인 벤치마킹으로, 소프트 구현체 고유의 특정 실패 모드를 드러냄.

결과
저자들은 Diffusion Policy (DP), RDT-1B, OpenVLA-OFT 세 가지 모델을 평가했습니다.

• 정제된 장면: 기존 모델은 유망한 결과를 보여주며, DP 와 OpenVLA-OFT 는 각각 약 31% 와 약 30% 의 평균 성공률을 기록하여 RDT (9.2%) 를 크게 앞섰습니다. DP 는 단순한 작업 (COLL) 에서 뛰어났으며, OpenVLA-OFT 는 복잡한 작업 (ALN, STK, ARR) 에서 더 강력한 일반화를 보여주었습니다.
• 무작위화된 장면: 모든 모델은 상당한 성능 저하를 경험했습니다. DP 의 성공률은 29.4% 하락한 반면, OpenVLA-OFT 는 더 큰 견고성을 보여 정제된 성능 대비 3.4% 만 하락한 평균 성공률 27.0% 를 유지했으며, 무작위화된 설정에서 DP 보다 13.1% 더 높은 성과를 보였습니다.
• 실패 분석: 실패 사례의 시각화는 세 가지 주요 병목 현상을 드러냈습니다:
  1. 고유감각 상태 모호성: 소프트 팔의 변형에 대한 부정확한 시각적 추정이 수정되지 않은 내부 토크와 불안정한 제어로 이어짐.
  2. 순응성 미활용: 정책들은 종종 장애물을 우회하기 위해 팔의 변형 가능성을 활용하지 못하고, 충돌로 이어지는 직접적인 경로를 시도함.
  3. 정지 - 이동 행동: 결정론적 정책 (OpenVLA-OFT 등) 은 잡기 후 미세한 시각적 변화가 추가 행동 생성을 억제하는 피드백 루프에 가끔 진입하며, 이는 확률적 확산 정책에서는 덜 흔한 행동임.

의의 및 주장
이 논문은 ManiSoft 를 비전 - 언어 조작의 맥락에서 강체와 소프트 팔 간의 격차를 해소하는 가치 있는 테스트베드로 위치시킵니다. 저자들은 벤치마크가 변형 가능한 구현체 고유의 실패 모드, 특히 시각적 고유감각과 적응형 장애물 회피의 도전을 노출한다고 주장합니다. 그들은 ManiSoft 가 이러한 특정 도전을 해결하는 방법 개발을 촉진하여 궁극적으로 복잡하고 비구조화된 환경에서 작동할 수 있는 더 안전하고 인간 친화적인 로봇 시스템의 창출을 지원할 것으로 기대합니다. 이 작업은 구동 다양성과 시뮬레이션 - 실제 전이 (sim-to-real transfer) 의 한계를 인정하면서도 순응적 상호작용에 대한 미래 연구의 기반을 마련하는 초기 단계로 제시됩니다.