기술 요약: PanoVine – 소프트 성장형 덩굴 로봇을 위한 전신 시각-운동 제어

문제 정의

덩굴 로봇(Vine robot)은 공압식 소프트 성장 연속체 로봇의 한 종류로, 유연한 몸체와 자기 지지 성장 메커니즘 덕분에 협소하고 복잡하며 구조화되지 않은 환경(예: 파이프, 지하 인프라)을 탐사하는 데 독특한 이점을 제공합니다. 그러나 이 로봇들을 자율적으로 주행 및 조작하는 것은 다음과 같은 두 가지 주요 요인으로 인해 여전히 큰 과제로 남아 있습니다:

1. 예측 불가능한 역학: 로봇의 동작은 재료의 컴플라이언스(compliance), 히스테리시스(hysteresis), 버클링(buckling), 몸체-환경 간의 상호작용, 그리고 미전개된 꼬리의 장력에 의해 결정됩니다. 이러한 요소들은 물리적 모델링을 어렵게 만듭니다. 결과적으로, 행동 궤적을 개방 루프(open-loop)로 재생하더라도 매 실험마다 로봇의 구성이 크게 달라지는 현상이 발생합니다.
2. 제한된 온보드 센싱: 로봇은 넓은 작업 공간에 걸쳐 복잡한 전신 변형을 일으킵니다. 기존의 제한된 센싱 방식(예: 단일 카메라 또는 IMU)은 신뢰할 수 있는 폐쇄 루프 제어를 위한 필요한 상태 정보를 포착하기에 불충분합니다. 특히 팁 장착 센서가 기계적 복잡성을 더하거나 로봇의 몸체가 자신의 시야를 가리는 경우 더욱 그러합니다.

기존의 모델 기반 접근 방식은 기구학적 가정(예: 조각별 일정 곡률)이나 장애물 기하학적 사전 정보에 의존하는데, 이는 복잡하고 미지의 환경에서는 실패하기 쉽습니다. 마찬가지로, 이전의 학습 기반 방법들은 주로 시뮬레이션이나 성장이 없는 짧은 소프트 암(arm)에 국한되었으며, 자유도가 높은 긴 성장형 덩굴 로봇으로 확장하는 데 한계가 있었습니다.

방법론

저자들은 PanoVine을 제시합니다. 이는 온보드 센싱만을 사용하여 폐쇄 루프 제어가 가능한 최초의 자율 덩굴 로봇 시스템입니다. 이 접근 방식은 커스텀 하드웨어 플랫폼과 데이터 기반의 시각-운동 제어 프레임워크를 통합합니다.

1. 시스템 하드웨어: 분산형 전신 비전

PanoVine 플랫폼은 7개의 제어 가능한 자유도(1개의 확장 및 6개의 회전 굽힘 관절)를 가진 6미터 길이, 직경 0.16미터의 소프트 성장형 몸체를 특징으로 합니다.

• 센서 제품군: 시스템에는 로봇 몸체를 따라 19개의 RGB 카메라가 분산 배치되어 있습니다.
• 배치 전략: 카메라는 로봇 세그먼트의 TPU 코팅된 측면에 로봇 축 대비 60도 각도로 장착됩니다. 이들은 원위부(distal) 또는 근위부(proximal)를 향합니다. 로봇이 에버전(eversion)을 통해 성장함에 따라 카메라가 점진적으로 드러나며, 로봇의 변형과 주변 환경에 대한 다각도 피드백을 제공합니다.
• 액추에이션: 로봇은 관절 공간 조향(joint-space steering)과 축 방향 성장을 명령하는 조이스틱 인터페이스를 통해 제어되며, 강성 제어를 위한 압력 조절이 가능합니다.

2. 제어 프레임워크: 전신 시각-운동 정책

시스템의 핵심은 원격 조종 데모를 통한 모방 학습으로 훈련된 엔드 투 엔드(end-to-end) 시각-운동 정책입니다.

• 입력: 정책은 관측값의 이력 $o = (I, q)$를 받습니다. 여기서 $I$는 19개 카메라의 모든 RGB 스트림을 나타내고, $q$는 자기 수용 감각(proprioception, 관절 각도 및 베이스 길이)을 나타냅니다.
• 아키텍처: 시스템은 디퓨전 트랜스포머(Diffusion Transformer) 백본을 활용합니다.
  • 비전 인코딩: 이미지는 $224 \times 224 \times 3$ 크기로 조정되어 사전 훈련된 CLIP Vision Transformer를 통해 처리됩니다. 각 카메라 뷰의 클래스 토큰(class token)은 압축된 임베딩 역할을 합니다.
  • 교차 주의(Cross-Attention): 교차 주의 메커니즘을 통해 정책은 명시적인 외부 파라미터 교정 없이도 분산된 시각 입력, 자기 수용 감각, 그리고 행동 사이의 암시적인 다중 뷰 대응 관계 및 작업 특화된 의미론적 관계를 학습할 수 있습니다.
  • 행동 출력: 정책는 다음 타임 스텝들을 위한 액션 청크(action chunk) $a \in \mathbb{R}^{\tau \times d}$ (여기서 $\tau=8$)를 예측하며, 이는 베이스 길이와 관절 각도를 지정합니다.
• 강건성을 위한 핵심 설계 선택:
  1. 상대적 표현: 히스테리시스와 액추에이션 불확실성에 대한 강건성과 부드러운 전환을 보장하기 위해 자기 수용 감각과 행동을 최신 관측 프레임에 상대적으로 표현합니다.
  2. 데이터 리밸런싱(Data Rebalancing): 순수 성장 위주인 텔레오퍼레이션 데이터 내에서 조향 행동의 희소성을 해결하기 위해, 정책이 단순 성장에 과적합되지 않고 중요한 반응형 조향 행동(회전, 등반)을 학습할 수 있도록 훈련 데이터셋을 재조정합니다.

주요 기여

1. 하드웨어 플랫폼: 19개의 카메라를 갖춘 분산형 전신 비전을 특징으로 하는 덩굴 로봇 시스템으로, 성장 과정 전반에 걸쳐 로봇 상태와 환경에 대한 포괄적이고 다각적인 피드백을 제공합니다.
2. 제어 프레임워크: 긴 변형 로봇을 위해 특별히 설계된 학습 기반 시각-운동 정책입니다. 이 정책은 분산된 센싱을 효과적으로 집계하고, 신뢰할 수 없는 상태 추정에 대한 강건성을 유지하며, 희소한 조향 행동을 가진 장기 호라이즌(long-horizon) 동작을 처리합니다.
3. 자율 데몬스트레이션: 외부 센싱(예: GPS, 모션 캡처)이나 모델 기반 계획 없이 복잡한 실제 시나리오에서 자율 폐쇄 루프 제어를 달성한 최초의 덩굴 로봇 데모입니다.

실험 결과

시스템은 두 가지 도전적인 실제 작업에 대해 평가되었습니다.

1. 복잡한 코스 주행

• 작업: 가지 선택, 45° 경사 오르기, 지지되지 않은 틈 통과, 장애물 회피, 급격한 회전이 포함된 6m 코스 주행.
• 성능: PanoVine 정책은 80%의 성공률을 달성했습니다.
• 베이스라인:
  • 궤적 재생 (개방 루프): 0% 성공률. 실패 원인은 장애물 충돌 및 버클링으로 인한 길이 차이로 인한 목표 도달 실패였습니다.
  • 리밸런싱 미적용: 10% 성공률. 정책이 분기점에서 충분히 조향하지 못해 실패했으며, 이는 데이터 리밸런싱 전략의 필요성을 강조합니다.

2. 물체 도달

• 작업: 2미터를 확장하여 미지의 위치와 방향에 놓인 물체를 정밀하게 조향하여 접촉하고 쓰러뜨리기.
• 성능: 정책은 85%의 성공률을 달성하였으며, 이는 다중 뷰 시각 피드백에 기반하여 보이지 않는 물체와 위치에 대해 일반화할 수 있음을 보여줍니다.
• 베이스라인:
  • 단일 카메라 정책: 0% 성공률. 단일 카메라는 확장 중 물체의 시야를 유지하지 못해 목표를 놓쳤습니다.

의의 및 주장

본 논문은 PanoVine이 온보드 센싱만을 사용하여 덩굴 로봇의 자율 폐쇄 루프 제어가 가능하다는 것을 입증함으로써 소프트 로보틱스의 중요한 진전을 이루었다고 주장합니다.

저자들은 이 접근 방식이 소프트 성장형 로봇의 비선형적, 히스테리시스적, 불연속적 변형 문제를 해결하기 어려운 전통적인 모델 기반 파이프라인의 한계를 우회한다는 점을 강조합니다. 분산된 전신 비전을 통한 엔드 투 엔드 시각-운동 정책을 학습함으로써, 시스템은 접촉, 변형 및 주변 기하학을 직접 관찰하여 로봇 상태와 역학의 불확실성을 보완할 수 있습니다. 이 연구는 복잡하고 구조화되지 않은 환경에서 작동하는 소프트 로봇을 위한 학습 기반 제어 연구의 토대를 마련합니다.