기술 요약: XRoboToolKit-T

문제 정의

유연하거나 변형 가능한 물체를 포함하는 접촉이 빈번한 조작 작업(contact-rich manipulation tasks)을 위해 고품질의 로봇 데이터를 수집하는 것은 로봇이 실제 세계의 기술을 습득할 수 있도록 하는 데 필수적입니다. 그러나 기존의 원격 조작(teleoperation) 솔루션은 상당한 한계에 직면해 있습니다. 현재의 주류 방식들은 안정적이고 고주파수의 촉각 피드백을 얻는 능력이 부족한 경우가 많습니다. 이러한 피드백 없이는 인간 운영자가 접촉력을 정밀하게 제어하기 어렵습니다. 공격적인 조작이나 의도치 않은 손의 움직임은 과도한 힘의 적용, 작업 실패(예: 취약한 물체의 파손), 또는 로봇의 비상 정지(emergency stop)를 유발할 수 있습니다. 또한, 단순히 촉각 신호를 시각화하는 것만으로는 운영자가 신속한 조정을 수행하기에 불충분하며, 기존의 햅틱 피드백 메커니즘(예: 데이터 글러브)은 조작 실패를 방지하기에는 너무 느리거나 미세한 조정을 위한 정밀도가 부족할 수 있습니다. 핵심 과제는 촉각 정보를 단순한 운영자 피드백용뿐만 아니라, 안정성과 정밀성을 보장하기 위한 능동적이고 초기 단계의 조작 제어에 활용하는 원격 조작 시스템을 설계하는 것입니다.

방법론

저자들은 안정적이고 정밀한 힘 제어를 위한 촉각 기반 보조를 제공하도록 설계된, PICO의 XRoboToolkit을 기반으로 한 다목적 원격 조작 시스템인 **XRoboToolKit-T (XRT-T)**를 제안합니다. 이 시스템은 고해상도 촉각 센싱과 이중 모듈 제어 아키텍처를 통합합니다.

1. 시스템 아키텍처 및 인지

• 하드웨어 통합: 시스템은 제3자 촉각 센서가 증강된 병렬 이지 그리퍼(parallel two-finger grippers)와 통합된 촉각 어레이를 갖춘 데릭스터러스 핸드(dexterous hands)를 모두 지원합니다. 시스템은 벤더별 프로토콜을 추상화하여 원시 측정값을 통일된 압력 그리드 형식($x \times y$)으로 변환하는 범용 센서 읽기 모듈을 사용합니다.
• 데이터 동기화: 촉각 신호는 로봇 운동학(kinematics)과 동기화되어 인지 채널 간의 시간적 일관성을 유지하도록 타임스탬프가 찍힙니다. 시스템은 압력 분포, 힘의 세부 사항 및 파생된 접촉 특징을 XR 장치나 PC 서비스로 발행합니다.

2. 촉각 기반 제어 모듈

핵심 혁신은 운영자를 보조하기 위해 촉각 데이터를 처리하는 두 가지 상호 보완적인 모듈에 있습니다.

• 접촉력 안정기 (실시간 - Contact Force Stabilizer):

  • 기능: 이 모듈은 촉각 어레이에 포착된 법선 방향 힘(normal force) 분포의 시간적 변화를 분석합니다. 연속된 프레임 사이의 최대 압력 위치의 변위를 계산하여 **의사 전단력(pseudo shear force)**을 추정합니다.
  • 메커니즘: 추정된 전단력 크기에 반비례하는 안정화 제어 계수($I_f$)를 계산합니다. 만약 전단력이 임계값을 초과하거나 접촉 방향이 급격히 변하면(불안정함을 나타냄), $I_f$는 0에 가까워져 슬립(slip)이나 손상을 방지하기 위해 운영자의 원격 조작 명령을 효과적으로 억제합니다. 힘이 안정적이면 $I_f$는 1에 가까워져 정상적인 제어를 허용합니다.
  • 주파수: 약 20 Hz로 작동합니다.

• VLA 기반 액션 리파이너 (고수준 - VLA-Based Action Refiner):

  • 기능: 이 모듈은 시각-언어-행동(VLA) 모델을 사용하여 고수준의 교정 조정을 수행합니다.
  • 입력: 표준 RGB 이미지 대신, 모델은 촉각 이미지(공간적 압력 분포)를 시각적 관측값으로 취하고 이를 작업 수준의 언어 지시문(예: "의료용 주사기를 삽입하라...")과 결합합니다.
  • 출력: 모델은 엔드 이펙터의 포즈를 정밀하게 조정하기 위한 작은 카테시안 변위(Cartesian displacements)를 나타내는 교정 액션 벡터($\delta_{refine}$)를 예측합니다.
  • 주파수: 약 7 Hz의 낮은 주파수로 작동하며, 새로운 정밀 조정 신호가 있을 때만 업데이트됩니다.

3. 제어 융합 (Control Fusion)

최종 로봇 명령($U_{final}$)은 운영자의 원시 입력($U_{current}$), 안정기의 변조, 그리고 리파이너의 교정의 융합입니다.
$$U_{final} = U_{current} + I_f \cdot \delta_{teleop} + I_s(t) \cdot \delta_{refine}$$
여기서 $I_s(t)$는 정밀 조정이 업데이트될 때만 적용되도록 보장하는 동기화 지표입니다.

주요 기여

1. XRoboToolKit-T 시스템: 변형 가능한 물체를 포함하는 접촉이 빈번한 작업을 위해 그리퍼 기반 및 데릭스터러스 핸드 기반 조작 모두에 적응 가능한 고주파수 촉각 지원 원격 조작 시스템입니다.
2. 이중 모듈 보조: 실시간 안정성(의사 전단력 추정을 통해)과 정밀도(촉각 이미지 추론을 통해)를 위한 접촉력 안정기 및 VLA 기반 액션 리파이너를 제안하였으며, 이들은 운영자가 안정적이고 정밀한 힘 제어를 달성하도록 공동으로 보조합니다.
3. 실험적 검증: 액체 이송을 위한 변형 가능한 고무 피펫 잡기, 의료용 주사기를 혈관 트레이닝 패드에 삽입하기, 물병/종이컵 잡기 등 도전적인 작업에 대한 포괄적인 실험을 통해 시스템의 효과와 효율성을 검증했습니다.

결과

저자들은 여러 지표에 대해 최첨단 베이스라인(특히 기존의 XRT 및 Twist2)과 XRT-T를 비교 평가했습니다.

• 조작 효율성: 15분간의 종이컵 잡기 작업에서, 이지 그리퍼를 사용한 XRT-T는 138회의 성공적인 조작을 달성하여, 비촉각 베이스라인인 Twist2(128회)와 데릭스터러스 핸드를 사용한 XRT-T(132회)보다 높은 성능을 보였습니다. 이는 데이터 수집 효율성이 향상되었음을 나타냅니다.
• 제어 주파수: 시스템은 제어 업데이트 속도에서 상당한 개선을 보여주었습니다. 핸드 트래킹을 사용하는 기존 XRT가 ~20.2 Hz로 작동한 반면, 핸드 트래킹을 사용하는 XRT-T는 48.6 Hz에 도달했습니다. 촉각 센싱이 활성화되었을 때, 비전 파이프라인과 독립적으로 직접적인 접촉 피드백을 제공하는 촉각 모듈 덕분에 제어 주파수는 96.4 Hz까지 증가했습니다.
• 작업 성공 (정성적): 의료용 주사기 삽입 작업에서, 베이스라인 XRT 시스템은 제어되지 않은 접촉력으로 인한 바늘 휘어짐 및 비상 정지로 인해 실패했습니다. 반면, XRT-T는 미세 조정을 수행하고 안정적인 접촉을 유지함으로써 작업을 성공적으로 완료하여 액체를 추출했습니다.
• 어블레이션 연구 (Ablation Study): 안정기와 리파이너를 모두 결합했을 때 가장 높은 성능(분당 9.6회 조작)을 보였으며, 이는 리파이너만 사용한 경우(9.0) 또는 안정기만 사용한 경우(8.8)보다 우수한 결과입니다. 이 결합을 통해 시스템은 주의 깊은 접촉 단계와 빠른 이동 단계를 동적으로 전환할 수 있었습니다.

의의

본 논문은 XRoboToolKit-T가 시각 정보만으로는 불충분한 접촉이 빈번한 시나리오에서 안정적이고 정밀한 힘 제어를 가능하게 함으로써 로봇 데이터 수집의 중요한 격차를 해소한다고 주장합니다. 실시간 안정화와 고수준 정밀 조정을 통해 제어 루프에 촉각 센싱을 직접 통합함으로써, 이 시스템은 조작 실패(예: 비상 정지 또는 물체 손상)를 방지할 뿐만 아니라 데이터 수집 효율성을 크게 향 Improves 합니다. 저자들은 이러한 접근 방식이 변형 가능한 물체 및 섬세한 물리적 접촉이 포함된 복잡한 실제 상호작용을 위한 강건한 로봇 정책을 훈련하는 데 필수적이며, 의료 훈련 및 조립과 같은 응용 분야에서 더 신뢰할 수 있는 원격 조작을 위한 길을 열어준다고 강조합니다.