기술 요약: BeingBeyond – 숙련된 로봇 조작을 위한 전이 가능한 촉각 사전 학습 (Transferable Tactile Pre-Training)

1. 문제 정의

시각적 인지가 로봇 공학에서 지배적인 역할을 하고 있지만, 촉각 센싱은 특히 폐쇄(occlusion), 모호성, 또는 취약한 상호작용이 발생하는 시나리오에서 복잡하고 정밀하며 숙련된 조작을 위해 필수적입니다. 그러나 이 분야는 두 가지 주요 병목 현상에 직면해 있습니다:

1. 데이터 부족: 실제 로봇에서 촉각 데이터를 수집하는 것은 비용이 많이 들고, 하드웨어 의존적이며, 비통일적인 센서 통합과 원격 제어(teleoperation)의 노동 집약성으로 인해 규모를 확장하기 어렵습니다.
2. 구조적 한계: 촉각 양상(modality)을 포함하는 기존의 시각-언어-행동(VLA) 모델은 종종 역학(dynamics)을 고려하지 않는 사후 학습(post-training)에 국한됩니다. 이러한 접근 방식은 사전 학습(주로 시각 전용)과 사후 학습(촉각 포함) 사이의 분포 불일치 문제를 겪으며, 이는 모델이 접촉 역학을 학습하고 다양한 형태(embodiment) 간에 일반화되는 능력을 제한합니다.

현재의 인간-로봇 전이 방법들은 대부분 촉각 양상을 간과하고 시각과 행동에만 집중하고 있어, 인간의 시연으로부터 미세한 접촉 제어를 학습하는 데 있어 격차를 남겨두고 있습니다.

2. 방법론

본 논문은 대규모 촉각 사전 학습을 통해 인간의 시연과 로봇 실행 사이의 간극을 메우기 위해 설계된 시스템인 **전이 가능한 촉각 사전 학습(Transferable Tactile Pre-Training, TTP)**을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

A. H-Tac: 대규모 촉각-행동 데이터셋

데이터 부족 문제를 해결하기 위해 저자들은 160시간 분량의 에고센트릭(egocentric) 인간 비디오와 300개 이상의 태스크, 135,000개의 에피소드를 포함하는 대규모 데이터셋인 H-Tac을 구축했습니다. 이 데이터셋은 세 가지 서브셋으로 구성됩니다:

• HOI-Tac: 12개의 공개 데이터셋(예: ARCTIC, DexYCB, OakInk)에서 파생되었으며, 통합된 351-택셀(taxel) UV 공간 상에 투영된 MANO 핸드 메쉬의 버텍스별 이진 접촉 라벨을 생성합니다.
• DeskTask-Tac: 데스크톱 시나리오에서의 양손 조작을 캡처하기 위해 RealSense 카메라와 촉각 장갑(RawHand 및 AprilTag 파이프라인)을 사용하는 커스텀 시스템을 통해 수집되었습니다.
• InternData-Tac: InternDataEngine 파이프라인으로부터 증강되었으며, 교차 형태(cross-embodiment) 감독을 가능하게 하기 위해 공유 MANO 표면에 접촉 패치를 투영합니다.

B. 통합 행동 및 촉각 공간

인간-로봇 전이 과정에서 지식을 보존하기 위해, TTP는 다음과 같은 통합 표현 공간을 사용합니다:

• 통합 행동 공간: 말단 장치(end-effector) 포즈, 숙련된 손 관절, 그리고 인간의 MANO 파라미터(형태 $\beta$ 및 관절 $\theta$)를 포함하는 200차원 공간입니다.
• 통합 촉각 공간: UniTacHand를 기반으로 하며, 다양한 형태(인간의 손, 압전 저항 로봇 손, 시각-촉각 그리퍼 등)의 이질적인 촉각 센서를 표준화된 351-택셀 MANO 표면에 매핑합니다. 이는 사전 학습(인간)과 사후 학습(로봇) 단계 사이의 형태적 일관성을 보장합니다.

C. 이중 전문가 사전 학습 아키텍처

본 모델은 플로우 매칭(flow matching)을 통해 학습되는 이중 전문가 시스템을 통해 BeingH-0.5 기초 VLA 모델을 확장합니다:

1. 이해 전문가(Understanding Expert): 시각, 텍스트 및 고유 수용 감각(proprioceptive) 입력을 처리합니다.
2. 행동 전문가(Action Expert): 미래의 행동 청크($A_t$)를 예측합니다.
3. 촉각 전문가(Tactile Expert): 미래의 촉각 신호($O^+_t$)를 명시적으로 예측합니다.

학습 목표는 행동 및 촉각 예측 모두에 대한 플로우 매칭 손실을 최소화하는 것입니다. 분포 변화에 대한 안정성과 강건성을 확보하기 위해, 시스템은 **촉각-행동 매니폴드 보존 게이팅(Tactile-Action Manifold-Preserving Gating, MPG)**을 도입합니다. MPG는 현재의 컨텍스트와 노이즈가 없는 행동/촉각 앵커 사이의 슬라이스드 와서스테인 거리(sliced Wasserstein distance)를 기반으로 신뢰도 게이트를 계산하여, 컨텍스트가 신뢰할 수 없을 때 잔차 향상(residual enhancement)을 조절함으로써 불안정한 예측을 방지합니다.

3. 주요 기여

1. H-Tac 데이터셋: 밀집된 촉각 및 행동 주석이 포함된 대규모 에고센트릭 인간 시연 데이터셋을 수집 및 공개하여, 촉각 조건부 사전 학습을 위한 중요한 자원을 제공했습니다.
2. TTP 프레임워크: 촉각 기반의 사전 학습을 활용하여 VLA 모델이 로봇 특정 사후 학습을 수행하기 전에 대규모로 촉각 기반의 사전 지식(prior)을 습득할 수 있게 하는 최초의 시스템입니다.
3. 우수한 전이 성능: TTP가 촉각 관련 실제 작업에서 우수한 성능을 달al하며, 강력한 교차 형태 능력과 비사전 학습 및 비촉각 베이스라인을 능가하는 미세한 조작 기술을 보여줌을 입증했습니다.

4. 실험 결과

시뮬레이션 벤치마크

LIBERO, LIBERO-plus, RoboCasa에서 평가했을 때, TTP는 촉각 양상에 따른 추가적인 계산 부담에도 불구하고 베이스라인(예: OpenVLA, $\pi0.5$, BeingH-0.5)과 대등하거나 더 뛰어난 성능을 달성했습니다. 특히, TTP는 제로샷 설정(LIBERO-plus)에서 개선된 일반화 성능을 보였으며, RoboCasa의 다양한 태스크 카테고리에서 견고한 성능을 보여주었습니다.

실로봇 실험

다양한 플랫폼(Franca, Realman)과 엔드 이펙터(Inspire hands, DM-Tac grippers, DexBotic hands)를 사용하여 미세한 껍질 벗기기부터 깨지기 쉬운 물체의 접촉이 많은 핸들링까지 9가지 태스크에 대해 실험을 진행했습니다.

• 성능: TTP는 모든 카테고리에서 베이스라인($\pi0.5$ 및 BeingH-0.5 포함)을 유의미하게 능가했습니다.
  • 미세 작업(Fine-Grained): 평균 진행률 96.7% 달성 (BeingH-0.5의 57.3% 대비).
  • 접촉이 많은 작업 및 취약한 물체(Contact-Rich & Fragile): 성공률 79.2% 달성 (BeingH-0.5의 9.2% 대비).
  • 시각 결함 상황(Vision Defect): 성공률 37.8% 달성 (BeingH-0.5의 15.6% 대비).
• 절제 연구(Ablation Studies):
  • 촉각-행동 MPG 또는 촉각 전문가를 제거하면 동작 예측 오류가 증가하여, 두 모듈의 필요성을 확인했습니다.
  • 스케일링 실험을 통해 사전 학습 데이터셋의 크기를 늘리면 예측 오류가 선형적으로 감소함을 보여, 이 접근 방식의 확장성을 검증했습니다.
  • TTP를 사전 학습이 없는 TTP와 비교하여, 촉각 사전 학습 단계가 효과적인 인간-로봇 전이를 위한 필수적인 사전 지식을 제공함을 확인했습니다.

5. 의의 및 주장

본 논문은 TTP가 인간-로봇 전이를 통한 확장 가능한 촉각 사전 학습의 길을 열었다고 주장합니다. 촉각과 행동 공간을 통일하고 대규모 인간 데이터를 활용함으로써, 이 시스템은 높은 수준의 태스크 이해와 낮은 수준의 미세한 접촉 제어 사이의 간극을 성공적으로 메웁니다. 저자들은 이 접근 방식이 접촉 역학 및 물리적 상호작용을 효과적으로 모델링하여, 로봇이 기존의 시각 전용 또는 사후 학습 전용 촉각 방식으로는 도달할 수 없었던 정밀도와 견고함으로 섬세한 작업(예: 무 껍질 벗기기, 종이 접기, 칩 다루기 등)을 수행할 수 있게 한다고 단언합니다. 이 연구는 인간 중심의 촉각 데이터가 일반화 가능한 로봇 정책을 훈련하기 위한 실행 가능하고 강력한 자원임을 입증합니다.