기술 요약: T-Rex: 촉각 반응형 정교한 조작 (Tactile-Reactive Dexterous Manipulation)

문제 정의

현재의 로봇 조작을 위한 시각-언어-행동(VLA) 모델들은 촉각 양상(modality)을 간과하거나 정적인 인코더에 의 Rely함으로써, 인간 수준의 숙련도에 필수적인 역동적이고 폐쇄 루프(closed-loop)적인 반응성을 구현하는 데 실패하고 있습니다. 인간은 미세한 촉각 신호에 빠르게 반응함으로써 접촉이 빈번한 작업(예: 카드를 슬롯에 밀어 넣거나 변형 가능한 물체를 조작하는 것)을 능숙하게 수행하지만, 로봇은 다음 세 가지 주요 한계로 인해 어려움을 겪습니다:

1. 데이터 부족: 사전 학습에 필요한 대규모의 다양하고 동기화된 시각-촉각 데이터셋이 부족합니다.
2. 구조적 제약: 표준 VLA 백본은 저주파수에서 작동하여, 고주파수 요구 사항을 가진 촉각 반응형 제어와 불일치를 보입니다.
3. 정적 인코더: 기존 방식은 힘과 접촉의 시간적 역동성을 포착하지 못하는 경우가 많아, 섬세한 힘 제어나 변형 가능한 물체 취급 능력이 제한됩니다.

방법론

저자들은 새로운 데이터셋, 특화된 모델 아키텍처, 그리고 3단계 학습 레시피를 통해 확장 가능한 촉각 반응형 정교한 제어를 가능하게 하는 프레임워크인 T-Rex를 제안합니다.

1. T-Rex 데이터셋

데이터 병목 현상을 해결하기 위해, 저자들은 100시간 분량의 촉각 동기화 텔레오퍼레이션(teleoperation) 데이터셋을 도입합니다. 협소한 작업이나 평행 그리퍼에 집중했던 이전 데이터셋들과 달리, 이 데이터셋은 다음과 같은 특징을 가집니다:

• 200개 이상의 다양한 일상 용품과 22개의 운동 프리미티브(예: 닫기, 벗기기, 접기, 닦기)를 다룹니다.
• 동기화된 RGB 관측값(헤드 뷰 및 손목 뷰), 로봇 상태, 언어 지시문, 그리고 고주파수 촉각 신호(힘 벡터 및 변형 맵)를 포함합니다.
• 특정 작업 중심의 시연이 아닌, 광범위한 접촉 기반 상호작용을 보장하기 위해 구성적 동사-명사 조합을 중심으로 조직되었습니다.

2. T-Rex 모델 아키텍처

핵심 혁신은 주파수 불일치를 처리하기 위해 제어를 비동기 스트림으로 분리하는 Mixture-of-Transformer-Experts (MoT) 백본입니다:

• 잠재 전문가 (Latent Expert): 미래의 시각적 표현을 예측하여 시간적으로 근거가 있는 컨텍스트를 제공합니다.
• 행동 전문가 (Action Expert, 저주파수): 순수 노이즈로부터 중간 타임스텝($\tau_{split}$)까지의 "디노이징(denoising)"을 수행하여, 시각 및 언어 입력을 바탕으로 기초적인 행동 계획을 생성합니다. 이는 약 5Hz로 작동합니다.
• 촉각 전문가 (Tactile Expert, 고주파수): 행동 전문가로부터 캐싱된 시각-언어 컨텍스트를 재사용하며, $\tau_{split}$에서 0까지 디노이징 과정을 지속합니다. 이는 실시간 촉각 관측값(힘의 이력을 위한 VQ-VAE 및 변형 맵을 위한 합성곱 인코더 활용)을 통합하여 행동을 약 20Hz로 정교화합니다.
• 비동기 계단식 플로우 매칭 (Asynchronous Cascaded Flow Matching): 모델은 행동 전문가와 촉각 전문가가 공유된 속도 타겟을 향해 회귀하지만 서로 분리된 궤적 구간에서 작동하는 플로우 매칭 목적 함수를 채택합니다. 이를 통해 시스템은 무거운 시각 네트워크를 다시 실행하지 않고도 고주파수 촉각 정교화를 수행할 수 있습니다.

3. 학습 레시피

모델은 3단계 진행 과정을 통해 학습됩니다:

1. 대규모 인간 1인칭 시점 사전 학습: 잠재 및 행동 전문가는 광범위한 시각 운동 사전 지식(visuomotor priors)과 의미론적 근거를 습득하기 위해 22,889시간의 인간 1인칭 시점 비디오를 통해 사전 학습됩니다.
2. 촉각 근거 로봇 중간 학습 (Mid-training): 모델은 T-Rex 데이터셋을 사용하여 적응됩니다. 이 단계에서는 행동 전문가를 로봇 실행 가능 동작에 정렬시키고, 촉각 전문가가 동기화된 촉각 피드백을 사용하여 고주파수 정교화를 수행하도록 학습시킵니다.
3. 기술 특화 사후 학습 (Post-training): 특정 다운스트림 작업을 위해, 학습된 촉각 반응적 행동을 보존하면서 소수의 작업 시연(약 100개)을 통해 미세 조정됩니다.

주요 결과

프레임워크는 삽입, 변형, 힘 민감 상호작용 및 양손 협업(예: 치약 짜기, 자물쇠 열기, 카드 추출하기)을 포함하는 12가지 접촉 빈번 정교한 조작 작업에 대한 실제 벤치마크에서 평가되었습니다.

• 성능: T-Rex는 모든 작업에서 평균 **65%**의 성공률을 달 기록하며, 가장 강력한 베이스라인인 EgoScale보다 30% 이상 높은 성능을 보였습니다.
• 절제 연구 (Ablation Studies):
  • 촉각 양상: 촉각 입력을 제거했을 때 성능이 23% 감소했습니다. 힘 또는 변형 신호 중 하나만 사용했을 때도 성능이 크게 하락하여, 결합된 시공간적 인코딩의 필요성을 입증했습니다.
  • 아키텍처: 비동기적 정교화를 동기식 베이스라인으로 교체했을 때 성능이 5% 감소하여, 저주파수 계획과 고주파수 제어를 분리하는 것의 이점을 확인했습니다.
  • 데이터 효율성: T-Rex는 촉각 근거 중간 학습 단계가 없는 모델에 비해 훨씬 적은 다운스트림 시연만으로도 높은 성공률을 달성하며 우수한 데이터 효율성을 보여주었습니다.
  • 학습 레시피: 대규모 인간 사전 학습과 촉각 근거 중간 학습 모두가 매우 중요하다는 것이 입증되었습니다. 작업별 데이터로만 학습하거나 촉각 중간 학습이 없는 모델은 현저히 낮은 성능을 보였습니다.

의의 및 주장

본 논문은 T-Rex가 대규모 사전 학습과 촉각 근거 중간 학습을 성공적으로 통합함으로써 촉각 반응형 정교한 조작의 새로운 기준을 세웠다고 주장합니다. 저자들은 자신들의 접근 방식이 다음과 같음을 단언합니다:

• MoT 아키텍처를 통해 인지적 추론(시각/언어)과 반응적 제어(촉각) 사이의 주파수 불일치를 극복합니다.
• 촉각 능력이 전용 중간 학습 단계를 통해 효율적으로 습득될 수 있음을 입증하며, 초기 사전 학습을 위한 촉각 데이터 수집의 과도한 비용 문제를 우회합니다.
• 현재의 VLA 모델들이 일반적으로 실패하는 섬세한 힘 제력 및 변형 가능한 물체 조작이 필요한 복잡한 접촉 기반 작업에 대해 제로샷(zero-shot) 및 데이터 효율적인 전이를 가능하게 합니다.

이 연구는 하드웨어적 한계(센서 왜곡, 캘리브레이션)가 여전히 남아있지만, 제안된 알고리즘 및 데이터 중심 프레임워크가 로봇의 인간 수준 숙련도를 향한 확장 가능한 경로를 제공함을 강조합니다.