기술 요약: 이종 촉각 트랜스포머 (Heterogeneous Tactile Transformer, HTT)

1. 문제 정의

촉각 감지는 접촉이 빈번한 로봇 조작(예: 깨지기 쉬운 물체 잡기, 정밀 조립)에 필수적이지만, 촉각 학습을 확장하는 데 있어 큰 병목 현상이 존재한다. 카메라와 달리, 촉각 센서는 본질적으로 **이종(heterogeneous)**적이다. 즉, 변환 메커니즘, 데이터 구조, 출력 형식이 근본적으로 다르다.

• 광학식 센서(예: GelSight, 9DTact)는 엘라스토머의 변형을 통해 풍부한 공간 및 기하학적 정보를 포착하지만, 카메라 프레임 속도의 제한을 받는 경우가 많다.
• 어레이 기반 센서(예: Xela, Tac-02)는 높은 비율의 시간적 신호와 직접적인 힘/압력 측정을 제공하지만, 공간 해상도는 상대적으로 낮다.

현재의 표현 학습 방법들은 주로 광학식 센서에 집중하거나 센서를 개별적으로 취급한다. 한 모달리티에서 학습된 모델은 다른 모달리티의 데이터를 직접 수용할 수 없으므로, 통합되고 센서 불가지론적인(sensor-agnostic) 조작 정책을 만드는 것을 방해한다. 또한, 이러한 서로 다른 모달리티를 쌍으로 결합한 대규모 동기화 데이터셋이 부족하며, 이들 사이에서 공유된 표현을 효과적으로 학습하는 기존 프레임워크도 없다.

2. 방법론

2.1 이종 쌍 구성 촉각 (Heterogeneous Paired Tactile, HPT) 데이터셋

데이터 부족 문제를 해결하기 위해, 저자들은 Universal Manipulation Interface (UMI) 설정을 사용하여 HPT 데이터셋을 구축하였다.

• 규모: 160만 개의 동기화된 쌍 프레임.
• 센서: 네 가지 서로 다른 센서: 두 개의 광학식 센서(GelSight Mini, 9DTact)와 두 개의 어레이 기반 센서(Xela, Tac-02).
• 수집: 일상적인 물체와의 상호작용 중 발생하는 동시 접촉 특성을 포착하기 위해 그리퍼 손가락의 양측에 센서를 장착하였다.
• 구성 요소: 데이터셋에는 다음이 포함된다:
  • 레이블 없는 상호작용 데이터: 자기지도 학습 사전 학습(누르기, 비틀기, 미끄러지기 동작)을 위한 데이터.
  • 물체 분류: 다양한 기하학적 구조와 질감을 가진 20가지의 서로 다른 물체.
  • 힘 추정: 외부 F/T 센서가 장착된 프로빙 리그를 통해 수집된 동기화된 6-D 힘 레이블.
  • 미끄러짐(Slip) 감지: 마찰 계수 시계열로부터 도출된 레이블로, 정적(static), 초기(incipient), 총체적(gross) 미끄러짐으로 분류됨.

2.2 이종 촉각 트랜스포머 (HTT) 아키텍처

HTT는 이종 센서 간의 공유된 잠재 공간(shared latent space)을 학습하도록 설계된 자기지도 학습 프레임워크이다. 이는 다음과 같은 구성 요소를 갖춘 마스크드 오토인코더(Masked Autoencoder, MAE) 설계를 채택한다:

1. 센서별 인코더 ($E_i$):
   • 광학식 센서용: 공간 패치를 처리하는 Vision Transformer (ViT) 인코더.
   • 어레이 센서용: 다차원 시계열의 시간적 패치를 처리하는 Self-attention 트랜스머.
   • 입력은 인코딩되기 전에 패치화(patchified)되고 정규화된다.
2. 공유 트랜스포머 트렁크 ($T$): 모든 센서의 토큰 임베딩을 공통된 잠재 공간으로 처리하는 통합 백본(backbone).
3. 센서별 디코더 ($D_i$): 사전 학습 중에 마스킹된 입력 토큰을 재구성하기 위해 사용된다.
4. 교차 모달 예측기 ($P_{ij}$): 소스 센서의 임베딩과 가시적인 타겟 임베딩을 사용하여 마스킹된 타겟 센서 임베딩을 예측하는 교차 주의(cross-attention) 트랜스포머.

2.3 사전 학습 목적 함수

모델은 두 가지 목적 함수를 결합한 결합 손실 함수를 사용하여 학습된다:

1. 모달리티별 마스크 재구성 ($L_{MAE}$): 각 센서가 자신의 마스킹된 입력을 재구성함으로써 견고한 구조적 및 물리적 특징을 추출하도록 유도한다.
2. 교차 모달 정렬 ($L_{Align}$): 소스 센서의 전체 임베딩과 타겟의 가시적인 임베딩을 사용하여 마스킹된 타겟 센서 임베딩을 예측하도록 모델을 학습시켜, 서로 다른 모달리티를 공유된 잠재 공간 내에서 정렬시킨다.
   • 표현 붕괴(representation collapse)를 방지하기 위해 타겟에 stop-gradient를 적용한다.
   • 정렬 손실은 시간 의존적 계수($\alpha_t$)에 의해 가중치가 부여되며, 센서별 특징 개발을 허용하기 위해 0에서 시작하여 점진적으로 증가한다.

다운스트림 작업 수행 시, 디코더와 예측기는 폐기되며 오직 센서 인코더와 공유 트랜스포머 트렁크만이 사용된다.

3. 주요 기여

1. HPT 데이터셋: 광학식 및 어레이 기반 촉각 센서를 쌍으로 결합한 대규모(1.6M 프레임) 동기화 데이터셋을 구축하여, 이종 촉각 표현 학습 연구를 가능하게 하였다.
2. HTT 프레임워크: MAE 방식의 재구성과 양방향 교차 센서 예측을 결합하여, 이종 센서 유형 간에 전이 가능한 표현을 학습하는 자기지도 학습 아키텍처를 제안하였다.
3. 포괄적 평가: 인지 작업(분류, 힘 추정, 미끄러짐 감지)과 조작 작업(시뮬레이션 및 실제 환경)에 대한 광범위한 검증을 통해, 새로운 센서와 작업에 일반화되는 프레임워크의 능력을 입증하였다.

4. 실험 결과

4.1 촉각 인지 작업

• 물체 분류: HTT는 네 가지 센서 모두에서 "Scratch" 베이스라인을 능가하였다. 광학식 센서의 경우, HTT는 강력한 광학 전용 베이스라인(T3, SITR)보다 상당한 차이로 높은 성능을 보였다 (예: 9DTact에서 +13.5%, GSMini에서 +17%). 교차 모달 정렬은 광학식 센서의 성능을 향상시켰으나, 어레이 센서에서는 정보 불균형으로 인해 혼재된 결과(Xela에서 약간의 퇴보)를 보였다.
• 힘 추정 및 미끄러짐 감지: HTT는 모든 센서에서 베이스라인을 크게 앞질렀다. 광학 전용 사전 학습 방법(T3, SITR)은 힘 민감 작업으로 전이될 때 종종 실패했으나, HTT는 견고한 성능을 유지했다. 교차 모달 정렬은 특히 미끄러짐 감지에 효과적이었으며, 보완적인 힘과 공간 단서를 결합함으로써 Macro-F1 점수를 크게 향end(예: TAC-02에서 +12.0%) 시켰다.

4.2 로봇 조작 작업

• 실제 실험 (Franka Arm에 장착된 Sharpa Hand):
  • 작업: "Toy Screw" (나사 조이기) 및 "Grasp Tofu" (두부를 으깨지 않고 들어올리기).
  • 설정: 사전 학습 중에 보지 못한 센서(9DTact 인코더)의 HTT 임베딩을 사용한 제로샷 적응(Zero-shot adaptation).
  • 결과: HTT 임베딩을 사용한 정책은 원시 6-D 힘 벡터(wrench vector)나 관절 위치만을 사용한 정책보다 성능이 월등히 높았다.
    • Toy Screw: HTT는 95%의 성공률을 기록한 반면, 힘 기반 정책은 50%에 그쳤다. 저자들은 이를 원시 힘 벡터가 포착할 수 없는 순환적 재그립(cyclic regrip)에 필요한 공간적 접촉 특징(접촉 위치 및 이동)을 HTT가 표현할 수 있기 때문이라고 설명한다.
    • Grasp Tofu: HTT는 55%의 성공률을 달성하여 힘 기반 정책(35%)보다 우수했으며, 미끄러짐 발생률을 1/3 줄이고 으깨짐 실패를 제거하였다.
• 시뮬레이션 작업 (ManiFeel): HTT 임베딩은 베이스라인 대비 Peg Insertion 및 Bulb Installation 작업에서 성공률을 개선하여, 센서 불가지론적인 접촉 임베딩의 유용성을 확인시켜 주었다.

5. 의의 및 주장

본 논문은 **쌍을 이룬 이종 사전 학습(paired heterogeneous pretraining)**이 일반적이고 센서 불가지론적인 촉각 표현 학습을 향한 실질적인 경로임을 주장한다.

• 전이 가능성: HTT는 센서별 사전 학습 없이도 새로운 작업과 이전에 보지 못한 센서에 적응하는 표현을 학습한다.
• 정책 학습: 프레임워크는 원시 힘 출력보다 더 풍부한 접촉 표현을 제공하여, 접촉이 빈번한 조작 정책의 성능을 직접적으로 높인다.
• 확장성: 광학식과 어레이 기반 센서 사이의 간극을 메움으로써, HTT는 단일 모달리티 데이터셋의 한계를 넘어 촉각 학습을 확장하는 데 핵심적인 역할을 한다.

저자들은 현재 연구가 광학식 및 어레이 계열에만 집중되어 있다는 점, 동일 계열 내 쌍 구성 연구가 부족하다는 점, 그리고 센서 패치 간의 명시적인 기하학적 공간 정렬이 부재하다는 점을 한계로 언급하였다. 향-후 연구는 다른 감지 모달리티로 정렬을 확장하고 교차 모달 감독을 정교화하는 것을 목표로 한다.