기술 요약: HT-Bench 및 HandTouch

문제 정의

로봇 조작을 위한 촉각 표현 학습(tactile representation learning)의 보편적인 벤치마크를 구축하는 것은 현재 촉각 센싱의 본질적인 이질성으로 인해 어려움을 겪고 있습니다. 이러한 이질성은 다양한 센서 설계(하드웨어 원리, 공간적 레이아웃, 신호 모달리티), 다양한 로봇 형태, 그리고 일관되지 않은 데이터 형식에서 기인합니다. 표준화된 데이터셋과 성숙한 평가 프로토콜의 혜택을 받는 시각적 인지와 달리, 촉각 학습은 작업 특정적인 파이프라인과 센서 의존적인 프로세싱에 국한되어 있습니다. 결과적으로, 학습된 특징이 전이 가능한 촉각 표현을 나타내는지, 아니면 단순히 작업 특정적인 적응인지를 판단하기 어렵습니다. 저자들은 모든 센서의 차이를 해결할 단일한 보편적 벤치마크를 찾는 것은 비현실적이라고 주장합니다. 대신, 그들은 확장 가능하고 유망한 방향인 에고센트릭 비전(egocentric vision)과 전손(full-hand) 촉각 데이터의 결합을 탐구할 것을 제안합니다. 이 설정은 숙련된 조작 과정 중 분산된 접촉 정보와 함께 상호작용 중심의 시각적 맥락을 포착하며, 촉각 인코더가 접촉 기하학을 인코딩하고, 시각 정보와 정렬되며, 미학습 작업에 일반화될 수 있는지를 평가하는 기초를 제공합니다.

방법론

1. HT-Bench: 대규모 멀티태스크 벤치마크

저자들은 다양한 환경(예: 가정, 전자 작업대, 화학 실험실)에서 226개의 다양한 작업에 걸쳐 수집된 약 1,000만 개의 RGB 프레임과 780만 개의 촉각 프레임으로 구성된 벤치마크인 HT-bench를 소개합니다. 이 데이터셋은 에고센트릭 비전과 전손 촉각 센서 간에 동기화되어 있습니다.

일반화 능력을 평가하기 위해, HT-Bench는 태스크 수준의 분포 외(Out-of-Distribution, OOD) 분할 전략을 사용합니다. 즉, 하나의 상호작용 태스크를 OOD 평가를 위해 홀드아웃(hold-out)하고, 나머지 태스크들을 9:1 비율로 학습 및 분포 내(in-distribution) 테스트로 나눕니다.

HT-Bench는 네 가지 상호 보완적인 태스크를 통해 촉각 표현을 평가합니다:

• 미세 촉각 유사도 검색 (Fine-Grained Tactile Similarity Retrieval): 1-vs-20 검색 태스크로, 인코더는 쿼리에 대해 구조적 유사도 지표(SSIM)를 기준으로 후보 촉각 맵의 순위를 매겨야 하며, 이는 미세한 접촉 기하학의 보존 능력을 테스트합니다.
• 마스크드 촉각 인페인팅 (Masked Tactile Inpainting): 모델은 남은 촉각 관측값과 동기화된 시각적 단서를 사용하여 누락된 영역의 촉각 맵을 재구성합니다. 이는 공간적 추론 능력과 부분적인 정보 손실(센서 실패 시뮬레이션)을 처리하는 능력을 테스트합니다.
• 비전-투-촉각 합성 (Vision-to-Tactile Synthesis, RGB-to-Tactile): 단일 RGB 프레임이 주어졌을 때, 모델은 그에 대응하는 촉각 압력 분포를 예측합니다. 이는 교차 모달 정렬(cross-modal alignment)과 시각적 객체 기하로부터 촉각 반응을 추론하는 능력을 평가합니다.
• 멀티모달 촉각 프레임 예측 (Multimodal Tactile Frame Prediction): 모델은 최근의 시각적 관측($v_{T-2}$)과 과거의 촉각 궤적($t_{T-2}$)을 사용하여 시간 $T$($t_T$)에서의 촉각 분포를 예측합니다. 이는 시간적 접촉 모델링과 동적 상호작용 이해도를 평가합니다.

2. HandTouch: 벡터 양자화 비전-촉각 인코더

HT-Bench의 평가 요구 사항을 해결하기 위해, 저자들은 단계적 3단계 파이프라인을 통해 훈련된 벡터 양자화 비전-촉각 인코더인 HandTouch를 제안합니다.

• 1단계: 벡터 양자화 촉각 재구성 (공간 위상):

  • 컨볼루션 레이어가 정규화된 촉각 맵을 패치로 토큰화하며, 이는 8개 층의 비전 트랜스포머(ViT) 인코더에 의해 처리됩니다.
  • 공유 코드북($K=2048$)을 가진 **팩터라이즈드 벡터 양자화기(factorized vector quantizer)**가 연속적인 잠재 특징을 이산적인 토큰 공간으로 투영합니다.
  • 코드북 붕괴(collapse)를 방지하기 위해, 활용도가 낮은 항목을 현재 배치의 활성 특징을 사용하여 재초기화하는 코드북 재시작 메커니즘을 사용합니다.
  • 목적은 양자화된 토큰으로부터 입력 촉각 맵을 재구성하여, 구조적으로 판별력 있는 공간 위상을 학습하는 것입니다.

• 2단계: 교차 모달 마스크드 촉각 인페인팅 (비전-촉각 정렬):

  • 모델은 남은 촉각 데이터와 동기화된 시각적 단서를 모두 사용하여 손상된 촉각 맵을 재구성하는 법을 배웁니다.
  • 커리큘럼 기반 듀얼 마스킹 전략이 적용됩니다:
    • 지역적 무작위 마스킹 (Regional Random Masking): 특정 손 부위(엄지, 손가락, 손바닥)를 마스킹하여 부분적 손실을 시뮬레이션합니다.
    • 전체 마스킹 (Complete Masking): 전체 촉각 맵을 마스킹하여 모델이 주로 시각적 맥락으로부터 촉각 반응을 추론하도록 강제합니다. 전체 마스킹 확률은 훈련이 진행됨에 따라 증가합니다.
  • 시각적 특징(사전 훈련된 frozen ViT로부터 추출)은 **교차 주의(cross-attention)**를 통해 촉각 디코더에 주입됩니다. 좌우 손 사이의 기하학적 모호성을 해결하기 위해 학습 가능한 손 특정 토큰($t_{hand}$)이 추가됩니다.

• 3단계: 멀티모달 촉각 프레임 예측 (시간적 역학):

  • 모델은 최근의 시각적 관측과 과거의 촉각 이력을 통합하여 미래의 촉각 분포를 예측합니다.
  • 이 단계에서는 예측 모듈, 공유 코드북 및 디코더를 미세 조정하여 접촉 상태의 시간적 진화를 포착합니다.

주요 기여

1. HT-Bench: 숙련된 전손 촉각 감지를 위해 특별히 설계된 대규모 멀티태스크 벤치마크를 도입하였으며, 이는 동기화된 에고센트릭 비전과 촉각 데이터를 특징으로 하며, 일반화 능력을 엄격하게 평가하기 위해 태스크 수준의 OOD 분할을 포함합니다.
2. HandTouch: 점진적인 공간, 교차 모달, 시간적 훈련 목적 함수를 통해 전이 가능한 표현을 학습하는 새로운 벡터 양자화 비전-촉각 인코더를 제안합니다.
3. 포괄적 평가: 단일 하위 태스크 목적을 넘어 접촉 기하학 인코딩, 시각적 정렬 및 미학습 작업에 대한 일반화 능력을 평가하는 다각적 평가 프레임워크를 제공합니다.

실험 결과

HT-Bench에 대한 실험 결과, HandTouch는 대표적인 베이스라인들(CNN 기반, ResNet-18, VQ-VAE 및 ViT 기반 인코더)보다 일관되게 우수한 성능을 보였습니다.

• 미세-그레인 검색 (Fine-Grained Retrieval): HandTouch는 가장 강력한 베이스라인(ViT 기반)과 비교했을 때 Recall@5를 74.65%에서 aside 85.23%로, Hit@1을 94.27%에서 99.27%로 향상시켰습니다.
• 마스크드 촉각 인페인팅 (Masked Tactile Inpainting): 표준 테스트 분할에서 HandTouch는 전체 이미지 RMSE를 0.022에서 0.010으로 감소시켰고, cIoU를 0.762에서 0.911로 증가시켰습니다. OOD 분할에서도 우수한 성능을 유지했습니다.
• 비전-투-촉각 합성 (Vision-to-Tactile Synthesis): HandTouch는 OOD cIoU를 0.628에서 0.705로 개선하여, 더 강력한 교차 모달 생성 및 일반화 능력을 보여주었습니다. VQ-VAE가 OOD 설정에서 약간 더 낮은 RMSE를 보였으나, HandTouch는 훨씬 높은 cIoU를 달성하여 더 날카롭고 국소적인 접촉 패턴을 더 잘 포착함을 시사했습니다.
• 시간적 예측 (Temporal Prediction): HandTouch는 분포 내 및 OOD 설정 모두에서 정확한 촉각 분포 예측을 보여주었으며, 이를 통해 시간적 접촉 역학을 모델링하는 능력을 입증했습니다.

의의 및 주장

본 논문은 HT-Bench가 숙련된 조작, 특히 에고센트릭 비전과 전손 감각이 결합된 영역 내에서 촉각 표현 학습을 평가하고 발전시키기 위한 확장 가능하고 실용적인 기반을 제공한다고 주장합니다. 보편적(그러나 현재는 비현실적인) 벤치마크에서 확장 가능한 데이터 중심 접근 방식으로 초점을 전환함으로써, 저자들은 전손 촉각 인지를 위한 효과적인 표현 백본(backbone)이 무엇인지에 대한 선결 질문에 답하고자 합니다.

저자들은 HandTouch가 점진적 훈련(공간, 교차 모달, 시간적)과 벡터 양자화가 구조적으로 판별력 있고, 시각적으로 근거가 있으며, 시간적으로 인지하는 표현을 학습하는 데 효과적임을 입증한다고 주장합니다. 결과는 대규모 에고센트릭 전손 촉각 데이터가 일반적인 촉각 표현 학습의 토대가 될 수 있음을 시사합니다.

본 논문은 HT-Bench가 모든 촉각 센싱 패러다임(예: 손가락 끝 전용 센서, 힘/토크 센싱 또는 비-손 형태의 로봇)을 다루지는 않으며, 현재의 평가가 직접적인 다운스트림 로봇 성능보다는 표현 수준의 능력에 집중하고 있다는 점을 인정하며 범위를 겸허히 제한하고 있습니다. 향-후 연구로서 더 넓은 하드웨어로 벤치마크를 확장하고, 더 깊은 어블레이션 연구를 수행하며, 실제 환경의 폐루프(closed-loop) 조작 작업에서 성능을 검증하는 것이 필요하다고 명시했습니다.