AnyTouch 2: General Optical Tactile Representation Learning For Dynamic Tactile Perception

[기술 요약] AnyTouch 2: 동적 촉각 인지를 위한 범용 광학 촉각 표현 학습

1. 문제 정의 (Problem Statement)

기존의 촉각 인지 연구와 데이터셋은 주로 정적(Static)인 물체 속성(예: 재질, 경도)을 파악하는 데 집중되어 왔습니다. 하지만 실제 로봇의 복잡한 조작(Manipulation)을 위해서는 접촉 중 발생하는 시간적 변화(Temporal dynamics), 미세한 표면 변형, 그리고 **힘의 역학(Force dynamics)**을 실시간으로 인지하는 능력이 필수적입니다.
현재 촉각 분야는 다음과 같은 한계가 있습니다:

• 데이터 부족: 복잡한 동적 상호작용(미끄러짐, 회전, 힘의 변화 등)을 포함한 대규모 데이터셋이 매우 희소함.
• 모델의 한계: 기존 모델들은 이미지 기반의 자기지도 학습을 차용하여 정적 특징에는 강하지만, 촉각 특유의 미세한 시공간적 변형과 물리적 힘의 관계를 모델링하는 데 어려움이 있음.

2. 핵심 기여 (Key Contributions)

본 논문은 동적 촉각 인지를 체계화하기 위해 **'촉각 동적 피라미드(Tactile Dynamic Pyramid)'**라는 계층적 프레임워크를 제안하고, 이를 뒷받침하는 데이터와 모델을 동시에 선보입니다.

1. Tactile Dynamic Pyramid 제안: 촉각 데이터를 데이터의 희소성과 인지 복잡도에 따라 5단계(Tier 1~5)로 분류하여, 연구의 방향성을 제시함.
2. ToucHD 데이터셋 구축: 피라미드의 상위 계층(Tier 1~3)을 채우기 위한 대규모 계층적 데이터셋(약 242만 개의 접촉 샘플)을 구축함. (시뮬레이션 기반 원자적 동작, 실제 로봇 조작 데이터, 촉각-힘 쌍 데이터 포함)
3. AnyTouch 2 프레임워크 개발: 다양한 광학 촉각 센서에 적용 가능한 범용 표현 학습 모델을 제안하여, 정적 속성 이해부터 물리적 힘 예측까지 통합함.

3. 방법론 (Methodology)

A. ToucHD 데이터셋 (Hierarchical Data Ecosystem)

• Tier 3 (Sim): 시뮬레이터를 통해 슬라이딩, 회전 등 원자적 동작(Atomic actions) 데이터를 수집.
• Tier 2 (Mani): 실제 로봇(FastUMI 기반)을 이용해 46가지의 복잡한 조작 태스크 데이터를 수집.
• Tier 1 (Force): 71개의 인덴터(Indenter)를 사용하여 촉각 이미지와 3D 접촉력(Force)이 쌍을 이루는 데이터를 수집.

B. AnyTouch 2 모델 구조 (Multi-level Learning)
모델은 피라미드의 각 계층을 학습하기 위해 세 가지 주요 모듈을 통합합니다:

1. Pixel-level (기초): 비디오 마스크 오토인코더(Video MAE)를 사용하여 프레임 간의 미세한 변형을 복원하고, 특히 프레임 차이(Frame-difference) 복원을 통해 미세한 시공간적 변화에 대한 민감도를 높임.
2. Semantic-level (중간): 멀티모달 정렬(Vision-Language alignment)을 통해 물체 속성을 이해하고, **액션 매칭(Action matching)**을 통해 특정 동작(슬라이딩, 회전 등)의 의미론적 패턴을 학습함.
3. Physical-level (심화): 대규모 촉각-힘 쌍 데이터를 활용하여 **3D 접촉력(Force) 및 힘의 변화량(Delta Force)**을 예측함으로써 물리적 역학 관계를 모델링함.

C. 학습 전략 (Curriculum Learning)
모든 태스크를 동시에 학습시키면 간섭이 발생할 수 있으므로, 기초적인 픽셀 복원에서 시작하여 점진적으로 고차원적인 의미론적, 물리적 태스크의 가중치를 높이는 **커리큘럼 학습(Curriculum task scheduling)**을 적용함.

4. 실험 결과 (Results)

• 오프라인 벤치마크: 물체 속성 분류(ObjectBench), 힘 예측 및 미끄러짐 감지(SparshBench, ToucHD Bench) 등 모든 테스트에서 기존 모델(UniTouch, T3, MAE 등)을 압도하는 성능을 보임. 특히 센서가 바뀌어도 강건한 성능을 유지함.
• 실제 로봇 조작 (Online Manipulation):
  • **Tier 5 (Grasping) ~ Tier 1 (Chip Moving)**에 이르는 4가지 실제 태스크를 수행함.
  • AnyTouch 2는 가장 난이도가 높은 Tier 1(칩 옮기기, 매우 미세한 힘 조절 필요) 태스크에서도 가장 높은 성공률을 기록하며, 데이터의 계층적 구성과 모델의 물리적 이해 능력을 입증함.

5. 의의 (Significance)

본 연구는 단순히 성능이 좋은 모델을 만든 것을 넘어, **"어떤 데이터를 어떻게 수집하고 학습시켜야 로봇이 촉각을 통해 물리 세계를 이해할 수 있는가?"**에 대한 체계적인 방법론(Dynamic Pyramid)을 제시했다는 점에서 매우 큰 의의가 있습니다. 이는 향후 더욱 정교하고 인간과 유사한 촉각 지능(Tactile Intelligence)을 가진 로봇을 개발하는 데 중요한 토대가 될 것입니다.