기술 요약: 접촉이 빈번한 로봇 조작을 위한 다중 해상도 촉각 모방 학습 (MiTaS)

문제 정의

접촉이 빈번한 환경(예: 삽입, 조립, 닦기)에서의 로봇 조작은 시각에만 의존할 경우 폐쇄(occlusion) 문제와 미세한 접촉 역학을 인지하지 못하는 한계로 인해 종종 실패하곤 한다. 시각 기반 촉각 센서(예: GelSight)는 접촉 기하학에 대한 고해외 공간 정보를 제공하지만, 표준 프레임 레이트(예: 25 Hz)로 작동하여 충격, 초기 미끄러짐(incipient slip) 또는 고주파 진동과 같은 빠른 이벤트를 포착하는 데 어려움이 있다. 반대로, 이벤트 기반 촉각 센서(예: Evetac)는 이러한 빠른 역학을 포착하기 위한 높은 시간 해상도를 제공하지만, 프레임 기반 센서가 제공하는 조밀한 공간 기하 정보가 부족하다. 현재의 모방 학습 프레임워크는 일반적으로 단일 촉각 양식(modality)에 의존하며, 서로 다른 시간 해상도를 가진 이종 센서의 상호 보완적인 강점을 활용하지 못한다.

방법론: MiTaS 프레임워크

저자들은 이종 촉각 센서(RGB 비전, GelSight, Evetac)를 융합하여 플로우 매칭(flow-matching) 모방 학습 정책을 조건화하도록 설계된 표현 프레임워크인 **다중 해상도 촉각 감지(Multi-Resolution Tactile Sensing, MiTaS)**를 제안한다.

1. 센서 양식 및 입력

시스템은 그리퍼에 장착된 세 가지 별도의 감지 스트림을 통합한다:

• 자기 중심적(Egocentric) RGB: 손목 장착 카메라(25 Hz)에 의해 캡처되며, 장면 맥락과 손-물체 구성을 제공한다.
• GelSight Mini: 국부적인 접촉 기하학 및 변형에 대한 고해상도 공간 데이터를 제공하는 시각 기반 촉각 센서(25 Hz).
• Evetac: 빠른 접촉 역학을 포착하는 이벤트 기반 촉각 센서(200 Hz). 정책의 타임스텝에 맞추기 위해 16개의 이벤트 프레임을 하나의 관측 단계당 스택(stack)한다.

2. 아키텍처

MiTaS 아키텍처는 양식별 CNN-stem과 그 뒤를 잇는 **트랜스포머 기반 융합(transformer-based fusion)**을 채택한다:

• 센서 스템(Sensor Stems): 각 양식은 토큰 표현을 추출하기 위해 전용 합성곱 신경망(CNN) 스템에 의해 처리된다.
  • RGB: 스택된 프레임에 대한 스트라이드(strided) 2D 컨볼루션 적용.
  • GelSight: 직사각형 해상도에 적응된 미러링(mirrored) 2D 컨볼루션 적용.
  • Evetac: 이벤트 데이터의 높은 시간 밀도를 반영하여 시간 및 공간 차원을 공동으로 압축하는 4계층 3D 컨볼루션 스템 사용.
• 위치 및 양식 인코딩: 토کن은 학습된 위치 벡터(센서 그리드 내의 위치 인코딩)와 양식별 임베딩(소스 센서 식별)으로 증강된다.
• 센서 융합: 증강된 토큰 시퀀스는 멀티 헤드 셀프 어텐션(multi-head self-attention)과 크로스 어텐션(cross-attention) 메커니즘을 사용하는 트랜스포머 인코더를 통해 처리된다. 이를 통해 인지적 병목 현상 없이 풍부한 다감각 특징 통합이 가능하다.

3. 정책: 디퓨전 트랜스포머(DiT)를 이용한 플로우 매칭(Flow-Matching)

융합된 감각 토큰은 동작 생성을 위한 플로우 매칭(Flow-Matching) 생성 모델의 조건이 된다:

• 동작 공간(Action Space): 로봇의 로컬 프레임 내에서 델타 명령($\Delta x, \Delta y, \Delta z$ 및 $\Delta \psi$) 시퀀스를 예측한다.
• 학습: 모델은 무작위 노이즈로부터 데몬스트레이션된 동작 시퀀스에 이르는 직선 확률 경로를 따라 타겟 속도장(velocity field)을 회귀하도록 학습한다.
• 추론: 명시적 오일러 적분(explicit Euler integration)을 통해 학습된 속도장을 통합하여 동작을 생성한다.
• 제약 조건: 정책는 **상태 불가지론적(state-agnostic)**이다. 즉, 절대적인 로봇 상태나 고유 수용 감각(proprioception)을 받지 않으며, 고차원 다중 모달 감각 입력으로부터 상대적 움직임을 추론하도록 강제된다.

4. 다중 촉각 공동 학습(Multi-Tactile Co-Training)

일부 센서만 사용하여 배포(특히 비전 + GelSight)할 수 있도록 하면서도 학습 중에 높은 빈도의 Evetac 데이터를 활용할 수 있도록, 저자들은 비대칭 공동 학습 체계를 도입한다:

• 학습 중에는 배치(batch)가 확률적으로 구성된다. 50%의 시퀀스는 Evetac 데이터를 포함하고, 나머지 50%는 제외한다.
• 이를 통해 시각-촉각 표현이 누락된 고주파 특징을 암시적으로 학습하고 보상하도록 강제하며, 추론 시 Evetac 인코더가 제거되더라도 견고하게 수행되도록 모델을 정규화한다.

실험 평가

프레임워크는 7-DoF Franka Panda 로봇을 사용하여 다섯 가지 도전적인 접촉 빈번 작업에 대해 평가되었다:

1. 기어 조립(Gear Assembly): 두 기어 사이에 기어를 삽입.
2. 보드 닦기(Board Wiping): 선을 닦는 동안 접촉 압력을 유지.
3. 램프 설치(Lamp Installation): 전구를 소켓에 맞추고 나사처럼 돌려 끼움.
4. 열쇠와 자물쇠(Key in Lock): 열쇠를 자물쇠 구멍에 정밀하게 삽입.
5. 전구 연결(Lightbulb Connection): GU10 전구를 소켓에 맞추고 회전시켜 결합.

주요 결과

• 전반적인 성능: MiTaS는 모든 작업에서 평균 **80%**의 성공률을 달却했다.
• 베이스라인:
  • Sparsh-X (동일한 센서를 사용하는 다중 모달 트랜스포머 베이스라인): 평균 54% 성공률 달성. 특히 "Key in Lock" 작업을 완료하지 못하고 열쇠 구멍 입구에서 멈추는 현상이 나타났다.
  • 비전 전용 모델 (ViT/ViT-CNN): 각각 31% 및 **26%**의 성공률을 기록했으며, 폐쇄 및 접촉 피드백의 부재로 인해 정밀한 삽입(Key, Lightbulb) 작업에서 완전히 실패했다.
• 센서 절제 연구(Ablation):
  • Evetac 제거 시 (Vision + GelSight): 평균 성능이 **51%**로 하락하여 고주파 데이터의 가치를 입증했다.
  • GelSight 제거 시 (Vision + Evetac): 평균 **37%**를 기록하여, 초기 정렬에 있어 공간 기하 정보가 결정적임을 보여주었다.
• 공동 학습 효과: 비전+GelSight 정책을 Evetac 데이터로 공동 학습시킨 결과, 평가 시에는 Evetoc를 사용하지 않았음에도 불구하고 특정 작업(Board Wiping +15%, Lightbulb +25%)에서 성능이 10% 이상 향상되었다.

어텐션 분석

크로스 어텐션 점수의 시각화를 통해, 정책이 작업 단계에 따라 센서에 대한 의존도를 동적으로 전환함을 확인했다:

• 도달(Reaching): 주로 RGB 비전에 집중한다.
• 나사 돌리기/삽입(Screwing/Insertion): 기하학적 정렬을 위해 GelSight로 초점을 옮긴다.
• 결정적 이벤트(Critical Events): 잼(jamming) 현상이나 모호한 상태(예: Lightbulb 작업에서 공중에 떠 있는 상태와 완전히 삽입된 상태를 구분하는 것)에서 불확실성을 해결하기 위해 Evetac에 집중한다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장한다:

1. 새로운 아키텍처: 양식별 CNN-stem과 트랜스포머 융합을 사용하여 서로 다른 시간 해상도를 처리함으로써, 클래식 프레임 기반 촉각 센서(GelSight)와 이벤트 기반 촉각 센서(Evetac)를 결합한 최초의 연구이다.
2. 공동 학습 체계: 고주파 센서 데이터를 학습 중에 활용하여, 추론 시에는 해당 고주파 센서가 필요하지 않으면서도 시각-촉각 정책의 성능을 높이는 방법을 제시하였다.
3. 데이터셋 및 벤치마크: 다섯 가지 복잡한 조작 작업을 다루는 새로운 다중 해상도 촉각 데이터셋을 구축하였으며, 다중 해상도 융합이 비전 전용 또는 단일 모달 촉각 접근 방식이 실패하는 시나리오에서 어떻게 견고한 제어를 가능하게 하는지 입증하였다.

저자들은 본 프레임워크가 강력한 성능을 보여주지만, 현재 4-DoF 동작에 제한되어 있으며 텔레오퍼레이션(teleoperation) 데이터 수집에 의존하고 있다는 점을 강조했다. 향-후 연구는 6-DoF 제어로 확장하고 더 넓은 센서 통합을 탐색하는 것을 목표로 한다.