💻 computer science

TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance

TouchGuide는 비용 효율적인 TacUMI 데이터 수집 시스템을 지원하여 대비 학습된 접촉 물리 모델을 통합하여 조잡한 시각적 동작을 촉각 안내로 정제함으로써 접촉이 풍부한 조작을 위한 사전 학습된 시각-운동 정책을 향상시키는 새로운 추론 시간 조향 프레임워크입니다.

원저자: Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 신발 끈을 묶거나 깨지지 않도록 얇은 감자칩을 건네는 것과 같은 섬세한 작업을 가르치는 상황을 상상해 보세요. 만약 로봇에게 단순히 '눈'(카메라) 만을 제공한다면, 로봇은 종종 어려움을 겪습니다. 로봇은 신발을 볼 수는 있지만, 끈이 미끄러지는지 아니면 칩을 너무 세게 잡고 있는지 느낄 수는 없습니다. 두꺼운 겨울 장갑을 낀 채 바늘에 실을 꿰는 것과 같습니다. 구멍은 보이지만 실을 느낄 수 없는 상황이지요.

이 논문은 로봇의 전체 두뇌를 처음부터 다시 훈련시킬 필요 없이, 실시간으로 실수를 수정하기 위해 로봇이 '촉각'을 활용하는 새로운 방법인 TouchGuide를 소개합니다.

다음은 간단한 비유를 통해 작동 원리를 설명한 것입니다:

1. 문제: '맹목적인' 로봇

현재의 로봇은 '신발을 집어라'와 같은 큰 그림을 보는 데는 뛰어나지만, '끈이 충분히 꽉 조여졌는가?'와 같은 접촉이 많은 미세한 디테일에는 서툴러요. 이러한 작업을 시도할 때, 로봇은 종종 물체의 물리적 감각보다는 시각에 지나치게 의존하기 때문에 실패합니다.

2. 해결책: '촉각 조종사'(TouchGuide)

저자들은 TouchGuide라는 시스템을 개발했습니다. 로봇의 주요 두뇌 (정책) 를 운전자로 생각하세요. 이 운전자는 비어 있고 곧은 도로 (시각 작업) 를 운전하는 데는 매우 능숙합니다. 하지만 도로가 울퉁불퉁해지고 섬세한 조향이 필요한 접촉 작업이 되면, 운전자는 길을 잃게 됩니다.

TouchGuide 는 운전석 옆에 앉는 조종사 역할을 합니다.

운전자 (기초 정책): 먼저 운전자는 창밖을 내다보고 시각적 정보에 기반하여 어디로 핸들을 돌릴지 대략적으로 추측합니다. 이것이 '대략적인 행동'입니다.
조종사 (TouchGuide): 차가 실제로 움직이기 전에, 조종사는 특수 센서 (촉각) 를 이용해 도로 상태를 확인합니다. 운전자의 추측이 충돌이나 미끄러짐을 초래할 경우, 조종사는 핸들을 살짝 밀어 경로를 수정합니다.
결과: 차 (로봇) 는 시각적으로도 좋아 보이고 물리적으로도 안전한 경로를 따르게 됩니다.

중요한 점은 이 조종사가 운전자에게 처음부터 운전법을 가르칠 필요가 없다는 것입니다. 조종사는 단순히 추론 (inference) 단계에서 운전자의 기존 결정을 마지막 순간에 조정하여 행동이 물리적으로 타당하도록 할 뿐입니다.

3. 도구: '스마트 손'(TacUMI)

이 조종사를 가르치려면 고품질 데이터가 필요합니다. 저자들은 또한 TacUMI라는 새로운 데이터 수집 도구를 개발했습니다.

로봇의 움직임을 사람이 모방하게 하여 로봇을 가르치는 상황을 상상해 보세요.

기존 방식 (원격 조작): 사람이 VR 헤드셋을 쓰고 컨트롤러를 잡습니다. 그들은 로봇의 시야를 볼 수는 있지만, 물체를 느낄 수는 없습니다. 마치 다른 사람이 얇은 계란을 잡는 모습을 비디오로 보고 계란 잡는 법을 배우려는 것과 같습니다. 계란을 느낄 수 없기 때문에 망설이거나 너무 세게 쥐게 될 수 있습니다.
TacUMI 방식: 사람은 로봇의 그리퍼와 똑같이 생긴 손잡이 장치를 들고 있습니다. 이 장치는 사람의 손가락에 직접 연결되는 단단한 손가락 끝을 갖추고 있습니다. 사람이 물체를 만질 때, 마치 자신의 손으로 만지는 것처럼 즉시 느낄 수 있습니다.
- 비유: 화면을 보며 바늘에 실을 꿰는 것과 자신의 손가락으로 직접 꿰는 것의 차이와 같습니다. TacUMI 시스템은 인간이 얼마나 세게 쥐고 어디를 잡아야 하는지 정확히 느낄 수 있게 해주므로, '완벽한' 데이터를 수집할 수 있게 합니다.

4. 함께 작동하는 방식

이 논문은 다섯 가지 까다로운 작업으로 이를 테스트했습니다:

신발 끈 묶기: 작은 구멍에 끈을 꿰는 작업.
칩 건네기: 깨뜨리지 않고 감자칩을 건네는 작업.
오이 껍질 벗기기: 살을 베지 않고 채소의 껍질을 벗기는 작업.
꽃병 닦기: 꽃병을 넘어뜨리지 않고 구부러진 꽃병을 닦는 작업.
자물쇠 열기: 열쇠를 자물쇠에 넣고 돌리는 작업.

결과:

TouchGuide 없이 로봇은 종종 칩을 떨어뜨리거나 끈을 끊거나 열쇠를 돌리지 못했습니다.
TouchGuide 를 사용하면 로봇은 '조종사'를 이용해 실시간으로 그립과 각도를 조정했습니다.
성공: 로봇은 이러한 작업에서 훨씬 더 나아졌습니다. 예를 들어, '칩 건네기' 작업에서 성공률은 약 25% 에서 60% 로 급증했습니다. '자물쇠 열기' 작업에서는 20% 에서 30% 로 증가했으며 (최적 설정 시 훨씬 더 높음), 다른 작업들에서도 큰 개선을 보였습니다.

5. '비밀 재료': 접촉 물리 모델 (CPM)

조종사는 언제 핸들을 돌릴지 어떻게 알까요? **접촉 물리 모델 (Contact Physical Model, CPM)**이라는 작은 두뇌를 사용합니다.

이 모델은 TacUMI 를 통해 수집된 고품질 데이터로 훈련됩니다.
이 모델은 간단한 규칙을 학습합니다: "이 행동이 물리적으로 가능한가?"
로봇이 칩을 너무 세게 잡으려 하면, CPM 은 "아니요, 그러면 깨질 것입니다"라고 말하며 행동을 더 부드러운 그립으로 조정합니다.
이는 로봇의 계획이 물리 법칙과 일치하도록 보장하는 현실 검증 역할을 합니다.

요약

이 논문은 로봇의 시각적 계획을 실시간으로 수정하는 '촉각 조종사'를 추가하고, 로봇이 느끼는 것을 인간이 정확히 느낄 수 있게 하는 새로운 손잡이 도구를 사용함으로써, 로봇이 이전에는 너무 어려웠던 섬세하고 접촉이 많은 작업을 마침내 마스터할 수 있다고 주장합니다. 로봇은 처음부터 다시 훈련될 필요가 없으며, 촉각을 감지하는 조종사로부터 약간의 밀어줌만 받으면 됩니다.

기술 요약: TouchGuide

문제 제기

미세하고 접촉이 풍부한 로봇 조작 (예: 신발 끈 묶기, 깨지기 쉬운 칩 건네기) 은 로봇에게 여전히 큰 도전 과제로 남아 있습니다. 모방 학습이 복잡한 작업을 가능하게 했지만, 많은 직관적인 기술은 시각 및 촉각 정보의 효과적인 통합을 필요로 합니다. 시각 입력은 전역적 맥락을 제공하지만, 촉각 피드백은 국소적이고 접촉 특이적인 제어에 필수적입니다. 기존 시각 - 촉각 정책은 일반적으로 특징 수준 연결 (모달리티 지배 현상으로 고통받을 수 있음) 또는 정책 수준 구성 (여러 단일 모달리티 정책의 훈련이 필요하며 중요한 교차 모달 상관관계를 포착하는 데 어려움을 겪음) 에 의존합니다. furthermore, 촉각 학습을 위한 기존 데이터 수집 시스템은 종종 고정밀도와 저비용 사이의 균형을 맞추지 못하거나, 직관적인 제어와 데이터 품질을 저해하는 간접적인 촉각 피드백 (예: VR 시각화) 에 의존합니다.

방법론

본 논문은 새로운 교차 정책 시각 - 촉각 융합 패러다임인 TouchGuide와 비용 효율적인 데이터 수집 시스템인 TacUMI를 소개합니다.

1. TouchGuide: 추론 시간 조종

TouchGuide 는 사전 훈련된 시각 - 운동 정책 (Diffusion 또는 Flow-matching 기반, 예: $\pi_0.5$ ) 을 위한 2 단계 추론 시간 조종 메커니즘으로 작동합니다. 이는 기본 정책을 재훈련할 필요가 없습니다.

1 단계 (시각적 대략적 행동): 탈노이즈 또는 흐름 매칭 과정의 초기 샘플링 단계 동안, 기본 정책은 시각 입력만을 사용하여 시각적으로 타당한 대략적인 행동을 생성합니다.
2 단계 (촉각 유도): 후기 샘플링 단계에서 작업별 **접촉 물리 모델 (CPM)**이 촉각 유도를 제공합니다. CPM 은 제한된 전문가 시연에 대한 대비 학습을 통해 훈련되어 실행 가능성 점수를 출력합니다.
- 아키텍처: CPM 은 시각 및 촉각 입력 모두에 대해 사전 훈련된 DINOv2 인코더를 사용하며, Transformer 인코더를 통해 이를 융합하여 잠재 관측치를 생성합니다. 이 잠재 관측치와 잠재 행동 임베딩 사이의 코사인 유사도를 계산하여 실행 가능성 점수를 생성합니다.
- 조종 메커니즘: 실행 가능성 점수는 분류기 유도 신호로 작용합니다. Diffusion 정책의 경우, 점수의 기울기가 노이즈 예측기에서 빼지고, 흐름 매칭 정책의 경우 속도 예측기에서 빼집니다. 이는 행동을 물리적 접촉 제약을 만족하는 "실제 분포" 쪽으로 조종합니다.

2. TacUMI: 데이터 수집 시스템

TouchGuide 를 위한 고품질 데이터 수집을 촉진하기 위해 저자들은 TacUMI, 즉 손에 들고 사용하는 그리퍼 시스템을 개발했습니다.

설계 원칙: 저비용 (기본 비용 약 $720), 경량 (540g) 이며, 간접 링크가 아닌 강체 기계적 커플링 (강체 손가락 끝) 을 통해 직접적인 촉각 피드백을 제공합니다.
위치 추적: SLAM 기반 시스템의 특징이 희소한 장면에서의 정확도 한계를 피하기 위해 Lighthouse 기지국이 있는 Vive Trackers 를 사용하여 고정밀 위치 추적을 수행합니다.
동기화: 30Hz 에서 동기화된 고해상도 시각 및 촉각 신호 (힘장 포함) 를 스트리밍하는 통합 하드웨어 - 소프트웨어 인터페이스 (RK3576 CPU) 를 갖추고 있습니다.

주요 기여

TouchGuide 패러다임: 작업별 CPM 을 사용하여 추론 시간에 사전 훈련된 시각 - 운동 정책을 조종하는 새로운 교차 정책 융합 방법입니다. 이는 저차원 행동 공간 내에서 모달리티를 융합하여 기본 정책을 재훈련하지 않고도 행동이 접촉 물리학을 준수하도록 보장합니다.
TacUMI 시스템: 촉각 데이터 획득의 비용과 정확도 사이의 트레이드오프를 해결하여 직접적인 촉각 피드백을 가능하게 하는 비용 효율적이고 고정밀 데이터 수집 시스템입니다.
경험적 검증: 신발 끈 묶기, 칩 건네기, 오이 껍질 벗기기, 꽃병 닦기, 잠금 장치 열기 등 다섯 가지 까다로운 작업에 대한 광범위한 실험을 통해 TouchGuide 가 최첨단 시각 - 촉각 정책을 크게 능가하며, 다양한 로봇, 정책 (Diffusion Policy, $\pi_0.5$ ), 그리고 촉각 모달리티 (힘 대 촉각 이미지) 에 걸쳐 일반화됨을 입증했습니다.

실험 결과

성능 향상: 신발 끈 묶기 작업에서 TouchGuide( $\pi_0.5$ 사용) 는 기본 $\pi_0.5$ 의 35.9% 및 정책 합의 (Policy Consensus) 기준선의 **24.7%**와 비교하여 **58.0%**의 성공률을 달성했습니다. 칩 건네기에서는 **60.0%**에 도달했습니다 (기본 $\pi_0.5$ 대비 25.0%).
일반화: 이 방법은 시각적 도메인 이동 (보이지 않는 객체/장면) 과 가려짐 하에서도 견고함을 입증했습니다. 다양한 기본 정책 (Diffusion Policy 및 $\pi_0.5$ ) 과 다양한 촉각 센서 (힘 및 촉각 이미지) 에 걸쳐 성공적으로 일반화되었습니다.
데이터 품질: 비교 결과, TacUMI 데이터로 훈련된 정책은 SLAM 기반 UMI 데이터나 VR 원격 조작 데이터로 훈련된 정책보다, 특히 저데이터 영역 (예: 잠금 장치 열기를 위한 20 회 시연) 에서 현저히 우수한 성능을 보였습니다.
효율성: TouchGuide 는 상당한 성능 개선을 제공하면서도 추론 시간 오버헤드는 무시할 수 있을 정도로 미미합니다.

중요성 및 주장

저자들은 TouchGuide 가 기존 시각 - 촉각 방법의 근본적인 한계를 해결한다고 주장합니다. 즉, 특징 공간이 아닌 행동 공간에서 융합을 수행합니다. CPM 을 사용하여 정책 분포를 접촉 물리학의 실제 분포 쪽으로 조종함으로써, 이 방법은 촉각 변화가 발생한 후 단순히 반응하는 것이 아니라 접촉 순간에 물리적 제약을 만족하는 더 견고한 행동을 생성합니다.

본 논문은 TouchGuide 가 전체 정책을 재훈련하는 계산 비용을 들이지 않고도 강력한 사전 훈련된 모델 (VLA 등) 에 촉각 피드백을 통합할 수 있게 해준다고 강조합니다. 또한 TacUMI 의 도입은 이러한 모델을 훈련하는 데 필요한 고정밀 촉각 데이터를 수집하기 위한 확장 가능하고 접근하기 쉬운 솔루션을 제공하여, 고정밀 연구와 실용적이고 저렴한 배포 사이의 간극을 메워줍니다. 이 연구는 명시적인 접촉 물리학 조종이 미세한 로봇 조작을 발전시키는 데 중요한 요소임을 시사합니다.