💻 computer science

Seeing Touch from Motion: A Unified Modality-Aware Visuo-Tactile Policy with Tactile Motion Correlation

본 논문은 미세한 접촉 모호성을 해결하기 위해 일시적 및 누적적 촉각 운동 사이의 상관관계를 활용하고, 접촉이 풍부한 조작을 위해 시각 및 촉각 양식을 효과적으로 융합하는 Mixture-of-Transformers 아키텍처를 사용하는 통합된 양상 인식 시각-촉각 정책을 제안한다.

원저자: Shengqi Xu, Guojin Zhong, Yang Liu, Fanjie Wang, Hu Luo, Hanyu Zhou, Weiyao Zhang, Ziyi Ye, Zuxuan Wu, Yu-Gang Jiang

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shengqi Xu, Guojin Zhong, Yang Liu, Fanjie Wang, Hu Luo, Hanyu Zhou, Weiyao Zhang, Ziyi Ye, Zuxuan Wu, Yu-Gang Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 전구를 돌려 끼우거나 화이트보드를 깨끗이 닦는 것과 같이 섬세한 작업을 수행하려고 한다고 상상해 보세요. 이 일을 잘 해내기 위해서 로봇에게는 두 가지가 필요합니다. 바로 전체적인 그림을 볼 수 있는 눈과 미세한 디테일을 느낄 수 있는 손가락입니다.

이 논문은 로봇이 어떻게 '느끼는지'에 대한 새로운 방법과, 그 느낌을 시각과 결합하는 새로운 방법을 소개하며, 이를 통해 로봇이 훨씬 더 정교한 작업을 수행할 수 있게 만듭니다.

1. 문제점: 로봇의 "눈먼" 손가락

로봇은 흔히 특수한 "광학 촉각 센서"(내부에 작은 카메라가 들어있는 고무 재질의 손가락 끝이라고 생각하면 됩니다)를 사용합니다. 고무를 누르면 모양이 찌그러지고, 카메라는 그 찌그러짐을 포착합니다.

하지만 저자들은 로봇이 현재 이러한 이미지를 해석하는 방식에서 중대한 문제를 발견했습니다:

"사진"의 문제: 단순히 찌그러진 고무의 사진 한 장만 본다면, 로봇이 접촉하기 위해 누르고 있는지 아니면 놓기 위해 들어 올리고 있는지 구분하기 어렵습니다. 사진은 마치 똑같은 옷을 입은 두 사람처럼 거의 동일하게 보이기 때문입니다.
"전체 찌그러짐"의 문제: 어떤 로봇들은 처음부터 발생한 전체 찌그러짐의 양을 측정하려고 합니다. 하지만 이 역시 혼란을 줍니다. 누르고 있든 들어 올리고 있든, 전체적인 변형량은 똑같아 보일 수 있습니다. 마치 고무줄을 늘렸을 때, 늘리고 있는 상태인지 다시 돌아가려는 상태인지에 상관없이 늘어난 길이가 같아 보이는 것과 같습니다.

이 때문에 로봇은 자신이 물체에 닿아 있는지, 꽉 잡고 있는지, 아니면 놓아주고 있는지에 대해 혼란을 겪게 됩니다.

2. 해결책: "움직임을 느끼기" (촉각 운동 상관관계)

저자들은 비밀을 발견했습니다: 중요한 것은 손가락이 어떻게 생겼느냐가 아니라, 어떻게 움직이느냐입니다.

그들은 고무 손가락이 두 가지 방식으로 동시에 움직이는 것을 관찰하면 혼란이 사라진다는 것을 깨달았습니다:

"순간적" 움직임: 아주 짧은 찰나 동안 고무가 얼마나 움직였는가 (마치 빠른 경련처럼).
"전체적" 움직임: 처음부터 지금까지 고무가 이동한 총량 (전체 늘어남).

마법 같은 비유:
당신이 무거운 문을 밀고 있다고 상상해 보세요.

접촉하기 (미는 동작): 당신이 앞으로 밀고 있고, 문도 앞으로 움직이고 있습니다. 이때 당신의 "순간적인 힘"과 "전체적인 움직임"은 모두 같은 방향으로 향합니다.
접촉 해제하기 (뒤로 당기는 동작): 당신은 손을 뒤로 빼고 있지만, 문은 여전히 밀었던 위치보다 약간 앞에 있습니다. 이때 당신의 "순간적인 힘"은 뒤쪽 방향이지만, "전체적인 위치"는 여전히 앞쪽을 향하고 있습니다. 즉, 두 방향이 반대입니다.

이 논문은 이를 **촉각 운동 상관관계(Tactile Motion Correlation)**라고 부릅니다. 이 두 가지 움직임을 수학적으로 비교함으로써, 로봇은 즉각적으로 다음과 같이 판단할 수 있습니다: "아, 내 손가락이 전체적인 늘어남과 반대 방향으로 움직이고 있으니, 지금 놓아주고 있는 것이구나!" 이를 통해 로봇은 접촉과 해제를 극도로 정밀하게 구분할 수 있게 되며, 밀고 당기는 차이를 명확히 느낄 수 있습니다.

3. 두뇌: 혼란 없이 시각과 촉각을 결합하기

이처럼 선명한 감각을 얻었다면, 이제 로봇은 이 감각을 눈이 보는 것과 결합해야 합니다.

기존 방식: 대부분의 로봇은 "시각 데이터"와 "손가락 데이터"를 하나의 큰 덩어리로 뭉뚱그려 버리거나, 시각을 담당하는 뇌와 촉각을 담당하는 뇌를 따로 두어 서로의 답을 외치게 만듭니다. 이는 종종 한 가지 감각이 다른 감각을 압도하거나, 두 감각이 제대로 협력하지 못하는 결과를 초-래합니다.
새로운 방식 (ViTacMotor): 저자들은 새로운 "두뇌" 구조(Mixture-of-Transformers라고 불리는 구조 기반)를 구축했습니다. 전문가 팀이 모여 있는 방을 상상해 보세요:
- 시각 전문가는 오직 보이는 것에 대해서만 말합니다.
- 촉각 전문가는 오직 느껴지는 것에 대해서만 말합니다.
- 이들은 서로의 말을 가로채며 소리를 지르는 대신, 원탁에 둘러앉아 각자의 고유한 목소리를 유지하면서도 상대방의 구체적인 의견을 경청합니다.

이를 통해 로봇은 "눈에는 틈이 보이고, 동시에 손가락에는 튀어나온 부분이 느껴진다"는 것을 완벽하게 이해하며, 어느 한쪽의 정보를 잃지 않고 두 감각을 완벽하게 조화시킬 수 있습니다.

4. 결과: 실제로 작동하는 로봇들

연구팀은 이 새로운 시스템을 네 가지 까다로운 실제 작업에 테스트했습니다:

튜브 수집: 깨지기 쉬운 유리 튜브를 집어서 부서지지 않게 거치대에 끼워 넣기.
전구 삽립: 전구를 소켓에 돌려 끼워 '딸깍' 소리가 나며 불이 켜질 때까지 돌리기.
화이트보드 지우기: 보드가 손상되지 않을 정도의 적절한 힘으로 닦기 (너무 세게 누르면 보드가 망가지고, 너무 살살 닦으면 자국이 남음).
연필 깎기: 연필을 연필깎이에 넣고 적절한 힘으로 밀어 넣기.

결과:
새로운 로봇(ViTacMotor)은 이전 방식들보다 현저히 뛰어난 성능을 보였습니다.

튜브를 깨뜨리지 않았습니다.
전구를 성공적으로 끼워 불을 켰습니다.
보드를 손상시키지 않고 깨끗하게 지웠습니다.
연필을 완벽하게 깎았습니다.

방 안의 조명이 바뀌거나 물체의 모습이 약간 달라지더라도 로봇은 계속해서 작업을 수행해 냈으며, 이는 이 새로운 "움직임을 통한 촉각 보기" 방식이 견고하고 신뢰할 수 있음을 증명합니다.

요약

요약하자면, 이 논문은 로봇에게 단순히 말랑말랑한 손가락을 "보는" 것을 넘어, 그것이 어떻게 "움직이는지" 관찰하도록 가르칩니다. 순간적인 움직임과 전체적인 움직임을 비교함으로써, 로봇은 자신이 무엇을 하고 있는지 정확히 알 수 있습니다. 그런 다음, 스마트한 새로운 두뇌 구조를 사용하여 이 날카로운 감각을 시각과 결합하여, 기존에는 기계가 하기 어려웠던 섬세한 작업들을 수행해 냅니다.

기술 요약: 움직임으로부터 촉각을 보다 (Seeing Touch from Motion)

1. 문제 정의

접촉이 빈번한 조작 작업(예: 정밀 삽입, 물체 닦기)은 전역 시각(global vision)만으로는 포착할 수 없는 미세한 물리적 상호작용을 인지하는 능력을 필요로 합니다. 광학 촉각 센서는 탄성 젤 표면의 변형을 모니터링함으로써 높은 공간 해상도와 다차원적인 힘 감지를 제공하지만, 미세한 접촉 상태(예: "접촉 중"과 "접촉 해제 중"의 구분)를 추출하는 것은 여전히 큰 과제로 남아 있습니다.

기존 방식들은 일반적으로 **인식의 모호성(perception ambiguity)**을 야기하는 두 가지 표현 방식에 의존합니다:

원시 촉각 이미지(Raw Tactile Images): 외관의 변화는 포착하지만, 서로 다른 접촉 상태 간의 기만적인 유사성을 보일 때가 많습니다 (예: 안정적인 접촉과 접촉 해제 중인 상태가 시각적으로 매우 유사해 보일 수 있음).
누적 운동장(Cumulative Motion Fields): 초기 비접촉 프레임 대비 전체적인 젤의 변형을 나타냅니다. 이는 전체적인 변형의 크기와 방향은 반영하지만, 접촉을 시작하는 것과 종료하는 것의 차이와 같은 미세한 변화를 구별하지 못합니다. 두 경우 모두 유사한 누적 변형 패턴을 보일 수 있기 때문입니다.

나아가, 기존의 **시각-촉각 융합 전략(visuo-tactile fusion strategies)**은 교차 모달리티 간의 상호작용과 모달리티 고유의 특성 보존 사이의 균형을 맞추는 데 어려움을 겪습니다. 특징 수준의 융합(예: 결합/concatenation)은 한 모달리티가 다른 모달리티를 압도하게 만들고, 결정 수준의 융합(예: 별도의 정책 학습)은 교차 모달리티 단서를 효과적으로 활용하지 못합니다.

2. 방법론

본 논문은 새로운 촉각 표현과 특화된 융합 아키텍처를 통해 이러한 문제를 해결하는 통합적이면서도 모달리티 인지적인 시각-촉각 정책인 ViTacMotor를 제안합니다.

2.1 촉각 운동 상관관계 (Tactile Motion Correlation, TMC)

저자들은 **과도적 운동(transient motion, 연속된 프레임 사이의 순간적 변형)**과 누적 운동(cumulative motion, 초기 비접촉 상태로부터의 총체적 변형) 사이의 상관관계가 미세한 접촉 상태를 명확히 구분해 낸다는 사실을 발견했습니다.

과도적 운동 ( $M_{tran}$ ): 이전 프레임( $T_{t-1}$ )과 현재 프레임( $T_t$ ) 사이의 광학 흐름(optical flow).
누적 운동 ( $M_{cumu}$ ): 초기 비접촉 프레임( $T_0$ )과 현재 프레임( $T_t$ ) 사이의 광학 흐름.
상관관계 메커니즘: 이 방법은 두 운동장의 픽셀 단위 **내적(dot product)**을 계산합니다:
$Corr_t(x) = M_{tran}^t(x) \cdot M_{cumu}^t(x)$

물리적 해석:
- 접촉 중 (Making Contact): 두 운동의 방향이 일치함 $\rightarrow$ **양(+)**의 내적 값.
- 접촉 해제 중 (Releasing Contact): 운동 방향이 반대임 (젤이 회복됨) $\rightarrow$ **음(-)**의 내적 값.
- 안정적 접촉 또는 접촉 없음 (Stable/No Contact): 과도적 운동이 거의 0에 가까움 $\rightarrow$ 내적 값이 0에 근접.
- 미끄러지는 접촉 (Sliding Contact): 내적 값이 미끄러지는 방향을 나타내는 공간적 기울기(gradient, 음에서 양으로)를 가짐.
이 표현 방식은 **센서 불가지론적(sensor-agnostic)**이며(조밀한(dense) 센서와 희소한(sparse) 마커 센서 모두에서 검증됨), 내적의 크기는 접촉력과 양의 상관관계를 가져 원시 외관이나 누적 운동만 사용할 때보다 더 풍부한 단서를 제공합니다.

2.2 통합 모달리티 인지 시각-촉각 정책 (ViTacMotor)

이 새로운 촉각 표현을 전역 시각과 통합하기 위해, 저자들은 혼합 트랜스포머(Mixture-of-Transformers, MoT) 아키텍처를 채택했습니다.

모달리티 인지 설계: 모든 입력을 균등하게 처리하는 표준 융합과 달리, ViTacMotor는 촉각 운동 상관관계를 촉각 외관 및 시각 입력과 구별되는 별도의 모달리티로 취급합니다.
아키텍처:
1. 인코더 (Encoders): 시각 입력(손목/제3자 뷰), 원시 촉각 프레임, 그리고 TMC 표현을 처리하는 별도의 인코더를 사용합니다. 고유 수용성(proprioceptive) 상태 또한 인코딩됩니다.
2. 모달리티별 투영 (Modality-Specific Projections): 각 모달리티 $m$ 은 고유한 특성을 보존하기 위해 고유한 학습 가능한 파라미터( $W_Q^{(m)}, W_K^{(m)}, W_V^{(m)}$ )를 가집니다.
3. 공유 글로벌 셀프 어텐션 (Shared Global Self-Attention): 모든 모달리티 임베딩은 **교차 모달리티 보완성(cross-modal complementarity)**을 촉진하기 위해 공유 셀프 어텐션 메커니즘을 통해 처리됩니다.
4. 모달리티별 정교화 (Modality-Specific Refinement): 어텐션 이후, 출력은 모달리티별 피드포워드 네트워크(FFN)와 레이어 정규화(Layer Normalization)를 거쳐 집계됩니다.
출력: 융합된 임베딩은 트랜스포머 디코더로 전달되어 액션 청크(action chunks)를 자기회귀적으로 예측하며, 인간 시연의 확률성을 모델링하기 위해 $\beta$ -VAE 목적 함수로 학습됩니다.

3. 주요 기여

촉각 운동 상관관계 (TMC): 본 논문은 과도적 운동과 누적 운동 사이의 상관관계가 미세한 접촉 상태의 모호성을 명시적으로 해결한다는 것을 밝혀냈습니다. TMC는 강건하고 물리적으로 해석 가능하며 센서 불가지론적인 촉각 표현으로 제안되었습니다.
ViTacMotor 프레임워크: 효과적인 시각-촉각 융합을 달성하기 위해 MoT 아키텍처를 활용하는 통합 정책을 제시합니다. 이는 시각 및 촉각 입력의 고유한 특성을 유지하면서 교차 모달리티 상호작용을 독특하게 포착합니다.
실험적 검증: 네 가지 도전적인 실제 환경 작업에 대한 광범위한 실험을 통해 최첨단 베이스라인 모델들보다 우수한 성능과 강건성을 입증했습니다.

4. 실험 결과

본 방법은 두 종류의 광학 촉각 센서(dense 및 sparse markers)와 Agilex 로봇 시스템을 사용하여 네 가지 접촉 중심 조작 작업에서 평가되었습니다.

작업 목록:

튜브 수집 (Tube Collection): 정밀한 정렬 및 랙(rack) 삽입이 필요함 (폐쇄/occlusion에 민감).
전구 삽입 (Lightbulb Insertion): 회전 및 전구가 켜질 때까지의 정밀한 삽입이 필요함.
화이트보드 지우기 (Whiteboard Erasing): 표면을 손상시키지 않으면서 잉크를 제거하기 위해 안정적이고 제어된 힘이 필요함.
연필 깎기 (Pencil Sharpening): 정렬 및 충분한 하향 힘이 필요함.

성능 하이라이트:

성공률: ViTacMotor는 모든 작업에서 베이스라인(ACT, Diffusion Policy, ACT+T, Policy Consensus, TactileACT)보다 뛰어난 성능을 보였습니다.
- 튜브 수집: 73.3% 성공 (TactileACT의 60.0% 대비).
- 전구 삽입: 40.0% 성공 (TactileACT와 동일하나, 중간 단계에서의 강건성이 더 높음).
- 화이트보드 지우기: 86.7% 성공 (TactileACT의 73.3% 대비).
- 연필 깎기: 60.0% 성공 (TactileACT의 46.7% 대비).
절제 연구 (Ablation Studies):
- TMC를 제거했을 때 성능이 크게 저하되었으며, 이는 힘 제어 및 상태 인지에 있어 TMC의 필요성을 확인시켜 줍니다.
- MoT 융합을 단순 결합(concatenation)이나 교차 어텐션(cross-attention)으로 대체했을 때 성능이 낮아졌으며, 이는 모달리티 인지 아키텍처의 효과를 입증합니다.
강건성: 본 방법은 환경 변화(비균일/균일 조명) 및 물체 변화(다른 지우개 사용, 튜브를 실린더로 교체) 상황에서도 높은 성공률을 유지했습니다.

5. 의의 및 주장

본 논문은 촉각 운동 상관관계가 원시 이미지나 누적 필드에서 시각적으로 모호한 접촉 상태를 명시적으로 구분할 수 있는 물리적으로 해석 가능한 메커니즘을 제공한다고 주장합니다. 과도적 운동과 누적 운동 사이의 동적 관계를 모델링함으로써, 시스템은 접촉 방향(접촉 중 vs 해제 중)과 힘의 크기를 추론할 수 있는 능력을 얻습니다.

또한, ViTacMotor 프레임워크는 효과적인 시각-촉각 조작을 위해서는 단순한 특징 결합 이상의 것이 필요하며, 시각 및 촉각 입력의 특정 속성을 존중하면서도 깊은 교차 모달리티 상호작용을 가능하게 하는 아키텍처가 필요함을 보여줍니다. 저자들은 이 연구를 실제 세계의 로봇 작업을 수행하는 데 필요한 미세한 물리적 상호작용을 처리할 수 있는 일반화 가능한 접촉 중심 조작 정책을 향한 진전으로 규정합니다.

참고: 저자들은 극단적인 시각적 방해나 상당한 물체 위치 변화 하에서의 일반화에 관한 한계를 인정하며, 그러한 조건에서의 실패 사례가 존재함을 언급하였습니다.