💻 computer science

TacWAM: Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction

본 논문은 공간적으로 정렬된 촉각 인코딩과 앵커 가이드 삼중 모드 어텐션을 통합하여 미래의 촉각 상태를 예측함으로써 접촉이 빈번한 로봇 조작을 감독하는 역학 인지형 월드 액션 모델인 TacWAM을 제시하며, 기존의 시각 전용 베이스라인을 크게 상회하는 75.0%의 성공률을 달성한다.

원저자: Lei Jin, Yiding Ma, Xin Zhang, Chen Gao, Wei Wu, Yong Li

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lei Jin, Yiding Ma, Xin Zhang, Chen Gao, Wei Wu, Yong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇들이 새로운 장난감을 가지고 노는 법을 배우려는 서투른 유아와 같은 세상을 상상해 보세요. 그들은 아주 뛰어난 눈을 가지고 있어서 장난감, 탁자, 그리고 자신의 손을 완벽하게 볼 수 있습니다. 하지만 한 가지 문제가 있습니다. 바로 '느낄' 수 없다는 점입니다. 만약 로봇이 부서지기 쉬운 감자칩을 집으려고 한다면, 눈은 그곳에 감자칩이 있다는 것을 알려주겠지만, 그것을 너무 세게 쥐어서 가루로 만들어버리고 있는 중인지, 얼마나 세게 쥐어야 하는지는 알지 못할 것입니다. 이것이 바로 "접촉이 풍부한(contact-rich)" 작업, 즉 만지고, 누르고, 미끄러지는 것이 보는 것만큼이나 중요한 상황의 문제입니다.

오랫동안 과학자들은 로봇을 위한 "세계 모델(World Models)"을 구축해 왔습니다. 이것을 로봇의 내면에 있는 수정구슬이라고 생각하면 됩니다. 로봇은 세계 모델을 사용하여 "내가 손을 이렇게 움직이면, 다음 1초 동안 세상이 어떻게 보일까?"라고 상상합니다. 이는 로봇이 앞날을 계획하는 데 도움을 줍니다. 하지만 대부분의 수정구슬은 오직 '이미지'만을 보여줍니다. 로봇은 컵이 움직일 것이라는 것은 예측할 수 있지만, 컵이 어떻게 찌그러질지, 컵을 잡기 위해 어느 정도의 힘이 필요한지, 혹은 컵이 손에서 미끄러지기 직전인지 등은 예측하지 못합니다. 이 논문인 TacWAM은 다음과 같은 단순하지만 까다로운 질문을 던집니다. "우리는 로봇에게 단순히 미래에 사물이 어떻게 '보일지'뿐만 아니라, 어떻게 '느껴질지'까지 상상하도록 가르칠 수 있을까? 그리고 만약 그렇게 한다면, 로봇이 미래를 훔쳐보는 방식으로 속임수를 쓰지 않게 하면서도 더 잘 움직이도록 도울 수 있을까?"

여기에 등장하는 TacWAM은 촉각의 미래를 예측하는 법을 배우는 새로운 종류의 로봇 두뇌입니다. 연구진은 단순히 로봇이 작업을 수행하는 영상을 보는 것에 그치지 않고, 그 작업의 "감각"을 시뮬레이션하는 시스템을 구축했습니다. 로봇이 화이트보드를 닦는 법을 배운다고 상상해 보세요. 일반적인 로봇은 화면이 깨끗해 보이기 때문에 보드가 깨끗하다고 추측할 것입니다. 하지만 TacWAM은 천을 움직일 때 자신이 느끼게 될 압력과 마찰력을 예측합니다. 로봇은 보드를 긁지 않으면서 마커를 지우기 위해 정확히 얼마나 세게 눌러야 하는지를 알게 됩니다.

하지만 여기서 영리한 점이 있습니다. 로봇은 오직 '지금 당장' 가지고 있는 정보만을 사용하여 다음에 무엇을 할지 결정할 수 있습니다. 이는 마치 시험을 치르는 학생과 같습니다. 학생은 교과서를 공부하여 규칙을 배울 수는 있지만, 답안지를 작성하는 동안 정답지를 훔쳐볼 수는 없습니다. TacWAM은 로봇이 미래의 감각으로부터 학습하여 더 똑똑해지되, 실제로 행동할 때는 결코 미래의 감각을 보지 못하도록 하는 특별한 "앵커 가이드(Anchor-Guided)" 시스템을 사용합니다. 이는 로봇이 미래를 훔쳐보는 것이 아니라, 실제 세상에 반응하는 법을 배우도록 하여 로봇이 속임수를 쓰는 것을 방지합니다.

이 로봇을 가르치기 위해 과학자들은 "공간 정렬 융합(Spatially Aligned Fusion)" 인코더를 사용했습니다. 이것은 촉각 센서의 이미지, 압력 지점의 지도, 그리고 센서 피부가 늘어나는 흐름이라는 세 가지 서로 다른 언어를 받아 하나의 '슈퍼 언어'로 혼합하는 번역기라고 생각하면 됩니다. 이를 통해 로봇은 "말랑말랑한" 느낌이 단순히 흐릿한 이미지가 아니라, 힘과 변형의 특정 조합이라는 것을 이해할 수 있습니다.

연구팀은 이 작업을 네 가지 까다로운 실제 과제로 테스트했습니다: 부서지기 쉬운 감자칩을 부수지 않고 집기, 다양한 크기의 체리 잡기, 일정한 압력으로 화이트보드 닦기, 그리고 손 안에서 두 자루의 펜 돌리기입니다. 결과는 인상적이었습니다. 기존의 가장 우수한 로봇 모델들이 평균적으로 약 37.5%의 성공률을 보인 반면, TacWAM은 **75.0%**의 성공률을 기록하며 급상승했습니다. 이는 엄청난 도약이며, 로봇이 이러한 섬세한 작업에서 두 배나 더 뛰어나졌음을 의미합니다.

연구진은 또한 무엇이 TacWAM을 그토록 좋게 만들었는지 알아보기 위해 몇 가지 "만약에(what-if)" 실험을 진행했습니다. 그들은 만약 로봇의 최근 촉각 기억(즉, "촉각 이력")을 제거한다면 성공률이 55.0%로 크게 떨어진다는 것을 발견했습니다. 이는 압력이 현재 어떻게 느껴지는지만 아는 것만큼이나, 압력이 어떻게 쌓여오고 있는지(과거의 흐름)를 아는 것이 중요하다는 것을 시사합니다. 더욱이, 로봇이 결정을 내릴 때 미래의 촉각 예측을 훔쳐볼 수 있도록 허용했을 때, 로봇의 성능은 거의 매번 실패할 정도로 폭락했습니다. 이는 "미래를 훔쳐보지 말 것"이라는 엄격한 규칙이 로봇이 예측 불가능한 실제 세상에서 행동하는 법을 배우는 데 필수적임을 증명했습니다.

요약하자면, TacWAM은 로봇에게 촉각에 대한 "수정구슬"을 주는 것이, 그 지식을 '속임수'가 아닌 '학습'을 위해 사용하도록 가르치는 한, 로봇이 섬세한 물체를 다루는 능력을 훨씬 더 향상시킨다는 것을 시사합니다. 보고, 느끼고, 최근의 촉각을 기억하는 것을 결합함으로써, 이 로봇들은 우리의 복잡하고, 말랑말랑하며, 부서지기 쉬운 세상을 다루기 위한 거대한 도약을 하고 있습니다.

기술 요약: TacWAM

문제 정의

월드 액션 모델(World Action Models, WAMs)은 로봇 제어를 용이하게 하기 위해 미래 상태 예측과 로봇 동작 생성을 통합합니다. 그러나 기존의 WAM은 주로 시각적 미래(visual futures)에 의존합니다. 시각적 예측은 장면 구조와 물체의 움직임을 효과적으로 포착하지만, 접촉이 빈번한 조작(contact-rich manipulation)에 필수적인 물리적 현상, 즉 힘의 축적, 변형, 전단(shear), 그리고 미끄러짐의 전조(incipient slip) 등에 대한 정보 제공 측면에서는 한계가 있습니다. 시각적 상태는 모호할 수 있습니다. 예를 들어, 겉보기에는 안정적인 파지(grasp)가 실제로는 미끄러지기 직전일 수 있으며, 삽입 동작이 정렬된 것처럼 보이지만 기계적으로 구속되어 있을 수도 있습니다.

본 연구가 다루는 핵심 과제는 두 가지입니다:

정보력이 풍부한 촉각 미래(Informative Tactile Futures): 촉각 예측은 시각적 미래가 놓치는 의미 있는 물리적 정보(힘, 변형)를 담고 있어야 합니다.
배포 일관성(Deployment Consistency): 이러한 미래 촉각 상태는 훈련을 위한 감독 신호로 기능해야 하지만, 동작 생성을 위한 "특권적(privileged)" 입력이 되어서는 안 됩니다. 즉, 동작 브랜치는 실행 중에는 접근할 수 없는 미래 지식에 의존하여 모델이 훈련-테스트 간의 불일치(train-test mismatch)를 일으키는 것을 방지하기 위해, 배포 시점에 사용 가능한 정보로 제한되어야 합니다.

방법론: TacWAM

TacWAM(Mechanics-Aware Tactile Prediction을 통한 Anchor-Guided World Action Model)은 세 가지 주요 아키텍처 구성 요소와 특정 어텐션 메커니즘을 통해 이러한 과제를 해결하도록 설계된 촉각 증강 WAM입니다.

1. 공간 정렬 융합(Spatially Aligned Fusion, SAF) 촉각 인코더

통일된 촉각 예측 표현을 생성하기 위해, TacWAM은 SAF 촉각 인코더를 사용하여 이질적인 그리퍼 측 관측값들을 공유 잠재 공간(shared latent space)으로 매핑합니다.

입력: 인코더는 공간적으로 등록된 세 가지 신호인 정류된 촉각 외형( $I_{rect}$ ), 밀집 국부 힘장( $F_t$ ), 그리고 메쉬 변형 플로우( $M_{flow}$ )를 융합합니다.
양측 융합(Bilateral Fusion): 양쪽 그리퍼 측의 특징들을 인코딩하고 양측으로 융합합니다.
전역 감독(Global Supervision): 전역적 접촉 역학을 보존하기 위해, 촉각 재구성기( $R_{tac}$ )가 밀집 힘장, 변형 플로우, 그리고 양측 합력 렌치(bilateral resultant wrench)(각 센서에 대한 3D 힘 및 3D 토크)를 예측하여 잠재 표현을 재구성합니다. 이 렌치는 전역 역학 감독 역할을 수행하여, 잠재 공간이 단순한 이진 접촉 상태가 아닌 힘과 변형 구조를 포착하도록 보장합니다.

2. 촉각 이력 변조 예측(Tactile History-Modulated Prediction)

단일 프레임의 촉각 관측은 종종 모호할 수 있다는 점(예: 동일한 힘의 크기가 안정적인 접촉, 압력 증가, 또는 미끄러짐을 의미할 수 있음)을 인식하여, TacWAM은 시간적 맥락을 포함합니다.

**촉각 이력 인코더(Tactile History Encoder)**는 현재 액션 청크(action chunk) 이전의 최근 촉각 변화를 요약하여 압축된 컨텍스트 벡터( $c_{tac}$ )를 생성합니다.
이 컨텍스트는 적응형 정규화(adaptive normalization)를 통해 촉각 전문가(tactile expert)를 변조하며, 이를 통해 모델이 현재의 상호작용 단계를 구분하고 힘과 변형의 진화를 예측하도록 돕습니다. 결정적으로, 이 이력은 미래 상태의 예측을 조건화하는 데 사용되지만, 동작 스트림에 직접적인 특권 입력으로 사용되지는 않습니다.

3. 앵커 가이드 삼중 모드(Anchor-Guided Tri-Modal, AGT) 어텐션

모델 내부의 Mixture-of-Transformers 백본 내에서 정보 흐름을 제어하며 배포 일관성을 보장하는 핵심 메커니즘은 AGT 어텐션 모듈입니다. 모델은 시각(V), 촉각(T), 동작(A)의 세 가지 스트림을 처리합니다.

앵커(Anchors): 현재의 시각 프레임( $V_0$ )과 현재의 깨끗한 촉각 상태( $T_0$ )가 앵커 역할을 합니다.
미래 타겟(Future Targets): 미래의 시각( $V_{1:H}$ ) 및 촉각( $T_{1:H}$ ) 토큰은 플로우 매칭(flow matching) 과정에서 노이즈가 섞인 예측 변수로 취급됩니다.
정보 격리(Information Isolation): AGT 마스크는 동작 토큰(A)이 미래 예측 토큰( $V_{1:H}, T_{1:H}$ )을 읽을 수 없도록 엄격히 제한합니다. 동작 토큰은 오직 현재의 앵커( $V_0, T_0$ ), 태스크 언어, 그리고 고유 수용 감각(proprioception)에만 접근할 수 있습니다.
훈련 목적 함수: 미래 촉각 상태는 접촉 관련 표현 학습을 감독하기 위한 병렬적 예측 목표로 기능하지만, 동작 생성을 직접적으로 조건화하지는 않습니다.

주요 기여

TacWAM 프레임워크: 촉각 이력과 미래 촉각 예측을 통해 시각적 훈련을 확장하여, 현재 관측을 넘어 촉각의 진화를 학습할 수 있게 하는 새로운 WAM입니다.
SAF 촉각 인코더: 촉각 외형, 힘, 변형을 공유 잠재 공간으로 매핑하는 동시에, 양측 렌치 재구성을 통해 국부적 접촉 패턴과 전역적 힘/토크 정보를 보존하는 메커리즘입니다.
AGT 어텐션: 미래의 감각 타겟으로부터 동작 브랜치를 격리하여, 동작 생성이 배포 가능한 정보에만 의존하면서도 예측적 촉각 감독으로부터 이득을 얻을 수 있도록 보장하는 삼중 모드 어텐션 메커니즘입니다.
실험적 검증: 네 가지 실제 접촉 집약적 작업에서 제안된 아키텍처의 효용성을 입증하는 종합적인 평가를 수행했습니다.

실험 결과

저자들은 네 가지 작업(취약한 감자칩 파지, 다양한 크기의 체리 파지, 지속적인 화이트보드 닦기, 동적인 두 펜 돌리기)에 대해 실제 플랫폼(Agilex Piper 및 Xense G1-WS 센서)에서 TacWAM을 평가했습니다.

성능: TacWAM은 평균 성공률 **75.0%**를 달성하였으며, 이는 가장 강력한 베이스라인인 VT-WAM(시각-촉각 WAM)보다 37.5 퍼센트 포인트 높은 수치입니다.
작업별 이득:
- 감자칩 파지: 최강 베이스라인 대비 +40.0%.
- 화이트보드 닦기: 최강 베이스라인 대비 +40.0%.
- 두 펜 돌리기: 최강 베이스라인 대비 +30.0%.
절제 연구(Ablation Studies):
- 촉각 이력 제거 시: 성공률이 크게 하락했습니다(평균적으로 82.5%에서 55.0%로). 특히 힘의 축적 추론이 필요한 작업(예: 감자칩 파지 90% $\rightarrow$ 50%)에서 두드러졌습니다. 이는 시간적 맥락이 접촉 상태를 구분하는 데 필수적임을 확인시켜 줍니다.
- AGT 제약 완화 시: 동작 토큰이 미래 촉각 예측에 접근하도록 허용하거나(Attn-AT), 양방향 미래 토큰 상호작용을 허용하면(Attn-VT) 성능이 심각하게 저하되었습니다(평균 7.5%까지 하락). 이는 "특권 정보" 제약이 매우 중요하다는 것을 입증합니다. 이 제약이 없으면 모델은 배포 시 실패하는 지름길(shortcut)을 학습하게 됩니다.
예측 품질: TacWAM의 예측된 힘 크기는 이력이 없는 변형 모델보다 실제 값(ground truth)을 더 밀접하게 추적하며, 접촉 단계를 추정하는 데 있어 시간적 지연이 감소함을 보여주었습니다.

의의 및 주장

본 논문은 예측적 촉각 상태가 역학을 고려한 표현과 엄격한 정보 제약이 결려될 때, 접촉 집약적 월드 액션 모델링을 위한 가치 있는 훈련 신호가 될 수 있다고 주장합니다.

TacWAM의 의의는 다음과 같은 점을 입증했다는 데 있습니다:

촉각 미래는 입력이 아닌 감독 신호이다: 미래 촉각 상태는 동작 생성의 인과성을 해치지 않으면서 힘과 변형의 변화를 감독함으로써 월드 모델 훈련을 풍부하게 할 수 있습니다.
시간적 맥락은 필수적이다: 단일 촉각 프레임은 견고한 제어를 위해 불충 enough 하지 않습니다. 현재 상태를 해석하고 미래 역학을 정확히 예측하기 위해서는 최근의 촉각 이력을 요약하는 것이 필요합니다.
정보 격리는 훈련-테스트 불일치를 방지한다: AGT 어텐션 메커니즘은 동작 브랜치가 미래 예측을 읽음으로써 "속임수"를 쓰는 것을 방지하는 것이 실세계 폐루프(closed-loop) 시나리오에 모델을 배포하는 데 필수적임을 증명합니다.

저자들은 TacWAM이 시각적 월드 모델과 접촉 집약적 조작의 물리적 실재 사이의 간극을 성공적으로 메웠으며, 촉각 예측이 배포 제약을 위반하지 않으면서도 동작 학습을 개선할 수 있는 프레임워크를 제공한다고 결론지었습니다.