💻 컴퓨터 과학

TaF-VLA: Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation

이 논문은 촉각-시각 정렬에서 특화된 어댑터와 대규모 동기화 데이터셋을 통한 명시적 촉각-힘 정렬으로 전환함으로써, 접촉이 빈번한 로봇 조작을 위한 시각-언어-행동 모델을 향상시키고 강건한 힘 인지적 물리 추론을 가능하게 하는 새로운 프레임워크인 TaF-VLA를 소개한다.

원저자: Yuzhe Huang, Pei Lin, Wanlin Li, Daohan Li, Jiajun Li, Jiaming Jiang, Chenxi Xiao, Ziyuan Jiao

게시일 2026-02-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuzhe Huang, Pei Lin, Wanlin Li, Daohan Li, Jiajun Li, Jiaming Jiang, Chenxi Xiao, Ziyuan Jiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세상을 보는 눈과 당신의 말을 이해하는 능력은 놀라울 정도로 뛰어나지만, 촉각에 대해서는 완전히 "맹목적인" 로봇을 상상해 보십시오. 이 로봇은 컵을 보고 "그것을 집어 들어"라는 말을 들을 수는 있지만, 얼마나 세게 쥐어야 하는지는 알지 못합니다. 만약 컵이 깨지기 쉬운 재질이라면, 로봇은 그것을 으깨버릴 수도 있습니다. 만약 물체가 미끄럽다면, 로봇은 그것을 떨어뜨릴 수도 있습니다. 이것이 현재의 로봇 두뇌(시각-언어-행동 또는 VLA 모델이라 불리는)가 직면한 문제입니다. 이들은 시각에 너무 많이 의존하고, "피부"에는 충분히 의존하지 않습니다.

이 논문은 TaF-VLA라고 불리는 새로운 해결책을 소개합니다. 이것은 로봇에게 촉각을 물리적 힘에 대한 이해로 직접 번역하는 "육감"을 부여하는 것이라고 생각하면 됩니다.

이들이 어떻게 이 일을 해냈는지, 간단한 단계별로 설명하겠습니다.

1. 문제점: "시각 전용"의 사각지대

현재의 로봇들은 두껍고 푹신한 장갑을 끼고 눈가리개를 한 채, 오직 비디오 카메라에만 의존하여 정밀한 시계를 조립하려는 사람과 같습니다. 그들은 기어들을 볼 수는 있지만, 자신이 너무 세게 누르고 있는지는 느낄 수 없습니다.

기존 방식: 일부 연구자들은 촉각 센서를 "추가 카메라"처럼 취급하여 문제를 해결하려 했습니다. 그들은 로봇의 피부가 변형되는 이미지를 로봇에게 입력하여, 로봇이 그 사진으로부터 학습하기를 기대했습니다.
결함: 이것은 마치 사진을 보고 가방의 무게를 배우려는 것과 같습니다. 사진은 모양을 보여주지만, 무게나 압력을 알려주지는 않습니다. 로봇은 가장 중요한 부분인 실제 '힘(force)'을 놓치고 있는 것입니다.

2. 해결책: 새로운 "촉각-힘" 번역기

저자들은 패러다임의 전환을 제안합니다. 단순히 촉각 이미지를 보는 대신, 그들은 로봇이 이미지 뒤에 숨겨진 **힘(force)**을 이해하기를 원합니다. 그들은 이를 **촉각-힘 정렬(Tactile-Force Alignment)**이라고 부릅니다.

이를 위해 그들은 세 가지 주요 요소를 구축했습니다.

A. "터치 체육관" (데이터 생성 기계)

로봇에게 촉감을 가르치려면 데이터를 보유해야 합니다. 그래서 그들은 거대하고 자동화된 "터치 체육관" 역할을 하는 특별한 기계(TaF-Device)를 만들었습니다.

작동 원리: 로봇의 "손가락"(촉각 센서)과 실제 힘을 측정하는 저울을 나란히 놓고, 수백 가지의 다양한 물체(부드러운 젤리, 단단한 금속, 또는 미끄러운 도구 등)에 수천 번씩 누르는 기계를 상상해 보십시오.
결과: 그들은 1,000만 개 이상의 사례를 수집했습니다. 로봇의 "손가락"이 찌그러질 때마다, 기계는 정확히 얼마만큼의 힘이 가해졌는지 기록했습니다. 이는 로봇이 피부에서 보는 것과 실제로 발생하는 힘 사이를 연결하는 거대한 라이브러리(TaF-Dataset)를 만들어냈습니다.

B. "번역기" (TaF-Adapter)

이제 로봇에게 이 라이브러리를 읽는 법을 가르칠 방법이 필요했습니다. 그들은 TaF-Adapter라고 불리는 특별한 신경망 모듈을 구축했습니다.

비유: 로봇의 피부 센서를 외국어(시각적 질감)를 말하는 사람이라고 생각하십시오. 힘 센서는 다른 언어(압력을 나타내는 숫자)를 말합니다.
마법: TaF-Adapter는 번역기입니다. 이 모델은 단순히 찌그러진 피부의 사진을 보는 것이 아니라, "아, 이 특정한 찌그러짐 패턴은 '5 뉴턴의 압력'과 '왼쪽으로 미끄러짐'을 의미하는구나"라고 말하는 법을 배웁니다.
핵심 기술: 이 모델은 **벡터 양자화(Vector Quantization)**라는 기술을 사용합니다. 복잡하고 노이즈가 섞인 소리를 단순하고 깨끗한 일련의 음표로 바꾸는 것을 상상해 보십시오. 이는 로봇이 센서의 "정전기"나 노이즈를 무시하고 명확하고 중요한 물리적 신호에 집중하도록 돕습니다. 또한, 단순히 멈춰 있는 한 프레임이 아니라 촉각의 이력(history)(예: 몇 초 동안 표면을 느끼는 과정)을 살펴봄으로써, 부드러운 압박과 미끄러짐의 차이를 구분할 수 있게 합니다.

C. "새로운 두뇌" (TaF-VLA 정책)

마지막으로, 이 번역기를 로봇의 메인 두뇌(VLA 모델)에 연결했습니다.

이제 로봇이 "달걀을 집어 들어"라는 말을 들으면, 단순히 달걀을 보기만 하는 것이 아닙니다. 또한 새로운 번역기를 통해 힘을 "느낍니다".
만약 달걀이 미끄러지기 시작하면, 로봇은 압력의 변화를 즉시 감지하고 인간처럼 움켜쥐는 힘을 조절합니다.

3. 결과: "느낄 수 있는" 로봇

팀은 이 새로운 로봇을 젤리 썰기, 화이트보드 지우기, 무거운 부품 집기 등 정밀한 힘 제어가 필요한 8가지 작업에서 테스트했습니다.

젤리 썰기: 젤리를 뭉개지 않고 자르기 위해서는 딱 적절한 압력이 필요합니다.
화이트보드 지우기: 보드를 찢지 않으면서도 깨끗하게 닦아낼 수 있는 충분한 압력이 필요합니다.
무거운 부품 집기: 떨어뜨리지 않을 만큼 단단히 잡아야 하지만, 동시에 으깨지 않아야 합니다.

결과:

새로운 로봇(TaF-VLA)은 약 **65%**의 성공률을 보였습니다.
가장 뛰어난 "시각 전용" 로봇들(이 새로운 촉각 감각이 없는 로봇들)은 약 **37%**의 성공률만을 보였습니다.
촉각을 사용하긴 했지만 이를 단순히 카메라처럼 취급했던 기존 방식의 로봇들도 훨씬 더 많이 실패했습니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 로봇에게 촉각 이미지와 힘의 물리학을 명시적으로 연결하도록 가르침으로써, 로봇이 물리적 세계에 대한 진정한 이해를 얻게 된다고 주장합니다. 로봇은 더 이상 단순히 어떻게 보이는지에 기초해 추측하는 것이 아니라, 어떻게 느껴지는지에 기초해 결정을 내립니다.

요약하자면, 그들은 수백만 개의 "촉각과 힘" 사례를 수집하는 기계를 만들었고, 두 가지 사이의 연결 고리를 이해하는 번역기를 가르쳤으며, 이를 로봇의 두뇌에 연결했습니다. 그 결과, 이전에는 AI가 마스터하기 불가능했던 섬세하고 힘 제어가 중요한 작업들을 수행할 수 있는 로봇이 탄생했습니다.

기술 요약: 힘 인지 조작을 위한 시각-언어-행동 모델에서의 촉각-힘 정렬 (TaF-VLA)

1. 문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 대규모 시각적 표현과 자연어 지침을 활용하여 로봇 조작 분야에서 상당한 성공을 거두었습니다. 그러나 이러한 모델들은 근본적인 "힘 맹목성(force-blindness)" 문제를 안고 있습니다. 시각적 양상에만 의존함으로써, 깨지기 쉬운 물체를 다루거나 정밀 조립, 또는 변형 가능한 재료를 조작하는 것과 같이 정밀한 힘 조절이 필요한 접촉 중심 작업에 필요한 물리적 직관이 부족합니다.

촉각 센싱(예: 시각 기반 촉각 센서 또는 VBTS)을 VLA에 통합하려는 기존의 시도들은 일반적으로 촉각 입력을 장면 이미지와 정렬된 보조적인 시각적 질감으로 취급합니다. 이러한 접근 방식은 촉각 센싱의 고유한 특성을 간과합니다. 원격 시각과 달리, 촉각 센싱은 국부적인 기계적 상호작용과 표면 변형을 포착합니다. 촉각 데이터를 단순히 "추가적인 시각 정보"로 취급하는 것은 힘 인지 조작에 필수적인 핵심 접촉력 정보를 추출하는 데 실패하게 만듭니다. 또한, 전역 힘/토크(F/T) 센서에 대한 기존의 의존도는 높은 하드웨어 비용, 취약성, 그리고 집계된 힘 벡터에 내재된 공간적으로 분산된 압력 패턴의 손실이라는 한계를 가집니다.

2. 방법론

저자들은 패러다임을 "촉각-시각 정렬"에서 **"촉각-힘 정렬(tactile-force alignment)"**로 전환하는 TaF-VLA 프레임워크를 제안합니다. 핵심 통찰은 촉각 표현이 그것이 나타내는 물리적 상호작용 힘에 명시적으로 접지(grounded)되어야 한다는 것입니다. 방법론은 세 가지 통합된 구성 요소로 이루어집니다.

A. TaF-Dataset 및 데이터 획득 장치

촉각-힘 동기화 데이터의 부족을 해결하기 위해, 저자들은 자동화된 데이터 획득 장치(TaF-Device)와 TaF-Dataset을 개발했습니다.

하드웨어 설계: 이 장치는 매우 동기화된 압입(indentation)을 보장하기 위해 동일한 모터-기어 쌍에 의해 구동되는 두 개의 트윈 플랫폼이 있는 병렬 구동 구조를 특징으로 합니다. 이는 세 가지 센싱 양상을 동시에 통합합니다:
1. VBTS: 고해성능 시각-촉각 센서 (커스텀 제작 및 GelSight Mini 변형 포함).
2. 6축 F/T 센서: 전역 렌치(wrench) 측정을 위함.
3. 매트릭스 힘 센서: 공간적 힘 분포를 위한 압전 배열 (12×12 taxels).
데이터 수집: 시스템은 자율적으로 작동하며, Z축 압력과 회전 각도(Pitch, Roll, Yaw)를 변화시키는 "압박 및 섭동(press-and-perturb)" 전략을 실행합니다. 광범위한 접촉 역학을 커버하기 위해 60개 이상의 다양한 인덴터(강체 및 변형 가능 물체) 라이브러리를 활용합니다.
규모: 결과물인 TaF-Dataset은 6가지 서로 다른 센서 유형에 걸쳐 1,000만 개 이상의 동기화된 프레임(시각-촉각 이미지, 6축 힘/토크, 매트릭스 힘 맵)으로 구성됩니다.

B. 촉각-힘 어댑터 (TaF-Adapter)

핵심 구성 요소는 순차적인 촉각 관측치를 힘에 정렬된 잠재 공간(latent space)으로 매핑하도록 설계된 신경망 인코더인 TaF-Adapter입니다.

힘 양자화 (Force Quantization): 명시적인 회귀(regression) 대신, 어댑터는 벡터 양자화 변이형 오토인코더(VQ-VAE)를 사용하여 이질적인 힘 신호(공간 압력 맵 및 6축 벡터)를 두 개의 별도 학습 가능한 코드북으로 이산화합니다. 이를 통해 고주파 센서 노이즈를 완화하는 안정적이고 이산적인 물리적 앵커를 생성합니다.
시계열 촉각 인코딩: 촉각 인코더는 Causal Transformer를 채택하여 시계열 촉각 이미지를 처리하고, 역사적 관측치를 집계하여 이력 의존적 역학(예: 초기 미끄러짐, 점탄성 이력 현상)을 포착합니다.
대조 학습 정렬 (Contrastive Alignment): 촉각 및 힘 브랜치는 대칭적 InfoNCE 목적 함수를 사용하여 공유된 잠재 공간에서 정렬됩니다. 이 대조 학습 프레임워크는 추론 시 명시적인 힘 재구성을 요구하지 않고도 촉각 인코더가 시각적 변형으로부터 힘의 역학을 추론하도록 훈련합니다.

C. 정책 통합 (TaF-VLA)

사전 훈련된, 고정된(frozen) TaF-Adapter는 최첨단 VLA 백본(특히 $\pi_{0.5}$ flow-matching 아키텍처)에 통합됩니다.

아키텍처: 촉각-힘 정렬된 토큰은 언어 및 시각 임베딩과 인터리빙(interleaved)됩니다.
메커니즘: 정책은 고수준의 의미론적 지침과 힘에 정렬된 촉각 피드백 모두에 따라 엔드 이펙터(end-effector) 동작을 조건화합니다. 이를 통해 모델은 작업 지시를 준수하면서 접촉 역학에 따라 조작 동작을 조정하는 속도장(velocity field)을 학습할 수 있습니다.

3. 주요 기여

촉각-힘 데이터 획득 장치: 대규모(시간당 100,000 프레임)로 동기화된 다중 모달 촉각-힘 데이터를 수집할 수 있는 저비용, 자동화 플랫폼을 제공하여 데이터 희소성 병목 현상을 해결했습니다.
TaF-Adapter: 대조 학습과 벡터 양자화를 사용하여 순차적인 촉각 관측치를 힘에 정렬된 잠재 공간으로 매핑하는 새로운 모듈입니다. 이 방식은 센서 노이즈와 센서 간 변동에 강건한 표현을 학습하는 동시에 이력 의존적 접촉 역학을 포착합니다.
TaF-VLA 정책: 힘 인지 촉각 정보를 성공적으로 통합하는 VLA 프레임워크입니다. 이는 명시적인 힘 정렬이 시각 전용 또는 단순 촉각-시각 정렬 베이스라인으로는 불가능한 힘 민감 작업 수행을 가능하게 함을 입증합니다.

4. 실험 결과

저자들은 8가지 실제 접촉 중심 조작 작업(예: 튜브 삽입, 핀셋 무게 들기, 젤리 슬라이싱, 무거운 부품 들기)에 대해 TaF-VLA를 평가했습니다.

성능 벤치마킹: TaF-VLA는 평균 **64.8%**의 성공률을 달 기록했으며, 이는 최첨단 시각 전용 베이스라인(예: $\pi_{0.5}$ 의 37.1%) 및 촉각-시각 정렬 베이스라인(예: FreeTacMan의 42.8%)을 크게 상회하는 수치입니다. 개선 폭은 힘이 중요한 작업에서 가장 두드러졌습니다. 예를 들어, Tweezer Weight Pick 작업에서 시각 전용 모델이 0%의 성공률을 보인 반면, TaF-VLA는 33.3%의 성공률을 달성했습니다.
일반화 및 강건성: TaF-Adapter는 미학습 센서 하드웨어(예: 다른 커스텀 제작 센서)에 대해 강력한 제로샷 일반화 능력을 보여주었습니다. 명시적 힘 회귀 베이스라인들이 도메인 변화로 인해 치명적인 실패를 겪는 상황에서도 견고한 성능을 유지했습니다.
데이터 효율성: TaF-VLA는 단 **100개의 시연(demonstrations)**만으로 시각 전용 베이스라인이 유사한 수준에 도달하기 위해 필요했던 200개 이상의 시연보다 적은 데이터로 동등하거나 더 나은 성능을 달성했습니다.
절제 연구 (Ablation Studies): 다음 요소들의 필요성을 확인했습니다:
- 시계열 문맥 (Temporal Context): 역사적 관측치(윈도우 크기 $N=5$ )를 사용하는 것이 결정적이었습니다. 단일 프레임 입력은 상당한 성능 저하를 초천했습니다.
- 이산 양자화 (Discrete Quantization): 압력 맵과 힘 벡터를 위한 별도의 코드북을 사용하는 것이 공유되거나 연속적인 표현보다 우수했습니다.
- 힘 접지 (Force Grounding): 촉각 데이터를 가공되지 않은 시각적 토큰으로 취급하는 것보다 실제 힘 신호와 정렬하는 것이 더 우수했습니다.

5. 의의 및 주장

본 논문은 TaF-VLA가 현재의 범용 로봇 정책이 가진 근본적인 한계, 즉 물리적 힘을 추론하지 못하는 문제를 해결한다고 주장합니다. 촉각을 시각적 질감이 아닌 물리적 힘 측정에 접지함으로써, 이 프레임워크는 정책에 "접촉 역학에 대한 진정한 이해"를 부여합니다.

저자들은 이 접근 방식이 다음을 가능하게 한다고 단언합니다:

강건한 힘 인지 조작: 시각적 피드백만으로는 불충분한 작업(예: 미끄러짐 방지, 변형 가능한 물체에 대한 압력 조절)을 수행하기 위해 정밀한 힘 조절을 실행할 수 있는 능력.
교차 센서 일반화: 이산적 대조 정렬을 통해, 힘 회귀 모델을 다시 훈련하지 않고도 서로 다른 센서 하드웨어 간에 촉각적 직관을 전이할 수 있는 능력.
언어 유도형 힘 조절: 힘에 정렬된 촉각 신호를 조건화함으로써 미세한 힘 관련 지침(예: "부드럽게 잡으세요", "단단히 누르세요")을 따를 수 있는 능력.

본 연구는 촉각 인식을 물리적 힘에 명시적으로 접지하는 것이 시각 전용 또는 순수 시각-촉각 정렬 전략의 한계를 넘어, 정교하고 범용적인 로봇 조操를 발전시키는 데 필수적이라고 결론짓습니다.