FG-CLTP: Fine-Grained Contrastive Language Tactile Pretraining for Robotic Manipulation

이 논문은 정성적 설명을 넘어 힘, 접촉 기하학, 주축 방향 등 정량적 접촉 상태를 포착하는 대규모 데이터셋과 토큰화 기법을 도입한 FG-CLTP 프레임워크를 제안하여, 로봇의 정밀 조작을 위한 3D 촉각 - 언어 - 행동 (3D-TLA) 모델의 성능을 획기적으로 향상시켰습니다.

핵심

이 논문은 로봇이 **"손으로 만져서 느끼는 감각 (촉각)"**을 인간의 언어와 수학적으로 정밀하게 연결하는 새로운 기술을 소개합니다.

기존의 로봇은 눈으로 보는 것 (시각) 만으로는 물체를 잡거나 조립할 때 실수하기 쉽습니다. 예를 들어, 눈으로만 보면 "단단해 보이네"라고 추측할 뿐, 정확히 얼마나 세게 눌러야 하는지, 어느 정도 깊이 파고드는지를 모릅니다. 이 논문은 그 부족함을 채워주는 **'정밀한 촉각 언어'**를 개발했습니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제점: "매우 단단해" vs "정확히 20 뉴턴"

기존 로봇의 촉각 학습은 마치 맛있는 음식을 설명할 때 "맛있어", "짜다" 같은 감성적인 단어만 사용하는 것과 비슷합니다.

• 기존 방식: "이 물체는 단단해." (질적인 설명)
• 필요한 것: "이 물체는 **정확히 20 뉴턴 (N)**의 힘으로, 2.1 밀리미터 (mm) 깊이로 눌려 있어." (양적/수치적 설명)

로봇이 정교한 작업 (예: 연필로 글씨 쓰기, 튜브 끼우기) 을 하려면 "단단해"라는 vague(모호한) 표현으로는 부족합니다. 정확한 숫자가 필요합니다.

2. 해결책: "숫자 알파벳"을 새로 invented 하다 (FG-CLTP)

저자들은 로봇이 숫자를 언어처럼 이해할 수 있게 **'숫자 알파벳 (Discrete Numeric Token)'**을 만들었습니다.

• 비유: 로봇이 배우는 언어에 '<깊이_2.1>', <힘_20N>' 같은 새로운 단어를 추가한 것입니다.
• 작동 원리: 로봇의 손끝 (센서) 이 물체를 만지면, 그 모양이 변형되는 3D 데이터를 보고 "아, 이건 <깊이_2.1>이고 <힘_20N>이야!"라고 수치와 언어를 동시에 이해합니다.
• 효과: 로봇은 이제 "단단해"가 아니라, **"정확히 2.1mm 깊이에 20N 의 힘이 가해지고 있어"**라고 생각할 수 있게 되어, 아주 미세한 힘 조절도 가능해졌습니다.

3. 데이터: 10 만 개의 '손끝 경험' 모음 (Contact3D)

이 기술을 가르치기 위해 연구팀은 10 만 개가 넘는 데이터를 만들었습니다.

• 비유: 마치 로봇에게 **10 만 번의 '만지기 체험'**을 시킨 뒤, 그 경험을 언어로 정리한 거대한 사전을 만든 것과 같습니다.
• 내용: 물체를 누르거나, 미끄러뜨리거나, 비틀 때 생기는 3D 변형 모양과 그 때의 힘, 위치, 각도 등을 모두 기록했습니다.
• 특이점: 이 데이터는 실제 로봇과 시뮬레이션 (가상 현실) 에서 모두 수집되어, 로봇이 가상에서 배운 것을 실제 세계에서도 바로 쓸 수 있게 (Sim-to-Real) 해줍니다.

4. 결과: 로봇이 '마법사'처럼 변하다 (3D-TLA)

이렇게 정밀하게 훈련된 로봇은 이제 3D-TLA라는 새로운 두뇌를 갖게 되었습니다.

• 실제 성능:
  • 튜브 끼우기: 눈이 가려진 상태에서 튜브를 구멍에 넣는 작업에서 85% 성공률 (기존 로봇은 70% 대).
  • 보드 닦기: 표면을 일정하게 닦아낼 때 힘 조절이 완벽해서 75% 성공률.
  • 글씨 쓰기: 흰보드에 원을 그리며 글씨를 쓸 때, 끊기지 않고 부드럽게 60% 성공률.
• 비유: 이전 로봇이 "대충 맞출 것 같아"라고 추측하며 떨리는 손으로 작업했다면, 이 로봇은 **"정확히 이만큼 힘을 주면 돼"**라고 계산하며 마법처럼 부드럽고 정확한 움직임을 보여줍니다.

요약

이 논문은 로봇에게 "눈으로 보는 것"과 "손으로 느끼는 것"을 연결하는 새로운 언어를 가르쳤습니다. 단순히 "단단하다"가 아니라 **"얼마나, 어디에, 어떤 각도로"**라는 정밀한 수치를 언어로 표현하게 함으로써, 로봇이 인간의 손처럼 섬세하고 정교한 작업을 할 수 있는 토대를 마련했습니다.

한 줄 요약: "로봇에게 '단단해'라는 말 대신 '20 뉴턴, 2.1 밀리미터'라는 정밀한 숫자 언어를 가르쳐, 이제 로봇도 마법사처럼 정교한 손기술을 갖게 되었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

로봇 조작 (Manipulation) 에서 촉각 감각은 시각적 가림 (occlusion) 이나 복잡한 접촉 역학이 발생하는 환경에서 필수적입니다. 최근 비전 - 언어 - 행동 (VLA) 모델에 촉각을 통합하려는 시도가 있었으나, 기존 접근법에는 다음과 같은 한계가 존재했습니다.

• 정성적 (Qualitative) 표현의 한계: 기존 촉각 표현은 '거친 (rough)', '단단한 (hard)'과 같은 정성적 기술어에 의존하여, 접촉 상태의 정량적 (Quantitative) 정보 (예: 힘의 크기, 접촉 깊이, 주축 방향 등) 를 무시했습니다.
• 제어와의 괴리: 고수준의 추론과 저수준의 정밀한 물리적 실행 사이의 연결이 끊어졌습니다. 로봇이 "강하게 누른다"는 것을 이해하더라도, 정확히 5N 인지 20N 인지, 또는 밀리미터 단위의 침투 깊이를 파악하지 못해 미세한 조작 (In-hand manipulation 등) 에 실패합니다.
• 센서 의존성: 2D 촉각 이미지는 센서 내부의 조명 패턴과 결합되어 있어 센서 간 일반화 (Cross-sensor generalization) 가 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 FG-CLTP(Fine-Grained Contrastive Language Tactile Pretraining) 프레임워크를 제안했습니다. 이는 정성적 설명을 넘어 정량적 제어가 가능한 촉각 - 언어 정렬을 목표로 합니다.

A. Contact3D 데이터셋 구축

• 규모: 136 개의 다양한 물체 (YCB, 산업용 부품 등) 에 대한 10 만 개 이상의 촉각 - 언어 쌍을 포함하는 대규모 데이터셋입니다.
• 다중 모달리티: 3D 변형 포인트 클라우드, 촉각 이미지, 6 자유도 힘/토크 신호를 동기화하여 수집했습니다.
• 정밀 주석: 접촉 모양, 질감, 접촉 면적, 위치, 힘, 주축 방향, 미끄러짐/비틀림 각도 등 정량적 접촉 상태 (Contact State) 를 명시적으로 라벨링했습니다.
• 수집 방식: TacFlex 시뮬레이터 (Isaac Gym 기반) 와 GelSight, DIGIT 등 실제 센서를 활용하여 누르기 (Press), 미끄러지기 (Slide), 비틀기 (Twist) 등의 기본 동작을 수행하며 데이터를 수집했습니다.

B. 이산 수치 토큰화 (Discrete Numeric Tokenization)

• 핵심 아이디어: 연속적인 물리량 (깊이, 힘, 각도 등) 을 자연어 토큰과 유사한 이산 수치 토큰 (Discrete Numeric Tokens) 으로 변환합니다.
  • 예: <depth_2.1>, <pos_14_20>, <ori_240> 등.
• 효과: 언어 모델의 어휘에 물리 지표를 직접 주입하여, 모델이 "물리 언어 (Language of Physics)"를 구사할 수 있게 합니다. 기존 CLIP 기반의 사전 학습 지식을 유지하면서 새로운 수치 토큰만 학습하도록 부분 파인튜닝 (Partial Fine-tuning) 전략을 적용했습니다.

C. FG-CLTP 학습 프레임워크

1. 3D 촉각 표현: 센서 마커의 고정된 위상 구조를 기반으로 3D 변형 포인트 클라우드를 입력으로 사용하여, 법선 변형과 전단 변형을 직접 포착합니다.
2. 대조적 학습 (Contrastive Learning): 3D 포인트 클라우드, 디지털 강화 언어 설명, 렌더링된 촉각 이미지를 공통 특징 공간에 정렬합니다. (InfoNCE Loss 사용)
3. 보조 회귀 손실 (Auxiliary Regression Loss): 대조적 학습만으로는 미세한 물리 정보가 누락될 수 있으므로, 물리 속성 (깊이, 힘 등) 을 직접 예측하는 회귀 헤드를 추가하여 MSE 손실을 최소화합니다. 이는 특징 공간이 수치적으로 민감하도록 강제합니다.

D. 3D-TLA 정책 학습

• FG-CLTP 로 사전 학습된 인코더를 Flow Matching 기반의 정책 (3D-TLA) 에 통합합니다.
• 비전, 언어, 촉각 정보를 결합하여 로봇의 행동 (이동, 회전, 그리퍼 제어) 을 생성하며, 복잡한 접촉 역학을 모델링합니다.

3. 주요 기여 (Key Contributions)

1. FG-CLTP 프레임워크: 정성적 언어 의미와 정량적 물리 접촉 상태 사이의 간극을 메우는 최초의 대조적 촉각 사전 학습 프레임워크를 제안했습니다.
2. Contact3D 데이터셋: 10 만 개의 샘플로 구성된 대규모 데이터셋으로, 3D 변형 포인트 클라우드와 명시적인 접촉 상태 라벨을 제공합니다.
3. 3D-TLA 아키텍처: 토큰화된 촉각 표현을 엔드 - 투 - 엔드 접촉 풍부 조작 작업에 통합하는 Flow Matching 기반 정책을 개발했습니다.
4. 센서 무관성 (Sensor-Agnostic): 3D 포인트 클라우드 표현을 통해 시뮬레이션과 실제 (Sim-to-Real) 간격이 최소화되었으며, 보지 못한 센서 (Zero-shot) 에도 강력하게 일반화됩니다.

4. 실험 결과 (Results)

A. 오프라인 벤치마크

• 접촉 상태 분류: 모양, 깊이, 위치 등 미세한 접촉 상태 분류에서 95.9% 의 정확도를 달성하여 기존 최첨단 방법 (TVL, UniTouch, CLTP 등) 을 압도했습니다.
• 회귀 성능: 접촉 깊이, 힘, 전단 변형 등 연속 물리량 예측에서 MAE(평균 절대 오차) 가 52.6% 감소했습니다. (예: 전단 힘 예측 MAE 0.373 → 0.078).
• 시뮬레이션 - 실제 전이 (Sim-to-Real): 동일한 센서 타입에서 시뮬레이션과 실제 데이터 간 성능 격차가 3.5% 로 매우 작았습니다.
• 크로스 센서 일반화: 훈련 데이터와 다른 센서 (DM-Tac) 에 대해서도 86.5% 의 평균 정확도를 유지하며 제로샷 일반화 능력을 입증했습니다.

B. 실제 세계 조작 작업 (Real-World Tasks)

Imeta Y1 로봇 팔과 DM-Tac 센서를 사용하여 3 가지 과제를 수행했습니다.

1. 튜브 삽입 (Tube Insertion): 시각적 가림이 심한 환경에서 촉각 기반 위치 파악을 통해 85.0% 성공률 (기존 ACT 70.0%, DP 75.0% 대비 우수).
2. 보드 닦기 (Wipe the Board): 일정한 접촉 힘 유지가 필요한 작업에서 75.0% 성공률.
3. 손글씨 쓰기 (Handwriting): 미세한 힘 제어와 궤적 정밀도를 요구하는 작업에서 60.0% 성공률.

5. 의의 및 결론 (Significance)

이 연구는 로봇 촉각 학습의 패러다임을 정성적 인식에서 정량적 제어로 전환시켰습니다.

• 물리 기반 추론: 로봇이 단순한 "촉감"을 넘어 힘의 크기, 깊이, 각도 등 정밀한 물리량을 언어와 결합하여 추론하고 제어할 수 있게 되었습니다.
• 범용성: 3D 포인트 클라우드 기반의 표현은 센서 하드웨어의 차이를 극복하여 다양한 로봇 시스템에 적용 가능한 강력한 기반을 제공합니다.
• 미래 지향성: 복잡한 접촉이 필요한 정밀 조립, 의료 로봇, 유연한 물체 조작 등 향후 로봇 조작 분야에서 필수적인 기술적 토대를 마련했습니다.

요약하자면, FG-CLTP 는 정량적 수치 토큰화와 대조적 학습을 결합하여 로봇이 촉각을 통해 물리 세계를 정밀하게 이해하고 조작할 수 있는 능력을 획기적으로 향상시킨 획기적인 연구입니다.