Tactile Modality Fusion for Vision-Language-Action Models

1. 문제 정의 (Problem)

최근 Vision-Language-Action (VLA) 모델은 로봇의 일반화 능력과 의미론적 기반 (semantic grounding) 을 크게 향상시켰으나, 대부분 **시각 (Vision)**과 언어 (Language) 정보에만 의존합니다. 그러나 접촉이 많은 조작 (contact-rich manipulation, 예: 끼워 맞추기, 그립 등) 작업에서는 시각 정보만으로는 다음과 같은 한계가 존재합니다.

• 시각의 한계: 가려짐 (occlusion), 미세한 조정 (millimetre-scale adjustments) 필요, 접촉력, 표면 마찰, 강성 (compliance), 전단력 (shear) 등의 물리적 상호작용 역학을 포착하지 못함.
• 기존 융합 방식의 비효율성: 촉각 신호를 VLA 에 통합하려는 기존 시도들은 주로 토큰 연결 (token concatenation) 이나 대규모 멀티모달 사전 학습에 의존합니다. 이는 시퀀스 길이를 증가시키고 계산 비용을 높이며, 별도의 촉각 인코더 학습을 필요로 하여 경량화 (lightweight) 전략이 필요한 행동 모델 (behavioral models) 에 적합하지 않습니다.

2. 방법론 (Methodology)

저자들은 TacFiLM이라는 새로운 경량 모달리티 융합 접근법을 제안합니다. 이는 사전 학습된 VLA 모델에 시각 - 촉각 신호를 통합하는 사후 학습 (post-training) 파인튜닝 전략입니다.

• 핵심 기술: FiLM (Feature-wise Linear Modulation)

  • 기존 방식처럼 촉각 토큰을 입력 시퀀스에 추가하는 대신, **사전 학습된 촉각 표현 (pretrained tactile representations)**을 사용하여 VLA 의 **중간 시각 특징 (intermediate visual features)**을 조건부 (conditioning) 로 조절합니다.
  • FiLM 은 보조 신호 (여기서는 촉각 임베딩) 로부터 채널별 스케일 ($\gamma$) 과 시프트 ($\beta$) 파라미터를 학습하여 중간 활성화 값에 아핀 변환 (affine transformation) 을 적용합니다.
  • 수식: $FiLM(F^n|\gamma, \beta) = F^n \odot (1 + \gamma) + \beta$
  • 이 방식은 토큰 시퀀스 길이를 증가시키지 않고, 기존 시각 - 언어 사전 지식 (priors) 을 유지하면서 촉각 정보를 통합합니다.

• 아키텍처

  • 기반 모델: OpenVLA-OFT (SigLIP + DINOv2 시각 백본 + LLaMA 2 7B 언어 모델).
  • 촉각 인코더: 사전 학습된 T3 또는 Sparsh 모델을 사용하여 촉각 이미지 (DIGIT 센서 등) 를 임베딩으로 변환합니다.
  • 융합 위치: 시각 백본의 ViT (Vision Transformer) 블록 내 정규화 (Normalization) 후, 멀티헤드 셀프 어텐션 (Multi-head Self-Attention) 직전에 FiLM 레이어를 적용하여 시각 특징을 조절합니다.

• 학습 전략

  • 모델의 대부분을 고정 (freeze) 하고, FiLM 파라미터와 선형 계층에 LoRA (Low-Rank Adaptation) 를 적용하여 효율적으로 파인튜닝합니다.

3. 주요 기여 (Key Contributions)

1. TacFiLM 제안: 이미지 조건부 (image-conditioning) 를 통해 촉각 신호를 통합하는 새로운 경량 모달리티 융합 방법론.
2. 성능 향상: 연결 (concatenation) 기반 융합 대비 최대 30% 의 성공률 향상, 더 짧은 작업 시간, 그리고 감소된 접촉력을 입증.
3. 사전 학습 촉각 인코더 활용: Sparsh 및 T3 와 같은 사전 학습된 촉각 인코더가 VLA 모델에 효과적으로 통합될 수 있음을 실증. 별도의 태스크 특화 인코더 학습 없이도 적용 가능.

4. 실험 결과 (Results)

실제 로봇 (Franka Emika Panda + DIGIT 센서) 을 사용하여 700 회 이상의 롤아웃 (rollout) 을 수행했습니다.

• 분포 내 (In-Distribution) 작업:

  • 3mm 간격 원형 핀 삽입: TacFiLM 은 100% 성공률을 기록 (기존 모델 86.67%, TactileConcat 96.67%).
  • 직접 삽입률 (Direct Insertion): TacFiLM 이 36.67% 로 가장 높았으며, 이는 보정 행동 없이 한 번에 성공하는 비율이 높음을 의미합니다.
  • 접촉력 및 시간: 평균 최대 힘과 완료 시간이 기존 방법론보다 현저히 낮았습니다.

• 분포 외 (Out-of-Distribution) 작업:

  • 다양한 핀 모양 (정사각형, 오각형) 및 HDMI 케이블 플러그 작업에서 탁월한 일반화 능력을 보였습니다.
  • 특히 HDMI 케이블 플러그 작업에서 TacFiLM 은 66.67% 성공률을 기록한 반면, 비전 전용 모델과 연결 기반 모델은 각각 6.67%, 13.33% 에 그쳤습니다.
  • 시각 저하 조건 (Dimmed Lighting, Frozen Frames): 시각 정보가 불완전한 환경에서도 TacFiLM 은 100% 성공률을 유지하며, 촉각 정보가 시각 결손을 보완함을 입증했습니다.

• Ablation Study:

  • FiLM 을 비전 백본의 모든 블록에 적용하는 것이 가장 안정적이었으나, 초기 블록에만 적용해도 높은 성능을 보였습니다.
  • Sparsh-DINO 인코더가 다른 사전 학습 모델 (T3, Sparsh-MAE 등) 보다 분류 태스크에서 가장 우수한 성능을 보여, 주요 실험의 백본으로 선정되었습니다.

5. 의의 및 결론 (Significance)

• 접촉 역학에 대한 민감도 향상: TacFiLM 은 로봇이 접촉 시 발생하는 물리적 역학 (마찰, 힘, 변형) 에 더 민감하게 반응하도록 하여, 과도한 힘 적용을 방지하고 작업 안정성을 높입니다.
• 계산 효율성: 토큰 시퀀스를 늘리지 않고 파라미터 효율적으로 융합하므로, 대규모 VLA 모델을 재학습하거나 무거운 인코더를 추가할 필요 없이 기존 모델을 강화할 수 있습니다.
• 실제 적용 가능성: 시각 정보가 불완전하거나 접촉이 필수적인 복잡한 로봇 조작 작업에서 VLA 모델의 실용성을 크게 확장시켰습니다.

요약하자면, TacFiLM은 시각 - 언어 - 행동 모델에 촉각 정보를 통합할 때 발생하는 계산적 부담과 성능 저하 문제를 해결하며, FiLM 기반의 특징 조절을 통해 로봇의 접촉rich 조작 능력을 획기적으로 개선한 혁신적인 방법론입니다.