기술 요약: VT-WAM: 접촉 집약적 조작을 위한 시각-촉각 세계 행동 모델 (Visual-Tactile World Action Model for Contact-Rich Manipulation)

1. 문제 정의

접촉 집약적 조작 작업(예: 표면 닦기, 플러그 삽입)은 변형, 압력, 미끄러짐, 마찰과 같은 국소적 상호작용 상태에 크게 의존합니다. 이러한 단서들은 시각적 관측에서는 시간적으로 희소하거나, 일시적이거나, 혹은 가려져 있는 경우가 많아, 실행 시 촉각 기반의 조정이 필요한 경우 시각 중심의 정책(vision-centric policies)을 신뢰할 수 없게 만듭니다.

기존의 시각-촉각 정책들은 일반적으로 촉각 관측값을 행동 예측에 직접 입력하지만, 촉각 정보를 충분히 활용하지 못하는 한계가 있습니다. 주요 제한 사항은 정보 가용성의 **시간적 불균형(temporal imbalance)**입니다. 시각적 관측은 대부분의 프레임에서 밀도 높은 장면 수준의 정보를 제공하는 반면, 촉각 변형은 짧은 접촉 단계 동안에만 발생하며 힘 피드백을 제공합니다. 결과적으로, 공동으로 학습된 신경망은 시각적 증거를 선호하는 경향이 있어 촉각 신호가 과소 활용됩니다. 또한, 현재의 접근 방식들은 촉각 예측을 행동 생성과 직접 결적으로 결합하여 접촉 진화의 역학을 모델링하기보다는, 계획 모듈 등을 통해 간접적으로 처리하는 경우가 많습니다.

2. 방법론: VT-WAM

저자들은 VT-WAM(Visual-Tactile World Action Model)을 제안합니다. 이는 플로우 매칭(flow matching) 프레임워크 내에서 미래의 시각 예측, 촉각 변형 예측, 그리고 행동 예측을 공동으로 학습하는 통합 프레임워크입니다. 이 아키텍처는 새로운 어텐션 메커니즘으로 연결된 세 가지 모달리티별 전문가(시각, 촉각, 행동)로 구성됩니다.

핵심 구성 요소

1. 비대칭 혼합 트랜스포머(Asymmetric Mixture-of-Transformers, MoT) 어텐션
글로벌 컨텍스트와 로컬 접촉 역학을 모두 충족하면서도 효율적인 추론을 유지하기 위해, VT-WAM은 다음과 같은 비대칭 리드아웃(readout) 전략을 채택합니다:

• 시각 앵커(Visual Anchor): 행동 토큰은 글로벌 장면 컨텍스트를 설정하기 위해 첫 번째 프레임의 시각 토큰에만 어텐션을 수행합니다. 이를 통해 미래 시각 예측을 제거하여 지연 시간을 줄이는 "비주얼-캐시(visual-cache)" 추론 모드가 가능해집니다.
• 시간적 촉각 역학(Temporal Tactile Dynamics): 행동 토큰은 접촉 진화를 포착하기 위해 전체 촉각 시퀀스에 어텐션을 수행합니다.
• 구현: 학습 중에 모델은 시각, 촉각, 행동 예측을 공동으로 최적화합니다. 추론 중에 미래의 시각 토큰은 마스킹되어 제거되지만, 촉각 전문가는 계속해서 미래의 변형을 예측하며, 행동 전문가는 정적인 시각 앵커와 함께 진화하는 촉각 잠재 시퀀스에 어텐션을 수행합니다.

2. 접촉 게이트형 행동-시각-촉각 어텐션 가이드 (Contact-Gated Action-Visual-Tactile Attention Guidance, AVTAG)
공동 학습 중에 모델이 시각적 우세 현상으로 빠지는 것을 방り하기 위해, VT-WAM은 보조 학습 목적 함수를 도입합니다.

• 메커니즘: AVTAG는 시각적 키($p_v$)에 대한 행동 쿼리의 상대적 어텐션 가중치와 촉각 키($p_t$)에 대한 가중치를 계산합니다.
• 손실 함수: 뚜렷한 촉각 변형이 나타나는 접촉 단계의 행동 토큰에 대해 특정 히ンジ 랭킹 손실(hinge ranking loss)이 적용됩니다. 이 손실은 $p_v > p_t$인 경우를 처벌하여, 물리적 상호작용이 유익한 정보가 될 때 행동 쿼리가 촉각 증거를 우선시하도록 유도합니다.
• 효과: 이는 추론 시의 아키텍처를 변경하지 않고도 접촉 단계 동안 촉각 역학에 의존하도록 모델을 가이드합니다.

학습 및 추론

• 목적 함수: 모델은 시각, 촉각, 행동 토큰의 예측값과 타겟 속도장 사이의 오차를 최소화하는 공동 플로우 매칭 목적 함수($L_{Flow}$)로 학습됩니다. 활성화될 경우, 전체 손실에는 AVTAG 항($L_{Train} = L_{Flow} + \lambda_{AVTAG}L_{AVTAG}$)이 포함됩니다.
• 추론 모드:
  • 공동 추론(Joint Inference): 시각, 촉각, 행동 토큰을 함께 디노이징합니다(분석용).
  • 비주얼-캐시 추론(Visual-Cache Inference): 실제 환경 제어에 사용됩니다. 모델은 현재의 시각적 관측을 고정된 앵커로 유지하고 촉각 및 행동 잠재 변수만을 디노이징하여, 미래의 시각 프레임을 예측하는 계산 비용을 피합니다.

3. 주요 기여

1. VT-WAM의 정식화: 저자들은 촉각 데이터를 단순히 보조 입력으로 사용하는 것이 아니라, 접촉 집약적 조작을 위해 촉각 변형 역학을 시각-촉각-행동 플로우 매칭을 통해 행동 예측과 직접 결합하는 시각-촉각 세계 행동 모델을 정식화했습니다.
2. 아키텍처 혁신: 글로벌 시각 컨텍스트와 로컬 촉각 역학의 필요성을 균형 있게 맞추고 추론 효율성을 높이기 위한 비대칭 MoT 어텐션(시각 앵커와 전체 시간적 촉각 접근 허용) 및 접촉 게이트형 AVTAG(접촉 단계에서의 촉각 의존성 강제)를 도입했습니다.
3. 실증적 검증: 6가지 실제 접촉 집약적 작업에 대한 광범의 평가를 통해, 촉각 변형을 상호작용 역학으로 모델링하는 것이 시각 전용 및 표준 촉각 입력 베이스라인 모델들에 비해 성공률을 유의미하게 향고함을 입증했습니다.

4. 실험 결과

저자들은 손목 카메라와 Xense 촉각 센서가 장착된 7-DoF xArm7 로봇을 사용하여 두 가지 영역, 즉 표면 상호작용 작업(Wipe Board, Wipe Vase, Peel Cucumber)과 제약된 삽입 작업(Insert Plug, Swipe Card, Insert Tube)에서 VT-WAM을 평가했습니다.

• 전반적인 성능: VT-WAM은 평균 성공률 **71.67%**를 달 기록하며, 가장 강력한 베이스라인인 Fast-WAM(45.00%)보다 26.67% 높은 성능을 보였습니다. 또한 OmniVTLA(35.84%)와 RDP(34.17%)를 능가했습니다.
• 작업별 이점:
  • 표면 상호작용: VT-WAM은 81.67%(Fast-WAM의 56.67% 대비)를 달성하여, 지속적인 접촉을 위한 촉각 진화 모델링의 가치를 입증했습니다.
  • 제약된 삽입: VT-WAM은 61.67%(Fast-FAM의 33.33% 대비)를 달성하여, 가려짐이나 좁은 제약 조건 하에서의 미세 정렬을 위한 촉각 역학의 유용성을 강조했습니다.
• 예측 품질: 공동 추론 모드에서 VT-WAM은 exUMI 및 UVA와 같은 베이스라인 모델에 비해 우수한 촉각 예측 품질(더 낮은 $L_2$ 변형 오차 및 더 높은 방향 일관성)을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 촉각 역학: 행동 쿼리가 전체 촉각 시퀀스에 어텐션을 수행하도록 허용하는 것이 (첫 번째 프레임에만 어텐션하는 것보다) 성능을 크게 향상시켰습니다(예: Wipe Vase에서 70% vs 40%). 이는 시간적 진화가 결정적임을 확인시켜 줍니다.
  • AVTAG: 접촉 게이트형 가이드는 성공률을 더욱 향상시켰습니다(예: Wipe Vase에서 85% vs 70%). 이는 접촉 단계에서 촉각 증거에 대한 어텐션을 명시적으로 가이드하는 것이 견고함에 필수적임을 증명합니다.

5. 의의 및 주장

본 논문은 촉각 변형을 시간적 상호작용 역학으로 모델링하는 것이 촉각 데이터를 정적인 정책 입력으로 취급하는 것보다 접촉 집약적 조작에 더 효과적인 접근 방식이라고 주장합니다. 촉각 예측을 행동 생성과 결합함으로써, VT-WAM은 카메라에는 보이지 않는 국소적 접촉 진화(예: 미끄러짐 후 접촉 재설정)에 반응할 수 있게 합니다.

저자들은 VT-WAM을 주로 시각적 역학을 모델링하는 기존의 세계 행동 모델(WAMs)에서 한 단계 나아간 모델로 위치시킵니다. 그들은 제안된 비대칭 MoT 어텐션이 글로벌 시각 컨텍스트의 필요성과 로컬 촉각 역학의 필요성을 성공적으로 균형 있게 맞추며, AVTAG가 희소하지만 중요한 촉각 신호를 모델이 무시하지 않도록 보장한다고 주장합니다.

결론적으로, 저자들은 VT-WAM이 정밀한 촉각 모델링을 위한 개별 작업 특화에 집중하고 있음을 언급하며, **멀티 태스크 학습 및 스케일링 법칙(scaling laws)**은 향후 연구를 위한 미개척 방향으로 남겨두며 겸허하게 마무리하였습니다.