기술 요약: 시각 및 촉각을 통한 추론 시점 정책 스티어링 (ViTaL)

문제 정의

추론 시점 스티어링(Inference-time steering)은 실행 전 후보 행동을 검증하거나 정교화함으로써, 재학습 없이 배포 중인 사전 학습된 생성 로봇 정책(예: 확산 정책)을 적응시키는 기술입니다. 최근의 방법론들은 장기적 과업 검증을 위해 시각적 관측을 성공적으로 활용하고 있으나, 시각만으로는 **접촉이 풍부한 조작(contact-rich manipulation)**을 수행하기에 불충분한 경우가 많습니다. 피펫팅, 닦기, 또는 삽입과 같은 작업에서는 전역적인 의미론적 진행(시각을 통해 관찰 가능)뿐만 아니라, 접촉력이나 파지 안정성과 같은 미세한 국소적 물리적 상호작용(촉각을 통해 관찰 가능)이 모두 중요합니다.

현재의 접근 방식들은 이러한 모달리티를 통합하는 데 있어 두 가지 주요 과제에 직면해 있습니다:

1. 시간적 척도에 따른 모달리티 의존적 관측 가능성: 시각적 결과는 의미론적 모드(예: 올바른 컵을 향해 이동하는 것)를 구분하기 위해 장기적인 예측이 필요한 반면, 촉각적 결과는 국소적이고 일시적(예: 쥐어짤 때 발생하는 힘의 적용)이며, 장기적인 시각적 예측에서는 가려지는 경우가 많습니다.
2. 다중 모달 보상 모델링: 시각적 결과와 촉각적 결과의 상대적 중요성이 과업 단계에 따라 변하기 때문에 통일된 보상 함수를 정의하는 것이 어렵습니다. 단일 보상 함수는 전역적인 과업 진행과 미세한 접촉 요구 사항(예: 부드러운 파지와 놓침의 구분) 사이의 균형을 맞추는 데 어려움을 겪습니다.

방법론: ViTaL 프레임워크

저자들은 ViTaL(Visuo-Tactile Latent Steering)을 제안하며, 이는 다중 모달 가이던스를 **이중 레벨 최적화 문제(bi-level optimization problem)**로 정식화합니다. 이 접근 방식은 시각과 촉각의 자연스러운 시간 척도에 맞춰 스티어링을 두 단계로 분해합니다.

1. 이중 레벨 최적화 정식화

목표는 시각적 사전 지식(prior)을 준수하면서 과업 조건부 보상을 최대화하는 행동 시퀀스 $a^*_{t:t+h}$를 선택하는 것입니다.

• 내부 최적화 (시각적 모드 선택): 시스템은 기본 정책으로부터 장기 행동 시퀀스($H$ 단계)를 샘플링합니다. 이들은 **시각-촉각 잠재 세계 모델(visuo-tactile latent world model)**을 사용하여 미래 상태를 예측하며 롤아웃됩니다. **시각적 검증기(visual verifier)**는 과업 목표를 향한 의미론적 진행을 기준으로 이 예측들에 점수를 매깁니다. 가장 높은 시각적 보상 $\bar{a}_{t:t+H}$를 가진 시퀀스가 전역 행동 모드로 선택됩니다.
• 외부 최적화 (촉각 정교화): 시각적으로 선택된 시퀀스의 첫 $h$ 단계가 "행동 앵커(action anchor)" 역할을 합니다. 시스템은 이 앵커를 정교화하기 위해 단기($h$ 단계) 확산 편집(diffusion editing)을 수행합니다. **촉각 검증기(tactile verifier)**는 예측된 촉각 미래에 점수를 매기며, 정책은 시각적 계획에 근접하면서도 국소적 접촉 제약 조건을 충족하는 행동을 선호하도록 재가중됩니다.

2. 시각-촉각 잠재 세계 모델

결과 기반 스티어링을 지원하기 위해, ViTaL은 잠재 공간에서 직접 시각 및 촉각 미래 상태를 예측하는 학습된 잠재 세계 모델($p_\phi$)을 채택합니다.

• 구조: 관측치를 잠재 상태($z_v, z_\tau$)로 매핑하기 위해 고정된 인코더(시각용 DINOv3, 촉각용 AnyTouch)를 사용합니다. 행동 조건부 트랜스포머는 미래의 조인트 잠재 상태를 재귀적으로 예측합니다.
• 효율성: 잠재 공간에서 작동함으로써, 모델은 모든 후보 행동에 대해 전체 이미지나 촉각 맵을 디코딩하는 계산 비용을 피하여 효율적인 텍스트 조건부 가이던스를 가능하게 합니다.

3. 의미론적으로 정렬된 검증기

ViTaL은 언어를 공유된 과업 표현으로 사용하여 시각적 및 촉각적 추론을 연결합니다. 시각-언어 모델(VLM)은 상위 수준의 지침을 단계별 텍스트 목표($\ell^v_p, \ell^\tau_p$)로 분해합니다.

• 시각적 검증기: 예측된 시각적 잠재 상태를 RGB 이미지로 디코딩하고, 제로샷 보상 모델(ROBOMETER)을 사용하여 의미론적 진행(예: "로봇이 파란색 컵을 향해 움직이고 있는가?")을 평가합니다.
• 촉각 검증기: 예측된 촉각 잠재 임베딩과 접촉 목표의 텍스트 임베딩(예: "가볍게 쥐기") 사이의 코사인 유사도를 계산합니다. 이는 텍스트 조건부 촉각 보상을 구성하며, 이를 통해 시스템은 특정 과업을 위한 보상 함수를 직접 설계하거나 촉각 이미지를 디코딩하지 않고도 촉각 미래를 점수화할 수 있습니다.

4. 추론 시점 최적화

스티어링 과정은 샘플링 기반의 시각적 선택과 촉각 정교화를 위한 확산 편집을 결합합니다.

• 시각 단계: $N$개의 장기 궤적을 샘플링하고, 이를 세계 모델에서 롤아웃한 뒤, 시각적 검증기를 기준으로 최적의 궤적을 선택합니다.
• 촉각 단계: 선택된 시각적 앵커를 확산 편집의 조건으로 취급합니다. 앵커를 부분적으로 노이즈화하고 디노이징 과정을 촉각 보상이 높은 행동 쪽으로 편향시켜, 접촉 실행을 효과적으로 정교화합니다.

주요 기여

1. 이중 레벨 다중 모달 가이던스: 시각을 통한 장기적 의미론적 모드 선택과 촉각을 통한 표적화된 단기 접촉 정교화를 사용하여 모달리티 간의 시간적 척도 불일치 문제를 해결하는 프레임워크입니다.
2. 언어 조건부 촉각 보상: 텍스트 설명을 사용하여 정렬된 잠재 공간에서 예측된 촉각 미래를 점수화하는 새로운 촉각 검증기를 도입했습니다. 이는 다양한 과업 단계에 유연하게 대응할 수 있는 확장 가능한 데몬스트레이션 없는 촉각 검증을 가능하게 합니다.
3. 잠재 세계 모델링: 디코딩 없이도 다중 모달 결과를 잠재 공간에서 효율적이고 직접적으로 점수화할 수 있는 시각-촉각 잠재 세계 모델을 통합했습니다.

실험 결과

저자들은 GelSight Mini 센서가 장착된 Franka Emika 로봇을 사용하여 세 가지 실제 접촉 풍부 조작 과업(피펫 이송, 닦기, 핀 삽입)에 대해 ViTaL을 평가했습니다.

• 성능 향상: ViTaL은 기본 정책 대비 전체 과업 성공률을 51% 향상시켰습니다. 또한 단일 모달 스티어링(시각 전용 또는 촉각 전용)보다 최소 33% 우수한 성능을 보였으며, 단순한 보상 합산 방식인 나이브 다중 모달 퓨전(naive multimodal fusion)보다 최소 20% 더 높은 성능을 기록했습니다.
• 실패 모드: 시각 전용 스티어링은 전역적 정렬에는 성공했으나 국소적 접촉 오류(예: 액체 흘림)로 인해 실패하는 경우가 많았습니다. 촉각 전용 스티어링은 접촉은 개선했으나 전역 목표를 놓치는 경우가 있었습니다. ViTaL은 이 두 가지 실패 모드를 모두 성공적으로 해결했습니다.
• 보상 정확도: 제안된 검증기들은 예측된 미래를 실제 정답(ground truth)과 비교했을 때 높은 선호도 순위 정확도(시각 약 85%, 촉각 약 81%)를 달anim하여, 잠재 세계 모델과 의미론적 검증기의 신뢰성을 입증했습니다.
• 효율성: 이중 레벨 접근 방식은 나이브 퓨전과 비교하여 성공률과 추론 속도 사이의 더 나은 트레이드오프를 제공했습니다. 추론 단계당 단 0.05초만을 추가하면서도 실패율을 크게 줄였습니다.

의의 및 주장

본 논문은 ViTaL이 재학습이나 광범한 과업별 보상 엔지니어링 없이도 사전 학습된 로봇 정책을 접촉 풍부한 과업에 대해 견고하게 만드는 중요한 진전임을 주장합니다. 시각적 모드 선택과 촉각 정교화로 스티어링 문제를 분해함으로써, 이 방법은 시각(전역 문맥)과 촉각(국소 정밀도)의 상호 보완적인 강점을 활용합니다.

저자들은 자신들의 텍론 조건부 촉각 보상이 로봇 조작을 위한 최초의 형태이며, 이를 통해 유연하고 언어 중심적인 접촉 추론이 가능하다고 강조합니다. 저자들은 시스템의 충실도가 잠재 세계 모델(누적 오차가 검증에 영향을 줄 수 있음)에 의존하며, 촉각 인코더가 현재 현대적인 VLM에 비해 작은 데이터셋으로 사전 학습되었다는 점을 언급하며 한계점을 인정했습니다. 그러나 결과는 다중 모달 추론 시점 스티어링이 더 적응 가능하고 신뢰할 수 있는 로봇 조작을 향한 유망한 경로임을 시사합니다.