기술 요약: 물리적 로봇 상호작용을 위한 다중 모달 세계 모델

문제 정의

복잡하고 접촉이 풍부한 환경에서 로봇 행동의 결과를 예측하는 것 (즉, "세계 모델" 학습) 은 근본적인 과제로 남아 있습니다. 기존 접근법은 주로 시각 관찰과 행동 입력에 의존하여 비디오 기반 예측을 생성합니다. 그러나 이러한 단일 모달 시스템은 물리적 상호작용을 이해하는 데 있어 촉각 피드백의 중요한 역할을 간과하는 경향이 있으며, 특히 물리적으로 모호하지만 시각적으로 구별되지 않는 경우 (예: 다양한 마찰력 또는 질량) 에 그렇습니다. 이러한 한계는 물리적 로봇 상호작용 (PRI) 작업에서 더 높은 잠재 변수와 예측 불확실성을 초래합니다.

방법론

제안된 아키텍처: SPOTS

저자들은 SPOTS(Simultaneous Prediction of Optical and Tactile Sensations, 광학 및 촉각 감각의 동시 예측) 라는 생체 모방형 듀얼 파이프라인 세계 모델을 소개합니다. 모달리티를 단일 공유 잠재 공간으로 융합하는 기존 접근법과 달리, SPOTS 는 비전과 촉각에 대한 별도의 예측 파이프라인을 유지하면서 모달 간 상호작용을 가능하게 합니다.

• 듀얼 파이프라인 설계: 이 아키텍처는 두 개의 고유한 프레임 예측 네트워크를 사용합니다:
  1. 비전 파이프라인: 확률론적 가정과 잠재 변수를 사용하여 미래 비디오 프레임을 예측하는 Stochastic Video Generator (SVG) [12] 기반.
  2. 촉각 파이프라인: 자기 기반 촉각 센서 데이터에 최적화된 Action-Conditioned Tactile Prediction (ACTP) 네트워크 [29] 기반.
• 모달 간 통합: 파이프라인은 다중 모달 퓨전 모델 (MMFM) 계층을 통해 연결됩니다. 이를 통해 인코딩된 장면 데이터가 촉각 예측에 정보를 제공하고 그 반대의 경우도 가능하게 하여, 모달별 귀납적 편향 (예: 비전을 위한 광학 흐름) 을 유지하면서도 모달 간 학습을 촉진합니다.
• 대안 아키텍처: 본 연구는 SPOTS 를 다음과 비교합니다:
  • SVG-TE: 과거 촉각 데이터에 조건부인 비전 전용 모델.
  • SVTG: 인코딩 전에 시각 및 촉각 데이터를 연결하는 단일 파이프라인 모델.
  • 베이스라인: 표준 SVG(비전 전용) 및 ACTP(촉각 전용).

데이터셋

이러한 모델들을 평가하기 위해 저자들은 Xela uSkin 자기 촉각 센서와 Intel RealSense D345 카메라가 장착된 Franka Emika Panda 로봇을 사용하여 두 가지 새로운 촉각 - 시각 로봇 밀기 데이터셋을 수집했습니다:

1. 가정용 물체 군집 데이터셋: 가정용 물체 군집 (YCB 데이터셋) 을 포함하는 5,500 회의 시도를 포함합니다. 이는 보인 및 보지 않은 물체 군집에 대한 일반화를 테스트합니다.
2. 시각적으로 동일한 데이터셋: 물리적 모호성을 분리하도록 설계되었습니다. 이는 서로 다른 위치에 사포 (마찰 마커) 가 부착된 단일 무거운 물체를 사용합니다. 시각적으로 시도는 동일하지만, 마찰력에 따라 물리적 결과가 다릅니다. 이 데이터셋에는 1,000 개의 훈련 상호작용과 600 개의 테스트 상호작용이 포함되며, 동일한 시각 입력에도 불구하고 마찰 위치가 물체의 궤적을 극적으로 변경하는 특정 "엣지 케이스" 하위 집합이 있습니다.

훈련 및 평가

모델들은 확률론적 비디오 예측 프레임워크를 사용하여 엔드 - 투 - 엔드로 훈련되었습니다. 목표는 컨텍스트 프레임 ($c$) 과 로봇 행동이 주어졌을 때 예측 지평선 ($H$) 에 걸쳐 예측된 프레임과 관찰된 프레임 (비디오 및/또는 촉각) 간의 차이를 최소화하는 것입니다.

• 지표:
  • 시각: 피크 신호 대 잡음비 (PSNR), 구조적 유사성 지수 (SSIM), 평균 절대 오차 (MAE).
  • 촉각: 힘 궤적 (수직 및 전단 힘) 에 대한 평균 절대 오차 (MAE).
• 절차적 연구: 저자들은 성능 향상이 모델 용량의 증가가 아닌 능동적인 모달 간 통합에서 비롯됨을 검증하기 위해 "감각 제거" 실험 (촉각 입력을 무감각화하거나 시각 입력을 가림) 을 수행했습니다.

주요 결과

1. 시각적으로 모호하지 않은 영역에서의 성능

물체 역학이 시각적으로 추론 가능한 가정용 물체 군집 데이터셋에서, 촉각 - 시각 통합은 제한된 이점을 제공했습니다.

• SPOTS 와 비전 전용 베이스라인 (SVG) 은 유사한 성능을 보였습니다.
• 그러나 SPOTS 기반 모델은 비전 전용 베이스라인에 비해 보지 않은 물체 군집에 대해 약간 더 나은 일반화를 보여주었는데, 이는 즉각적인 예측에 반드시 필요하지 않더라도 촉각 통합이 견고한 물리적 사전 지식을 학습하는 데 도움이 됨을 시사합니다.

2. 물리적으로 모호한 영역에서의 성능

마찰력과 물리적 속성을 시각만으로는 추론할 수 없는 시각적으로 동일한 데이터셋과 엣지 케이스 데이터셋에서, 촉각 - 시각 통합은 중대한 개선을 가져왔습니다.

• 시각 예측: SPOTS 모델은 비전 전용 베이스라인보다 낮은 MAE 와 더 나은 물체 국소화를 달성했습니다. 엣지 케이스에서 SPOTS 는 물체의 최종 위치를 올바르게 예측한 반면, 비전 전용 SVG 모델은 마찰로 인한 궤적 변화를 고려하지 못했습니다.
• 촉각 예측: SPOTS 는 최첨단 촉각 전용 모델 (ACTP) 과 단일 파이프라인 SVTG 를 모두 크게 능가했습니다. SPOTS 는 힘의 과도 현상과 스파이크를 정확하게 예측한 반면, 비전 최적화 아키텍처를 통해 촉각 데이터를 강제로 통과시키는 SVTG 는 열악한 촉각 예측을 생성했습니다.
• 장기 예측: 예측 지평선이 훈련 창을 넘어 확장됨에 따라, 비전 전용 모델에서 오차 누적이 더 두드러졌습니다. 촉각이 가능한 모델 (SPOTS) 은 접촉 정보로 내부 상태를 업데이트함으로써 더 유연하게 저하되어 안정적인 예측을 유지했습니다.

3. 절차적 및 감각 제거

추론 중 촉각 입력이 "무감각화" (접촉이 없는 값으로 대체) 되었을 때, 촉각이 가능한 모델의 성능은 비전 전용 베이스라인과 일치할 정도로 떨어졌습니다. 이는 개선 사항이 모델이 시각 특징을 학습할 수 있는 용량이 아니라 예측 과정 중 촉각 신호의 능동적 통합에 의해 주도됨을 확인시켜 줍니다.

중요성 및 주장

이 논문은 촉각 및 시각 신호의 동시 예측이 물리적 로봇 상호작용, 특히 물리적 모호성 하에서 가장 효과적인 접근법이라고 주장합니다.

• 설계 원칙: 저자들은 SVTG 와 같이 이질적인 감각 모달리티를 단일 공유 잠재 공간으로 강제하는 것은 모달별 충실도를 훼손할 수 있다고 주장합니다. 대신, SPOTS 와 같이 제한된 모달 간 결합을 가진 별도의 파이프라인을 유지하는 것이 더 우수한 편향 - 분산 트레이드오프를 제공합니다.
• 견고성: 다중 모달 접근법은 한 모달리티가 다른 모달리티의 누락되거나 저하된 정보를 부분적으로 보상할 수 있도록 하여 견고성을 향상시킵니다 (예: 시각 가림 또는 모호한 시각 단서).
• 범위: 본 연구는 로봇 밀기에 초점을 맞추고 있지만, 저자들은 이 비지도 다중 모달 학습 프레임워크가 잡기, 손 안 조작, 인간 - 로봇 협업을 포함한 더 넓은 PRI 작업에 적용 가능하다고 제시합니다.

이 연구는 시각 데이터만으로는 물리적 인과 관계를 해결하기에 불충분한 시나리오에서 특히, 신중하게 설계된 다중 모달 예측 아키텍처가 물리적 상호작용 인식을 크게 향상시킬 수 있음을 결론지었습니다.