TacSE3: Equivariant SE(3) Motion Estimation from Low-Texture Visuotactile Images for In-Gripper Tracking and Compensation

기술 요약: TacSE3 – 저질감 시각촉각 이미지로부터의 등변 SE(3) 운동 추정

문제 제기
로봇의 손내 조작 (in-hand manipulation) 은 종종 가려짐 (occlusion) 이나 뚜렷한 시각적 특징의 부재로 인해 시각적 추적이 실패하는 상황에 직면합니다. 시각 기반 촉각 센서 (VBTS) 는 접촉이 풍부한 상호작용을 위한 유망한 대안을 제공하지만, 이미지 질감, 마커 추적, 또는 조밀한 광학 흐름에 의존하는 기존 운동 추정 파이프라인은 저질감 또는 대칭적인 물체 (예: 광택이 난 구) 에서는 어려움을 겪습니다. 이러한 조건에서 미세한 회전 운동은 외관 변화를 최소화하여 대응점 기반 방법들을 신뢰할 수 없게 만듭니다. 또한, 단일 센서 설정은 종종 병진 운동과 회전 운동 사이의 모호함에 시달리는데, 이는 둘 다 유사한 국부적 변형 패턴을 생성할 수 있기 때문입니다. 본 논문은 명시적인 질감 매칭에 의존하지 않고 저질감 촉각 이미지로부터 직접 신뢰할 수 있는 SE(3) 운동 추정을 구축하는 과제를 다룹니다.

방법론: TacSE3 파이프라인
제안된 방법인 TacSE3 는 촉각 이미지를 질감 있는 시각적 입력이 아닌 접촉의 기하학적 측정으로 재해석합니다. 파이프라인은 다음 단계들을 통해 진행됩니다:

1. 분리된 3D 힘장 (Force Field) 구축:
   이미지 특징을 추적하는 대신, 이 방법은 원시 촉각 관측치를 처리하여 조밀한 3D 힘장을 재구성합니다. 조밀한 색상 패턴 VBTS(특히 DM-Tac) 를 사용하여, 시스템은 촉각 응답을 접선 (전단) 성분과 수직 성분으로 분해합니다. 이는 평면 변위장의 헬름홀츠 - 호지 (Helmholtz–Hodge) 분해를 통해 달성되며, 회전이 없는 (발산) 성분과 발산이 없는 (회전) 성분을 분리하여 수직 및 전단 힘의 공간 분포를 유도합니다.

2. 접촉점 및 운동 대리자 생성:
   시스템은 유의미한 수직 응답을 기반으로 활성 접촉 영역을 식별합니다. 각 유효 픽셀에 대해 국부 촉각 좌표계에서 3D 접촉점이 구성됩니다. 접선 및 수직 힘 응답은 국부 속도 대리자로 보정되어 접촉점의 순간 운동을 근사합니다.

3. SE(3) 강체 추정:
   국부 속도 대리자들은 강체 트위스 방정식 ($v = \omega \times q + t$) 을 사용하여 모델링됩니다. 추정 과정은 특정 분리 전략을 사용합니다:

   • 병진 운동: 평면 병진 운동은 회전과 함께 공동으로 피팅되는 것이 아니라 센서 평면상에서 접촉 중심점의 운동으로부터 엄격하게 유도됩니다.
   • 회전 운동: 회전은 전단 관련 운동 제약 조건을 강체 모델에 피팅하여 별도로 추정됩니다.
     이 분리는 종종 결합된 병진 - 회전 최소제곱 문제에서 발견되는 불량 조건 (ill-conditioning) 을 피하고 물리적으로 해석 가능한 신호를 제공합니다.

4. 시간적 통합 및 등변성:
   추정된 순간 트위스는 SE(3) 매니폴드상의 지수 사상을 사용하여 시간에 따라 통합되어 연속적인 포즈 궤적을 생성합니다. 이 방법은 등변 좌표 일관성을 보장합니다: 추정된 운동은 엔드 이펙터 좌표계에서 정의되므로, 동일한 기본 물체 운동이 로봇의 전역 포즈 변화나 센서상의 특정 접촉 위치 변화와 관계없이 일관된 추정을 산출합니다.

5. 이중 센서 융합:
   병진 - 회전 모호성을 해결하기 위해, 시스템은 반대쪽 그리퍼 손가락에 장착된 두 개의 촉각 센서를 활용합니다. 반사된 좌표계를 고려하기 위해 부호 행렬 변환을 적용하여 트위스 추정을 융합합니다. 이를 통해 시스템은 일관된 힘 방향을 생성하는 병진 운동과 반대되는 힘 패턴을 생성하는 회전 운동을 구별할 수 있습니다.

6. 잔여 제어 통합:
   추정된 SE(3) 운동은 촉각 기하학적 잔여물로 간주됩니다. 이는 기존 베이스 정책 (예: Action Chunking with Transformers) 과 함께 경량 후처리 신호 ($u_{final} = u_{policy} + \Delta u_{tactile}$) 로 융합되어 베이스 정책을 재학습하지 않고도 로봇 행동을 정제합니다.

주요 기여

• 기하학적 상태 공식화: 본 논문은 저질감 감지를 위한 촉각 -SE(3) 추정을 질감 의존 대응점 매칭에서 벗어나 국부 강체 운동에 초점을 맞춘 기하학적 상태 추정 문제로 공식화합니다.
• 힘장 분리: 이 방법은 원시 촉각 관측치를 3D 힘장으로 분리하고 물리적으로 근거 있는 SE(3) 모델을 통해 강체 트위스를 재구성하는 파이프라인을 제안하며, 특히 중심점 기반 병진 운동을 전단 기반 회전 운동에서 분리합니다.
• 이중 센서 모호성 감소: 이 작업은 단일 센서 설정에 비해 이중 센서 구성이 병진과 회전 사이의 모호성을 현저히 감소시킨다는 것을 입증합니다.
• 경량 보상: 이 방법은 하류 조작 작업에서의 방해 내성을 향상시키기 위해 후처리 모듈로 부착될 수 있는 회전 신호를 제공하며, 기본 제어 정책을 수정하지 않습니다.

실험 결과
실험은 이중 DM-Tac 센서가 장착된 UR5 로봇을 사용하여 수행되었습니다:

• 회전 정확도: 잡힌 공의 제어된 회전 (30°, 60°, 90°) 을 세 축 ($r_x, r_y, r_z$) 에 걸쳐 수행한 결과, 이 방법은 30° 회전에서 약 3°에서 90° 회전에서 약 12°까지의 평균 각 오차를 달성했습니다. 오차 증가는 더 큰 각도에서의 통합 드리프트 및 접촉 비선형성으로 귀결됩니다.
• 단일 대 이중 센서: 순수 병진 운동 테스트에서 단일 센서 구성은 약 910°의 상당한 회전 드리프트를 보인 반면, 이중 센서 구성은 이 드리프트를 약 1.11.5°로 감소시켜 효과적인 분리를 입증했습니다.
• 일반화: 이 방법은 다양한 기하학 (구, 원통, 불규칙한 형태) 과 표면 질감 (매끄러움, 질감, 나무, 플라스틱) 을 가진 다양한 물체에서 낮은 오차율 (2.6°~4.0°) 을 유지하여 질감이 부족한 조건에 대한 강건성을 확인했습니다.
• 정책 수준 성능: 인간에 의한 방해 (그리기, 기어 삽입, 핀 - 구멍 삽입) 가 포함된 작업에서 촉각 후처리기를 활성화하면 방해 하에서 베이스 정책 단독보다 성공률이 향상되었습니다 (예: 기어 삽입은 방해 하에서 20% 에서 35% 로 성공률 향상).

의의 및 주장
본 논문은 TacSE3 가 저질감 시각촉각 감지와 접촉이 풍부한 그리퍼 내 조작 사이의 실용적인 기하학적 다리를 제공한다고 주장합니다. 이미지 외관보다 접촉 기하학을 우선시함으로써 이 방법은 기존 시각적 또는 질감 기반 촉각 방법이 실패하는 곳에서 신뢰할 수 있는 운동 추정을 달성합니다. 저자들은 이 접근 방식이 글로벌 비전을 대체하거나 장시간 동안 새로운 물체에 대한 완전한 물체 수준 상태 추정을 제공하기 위한 것이 아님을 강조합니다. 대신, 이는 국부 운동 추적 및 보상을 위한 견고하고 해석 가능하며 경량 모듈로 기능하며, 특히 비전이 신뢰할 수 없는 매끄럽고 대칭적이거나 가려진 물체에 특히 유용합니다. 출력의 등변적 성질은 특정 접촉 위치나 로봇 포즈와 관계없이 하류 제어에 대해 신호가 일관되게 유지되도록 보장합니다.