TACTFUL: Tactile-Driven Exploration For Object Localization and Identification in Confined Environments

기술 요약: TACTFUL

문제 정의

로봇 조작은 전통적으로 객체 위치 파악 및 식별을 위해 시각에 의존해 왔으며, 촉각 센싱은 부차적이거나 교정용 모달리티로 취급되어 왔습니다. 그러나 시각적으로 가려져 있거나 협소한 환경(예: 창고 빈, 복잡한 가방 내부)에서는 시각 정보가 신뢰할 수 없거나 불가능합니다. 인간은 촉각과 기하학적 사전 지식을 활용하여 손쉽게 물체를 찾고 식별할 수 있는 반면, 로봇 시스템은 자율적인 촉각 탐색에 어려움을 겪습니다. 기존의 촉각 접근 방식은 단순화된 접촉 신호, 시뮬레이션 기반 학습 또는 수작업으로 설계된 휴리스틱에 의존하는 경우가 많으며, 미지의 작업 공간에서 객체를 발견하고 그 기하학적 구조를 재구성하여 식별하는 결합된 과제에 대해 고충실도 성능을 실세계 하드웨어에서 입증하는 사례는 제한적입니다.

방법론

본 논문은 다지형(multi-fingered) 로봇이 폐쇄된 작업 공간을 자율적으로 탐색하고, 접촉을 통해 객체를 발견하며, 촉각 재구성을 통해 이를 식별할 수 있게 하는 비시각적(vision-free) 프레임워크인 TACTFUL을 제시합니다. 이 시스템은 시뮬레이션 사전 학습 없이 전적으로 실제 하드웨어 상에서 작동합니다.

1. 하드웨어 및 설정

시스템은 UR10e 로봇 팔에 장착된 5지형 **Inspire RH56DFTP 시리즈 데스크터러스 핸드(Dexterous hand)**를 사용합니다. 해당 핸드는 법선 접촉력을 측정하는 **1,062개의 저항성 택셀(taxel)**을 갖추고 있습니다. 작업 공간은 임의의 위치에 배치된 3D 프린팅 객체들을 포함하며, 경계가 알려진 빈(bin) 형태입니다. 카메라는 사용되지 않습니다.

2. 학습 프레임워크 (POMDP)

이 과제는 **부분 관측 가능 마르코프 결정 과정(POMDP)**으로 정식화되었습니다. 에이전트는 축적된 촉각 피드백과 고유 수용 감각(proprioception)만을 사용하여 객체의 위치와 형상을 추론해야 합니다.

• 관측 공간 ($O$): 엔드 이펙터 포즈, 관절 각도, 핸드 구성 등의 고유 수용 데이터와 고해상도 촉각 판독값을 포함합니다. 결정적으로, 이는 촉각 접촉의 이력을 공간적 범위와 기하학적 구조의 표현으로 압축하는 자가 지도 학습 기반 트랜스포머 인코더인 Sonata에 의해 생성된 촉각 포인트 클라우드 임베딩($c_t$)을 포함합니다.
• 행동 공간 ($A$): 엔드 이펙터 포즈의 증분 변화($\Delta p_t$) 및 손가락 관절 각도의 변화($\Delta h_t$)로 정의됩니다.
• 상태 표현: 시간적 의존성을 처리하기 위해, 상태는 마지막 $k=10$개의 관측 시퀀스로 구성되며, 셀프 어텐션 메커니즘을 갖춘 트랜스포머 아키텍처에 의해 처리됩니다.

3. 학습 전략: BC 초기화 + PPO

실제 환경에서 직접 강화 학습(RL)을 통해 촉각 정책을 학습하는 것은 비효der적이고 위험합니다. TACTFUL은 2단계 학습 파이프라인을 채택합니다:

1. 행동 복제(BC) 초기화: 정책은 5,311개의 촉각 전용 원격 조종 데모를 통해 오프라인에서 사전 학습됩니다. BC 모델은 전문가의 행동(델타 포즈 및 구성)으로부터 관측 상태를 회귀(regress)하는 법을 학습하여, 기본적인 접촉 전략과 국소 탐색 패턴을 포착합니다.
2. 온라인 PPO 학습: BC 정책은 근사 정책 최적화(PPO) 프레임워크 내에서 액터(actor)를 초기화합니다. 이후 실제 하드웨어 상에서 정책이 온라인으로 정교화됩니다.
   • 크리틱 네트워크(Critic Network): 가치 추정을 안정화하기 위해 "특권 정보(privileged information)"(대상 객체의 근사 6-DoF 포즈)를 수신하지만, 이는 배포 중 액터에게는 제공되지 않습니다.
   • 액터 네트워크(Actor Network): 크리틱과 동일한 트랜스포머 아키텍처를 사용하지만, 관찰 가능한 촉각 및 고유 수용 데이터에만 의존합니다.

4. 동적 보상 스케줄

복합 보상 함수는 에피소드 수평선($T$) 내에서 시간이 흐름에 따라 변하는 가중치를 적용하여, 에이전트를 탐색 및 정밀화의 서로 다른 단계로 안내합니다.

• 접촉 보상 ($r_{contact}$): 새로운 공간적으로 구별되는 접촉 지점(이전 접촉으로부터 5mm보다 큰 새로운 택셀 활성화)을 장려하여 고해 resolution 표면 피복을 유도합니다.
• 탐색 보상 ($r_{explore}$): 에이전트가 작업 공간의 새로운 영역을 방문하도록 권장합니다(1cm$^3$ 복셀 그리드를 통해 추적). 이는 국소 최적해(local minima)를 방지하고 전역적 발견을 보장하기 위함입니다.
• 재구성 보상 ($r_{recon}$): 현재의 조밀한 재구성과 실제 정답(ground truth) 사이의 Chamfer distance를 측정하여 부정확한 형상 표현에 페널티를 부여합니다.
• 스케줄: 에피소드 초기에는 객체 발견을 용이하게 하기 위해 $r_{explore}$의 가중치가 높게 설정됩니다. 에피소드가 진행됨에 따라 $r_{contact}$와 $r_{recon}$의 가중치가 증가하여 표면 정밀화와 기하학적 정확도를 우선시합니다.

5. 형상 완성 (Shape Completion)

희소한(sparse) 촉각 포인트 클라우드는 **사전 학습된 포인트 클라우드 확산 모델(diffusion model)**로 전달되어 조밀하고 완전한 객체 기하 구조를 생성합니다. 이 모델은 알려진 객체 라이브러리에 대한 학습된 사전 지식(prior) 역할을 수행하여, 희소한 촉각 데이터와 전체 3D 형상 사이의 간극을 메우고 식별을 돕습니다.

주요 기여

1. 학습된 촉각 탐색 정책: 시각 없이 촉각 센싱만을 사용하여 폐쇄된 작업 공간을 자율적으로 탐색하고 객체를 국지화할 수 있는 단일 정책을 개발했습니다.
2. 동적 보상 스케줄: 전역적 작업 공간 탐색과 국소적 접촉 정밀화 사이의 균형을 맞추고, 3D 재구성을 가이드하기 위해 객체 수준의 기하학적 사전 지식을 활용하는 시간 가변적 보상 메커니즘을 도입했습니다.
3. 실세계 검증: 시각 정보 없이 재구성된 촉각 기하 구조만을 기반으로 한 신뢰할 수 있는 객체 위치 파악 및 식별을 입증했습니다. 이는 시뮬레이션 없이 전적으로 실제 하드웨어에서 학습되었습니다.

실험 결과

프레임워크는 빈(bin) 안에 배치된 세 가지 기하학적으로 다양한 실제 객체(큐브, 변형된 실린더, 변형된 컵)에 대해 평가되었습니다. 로봇은 방해 요소들 사이에서 특정 타겟을 찾는 과제를 수행했습니다.

• 성능: TACTFUL 방식은 77%의 성공률(객체 평균)과 평균 0.015m의 Chamfer-L2 재구성 오차를 달enc했습니다.
• 비교:
  • 휴리스틱 베이스라인(0.416–0.5 성공률)보다 우수한 성능을 보였으며, 이는 접촉 피드백으로부터의 학습이 결여되었기 때문입니다.
  • BC 전용(0.416–0.583 성공률)보다 높은 성능을 보여, 온라인 RL 적응의 가치를 입증했습니다.
  • BC 초기화 없는 RL(0.583–0.75 성공률)보다 우수한 성능을 보여, BC 초기화가 안전하고 효율적인 실세계 학습을 위한 중요한 구조적 사전 지식을 제공함을 확인했습니다.
• 어블레이션 연구(Ablation Studies):
  • 단일 보상 성분($r_{contact}$, $r_{explore}$, 또는 $r_{recon}$)이라도 제거할 경우 성능이 크게 저하되었으며, 이는 탐색, 접촉 품질, 재구성 정확도 사이의 균형이 필수적임을 확인시켜 줍니다.
  • 형상 완성 모델을 제거하면 성공률이 34%로 급감하였으며, 이는 희소한 촉각 데이터에 내재된 기하학적 모호성을 해결하는 데 있어 해당 모델의 역할을 강조합니다.

의의 및 주장

본 논문은 TACTFUL이 촉각 센싱을 단순히 시각의 반응적 백업 수단이 아니라, 구조화되지 않았거나 가려진 환경에서 객체 수준의 추론을 위한 **효과적인 주 모달리티(primary modality)**로 기능할 수 있음을 보여준다고 주장합니다. 구조화된 학습(BC), 동적 보상 형성, 형상 완성 사전 지식을 결합함으로써, 시스템은 시각 입력 없이도 견고한 객체 위치 파악 및 식별을 달성합니다. 저자들은 현재의 연구가 3개의 객체로 구성된 알려진 라이브러리와 정적인 장면에 국한되어 있으나, 결과적으로 시각이 차단된 실제 환경에서의 자율적 촉각 추론 가능성을 검증했다고 밝히고 있습니다.