기술 요약: AetheRock 및 ForceVT

문제 정의

힘(Force)과 촉각(Tactile) 감지는 접촉이 빈번한 로봇 조작(contact-rich manipulation)에 필수적이지만, 현재의 로봇 학습 시스템은 이러한 양상(modalities)을 효과적으로 통합하는 데 있어 상당한 장애물에 직면해 있습니다. 기존 방식은 부피가 크고 표준 그리퍼에 적응하기 어려운 고가의 6축 힘/토크(F/T) 센서에 의존하거나, 제조상의 불일치(예: 불완전한 젤 혼합) 및 시간 경과에 따른 퇴화(예: 가장자리 들뜸, 스크래치)로 인해 발생하는 비전-촉각 센서를 활용합니다. 이러한 물리적 결함은 촉각 데이터가 센서 간 또는 센서의 수명 주기 동안 크게 달라지는 "충실도 불일치(fidelity inconsistencies)"를 초과하여 모델 성능을 저하시킵니다. 또한, 현재의 웨어러블 데이터 수집 시스템은 인간 작업자의 파지(grip)와 직접 통합된 견고하고 저렴한 힘 감지 능력이 부족하여, 힘 유도 학습(force-guided learning) 데이터의 품질을 제한하고 있습니다.

방법론

1. 하드웨어: AetheRock

저자들은 그리퍼의 힘, 시각, 촉각 데이터를 동기화하여 수집하도록 설계된 암 웨어러블(arm-worn) 로봇 티칭 시스템인 AetheRock을 소개합니다. 이 시스템은 세 가지 핵심 하드웨어 혁신을 특징으로 합니다:

• GelSlim-MiniFab: GelSlim 4.0에서 영감을 얻었으나 저비용 제조 및 수리 용이성에 최적화된 새로운 비전-촉각 센서입니다. 값비싼 3D 아크릴 대신 2D 절단 아크릴을 사용하며, 빠른 수리를 위해 교체 가능한 RGB 플레이트와 실리콘 케이스를 갖추고 있으며, 다양한 그리퍼에 쉽게 조립할 수 있도록 설계되었습니다.
• 저항성 압력 센서(Resistive Pressure Sensor): 6축 F/T 센서의 비용과 크기 문제를 피하기 위해, 시스템은 인간의 손가락 접촉 영역에 장착된 저항성 압력 센서를 채택했습니다. 이는 로봇 학습에 적합한 견고한 그리퍼 힘 데이터를 제공합니다.
• 모듈형 PCB 및 웨어러블 키트: 시스템은 오렌지 파이(Orange Pi) 컨트롤러, 그리퍼 폭 측정을 위한 자기식 로터리 인코더, 압력 센서를 위한 ADC 모듈을 포함하는 커스텀 모듈형 PCB 설계를 사용하며, 이를 인체공학적인 암 웨어러블 키트에 통합했습니다. 이를 통해 안정적인 연결성과 2시간 이상의 편안한 데이터 수집을 보장합니다.
• 데이터 처리: 시스템은 PC와 컨트롤러 간의 고정밀 네트워크 시간 프로토콜(NTP) 동기화(10ms 지연 시간), 촉각 이미지의 원근 왜곡을 교정하기 위한 기하학적 캘리브레이션 파이프라인, 그리고 저항성 압력 센서를 위한 조각별 선형(piecewise linear) 캘리브레이션을 구현합니다.

2. 알고리즘: ForceVT

AetheRock 시스템을 기반으로, 저자들은 **충실도 불가지론적 촉각 학습(fidelity-agnostic tactile learning)**을 달로하기 위해 설계된 표현 학습 프레임워크인 ForceVT를 제안합니다. 이 알고 Alogirthm은 다음과 같은 방식으로 일관되지 않은 촉각 센서 문제를 해결합니다:

• 다중 충실도 데이터 증강(Multi-Fidelity Data Augmentation): 시스템은 다양한 수준의 "충실도"(손상이나 제조 결함을 시뮬레이션함)를 가진 센서로부터 데이터를 수집하고, 촉각 관측치를 확률적으로 섭동시키기 위해 **촉각 무작위 마스킹(Tactile Random Masking)**을 적용합니다.
• 힘 유도 학습(Force-Guided Learning): 프레임워크는 경량 모듈을 사용하여 시각과 힘 특징($z_{vf}$)을 융합합니다. 그 다음, 융합된 비전-힘 공간으로부터 관계적 유사성을 촉각 공간으로 전달하는 소프트 정렬(soft alignment) 메커니즘을 채택합니다. 이를 통해 모델은 특정 센서의 충실도와 관계없이 일관된 견고한 촉각 표현을 학습할 수 있습니다.
• 교차 양상 정렬(Cross-Modality Alignment): 대조 학습 손실(contrastive loss)을 사용하여 융합된 비전-힘 특징을 촉각 표현과 정렬함으로써, 촉각 특징의 관계적 구조가 비전-힘 특징의 구조와 일치하도록 보장합니다.
• 정책 학습(Policy Learning): 최종 정책은 정렬된 비전 및 촉각 특징을 기반으로 연속적인 동작(End-effector 포즈, 그리퍼 폭, 힘)을 예측합니다.

주요 기여

1. AetheRock 시스템: 그리퍼의 힘, 시각, 촉각 데이터를 견고하고 순응적으로 수집할 수 있는 암 웨어러블 장치로, 기존 UMI(Universal Manipulation Interface) 시스템보다 4배 긴 데이터 수집 창을 제공하며 100%의 데이터 가용성을 달성했습니다.
2. GelSlim-MiniFab 센서: 저비용 제조, 쉬운 수리 가능성 및 다양한 그리퍼 유형에 대한 적응성을 제공하여 이전 센서들의 수명 주기 및 비용 제한 문제를 해결하는 새로운 비전-촉삭 센서 설계입니다.
3. ForceVT 알고리즘: 힘과 시각을 가이드로 사용하여 충실도 불가지론적 촉각 표현 학습을 가능하게 함으로써, 어떤 촉각 상황에서도 견고한 추론을 가능하게 하는 힘 유도 비전-촉각 학습 알고리즘입니다.

실험 결과

저자들은 여섯 가지 실제 로봇 작업(예: 클램프 실링, 수건 걸기, 빵 집기, 칠판 지우기, 블록 집기, 꽃 꽂기)과 네 가지 접촉 빈번 작업(칠판 지우기, 드라이버링, 병 닫기, 물건 넣기)에 대해 시스템을 평가했습니다.

• 데이터 수집 효율성: AetheRock는 높은 효율성을 입증하여, 강체 객체 집기 및 놓기 작업에서 20분 미만의 시연으로 80% 이상의 작업 진행도를 달س성했습니다. 칠판 지우기와 같은 복잡한 작업은 30분의 데이터로 성능 수준에 도달했으나, 인지 능력의 한계(예: 데스크톱 충돌)가 언급되었습니다.
• 스케일링 법칙(Scaling Laws): 사후 학습 스케일링 실험 결과, 데이터 볼륨이 증가함에 따라 정책 성능이 향 향상되었으나, 제한된 인지 및 정렬 문제로 인해 글로벌 일반화 설정(무작위 객체 위치)에서는 성능이 저하되었습니다.
• 충실도에 대한 견고성: 센서 퇴화를 시뮬레이션한 실험(충실도 100%, 75%, 50%)에서 베이스라인 방법들(VisTacLinear, TacFiLM, TactileConcat)은 심각한 성능 저하(최대 약 20% 감소)를 겪었습니다. 반면, ForceVT는 충실도 수준 전반에 걸쳐 성능 저하가 5% 미만으로 유지되며 견고함을 보였습니다.
• 작업 성능: ForceVT는 접촉 빈번 작업에서 모든 베이스라인을 능가했습니다. 예를 들어, "병 닫기" 작업에서 ForceVT는 58.0%의 성공률을 기록하여, 차순위 베이스라인인 VisTacLinear의 50.5%보다 높은 성과를 보였습니다. 저자들은 촉각 센싱이 정책이 접촉 신호를 향해 움직이도록 돕는 반면, 비전 전용 정책은 종종 "접촉 없는 환상 동작(contactless phantom actions)"을 보인다고 언급했습니다.

의의 및 주장

본 논문은 혁신적인 하드웨어와 알고리즘의 공동 설계를 통해 현재의 그리퍼-힘-비전-촉각 로봇 학습의 한계를 완화한다고 주장합니다. 구체적으로:

• 웨어러블 장치에서의 촉각 및 힘 센서의 부적합성 문제를 모듈형의 저비용 및 수리 가능한 시스템을 도입함으로써 해결했습니다.
• 제조 결함이나 센서 마모로 인해 발생하는 비전-촉각 학습의 충실도 불일치 문제를 힘과 비전을 가이드로 사용하는 견고한 표현 학습을 통해 해결했습니다.
• 본 시스템은 접촉 빈번한 조작 시나리오에서 견고한 정책을 훈련하는 데 필수적인 고품질의 다중 센서 데이터 수 collection을 가능하게 합니다.

저자들은 훈련과 추론 사이의 접촉 신호 불일치(예: 가장자리 vs 패드 접촉)가 여전히 과제로 남아 있음을 인정하며, 향후 연구는 추론 피드백을 데이터 수집에 통합하고 대규모 데이터 기반의 사전 학습을 탐구하는 데 집중할 것이라고 밝혔습니다.