Bridging Handheld and Teleoperated Supervision for Contact-Rich Manipulation via State-Gated Experts

기술 요약: 상태 게이팅 전문가를 통한 접촉 밀집 조작을 위한 핸드헬드 및 텔레오퍼레이션 감독 간의 가교 (BRIDGE)

문제 정의

본 논문은 접촉 밀집(contact-rich) 조작 작업을 위한 로봇 데이터 수집 시 발생하는 확장성과 충실도(fidelity) 사이의 근본적인 트레이드오프 문제를 다룹니다.

• 핸드헬드 데이터 (예: UMI): 유니버설 매니퓰레이션 인터페이스(UMI)와 같은 시스템은 인터페이스를 특정 로봇 하드웨어로부터 분리함으로써 확장 가능한 "인 더 와일드(in-the-wild)" 데이터 수집을 가능하게 합니다. 그러나 이들은 관측된 동작(observed actions)(핸드헬드 장치의 물리적 상태)만을 포착합니다. 접촉에 민감한 단계에서, 이러한 관측된 동작은 유한한 강성(stiffness), 필터링 및 추적 오차로 인해 의도된 동작(desired actions)(컨트롤러로 전송되는 참조 궤적)과 자주 어긋납니다. 이러한 관측된 궤적을 높은 강성으로 무작정 추적하면 안전하지 않고 큰 접촉력을 발생시킵니다.
• 텔레오퍼레이션 데이터: GELLO 또는 ALOHA와 같은 시스템은 의도된 동작을 직접 캡처하는 고충실도 온-로봇 데이터를 제공합니다. 그러나 전체 작업에 대한 텔레오퍼레이션 데모를 수집하는 것은 시간이 지나치게 많이 소요되며, 핸드헬드 수집의 다양성이 부족합니다.

핵심 문제는 핸드헬드 데이터가 오차 허용 범위가 넓은 자유 공간 운동에는 유효하지만, 접촉 민감 단계에서는 동적 타당성(dynamic feasibility)을 제공하지 못한다는 점입니다. 반대로, 관측된 동작과 의도된 동작을 단일 정책에 무턱대고 혼합하면 감독 신호(supervision signals)가 서로 호환되지 않아 성능이 저하됩니다.

방법론: BRIDGE

저자들은 두 데이터 소스의 상호 보완적인 강점을 활용하기 위해 설계된 혼합 전문가 디퓨전 정책(mixture-of-experts diffusion policy) 아키텍처인 BRIDGE(Bi-modal Routing for Imitation Data via Gated Experts)를 제안합니다.

1. 이중 모드 데이터 수집 (DM-UMI)

저자들은 이중 모드 작동이 가능한 수정된 UMI 장치를 사용합니다:

• 핸드헬드 모드: 일반적인 작업 스캐폴드(scaffold)를 학습하기 위해 다양한 환경에서 대규모의 **기초 데이터셋(base dataset)**인 관측된 동작을 수집합니다.
• 텔레오퍼레이션 모드: 기초 정책이 실패하는 특정 작업 구간(접촉 병목 구간)을 겨냥하여, 의도된 동작을 담은 희소한 **지원 데이터셋(support dataset)**을 수집합니다.

2. 아키텍처

BRIDGE 모델은 세 가지 순차적 학습 단계로 구성됩니다:

• 단계 1: 기초 정책 학습 ($\pi_b$): 핸드헬드 기초 데이터셋에 대해 디퓨전 정책을 학습시킵니다. 이 아키텍처는 단순한 CLS 토큰만이 아니라 전체 공간 패치 토큰을 유지하는 DINOv2 비전 인코더를 사용하며(Perceiver IO 블록을 통해 처리됨), 이를 통해 접촉 밀집 작업에서의 공간적 관계를 더 잘 추론합니다. 이 정책은 관측된 동작을 예측하도록 학습됩니다.
• 단계 2: 지원 헤드 학습 ($\pi_s$): 기초 정책과 비전 인코더를 고정한 상태에서, 텔레오퍼레이션 지원 데이터셋을 사용하여 새로운 잠재 어댑터(latent adapter)와 디퓨전 헤드를 학습시킵니다. 이 전문가는 특히 접촉 민감 레지임(regimes)을 위해 의도된 동작(참조 궤적)을 예측하도록 학습됩니다.
• 단계 3: 라우터 학습 ($G_\psi$): 경량 MLP 게이트를 사용하여 관측값을 기초 전문가 또는 지원 전문가로 동적으로 라우팅하도록 학습시킵니다. 라우터는 잠재 표현(latent representations) 상의 k-최근접 이웃(k-NN) 의사 라벨링(pseudo-labeling) 전략을 사용하여 학습됩니다. 이는 현재 상태가 "지원 매니폴드"(접촉 민감 단계) 내에 있는지 식별하고 의도된 동작 전문가로 전환하는 법을 배웁니다.

3. 추론

실행 중에는 라우터가 현재 로봇 상태를 기반으로 **하드 스위칭(hard-switch)**을 수행합니다. 현재 상태가 접촉 민감 단계에 속하는 것으로 식별되면, 시스템은 의도된 동작 궤적을 실행하기 위해 지원 전문가로 경로를 지정합니다. 그렇지 않으면 자유 공간 운동을 위해 기초 전문가를 사용합니다. 이는 호환되지 않는 동작 분포를 평균 내는 것을 방지합니다.

주요 기여

1. 동작 유효성의 정형화: 본 논문은 관측된 동작이 오차 허용 범위가 넓은 자유 공간 운동에는 충분하지만, 정밀하고 순응적인(compliant) 실행을 위해 의도된 동작이 필요한 힘 민감 단계에서는 실패한다는 것을 입증합니다.
2. BRIDGE 아키텍처: 로컬 동작 유효성에 따라 라우팅함으로써 이질적인 감독 소스(관측된 동작 vs 의도된 동작)로부터 공동으로 학습하는 게이팅된 혼합 전문가 디퓨전 정책을 도입했습니다.
3. 효율적인 하이브리드 전략: 소수의 타겟팅된 텔레오퍼레이션 데모를 핸드헬드 데이터에 추가하는 것이 전체 작업 텔레오퍼레이션 없이도 접촉 밀집 작업의 성공률을 크게 향상시킨다는 경험적 증거를 제시합니다.

실험 결과

방법론은 Franka FR3 암을 사용하여 세 가지 접촉 밀집 조작 작업(NIST Pulley Routing, Pipe Insertion, Spring-Loaded Battery Insertion)에 대해 평가되었습니다.

• 성능 향상: BRIDGE는 핸드헬드 전용 베이스라인을 일관되게 능가하며, 세 가지 작업 모두에서 성공률을 최대 36.7% 개선했습니다.
  • NIST Pulley: 핸드헬드(44.0%)에서 BRIDGE(76.0%)로 개선되어, 전체 텔레오퍼레이션(84.0%)에 근접했습니다.
  • Pipe Insertion: 핸드헬드(13.3%)에서 BRIDGE(50.0%)로 개선되어, 텔레오퍼레이션 상한선인 63.3%와의 격차를 줄였습니다.
  • Battery Insertion: 핸드헬드(10.0%)에서 BRIDGE(33.3%)로 개선되었습니다.
• 나이브 믹싱(Naive Mixing)의 실패: 관측된 레이블과 의도된 레이블을 단일 정책에 단순히 결합한 "Naive Mix" 베이스라인은 핸드헬드 전용 베이스라인보다 성능이 낮았습니다(예: Pulley Routing에서 성공률 0%). 이는 게이팅 없이는 감독 신호가 서로 호환되지 않음을 확인시켜 줍니다.
• 데이터 효율성: 타겟팅된 지원 데이터는 공간 거리 측면에서 말단 장치(end-effector) 경로의 15% 미만을 커버했음에도 불구하고, 전체 텔레오퍼레이션 상한 대비 성능 격차의 최대 **79%**를 회복했습니다.
• 라우터 성능: 라우터는 파이프 삽입(pipe insertion) 작업에서 99.0%의 재현율(recall)과 69.0%의 정밀도(precision)를 달-성하여, 거짓 음성(false negatives) 없이 접촉 단계를 효과적으로 식별했습니다.

의의 및 주장

본 논문은 BRIDGE가 작업 단계에 따라 로봇 행동을 전문화하는 실질적인 메커니즘을 제공한다고 주장합니다. 관측된 동작 헤드와 의도된 동작 헤드를 분리함으로써, 이 접근 방식은 일반적인 작업 구조를 학습하기 위해 확장 가능하고 저비용인 핸드헬드 데이터를 사용하는 동시에, 정밀한 제어가 필요한 접촉 역학의 병목 지점을 위해 값비싼 고충실도 텔레오퍼레이션을 예약할 수 있게 합니다.

저자들은 이 방식이 핸드헬드 데이터 수집과 온-로봇 실행 사이의 "엠보디먼트 갭(embodiment gap)"을 메워준다고 강조합니다. 또한 전체 텔레오퍼레이션이 도메인 내 상한선이긴 하지만, 인지적 및 물리적 부담으로 인해 실무적으로 불가능한 경우가 많다는 점을 언급합니다. BRIDGE는 전체 텔레오퍼레이션에 비해 데이터 수집 노력을 크게 줄이면서도 고성능의 접촉 밀집 조작을 가능하게 하며, 나이브한 데이터 혼합으로 인한 성능 저하를 피하는 중간 지점을 제공합니다.

논문은 현재의 접근 방식이 실패 모드의 경험적 식별에 의존하고 있다는 점, 하드 스위칭이 제어 불연속성을 유발할 수 있다는 점, 그리고 여러 접촉 레지임이 존재하는 긴 호라이즌(long-horizon) 작업으로의 확장성에 대한 추가 조사가 필요하다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지하고 있습니다.