SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty

이 논문은 딥러닝 기반 인식의 불확실성을 활용하여 자율성과 원격 조종 간에 동적으로 전환하는 '지각적 공유 자율성 (Perceptive Shared Autonomy)' 개념을 제안하고, 이를 통해 딥러닝의 불확실성 하에서도 강인한 로봇 조작이 가능한 'SPIRIT' 시스템을 개발하여 성능과 신뢰성을 동시에 향상시켰음을 보여줍니다.

핵심

이 논문은 **"SPIRIT"**이라는 이름의 똑똑한 로봇 시스템을 소개합니다. 이 로봇의 핵심 아이디어는 **"자신의 실수를 인정하고, 필요하면 인간에게 도움을 요청하는 것"**입니다.

일반적인 로봇은 "내가 다 할 수 있어!"라고 믿고 일을 하다가, 갑자기 딥러닝 (AI) 이 실수하면 큰 사고를 당할 수 있습니다. 하지만 SPIRIT 는 다릅니다. 이 로봇은 **"내가 지금 상황을 잘 보고 있는가?"**를 끊임없이 스스로 점검합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

---

🤖 SPIRIT: "자신감 있는 로봇"과 "조심스러운 로봇"의 듀오

1. 문제: AI 는 때로 '착각'을 합니다

우리가 스마트폰의 얼굴 인식 기능을 쓰다 보면, 가끔은 안경을 썼거나 빛이 어두우면 인식을 못 하죠. 로봇의 눈 (카메라와 AI) 도 마찬가지입니다. 딥러닝은 매우 똑똑하지만, 훈련받지 못한 낯선 상황에서는 갑자기 엉뚱한 것을 보거나 실수할 수 있습니다.

• 비유: 마치 어두운 밤에 운전하는 것과 같습니다. 전조등이 켜져 있어도, 갑자기 안개가 끼거나 길모퉁이에 보이지 않는 장애물이 나타나면 운전자는 당황할 수 있습니다.

2. 해결책: "공유 자율성 (Shared Autonomy)"

SPIRIT 는 이 문제를 해결하기 위해 두 가지 모드를 오갑니다.

• 모드 A: "내가 다 할게!" (자율 주행 모드)

  • 로봇이 상황을 100% 확신할 때 (예: 맑은 날, 잘 보이는 물체) 는 AI 가 스스로 팔을 움직여 작업을 합니다. 이때는 빠르고 정확합니다.
  • 비유: 날씨가 맑고 길이 잘 보일 때, 스스로 운전하는 자율주행차처럼 움직입니다.

• 모드 B: "도와주세요!" (원격 조종 모드)

  • 로봇이 "어? 내가 지금 뭐가 뭔지 잘 모르겠는데?"라고 생각할 때 (불확실성이 높을 때), 즉시 사람操作员 (조작자) 의 손을 빌립니다.
  • 이때 로봇은 사람의 손에 힘을 실어주는 힘 (햅틱) 피드백을 주고, 안경 (HoloLens) 을 통해 3D 로 상황을 보여줍니다. 사람이 직접 조종하되, 로봇이 "이쪽이 안전해"라고 살짝 밀어주는 식으로 도와줍니다.
  • 비유: 안개가 짙게 끼어 시야가 안 좋을 때, 운전자가 직접 핸들을 잡고 운전하되, 내비게이션이 "조심하세요"라고 알려주는 상황입니다.

3. 핵심 기술: "자신감 측정기" (불확실성 추정)

이 시스템의 가장 놀라운 점은 언제 모드를 바꿔야 할지 로봇 스스로 판단한다는 것입니다.

• NTK(신경망 탄성 커널) 기술: 이 기술은 로봇이 "이 물체를 잡는 게 99% 확실해"라고 말할 때와 "아니야, 내가 헷갈리는 것 같아"라고 말할 때를 수치로 정확히 계산합니다.
• 비유: 마치 스마트폰의 배터리 잔량 표시와 같습니다. 배터리가 100% 남았을 때는 무리해서 게임을 하고 (자율 모드), 배터리가 1% 남으면 자동으로 절전 모드로 전환하거나 (원격 조종) 사용자에게 "충전하세요"라고 알려주는 것과 같습니다. 로봇은 자신의 '지식 배터리'가 부족할 때 자동으로 인간에게 넘겨줍니다.

4. 실제 실험: 산업 현장에서의 활약

이 로봇은 실제 산업 현장 (파이프, 밸브 등) 에서 테스트되었습니다.

• 상황: 로봇이 공장의 파이프를 따라 이동하거나, 무거운 밸브를 돌리는 작업을 했습니다.
• 사고: 실험 중 일부러 AI 가 실수하도록 (데이터에 노이즈를 넣어) 상황을 만들었습니다.
• 결과: 기존 로봇들은 실수하면 작업을 멈추거나 부딪혔지만, SPIRIT 는 "내가 실수했구나!"라고 깨닫자마자 즉시 인간 조종자에게 권한을 넘겼습니다. 그리고 인간이 안전하게 작업을 완료할 수 있도록 도와주었습니다.

---

💡 요약: 왜 이 기술이 중요한가요?

이 논문은 **"완벽한 AI 를 만드는 것보다, AI 가 실수할 때 어떻게 대처할지 시스템을 만드는 것이 더 중요하다"**는 것을 보여줍니다.

• 기존 방식: AI 가 100% 정확해야만 로봇을 쓸 수 있음. (실수하면 위험)
• SPIRIT 방식: AI 가 실수할 수 있음을 인정하고, 그 순간 사람과 로봇이 팀을 이루어 대처함. (실수해도 안전)

마치 유능한 조종사 (인간) 와 자동 조종 장치 (AI) 가 함께 비행하는 비행기처럼, 하늘을 나는 로봇이 위험한 상황에서도 안전하게 임무를 수행할 수 있게 해주는 혁신적인 기술입니다.

이 시스템은 실제로 산업 박람회에서 시연되어 큰 호평을 받았으며, **"로봇이 스스로의 한계를 알고, 인간과 협력하는 미래"**를 보여준 사례로 평가받았습니다.

기술 요약

1. 문제 제기 (Problem)

최근 딥러닝 (DL) 은 로봇 비전 분야에서 획기적인 발전을 이루었으나, 불확실성 (Uncertainty) 에 대한 해석 불가능성과 예상치 못한 실패로 인해 안전이 중요한 응용 분야 (Safety-critical applications) 에 신뢰성 있게 배포되는 데 한계가 있습니다.

• 핵심 문제: DL 기반 인식 시스템이 훈련 데이터와 다른 조건 (Out-of-Distribution) 에서 작동할 때, 모델이 높은 확신을 가지고 잘못된 예측을 할 수 있습니다. 기존 시스템은 이러한 불확실성을 시스템 수준에서 고려하지 않아, 인식 오류 발생 시 로봇이 치명적인 실수를 저지를 수 있습니다.
• 목표: DL 의 불완전성을 보완하면서도 그 높은 성능을 활용할 수 있는 강건한 (Robust) 로봇 조작 시스템을 구축하는 것입니다.

2. 제안 방법론 (Methodology)

저자들은 "지각 기반 공유 자율성 (Perceptive Shared Autonomy)" 개념을 제안합니다. 이는 DL 기반 인식의 불확실성 추정을 활용하여 로봇의 자율성 수준을 동적으로 조절하는 방식입니다.

A. 시스템 아키텍처: SPIRIT

• 개념: 로봇의 인식 신뢰도가 높을 때는 **반자율 조작 (Semi-autonomous manipulation)**을 수행하고, 불확실성이 높을 때는 **햅틱 원격 조종 (Haptic Teleoperation)**으로 전환하여 인간 운영자가 개입하도록 합니다.
• 권한 할당 (Authority Allocation):
  • DL 인식 시스템이 출력하는 6D 포즈 (위치 및 자세) 의 공분산 (Covariance, $\Sigma$) 을 불확실성 지표로 사용합니다.
  • 불확실성 지표 ($\|\Sigma\|$) 가 임계값 ($\beta$) 보다 낮으면: $\alpha = 0.5$ (반자율 모드, 가상 고정장치 VF 활성화).
  • 불확실성 지표가 높으면: $\alpha = 1$ (완전 원격 조종 모드, VF 비활성화).
• 사용자 인터페이스: 햅틱 피드백 (힘/토크) 과 XR (HoloLens 2 를 통한 3D 시각화) 을 통해 로봇의 불확실성 상태를 운영자에게 직관적으로 전달합니다.

B. 핵심 기술: 불확실성 인식 포인트 클라우드 등록 (Uncertainty-Aware Point Cloud Registration)

DL 기반 인식의 핵심인 포인트 클라우드 등록 (Point Cloud Registration) 에 불확실성 추정을 통합했습니다.

1. 분할 접근법 (Partitioned Approach):
   • 전체 환경의 디지털 트윈 (Digital Twin) 을 작업 영역에 따라 여러 지역 (Regimes) 으로 분할합니다.
   • 로봇의 현재 위치와 작업 상태에 따라 해당 지역만의 타겟 포인트 클라우드를 생성하여 등록 문제를 단순화합니다.
2. NTK 기반 가우시안 프로세스 (Neural Tangent Kernel based GP):
   • **Neural Tangent Kernel (NTK)**을 사용하여 신경망의 Jacobian 을 커널로 활용합니다.
   • Mixtures of GP Experts (MoE-GP): 분할된 각 지역마다 별도의 GP 전문가 (Expert) 를 할당하고, 게이트 함수 (Gating function) 를 통해 입력을 할당합니다.
   • 장점: 샘플링 (Sampling) 이 필요 없는 분석적 (Analytical) 불확실성 추정이 가능하여 실시간성 (Real-time) 을 보장하면서도 신뢰도 높은 불확실성 (Epistemic 및 Aleatoric) 을 제공합니다.

3. 주요 기여 (Key Contributions)

1. SPIRIT 시스템 개발: DL 의 불확실성을 시스템 수준에서 명시적으로 고려하여 강건한 로봇 조작을 가능하게 한 최초의 통합 시스템 중 하나입니다.
2. 지각 기반 공유 자율성 개념 정립: DL 인식의 신뢰도에 따라 자율성과 원격 조종 간의 전환을 자동화하는 새로운 패러다임을 제시했습니다.
3. 고성능 불확실성 추정 알고리즘: NTK 와 GP 를 결합한 분할 기반 포인트 클라우드 등록 방식을 제안하여, 정확도와 불확실성 추정 신뢰도, 그리고 실시간 성능 사이의 최적 균형을 달성했습니다.
4. 다중 피드백 인터페이스: 햅틱 피드백과 3D 시각화 (XR) 를 통해 운영자가 로봇의 '불확실성'을 직관적으로 인지하고 개입할 수 있는 인터페이스를 설계했습니다.

4. 실험 결과 (Results)

연구팀은 15 명의 참가자를 대상으로 한 사용자 연구와 실제 산업 시나리오 (항공기 매니퓰레이션을 이용한 파이프 검사 및 밸브 조작) 를 통해 시스템을 검증했습니다.

• 사용자 연구 (User Study):
  • 성공률: DL 인식 오류가 발생했을 때, 제안된 SPIRIT 시스템은 100% 성공률을 보인 반면, 불확실성을 고려하지 않은 기존 시스템 (Vanilla-VF) 은 40% 로 급격히 떨어졌습니다.
  • 작업 시간 및 부하: 공유 자율성 모드 (SPIRIT) 가 순수 원격 조종보다 작업 완료 시간이 짧고 (약 62 초 vs 160 초), NASA-TLX(작업 부하 지수) 가 낮아 사용자의 인지적/물리적 부담이 줄어듦을 확인했습니다.
  • 상황 인식: 햅틱 및 XR 인터페이스가 로봇의 상태와 권한 전환을 이해하는 데 크게 도움이 되었습니다.
• 실제 시나리오 검증:
  • 산업 전시회에서 중량물 이동 및 밸브 조작을 수행하며, 의도적으로 포인트 클라우드에 노이즈를 주입하여 DL 인식 실패를 유도했습니다.
  • 시스템은 인식 실패를 즉시 감지하여 (불확실성 증가) 자동 조종을 중단하고 원격 조종으로 전환한 후, 작업이 성공적으로 완료됨을 입증했습니다.
• 성능 비교 (Ablation Study): 제안된 분할 접근법과 NTK-GP 기반 불확실성 추정이 기존 RANSAC, 딥러닝 기반 등록, 다른 불확실성 추정 기법 (Evidential Learning, Conformal Prediction) 보다 정확도와 불확실성 신뢰도 (NLL) 면에서 우월함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: DL 의 '블랙박스' 특성을 시스템 설계 단계에서 불확실성 관리로 해결함으로써, DL 을 실제 산업 현장 (석유/가스, 유지보수 등) 에 안전하게 적용할 수 있는 길을 열었습니다.
• 역사적 계승: 1998 년 박물관 가이드 로봇 'Minerva'가 확률론적 접근으로 불확실성을 다뤘던 것처럼, 현대의 딥러닝 시대에도 **불확실성 인식 (Uncertainty-aware)**이 강건한 로봇 시스템의 핵심임을 재확인했습니다.
• 상업적 인정: SPIRIT 프로토타입은 주요 산업 혁신 어워드 최종 후보에 선정되었으며, 실제 산업 박람회에서 성공적으로 시연되었습니다.

이 논문은 DL 기반 로봇이 완벽하지 않더라도, 시스템이 그 불완전성을 인지하고 인간과 협력하여 작업을 완수할 수 있음을 보여주는 중요한 사례입니다.