Achieving Interaction Fluidity in a Wizard-of-Oz Robotic System: A Prototype for Fluid Error-Correction

1. 문제 정의 (Problem)

• 유동적 상호작용의 부재: 현재 인간 - 로봇 상호작용 (HRI) 은 로봇의 비전, 운동 제어, 자동 음성 인식 기술이 발전했음에도 불구하고 여전히 느리고, 불편하며, 취약한 상태입니다.
• 개발 플랫폼의 한계: 데이터 수집과 프로토타이핑을 위해 널리 사용되는 '마법사 - 오즈 (Wizard-of-Oz, WoZ)' 방식의 시스템조차도 상호작용의 유동성 (Fluidity) 을 개선하기 위한 적합한 개발 플랫폼을 제공하지 못합니다.
• 기존 WoZ 시스템의 결함:
  • 대부분의 WoZ 시스템은 특정 문제에만 맞춘 커스텀 GUI 를 사용하여 추가적인 지연 (Latency) 을 발생시킵니다.
  • 로봇의 행동 중 오류 발생 시 실시간으로 수정하거나 중단하는 기능이 부족합니다.
  • 사용자와 마법사 (조종자) 간의 상호작용 데이터의 정밀한 기록 및 재생 (Reproducibility) 이 어렵습니다.

2. 방법론 (Methodology)

저자들은 유동적인 HRI 를 가능하게 하기 위해 WoZ 시스템이 충족해야 할 4 가지 핵심 기준을 정의하고, 이를 기반으로 새로운 VR 기반 프로토타입 시스템을 설계했습니다.

A. 유동적 상호작용을 위한 4 가지 핵심 기준 (Criteria)

1. 중단 및 수정 (Interruptibility and Correction, IaC): 마법사가 로봇의 진행 중인 행동을 새로운 행동으로 변경하거나, 안전 및 오류 수정을 위해 모든 행동을 즉시 취소할 수 있어야 합니다.
2. 조회 가능성 (Pollability): 시스템이 현재 어떤 상태인지, 작업이 얼마나 진행되었는지에 대한 정보를 마법사가 실시간으로 파악할 수 있어야 합니다.
3. 지연 측정 및 최적화 (Latency Measurement and Optimisation): 사용자 명령부터 로봇 실행까지의 지연 시간을 측정하고 최소화해야 합니다. 지연은 시스템의 여러 부분에서 누적되어 체감되는 딜레이를 유발합니다.
4. 행동 타이밍의 재현성 (Reproducibility of Action Timings): 상호작용 데이터를 고도의 시간 정확도로 기록하여, 나중에 동일한 상호작용을 재현하거나 자율 로봇 학습에 사용할 수 있어야 합니다.

B. 제안된 시스템 아키텍처 (VR-HRI Prototype)

• 환경: 가상 현실 (VR) 시뮬레이션 환경 (Unity 기반) 을 구축하여 이동형 매니퓰레이터 (Fetch 로봇) 를 제어합니다.
• 구성 요소:
  • ROS & Gazebo: 로봇 시뮬레이션 및 물리 엔진 (Docker 컨테이너 내 실행).
  • Unity Visualizer: ROS 메시지를 받아 실시간으로 객체 위치를 업데이트하며, 사용자와 마법사를 위한 별도의 시점을 제공합니다.
  • ROS-TCP Connector: Unity 와 ROS 간의 양방향 통신을 담당합니다.
  • Action Control & Logging Module: Python 기반 모듈로, 마법사의 입력을 처리하고 로봇에 명령을 전달하며 모든 데이터를 로그합니다.
• 상호작용 방식:
  • 사용자: VR 헤드셋과 마이크를 사용하여 음성으로 로봇과 대화하고, 컨트롤러로 환경을 탐색합니다.
  • 마법사 (Wizard): 별도의 스크린에서 마우스 클릭으로 로봇의 목표 지점이나 물체를 지정합니다. 로봇의 카메라 피드와 사용자의 오디오를 실시간으로 확인합니다.

3. 주요 기여 (Key Contributions)

1. 유동적 WoZ 시스템의 기준 정립: 기존 문헌 리뷰를 통해 유동적인 상호작용을 위한 4 가지 필수 속성 (IaC, Pollability, Latency, Reproducibility) 을 명확히 정의했습니다.
2. 기존 시스템 분석: 14 편의 최신 WoZ 관련 논문을 분석하여, 대부분의 기존 시스템이 위 기준 중 하나 이상을 충족하지 못함을 입증했습니다 (특히 중단 기능과 정밀한 지연 측정의 부재).
3. 새로운 프로토타입 시스템 개발:
   • 실시간 수정: 마법사가 로봇 이동 중에도 목표 지점을 변경하거나 모든 작업을 즉시 취소 (Cancel) 할 수 있는 기능을 구현했습니다.
   • 정밀한 로깅: 마우스 클릭, 로봇 상태 (기저 위치, 관절 상태), 상호작용 객체, 사용자 시점, 컨트롤러 입력 등 모든 데이터를 타임스탬프와 함께 JSON 형식으로 기록합니다.
   • 지연 최적화: 오디오 스트림의 직접 접근과 동기화된 Unity 뷰를 통해 지연을 최소화하고, 지연 원인을 4 단계 (사용자 요청→마법사 인식→작업 시작→사용자 인지) 로 세분화하여 분석할 수 있게 했습니다.

4. 결과 및 성과 (Results)

• 기준 충족: 제안된 VR-HRI 프로토타입은 정의된 4 가지 유동성 기준을 모두 충족하는 것으로 확인되었습니다.
  • 중단/수정: 마법사의 버튼 클릭 하나로 진행 중인 작업을 즉시 변경하거나 취소할 수 있습니다.
  • 조회 가능성: 마법사는 로봇의 진행 상태를 시각적으로 확인하고, 로그 데이터를 통해 정밀한 상태를 파악할 수 있습니다.
  • 지연 관리: 시스템은 지연의 원인을 구체적으로 추적할 수 있으며, 마법사의 개입 속도를 높여 전체적인 지연을 줄였습니다.
  • 재현성: 기록된 로그 파일을 통해 사용자, 마법사, 제 3 자의 관점에서 상호작용을 정확하게 재현할 수 있습니다.
• 확장성: 이 툴킷은 Fetch 로봇뿐만 아니라 ROS 기반 시뮬레이션과 Unity 환경의 어떤 로봇에도 적용 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 기반 HRI 발전: 이 시스템은 유동적인 상호작용을 위한 고품질 데이터를 수집할 수 있는 플랫폼을 제공함으로써, 향후 데이터 기반의 자율 로봇 제어 알고리즘 개발을 촉진합니다.
• 안전성과 신뢰성: 실시간 오류 수정 기능은 실제 환경에서 로봇이 인간과 안전하게 상호작용할 수 있는 기반을 마련합니다.
• 미래 연구 방향: 저자들은 향후 실제 사용자를 대상으로 한 사용자 연구를 통해 이 시스템이 WoZ 모드와 자율 모드 (WoZ 데이터로 학습된 시스템) 모두에서 유동적인 상호작용을 얼마나 효과적으로 지원하는지 검증할 계획입니다.

이 논문은 HRI 연구에서 '유동성'이라는 추상적인 개념을 구체적인 시스템 요구사항과 기술적 구현으로 연결하여, 보다 자연스럽고 효율적인 인간 - 로봇 공존을 위한 중요한 발걸음을 내디뎠습니다.