기술 요약: 다중 로봇 제어 및 협업을 위한 다중 운영자 혼합 현실 인터페이스

문제 정의

다중 로봇 시스템을 단일 운영자 감독 단계에서 팀 단위의 협업 단계로 확장하는 데는 상당한 어려움이 따릅니다. 기존의 2D 지상 제어 스테이션(GCS)은 운영자가 이질적인 데이터 스트림(지도, 카메라 피드, 로봇 상태 등)을 정신적으로 통합하도록 요구하며, 이러한 인지적 부담은 미션 복잡성이 증가함에 따라 상황 인식 능력을 저하시키고 작업 부하를 높입니다. 혼합 현실(MR) 인터페이스는 공간적으로 체화된 뷰(view)를 제공함으로써 단일 운영자의 부담을 줄이는 데 유망한 가능성을 보여주었으나, 이를 다중 운영자 협업을 지원하도록 확장하는 것은 새로운 복잡성을 도입합니다. 구체적으로, 효과적인 협업을 위해서는 상호 인지, 역할 분담, 그리고 무엇보다 여러 명의 인간이 동일한 로봇 팀을 제어하려고 할 때 발생하는 명령 충돌을 방지하는 메커니즘이 필요합니다. 또한, 운영자들이 공유된 MR 작업 공간 내에 물리적으로 함께 위치하는 것이, 미션 데이터를 공유하되 독립적으로 배치된 로컬 인터페이스를 통해 개별적인 작업 공간을 갖는 '프라이빗 작업 공간' 모드보다 실질적인 이점을 제공하는지 여부도 불분명합니다.

방법론

저자들은 이전의 HORUS(Holistic Operational Reality for Unified Systems) 인터페이스를 확장하여 다중 운영자 제어를 지원하도록 했습니다. 시스템 아키텍처와 실험 설계는 다음과 같습니다.

시스템 아키텍처

제안된 시스템은 3계층 아키텍처를 활용합니다:

1. SDK 계층: 로봇 메타데이터, 지도 및 작업 역량을 발행합니다.
2. ROS 2 브릿지: 시뮬레이션/로봇과 인터페이스 간의 명령, 상태 및 지도 통신을 처리합니다.
3. Unity MR 런타임: 작업 공간, 시각화 및 협업 로직을 인스스턴스화합니다.

주요 기술적 특징은 다음과 같습니다:

• 등록 기반 구축 (Registration-Driven Construction): 고정된 로봇 세트를 가정하지 않고, SDK 페이로드를 기반으로 장면을 동적으로 구축합니다.
• 이중 협업 모드:
  • 공동 위치 공유 작업 공간 (Co-located Shared Workspace): 운영자들이 공통된 물리적 위치를 공유하며, 하나의 공간적으로 앵커링된 가상 작업 공간을 사용합니다.
  • 프라이빗 작업 공간 (Private Workspace): 운영자들이 동일한 미션 상태를 공유하지만, 독립적으로 배치된 로컬 작업 공간을 통해 상호작용합니다.
• 충돌 방지 (로봇당 리스 방식): 충돌하는 개입을 방지하기 위해, 시스템은 리스(lease) 기반 중재 메커니즘을 채택합니다. 운영자가 제어 패널을 열거나, 작업을 작성하거나, 원격 조종을 시작하면 해당 로봇에 대한 권한이 운영자에게 "리스"됩니다. 리스 상태(자유, 로컬 점유, 원격 점유)는 시각적으로 인코딩(흰색, 녹색, 빨간색)되며, 기능적으로 강제되어 동일한 로봇에 대한 충돌 행동을 차단합니다.
• 동기화: 저속 협업 상태(작업 공간 스냅샷, 등록 경계)는 Unity Netcode for GameObjects (NGO)를 통해 동기화되는 반면, 무거운 로보틱스 데이터는 ROS 전송 계층에 머무릅니다.

실험 설계

**36명의 참가자(18쌍)**가 두 가지 환경(사무실 및 병원)에서 세 대의 시뮬레이션된 Nova Carter 이동 로봇 팀을 제어하는 인간 대상 연구가 수행되었습니다.

• 조건: 각 쌍은 교차 설계(counterbalanced crossover design)를 사용하여 두 가지 모드 모두에서 실험을 수행했습니다.
• 과업: 참가자들은 경로점 할당(waypoint assignment)과 원격 조종을 결합하여 10개의 숨겨진 AprilTag(관심 지점)를 찾는 10분의 시간을 가졌습니다.
• 제약 조건: 프라이빗 모드에서 참가자들은 서로 다른 방에 격리되어 언어적 소통 없이 과업을 수행했으며, 공동 위치 모드에서는 같은 방에서 자연스러운 대면 소통이 허용되었습니다.
• 지표: 객관적 성능(태그 발견 수), 시스템 사용성 척도(SUS), NASA-TLX(작업 부하), 그리고 커스텀 8개 항목의 협업 및 공유 작업 공간 설문지를 사용했습니다.

주요 기여

1. 다중 운영자 MR 아키텍처: 공유 상태 동기화 및 로봇당 제어 리스를 통해 공동 위치 및 프라이빗 작업 공간 협업을 지원하는 시스템입니다.
2. 작업 공간 중심 상호작용 디자인: 공유 태스킹, 인지 큐(lease 상태), 충격 방지 메커니즘을 갖춘 인터페이스를 특징으로 합니다.
3. 동적 제어 중재: 서로 다른 로봇에 대한 병렬 작업을 허용하면서도, 동일한 로봇에 대한 동시 제어를 방지하는 리스 기반 접근 방식을 제공합니다.
4. 경험적 평가: 물리적 공동 위치의 효과를 실제 다중 로봇 시나리오에서 프라이빗 작업 공간 대안과 비교하여 격리한 통제된 연구를 수행했습니다.

결과

연구 결과는 다음과 같습니다:

• 과업 성능: 두 모드 간의 객관적 과업 성능에는 유의미한 차이가 없었습니다. 공동 위치 모드에서 한 쌍은 평균 3.94개의 태그를 찾았고, 프라이-스페이스 모드에서는 4.22개를 찾았습니다 ($p = .633$). 이는 직접적인 언어적 소통 없이도 프라이빗 작업 공간 모드가 효과적인 미션 수행에 충분함을 나타냅니다.
• 사용성 및 작업 부하: 인지된 사용성(SUS)과 전반적인 작업 부하(NASA-TLX)는 두 조건에서 통계적으로 유사했습니다.
• 협업 및 인지: 공동 위치 공유 작업 공간이 주관적 협업 지표에서 프라이빗 모드보다 유의미하게 우수한 성과를 보였습니다 ($p < .001$). 참가자들은 다음과 같이 보고했습니다:
  • 팀원의 행동에 대한 높은 인지 수준.
  • 과업 상태에 대한 더 나은 공통 이해.
  • 행동 조정 및 제어 핸드오프(handoff) 실행의 용이성.
  • 물리적 공간을 공유하고 있다는 더 강한 느낌.
• 선호도: 대다수의 참가자(21/29)가 명확한 핸드오프와 더 나은 미션 인지를 이유로 공동 작업에 공동 위치 모드를 선호했습니다.
• 경험 효과: 이전의 원격 조종 경험은 특히 공동 위치 모드에서 과업 성공의 강력한 예측 변수였습니다. 그러나 인터페이스는 짧은 튜토리얼(약 15분)을 통해 초보자도 학습 가능했으며, 훈련 시간은 일반적인 제어 숙련도와 더 높은 상관관계를 보였습니다.

의의 및 주장

본 논문은 물리적으로 MR 작업 공간을 공유하는 것이 (기존의 제어 도구가 변경되지 않더라도) 운영자 간의 협업 방식을 개선한다고 주장합니다. 공동 위치 모드의 주요 가치는 원시적인 과업 처리량(두 모드에서 비슷했음)의 증가가 아니라, 협업의 유창성(collaborative fluency), 공유된 이해, 그리고 제어 핸드오프의 명확성을 향상시키는 데 있습니다.

저자들은 프라이빗 작업 공간 모드가 분산된 협업에는 실행 가능하지만, 밀접하게 조정되는 로컬 팀에게는 **공유된 공간적 참조(shared spatial references)**가 핵심적인 디자인 원칙이라고 결론짓습니다. 연구 결과는 미래의 다중 운영자 MR 시스템이 고정밀 로컬 협업을 위한 공동 위치 공유 작업 공간과 분산 참여를 위한 프라이빗 작업 공간을 모두 지원해야 함을 시사합니다. 본 연구는 안전한 병렬성을 구현하기 위해 명시적인 중재 메커니즘(리스)이 필수적임을 입증하는 동시에, 작업 공간의 물리적 정렬이 상호 인지를 유지하는 데 필요한 인지 부하를 크게 줄여준다는 점을 검증했습니다.