💻 computer science

HORUS: A Mixed Reality Interface for Managing Teams of Mobile Robots

이 논문은 미니맵 모니터링, 실시간 센서 시각화, 그리고 유연한 원격 제어 모드를 결합하여 수색 및 구조와 같은 동적인 환경에서 다중 로봇 협업을 효과적으로 지원하도록 설계된 이동 로봇 팀의 총체적 관리를 위한 혼합 현실 인터페이스인 HORUS를 소개한다.

원저자: Omotoye Shamsudeen Adekoya, Antonio Sgorbissa, Carmine Tommaso Recchiuto

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Omotoye Shamsudeen Adekoya, Antonio Sgorbissa, Carmine Tommaso Recchiuto

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스테리한 미로 같은 건물 안에서 숨겨진 단서들을 찾아내기 위해 파견된 로봇 정찰대 소队的 지휘관이라고 상상해 보십시오. 옛날 방식이었다면, 당신은 여러 대의 컴퓨터 화면을 뚫어지게 쳐다보며 각 로봇이 무엇을 보고 있는지, 어디에 있는지, 그리고 무엇을 하고 있는지를 머릿속으로 하나하나 결합하려 애써야 했을 것입니다. 그것은 마치 자동차를 운전하면서 지도와 백미러, 그리고 라디오를 동시에 보면서 직접 핸들을 만질 수는 없는 상태로 운전하는 것과 같습니다.

이 논문은 로봇 팀을 관리하는 것을 마치 최첨단 전략 비디오 게임을 하는 것처럼 느끼게 해주는 새로운 "혼합 현실(Mixed Reality, MR)" 도구인 HORUS를 소개합니다.

HORUS란 무엇인가요?

HORUS를 **당신의 눈앞에 떠 있는 마법 같은 "미니맵"**이라고 생각하십시오. 책상 위의 2D 화면을 보는 대신, 당신은 헤드셋(Meta Quest 3와 같은)을 착용하고 방의 3D 홀로그램 지도를 보게 됩니다. 이 지도 위에서는 당신의 로봇들이 실시간으로 움직이는 작은 디지털 모델들을 볼 수 있습니다.

이 시스템은 당신에게 "신의 시점(God's eye view)"을 제공하는 동시에, 상황이 까다로워질 때 직접 제어하기 위해 줌인할 수 있도록 설계되었습니다.

어떻게 작동하나요?

인터페이스는 당신이 미니맵에서 로봇을 탭할 때마다 나타나는 **"로봇 관리 패널(Robot Manager Panel)"**을 중심으로 구성됩니다. 이는 각 로봇을 위한 제어 대시보드와 같으며 네 가지 주요 버튼이 있습니다:

상태 확인 (Status Check): 로봇의 배터리가 낮은지, 얼마나 빨리 이동 중인지, 혹은 끼어 있는지 등을 빠르게 훑어봅니다.
데이터 비전 (Data Vision): "엑스레이 시야"를 켤 수 있습니다. 이를 통해 벽의 레이저 스캔이나 라이브 비디오 피드와 같이 로봇의 센서가 보고 있는 것을 볼 수 있습니다. 로봇 위에 떠 있는 비디오를 보거나 로봇의 "눈"으로부터 직접 투영된 영상을 선택하여 볼 수 있습니다.
미션 컨트롤 (Mission Control): 로봇을 인치 단위로 조종하는 대신, 지도 위에 "목표 마커"를 떨어뜨릴 수 있습니다. 그러면 로봇은 스스로 그곳까지 주행합니다. 또한 특정 경로를 그리거나 지도상의 지점(예: "위험 구역" 또는 "단서 발견")에 라벨을 붙일 수도 있습니다.
원격 조종 (Teleoperation - 직접 제어): 로봇이 좁은 구석에 끼었을 경우, 모드를 전환할 수 있습니다.
- 미니맵 모드: 컨트롤러를 사용하여 위에서 내려다보는 시점으로 RC카처럼 로봇을 조종합니다.
- 세미 이머시브 모드 (Semi-Immersive Mode): 로봇이 보고 있는 것을 정확히 보여주는 큰 평면 화면(TV와 같은 형태)이 당신 바로 앞에 나타나, 좁은 복도를 정밀하게 통과할 수 있게 해줍니다.

"수색 및 구조" 테스트

이것이 실제로 효과가 있는지 확인하기 위해, 연구진은 두 그룹의 사람들에게 두 대의 로봇을 사용하여 건물 안에 숨겨진 다섯 개의 태그(디지털 보물 같은 것)를 찾도록 하는 테스트를 실시했습니다.

그룹 A (HORUS 팀): 새로운 혼합 현실 시스템을 사용했습니다. 이들은 목표를 할당하고, 전체 지도를 보며, 필요할 때 직접 제어를 전환할 수 있었습니다.
그룹 B (기존 방식 팀): 표준 시스템을 사용했습니다. 이들은 지도나 목표 설정 기능 없이, 단순히 조이스틱으로 로봇을 수동으로 조종하고 비디오 피드를 전환해야 했습니다.

무엇을 발견했나요?

결과는 명확했습니다. 마치 한 명의 주자는 GPS를 가지고 있고 다른 한 명은 방향을 추측하며 달리는 경주와 같았습니다:

빠른 완료: HORUS 팀은 미션을 약 23% 더 빠르게 완료했습니다. 이들은 목표를 설정하고 대부분의 시간 동안 로봇이 스스로 주행하도록 할 수 있었기 때문에, 모든 복도를 수동으로 조종하며 시간을 낭비하지 않았습니다.
쉬운 사용성: HORUS 시스템은 더 많은 기능을 갖추고 있음에도 불구하고, 사용자들은 기본 조이스틱 시스템보다 훨씬 사용하기 쉽고 "훌륭하다"고 평가했습니다. 사용자들은 더 높은 자신감을 느꼈고 덜 좌절했습니다.
더 나은 팀워크: HORUS 사용자들은 자연스럽게 업무를 분담하여, 한 대의 로봇은 건물의 왼쪽으로, 다른 한 대는 오른쪽으로 보냈습니다. 반면 조이스틱 그룹은 한 번에 한 대의 로봇에만 집중하는 경 경향이 있어 건물의 일부를 놓치는 모습을 보였습니다.
"멀미" 없음: 사용자들은 어지러움이나 메스꺼움을 느끼지 않았으며, 이는 시스템이 장시간 사용하기에 쾌적하다는 것을 의미합니다.

핵심 요약

이 논문은 HORUS를 사용하는 법을 배우는 데 시간이 조금 더 걸리지만(단순한 시스템의 7분 대비 약 18분의 훈련 시간), 그 보상은 엄청나다고 결론짓습니다. 이 시스템은 혼란스러운 로봇 팀 관리 업무를 매끄럽고 직관적인 경험으로 바꿔놓습니다.

연구진은 이것이 인간과 로봇의 협업을 위한 큰 진전이라고 말합니다. 향후 이들은 다른 종류의 로봇(걷는 로봇이나 드론 등)과 재난 지역이나 건설 현장 같은 더 복잡한 시나리오에서도 테스트할 계획입니다. 하지만 현재로서는, 그들에게 "마법의 지도"를 제공하는 것이 단서를 찾는 일—그리고 로봇 팀을 관리하는 일—을 훨씬 더 빠르고 스트레스 적게 만든다는 것을 입증했습니다.

기술 요약: HORUS – 이동 로봇 팀 관리를 위한 혼합 현실 인터페이스

문제 정의

혼합 현실(Mixed Reality, MR) 인터페이스가 단일 이동 로봇 제어를 위해 광범위하게 탐구되어 왔으나, 팀 단위의 로봇을 관리하는 데 적용하는 연구는 여전히 큰 공백이 존재한다. 기존의 2D 제어 인터페이스는 운영자가 서로 다른 데이터 스트림(카메라 피드, 센서 출력, 지도 등)을 정신적으로 통합하도록 강요하며, 이는 인지 부하를 높이고 동적인 환경에서 오류를 유발할 수 있다. 기존의 MR 솔루션은 주로 단일 로봇 시나리오나 시뮬레이션 환경에 집중되어 있으며, 다수 로봇의 협업을 효과적으로 처리하기 위한 확장성이 부족한 경우가 많다. 핵심 과제는 다양한 데이터 소스를 신속하게 통합하고, 미션 상태를 명확하게 시각화하며, 여러 에이전트에 대해 고수준의 작업 할당과 직접 원격 제어 사이를 유연하게 전환할 수 있는 인터페이스를 구축하는 것이다.

방법론

시스템 아키텍처 및 하드웨어

저자들은 이동식 바퀴형 로봇 팀을 관리하기 위해 설계된 MR 인터페이스인 HORUS(Holistic Operational Reality for Unified Systems)를 개발하였다.

하드웨어 플랫폼: 시스템은 2D LiDAR, 휠 인코더, 그리고 ROS 1을 실행하는 Asus Tinker Board(ARM7L)가 탑재된 소형 차동 구동 로봇인 Husarion ROSbot 2.0을 활용한다.
MR 장치: 인터페이스는 HoloLens 2와 같은 기기보다 더 넓은 시야각(FOV)과 컬러 패스스루 기술을 제공하는 Meta Quest 3에서 실행된다.
소프트웨어 스택: Meta XR All-in-One SDK를 사용하여 Unity 2022.3.34f1로 개발되었다. 헤드셋과 로봇 간의 통신은 Unity TCP Connector와 원격 머신에서 실행되는 커스텀 HORUS Bridge 노드를 통해 처리된다.
네트워킹: 시스템은 단일 장애점이나 혼잡을 방지하기 위해 fkie_multimaster 패키지를 사용하는 멀티 마스터(multi-master) 방식을 채택한다. 원격 배포를 위해 Tailscale VPN이 보안 피어 투 피어(peer-to-peer) 메시 네트워크를 생성하여, 운영자가 마치 로컬 네트워크에 있는 것처럼 인터넷을 통해 로봇을 관리할 수 있게 한다.

로보틱스 및 SLAM

ROSbot 2.0의 계산적 제약을 고려하여, 저자들은 간소화된 다중 로봇 SLAM 및 내비게이션 프레임워크를 구현하였다.

로컬 매핑: 각 로봇은 2D LiDAR와 오도메트리를 사용하여 로컬 점유 격자 지도(occupancy grid map)를 생성하기 위해 독립적으로 GMapping을 실행한다.
지도 병합: 커스텀 스크립트는 ROS TF를 통한 거친 정렬(coarse alignment)을 적용한 후, OpenCV를 이용한 위상 상관(phase-correlation) 정밀화 단계를 거쳐 이러한 로컬 지도들을 통합한다. 이는 개별 오도메트리의 드리프트를 완화하고 지도의 상세도를 높인다.
내비게이션: 로봇은 통합된 지도 상에서 실시간 충돌 회피 및 동적 경로 적응을 위해 Timed Elastic Band (TEB) 로컬 플래너를 사용한다.

HORUS 인터페이스

시스템의 핵심은 공유된 미니 맵(지상국)에 고정된 홀로그래픽 인터페이스인 Robot Manager Panel이다. 이 패널은 각 로봇을 위한 네 가지 전용 탭을 갖추고 있다.

상태(Status): 배터리, 속도, 포즈(pose), 작업 완료 상태를 표시한다.
데이터 시각화(Data Visualization): 색상으로 구분된 장애물 경고가 포함된 LiDAR 스캔을 포함하여 센서 오버레이를 토글할 수 있다. 카메라 모드에는 투영형(Projected)(로봇 프레임에 고정됨)과 오버헤드(Overhead)(로봇 위로 떠 있는 창 형태)가 있다.
작업(Tasks): 목표 포즈 설정, 웨이포인트 정의, 특정 포즈 레이블링(예: "부상당한 희생자"), 커스텀 내비게이션 계획 그리기와 같은 미션 수준의 명령을 지원한다.
원격 제어(Teleoperation): 두 가지 별도의 모드를 제공한다.
- 미니 맵 원격 제어: 미니 맵을 통한 3인칭 제어(RC 카 게임과 유사)로, 선속도 및 각속도 제어를 위한 조이스틱을 사용한다.
- 반몰입형 원격 제어(Semi-Immersive Teleoperation): 좁은 공간에서의 정밀한 기동을 위해 로봇의 카메라 피드를 단일 또는 스테레오 3D 화면 형태로 보여주는 평면 스크린 뷰를 제공하며, 이때 미니 맵도 함께 볼 수 있다.

주요 기여

통합 다중 로봇 관리: HORUS는 실시간 모니터링, 센서 시각화, 다수 로봇에 대한 작업 할당을 하나의 공간 인터페이스로 통합함으로써 단일 로봇 MR 제어와 팀 관리 사이의 간극을 메운다.
하이브리드 제어 모드: 시스템은 MR 환경을 벗어나지 않고도 고수준의 자율 작업 할당(목표 설정, 웨이포인트 계획)과 저수준의 직접 원격 제어(미니 맵 및 반몰입형 모드) 사이를 유연하게 전환하는 기능을 독특하게 지원한다.
확장 가능한 아키텍처: 멀티 마스터 ROS 아키텍처와 VPN 기반 연결을 활용함으로써, 중앙 서버에 의존하지 않고 더 큰 규모의 팀과 원격 운영 환경으로 확장할 수 있도록 설계되었다.
실세계 검증: 시뮬레이션에 국한된 많은 이전 연구들과 달리, HORUS는 실제 환경에서 바퀴형 로봇 팀을 사용하여 검증되었다.

사용자 연구 및 결과

20명의 참가자를 두 그룹, 즉 HORUS 그룹(전체 인터페이스 사용)과 Teleop-Only 그룹(미니 맵이나 자율 작업 기능이 없는 독립형 반몰입형 원격 제어 인터페이스 사용)으로 나누어 사용자 연구를 수행하였다. 참가자들은 복도와 사무실 환경에서 두 대의 로봇을 사용하여 다섯 개의 숨겨진 ArUco 태그를 찾는 임무를 수행하였다.

주요 결과:

작업 완료 시간: HORUS 그룹은 Teleop-Only 그룹(평균: 11:17)에 비해 현저히 빠르게 미션을 완료하였다(평균: 8:42). 이는 통계적으로 유의미한 차이를 보였다 ( $p < 0.001$ , $d = 1.93$ ). 이는 약 23%의 효율성 향상을 나타낸다.
사용성 (SUS): HORUS는 평균 82.3점("우수")의 시스템 사용성 척도(SUS) 점수를 기록하였으며, 이는 Teleop-Only 그룹의 68.5점("좋음")보다 유의미하게 높았다. 참가자들은 더 높은 자신감을 보고하였으며 시스템이 덜 복잡하고 더 통합되어 있다고 느꼈다.
작업 부하 (NASA TLX): 전체적인 작업 부하 점수는 비슷했으나, HORUS 그룹은 유의미하게 낮은 좌절감( $p = 0.04$ )을 보고하였다.
교육: 비록 HORUS가 목표 기반 내비게이션 및 미니 맵 제어를 익히기 위해 더 긴 초기 교육 시간(Teleop-Only의 7분 대비 18분)을 필요로 했지만, 성능상의 이점이 이러한 투자 가치를 입증했다.
협업: 질적 분석 결과, HORUS 사용자들은 병렬적인 커버리지를 위해 로봇을 서로 다른 구역에 할당하는 보완적인 탐색 전략을 사용하는 반면, Teleop-Only 사용자는 로봇을 순차적으로 집중하는 경향이 있음이 나타났다.

의의 및 주장

본 논문은 HORUS가 다중 로봇 협업에 있어 혼합 현실 인터페이스의 다재다능함과 효과성을 입증한다고 주장한다. 모든 로봇으로부터의 데이터를 공통의 공간 등록 지도로 융합함으로써, 시스템은 상황 인식을 높이고 운영자가 동적인 팀 기반 환경을 보다 효과적으로 관리할 수 있게 한다.

저자들은 HORUS가 2D 인터페이스와 단일 로봇 MR 시스템의 한계를 해결하며 인간-로봇 협업의 진일보를 이루었다고 위치시킨다. 자율 내비게이션과 수동 제어 사이를 원활하게 전환하는 능력과 공유된 운영 뷰를 결합함으로써 미션 속도를 높이고 운영자의 좌절감을 줄일 수 있다는 점을 강조한다. 연구는 비록 초기 학습 곡선은 더 가파를지라도, 총체적인 MR 인터페이스의 고급 기능들이 실세계 수색 및 구조 시뮬레이션에서 우수한 성능을 낸다는 것을 검증한다.

저자들이 밝힌 향후 과제에는 이종 팀(보행 및 항공 로봇)으로의 확장, 고급 궤적 계획 및 AI 코파일럿 시스템 구현, 그리고 더 풍부한 상황 인식을 위한 3D 매핑 능력 강화가 포함된다.