ARTOO-DARTU: Studying AR-HRC With AR Obstruction Mitigation During a Warehouse Task

기술 요약: ARTOO-DARTU: 창고 작업 중 AR 폐쇄(Obstruction) 완화를 통한 AR-HRC 연구

문제 정의
창고 환경에서의 인간-로봇 협업(HRC)은 로봇의 의도, 내부 상태 및 공간 인식을 전달하기 위해 증강 현실(AR)에 점점 더 많이 의존하고 있습니다. 그러나 AR 위치 기반 분석(situated analytics)—이동형 로봇에 고정된 가상 콘텐츠—가 재고 라벨, 물리적 객체, 안전 표지판과 같이 작업 완료에 필수적인 실제 세계 요소에 대한 사용자의 시야를 가리는 중요한 문제가 발생합니다. 작업자와 로봇이 예측 불가능하게 움직이는 역동적인 창고 환경에서, 정적인 AR 뷰 관리 기법(예: 콘텐츠를 천장으로 이동)은 분석 데이터와 로봇 사이의 공간적 결합을 깨뜨리기 때문에 불충 sufficient하지 않습니다. 또한, 기존의 폐쇄 탐지 방법은 사전 정의된 3D 모델이나 클라우드 기반의 시각-언어 모델에 의존하는 경우가 많아, 지연 시간, 개인정보 보호 위험을 초래하며 특정 재고 라벨과 같이 보지 못한 실제 세계 요소에 일반화하는 데 실패합니다. 본 논문은 풍부한 위치 기반 분석을 제공하면서도, 콘텐츠의 공간적 정렬이나 로봇의 작업 실행을 방해하지 않고 실제 세계의 폐쇄를 능동적으로 완화할 수 있는 AR 시스템의 필요성을 다룹니다.

방법론
이러한 과제를 해결하기 위해 저자들은 Microsoft HoloLens 2를 위한 AR 시스템인 ARTOO-DARTU(사용자를 위한 로봇 팀워크 보조 및 AR 폐쇄 억제 기술)를 개발하였으며, Pocket MonstARs라는 게임화된 태스크를 통해 이를 평가하였습니다.

• 시스템 아키텍처: 시스템은 Microsoft HoloLens 2 헤드셋, TurtleBot 4, 그리고 에지 서버(NVIDIA RTX 3060)로 구성됩니다. 헤드셋은 위치 기반 분석을 표시하고 가상 맵 마커를 통해 사용자 제어를 허용하는 Unity 애플리케이션을 실행합니다. 에지 서버는 FastAPI 기반의 통신 계층을 호스팅하며, 폐쇄 탐지 및 완화(ODM) 파이프라인을 위한 고부하 연산을 수행합니다.
• 위치 기반 분석(Situated Analytics): 시스템은 로봇의 위치, 내부 상태(배터리, 열, Wi-Fi, 유지보수), 명령 진행 상황, 의도된 궤적을 시각화합니다. 주요 지표로는 구형 위치 표시기, 의인화된 상태 메시지를 위한 "생각 풍선", 명령 상태 화면, 궤적 화살표가 포함됩니다.
• 폐쇄 탐지 및 완화(ODM): 핵심 혁신은 클라우드 의존성 없이 실시간에 가깝게 작동하도록 설계된 ODM 파이프라인입니다.
  1. 투영(Projection): HoloLens는 가상 콘텐츠가 없는 실제 세계의 원본 이미지를 캡처하고, 활성화된 모든 가상 아이템에 대한 2D 바운딩 박스 투영을 계산합니다.
  2. 탐지(Detection): 이미지와 투영된 박스는 에지 서버로 전송되며, 서버는 YOLOv5를 사용하여 객체를 탐지하고 EasyOCR을 사용하여 텍스트를 탐지합니다.
  3. 완화(Mitigation): 시스템은 가상 아이템의 투영과 탐지된 실제 객체/텍ex 간의 중첩을 계산합니다. 만약 가상 아이템이 실제 세계의 요소와 30% 이상 겹치면 해당 아이템은 플래그(flag) 처리됩니다. 그 후 HoloLens 앱은 해당 아이템을 폐쇄 지점에서 20cm 이상 떨어질 때까지 완전히 투명하게 렌더링하여, 공간적 정렬을 유지하면서 가시성을 복구합니다.
• 실험적 태스크 (Pocket MonstARs): 12개의 라벨이 붙은 상자와 YOLO로 인식 가능한 객체가 들어있는 4개의 상자가 포함된 2.4×2.4 m 작업 영역입니다. 사용자는 창고 작업자 역할을 수행하며, 15마리의 몬스터를 "잡도록" 로봇을 지시합니다. 10마리의 몬스터는 보이는 가상 타겟이며, 5마리는 실제 상자 안에 숨겨진 "박스 몬스터"로, 사용자가 타겟을 찾기 위해 특정 라벨이나 객체를 식별해야 합니다.
• 사용자 연구: 34명의 참가자를 대상으로 한 2 × 3 혼합 요인 설계 연구입니다. 피험자 간 요인은 그룹(ODM 활성 vs. ODM 비활성)입니다. 피험자 내 요인은 시행(분석 없음, 위치 기반 분석, 화살표가 포함된 위치 기반 분석)입니다. 성능은 포획 시간으로 측정되었으며, 주관적 피드백은 설문(GEQ, 사용 용이성, 신뢰도)을 통해 수집되었습니다.

주요 기여

1. ARTOO-DARTU 시스템: 이동형 창고 로봇에 특화되어 설계된 위치 기반 분석 및 로봇 제어를 제공하는 통합 AR-HRC 시스템으로, 참가자의 83%가 분석 기능이 없는 베이스라인보다 이를 선호했습니다.
2. ODM 파이프라인: 로봇과 결합된 위치 기반 분석을 위해 특별히 설계된 최초의 폐쇄 탐지 및 완화 파이프라인입니다. 기존 연구와 달리, 이 시스템은 클라우드 인프라나 사전 정의된 3D 모델 없이도 역동적인 환경에서 이전에 보지 못한 실제 세계 요소(라벨 및 객체)에 대해 작동합니다.
3. Pocket MonstARs: 창고의 재고 피킹 과정을 추상화한 통제된 게임화 실험 태스크입니다. 이는 실제 세계의 타겟 식별(라벨 읽기, 객체 인식)이라는 핵심 요구사항을 유지하면서 AR 폐쇄 및 분석을 체계적으로 평가할 수 있게 합니다.

결과

• 효율성: 위치 기반 분석의 존재는 전체 작업 효율성을 46% 증가시켰으나, 이는 ODM이 활성화되었을 때만 해당되었습니다. ODM이 없으면 분석 기능은 효율성을 개선하지 못했으며, 폐쇄로 인해 오히려 성능을 저해하기도 했습니다.
• 실제 세계 하위 태스크: ODM이 활성화된 참가자들은 실제 세계의 가시성이 필요한 하위 태스크(박스 몬스터 잡기)에서 ODM이 없는 경우보다 61% 더 빨랐습니다. 구체적으로, SA(위치 기반 분석) 시행에서 ODM 그룹은 32.7초가 걸린 반면, 비-ODM 그룹은 57.9초가 걸렸습니다 ($p=0.002$).
• 전반적인 성능: SA 시행에서 ODM 활성 참가자들은 비-ODM 그룹에 비해 전반적으로 39% 더 빨랐습니다.
• 주관적 피드백: ODM 그룹의 사용자들은 유의미하게 낮은 인지된 난이도와 높은 유능감을 보고했습니다. ODM 그룹의 83%가 AR 분석이 포함된 시행을 가장 선호하는 방식으로 꼽았습니다. 반면, ODM이 비활성화된 사용자는 시야가 가려지는 것에 대한 좌절감을 자주 언급했습니다.
• 화살표: 궤적 화살표의 추가(SA+ARR)는 SA 단독 시행보다 성능을 유의미하게 개선하지 못했으며, 화살표 배치에 따라 사용자가 로봇 마커를 상자 안에 배치하는 등의 내비게이션 오류를 유발하여 오히려 포획 시간을 늦추기도 했습니다.

의의 및 주장
본 논문은 AR 위치 기반 분석이 창고 HRC 시나리오에서 효율성과 사용자 경험을 크게 향고할 수 있지만, 실제 세계의 가시성을 보존하는 강력한 폐쇄 완화 전략과 결합될 때만 가능하다고 주장합니다. 저자들은 폐쇄 관리가 부차적인 개선 사항이 아니라, 효과적인 AR 보조를 위한 전제 조건이자 "일급 관심사(first-class concern)"로 취급되어야 함을 강조합니다. 본 연구는 ODM이 풍부한 로봇 상태 정보의 필요성과 물리적 요소의 가시성 유지라는 안전 및 사용성 요구사항 사이의 균형을 성공적으로 맞춘다는 것을 입증합니다. 저자들은 본 연구가 게임화된 추상화 모델을 사용했음을 언급하며, 본 연구 결과가 실제 작업자와 안전이 중요한 요소들이 존재하는 실제 창고 환경에서 검증되기 위해 향후 연구가 필요함을 명시하며 결론을 맺습니다.