MRDrive: An Open Source Mixed Reality Driving Simulator for Automotive User Research

이 논문은 HCI 연구와 자동화 주행 맥락에서의 차량 내 인터랙션, 주의, 설명 가능성 평가를 위해 실제 차량 실내와 가상 주행 환경을 결합한 오픈 소스 혼합 현실 주행 시뮬레이터 'MRDrive'를 소개하고, 이를 통해 수집된 눈 추적 및 터치 상호작용 데이터를 분석한 파일럿 연구를 제시합니다.

핵심

MRDrive: 현실과 가상을 섞은 '가상 운전 시뮬레이터' 이야기

이 논문은 **'MRDrive'**라는 새로운 도구를 소개합니다. 쉽게 말해, 운전하는 사람의 손이 닿는 '실제 차 안'과 눈앞에 펼쳐지는 '가상 도로'를 완벽하게 섞어주는 실험실 같은 것입니다.

이걸 이해하기 위해 몇 가지 비유를 들어볼까요?

1. 왜 이런 게 필요할까요? (진짜와 가상의 딜레마)

운전 인터페이스를 연구할 때 과학자들은 항상 두 가지 사이에서 고민합니다.

• 진짜 차를 타고 도로를 달리는 것: 가장 현실적이지만, 사고 위험이 있고 통제하기 어렵습니다. (비유: 실제 비행기를 타고 하늘을 날며 훈련하는 것처럼 위험하고 비쌉니다.)
• VR(가상현실) 안경을 쓰고 가상의 차를 타는 것: 안전하고 자유롭게 상황을 바꿀 수 있지만, 손이 닿는 핸들이나 대시보드가 없어요. 손이 허공을 가르며 버튼을 누르면 실제 운전 감각과 달라서 연구 결과가 왜곡될 수 있습니다. (비유: 비행기 조종석 없이 VR 안경만 쓰고 하늘을 날아보는 것과 같아요. 손이 공중에 떠서 조작감이 없습니다.)

MRDrive는 이 두 가지의 단점을 모두 없애고 장점을 합칩니다. "진짜 차의 안락한 좌석과 핸들을 잡고, 눈앞에는 가상의 도로를 보는" 방식이죠.

2. MRDrive 는 어떻게 작동할까요? (마법 같은 투명 유리)

이 시스템의 핵심은 MR(혼합현실) 안경입니다.

• 상황: 연구 참여자는 실제 차 시트 (또는 정교하게 만든 차 모형) 에 앉아 있습니다.
• 안경: Varjo 라는 고급 VR 안경을 쓰는데, 이 안경은 투명 유리처럼 작동합니다.
  • 안경으로 보면: 눈앞에 360 도 가상의 도로, 다른 차들, 보행자들이 보입니다.
  • 손으로 만지면: 실제 차의 핸들, 브레이크, 터치스크린을 만집니다.
• 마법: 안경은 실제 핸들 위쪽에 가상의 계기판을 겹쳐서 보여줍니다. 마치 실제 핸들 위에 홀로그램이 투영된 것처럼, 손은 실제 물체를 만지고 눈은 가상의 정보를 봅니다.

이를 통해 연구자들은 **"실제 운전할 때와 똑같은 손놀림"**을 유지하면서, **"가상 도로에서 어떤 일이 벌어져도 안전"**하게 실험할 수 있습니다.

3. 이걸로 무엇을 했나요? (작은 실험실)

저자들은 이 장비를 이용해 작은 실험 (파일럿 연구) 을 했습니다.

• 상황: 자동 운전 차를 타는 승객이 되어, 차가 갑자기 멈추거나 위험한 상황을 마주칩니다.
• 실험: 차가 "왜 멈췄나요?"라고 설명을 해줄 때, 승객의 **눈동자 크기 (스트레스 지표)**와 터치스크린을 누르는 행동을 측정했습니다.
• 결과: 위험한 상황이 오면 눈동자가 커지고, 설명을 원할 때 터치스크린을 누르는 등, 실제 운전과 유사한 반응을 관찰할 수 있었습니다. 이는 이 시뮬레이터가 실제 운전 상황을 잘 재현한다는 증거입니다.

4. 왜 이 연구가 중요할까요? (누구나 쓸 수 있는 오픈 소스)

기존의 고가 시뮬레이터는 돈이 너무 많이 들어 대학이나 대기업만 쓸 수 있었습니다. 하지만 MRDrive 는 **오픈 소스 (누구나 무료로 가져다 쓸 수 있는 코드)**로 만들어졌습니다.

• 비유: 마치 레고 블록처럼, 연구자들은 필요한 부분 (핸들, 대시보드, 도로 배경) 만 골라서 자신의 실험실에 맞춰 조립할 수 있습니다.
• 목표: 앞으로 우리가 타게 될 자율주행차가 얼마나 안전한지, 운전자가 차의 행동을 얼마나 잘 이해하는지 등을 더 쉽고 정확하게 연구할 수 있게 돕는 것입니다.

요약

MRDrive는 **"진짜 차의 손맛을 살리면서, 가상의 도로 위에서 안전하게 실험할 수 있는 마법의 실험실"**입니다. 연구자들이 더 저렴하고 유연하게 미래 자동차를 연구할 수 있게 도와주는 열쇠입니다.

기술 요약

1. 문제 정의 (Problem)

자동차 내부 인터페이스 (IVI) 를 설계하고 평가하기 위해서는 **생태학적 타당성 (ecological validity)**과 **실험 통제 (experimental control)**를 동시에 만족시키는 실험 플랫폼이 필요합니다. 기존 주행 시뮬레이터는 다음과 같은 근본적인 트레이드오프에 직면해 있습니다.

• 고충실도 물리 시뮬레이터: 매우 비싸고 공간이 많이 필요하며, 하드웨어에 종속되어 유연성이 떨어집니다.
• 가상 현실 (VR) 시뮬레이터: 비용과 공간 효율성이 뛰어나고 유연하지만, 실제 차량 내부와의 물리적 상호작용 (터치, 햅틱 피드백 등) 이 부재하여 생태학적 타당성이 낮아집니다. 특히 실제 차량의 인포테인먼트 시스템이나 스마트폰과의 상호작용이 운전 행동에 미치는 영향을 연구하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 위 문제점을 해결하기 위해 혼합 현실 (Mixed Reality, MR) 기술을 활용한 오픈 소스 주행 시뮬레이터인 MRDrive를 제안합니다.

• 시스템 아키텍처:

  • 소프트웨어: Unity 게임 엔진을 기반으로 구축되었습니다. 차량 내부의 물리적 요소 (대시보드, 핸들 등) 는 실제 하드웨어로, 주행 환경은 가상으로 렌더링됩니다.
  • 데이터 흐름: 시뮬레이터는 차량 모의 장치 (Mock-up) 로부터 TCP 를 통해 조향 및 제어 입력을 받고, 인포테인먼트 시스템 (IVIS) 으로부터 USB 를 통해 터치 입력을 수신합니다. 또한, HMD(Head-Mounted Display) 와의 통신을 통해 위치 및 눈동자 추적 (Eye-tracking) 데이터를 통합합니다.
  • 하드웨어 구성:
    • HMD: VR 기능과 비디오 패스스루 (Pass-through) 기능을 모두 지원하는 Varjo XR-3 안경을 사용합니다. 이를 통해 사용자는 실제 차량 내부 (대시보드, 핸들 등) 를 보면서도 360 도 가상 주행 환경에 몰입할 수 있습니다.
    • 차량 모의 장치 (Cabin Mock-up): Ergoneers社의 고품질 모의 장치를 사용했습니다. 전기 조절 시트, 힘 피드백이 있는 스티어링 휠, 브레이크/액셀 페달, 계기판, 17 인치 센터 스택 터치스크린 등을 포함합니다.
    • 추적 시스템: SteamVR 베이스 스테이션과 HTC Vive 트래커를 사용하여 가상 3D 차량 모델과 물리적 모의 장치의 정렬 (Alignment) 을 정밀하게 유지합니다.

• 특징:

  • 유연성: 완전한 가상 차량부터 실제 차량까지 다양한 충실도 (Fidelity) 수준으로 구성 가능합니다.
  • 오픈 소스: GitHub 에서 전체 소스 코드를 공개하여 연구자들이 하드웨어 요구 사항에 맞춰 수정하고 재현 가능한 실험을 수행할 수 있습니다.
  • IVIS 구현: 현대적 자동화 차량 (예: Waymo) 의 인터페이스를 모방한 계기판과 센터 스크린을 제공하며, 터치 및 음성 상호작용을 지원합니다.

3. 주요 기여 (Key Contributions)

1. Unity 기반 오픈 소스 MR 주행 시뮬레이터: 연구 커뮤니티가 접근하기 쉬운 고품질 MR 주행 연구 플랫폼을 제공합니다.
2. 확장 가능한 인포테인먼트 시스템 (IVIS): 현대 자동화 차량 (AV) 에서 영감을 받은 인터랙티브한 대시보드 및 터치스크린 시스템을 포함합니다.
3. 사용자 연구 및 데이터 수집 예시: 운전 데이터, 상호작용 데이터, 생리학적 측정 (눈동자 등) 을 수집하는 방법을 보여주는 예시 시나리오를 제공합니다.

4. 결과 (Results)

MRDrive 의 능력을 입증하기 위해 N=2 규모의 파일럿 연구를 수행했습니다.

• 연구 목적: 행동 가설 검증을 위한 것이 아니라, MRDrive 를 통해 자동화 주행 상황에서 눈동자 추적 (Eye-tracking) 및 터치 상호작용 데이터를 어떻게 수집하고 분석할 수 있는지 시연하는 것이 목적입니다.
• 실험 설계: 참가자는 자동화 주행 시나리오에서 승객 역할을 수행하며, 차량의 행동을 설명하는 3 가지 유형의 AI 에이전트 (설명 없음, 사전 설명, 요청 시 설명) 와 상호작용했습니다.
• 데이터 분석:
  • 참가자의 **동공 확장 (Pupil Dilation)**을 통해 인지 부하 (Workload) 를 측정했습니다.
  • 터치스크린을 통한 설명 요청 빈도를 기록했습니다.
• 결과: 잠재적 안전 위험 상황에서 AI 에이전트가 설명을 제공할 때 동공이 확장되는 경향을 관찰했으며, 이는 MRDrive 를 통해 정교한 생리학적 및 상호작용 데이터를 수집할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 중간 지점의 확보: MRDrive 는 물리적 현실성을 희생하는 VR 시뮬레이터와 비싼 프로젝션 기반 시뮬레이터 사이의 이상적인 중간 지점을 제공합니다. 실제 차량 내부의 햅틱 피드백과 몰입형 가상 환경을 동시에 제공합니다.
• 연구 장벽 완화: 고가의 폐쇄형 시스템에 의존하지 않고, 오픈 소스 아키텍처를 통해 자동차 사용자 연구 (AutoUI) 의 진입 장벽을 낮추고 연구의 재현성을 높입니다.
• 한계 및 향후 과제:
  • 정밀한 정렬 (<1cm) 을 위해 고가의 Varjo XR-3 헤드셋과 고성능 GPU (RTX 4090) 가 필요합니다.
  • 정렬 과정에 상당한 시행착오가 필요합니다.
  • 향후 제스처 및 음성 입력 지원 확대, 추가 생리학적 센서 통합, 실제 주행 데이터와의 검증 등을 통해 발전시킬 계획입니다.

결론적으로, MRDrive 는 자동화 및 수동 주행 환경에서의 인간 - 차량 상호작용 (HMI), 주의 집중, 설명 가능성 (Explainability) 연구에 있어 혁신적인 도구로 자리 잡을 것으로 기대됩니다.