Head-wearable Holographic Head-mounted Display with 6 Degrees of Freedom

기술 요약: 6자유도(6DoF)를 지원하는 머리 착용형 홀로그래픽 헤드 마운트 디스플레이

문제 정의
가상 현실(VR) 및 증강 현실(AR)을 위한 헤드 마운트 디스플레이(HMD)는 흔히 버전스-액코모데이션 갈등(VAC, 폭주-조절 불일치) 문제를 겪으며, 이는 눈의 피로와 3D 멀미의 주요 원인이 된다. 이는 기존 HMD가 고정된 초점 깊이에서 이미지를 표시하여 사용자의 지각적 깊이와 일치하지 않기 때문에 발생한다. 홀로그래픽 HMD(holo-HMD)는 다양한 깊이에서 광장(light field)을 재구성할 수 있어 VAC를 자연스럽게 해결할 수 있는 이상적인 솔루션으로 간주된다. 그러나 실용적인 holo-HMD의 결정적인 장벽은 홀로그램 데이터를 실시간으로 생성하는 데 드는 계산 부하이다. 점광원 방식(point-light source method)과 같은 전통적인 컴퓨터 생성 홀로그래피(CGH) 기법은 물체의 점 개수와 홀로그램 픽셀 수에 비례하여 방대한 계산을 요구한다. 이로 인해 회전과 이동을 모두 포함하는 6자유도(6DoF)를 지원하는 홀로그램을 실시간으로 생성하는 것은, 특히 웨어러블 기기에 부착되는 제한된 하드웨어 환경에서는 매우 어렵다.

방법론
저자들은 실시간 6DoF 홀로그래픽 디스플레이를 구현하기 위해 새로운 고속 계산 알고리즘과 맞춤형 광학 프로토타입을 결합한 시스템을 제안한다.

• 고속 계산 알고리즘 (위상 보정):
  핵한 혁신은 홀로메트릭 비디오 스트리밍(HVS) 개념에 기반한 고속 계산 알고리즘이다. 사용자의 머리 움직임에 따라 매 프레임마다 전체 물체 광장을 다시 계산하는 대신, 이 시스템은 특정 평면 상의 "물체 광(object light)"(가상 물체로부터 오는 파면)을 미리 계산한다.

  • 사전 계산: 가상 물체의 정의를 바탕으로 물체 광 분포를 한 번 계산한다.
  • 위상 보정: 사용자가 머리를 움직일 때(6DoF), 시스템은 물체 광을 재계산하지 않는다. 대신, 미리 계산된 광 데이터에 위상 보정을 적용한다. 이 보정은 홀로그램 평면에 대한 사용자의 회전 및 이동으로 인해 발생하는 광 경로 차이를 반영한다.
  • 복잡도 감소: 이 위상 보정의 계산 복잡도는 $O(P)$이며, 여기서 $P$는 홀로그램 픽셀 수이다. 결정적으로, 이는 물체 내의 점광원 수($N$)와 무관하다. 이는 표준 점광원 방식의 복잡도가 $O(PN)$인 것과 대조적이다. 이를 통해 시스템은 프레임당 계산 시간을 늘리지 않고도 복잡한 물체를 처리할 수 있다.
  • 샘플링 한계: 저자들은 위상 보정 리샘플링 과정 중 에일리어싱(aliasing)을 방지하기 위한 회전 각도의 이론적 한계를 도출하였으며, 사용된 특정 파장에 대해 최대 유효 회전 각도를 약 $5.77^\circ$로 결정하였다.

• 광학 시스템 프로토타입:
  저자들은 다음과 같은 특성을 가진 단안(monocular) holo-HMD 프로토타입을 개발하였다.

  • 광학 구조: 레이저 빔을 콜리메이션(collimation)한 후 공간 광 변조기(SLM)로 변조한다. 회절된 빛은 실상(real image)을 형성하며, 이는 오목 거울에 의해 확대되어 사용자에게 가상 이미지를 생성한다. 초점 위치에 배치된 배리어(barrier)는 0차 및 고차 회절 노이즈를 제거한다.
  • 풀 컬러 디스플레이: 시스템은 단일 RGB 반도체 레이저 패키지를 이용한 시분할 다중화(time-division multiplexing) 방식을 사용한다. SLM은 60Hz로 작동하며, 색상 필드 속도는 360Hz로, 프레임당 6번 색상을 전환하여 깜빡임 없이 풀 컬러 이미지를 합성한다.
  • 트래킹 및 통합: 아두이노 기반 모션 센서가 머리 움직임(6DoF)을 추적하여 PC로 데이터를 전송한다. PC는 위상 보정 알고리즘을 실행하고 실시간으로 SLM을 업데이트한다.
  • 좌표 변환: 시스템은 오목 거울의 확대 효과와 조립 오차(예: 실상의 위치 미세 불일치)를 보정하기 위한 특정 좌표 변환 알고리즘을 포함하며, 이를 통해 재구성된 이미지가 올바른 깊이에 나타나도록 보장한다.

주요 기여

1. 실시간 6Doof 알고리즘: 계산 시간을 물체의 복잡도와 분리하여, 표준 하드웨어에서도 6DoF 시청을 위한 실시간 홀로그램 생성을 가능하게 하는 위상 보정 기반 알고리즘을 제안하였다.
2. 통합 프로토타입: 모션 트래킹, 풀 컬러 재구성, 광시야각 광학계를 통합한 컴팩트하고 가벼운(287g) 머리 착용형 holo-HMD 프로토타입을 개발하였다.
3. 오차 보정: 프로토타입에 사용된 오목 거울의 특정 확대 특성과 광학 조립 오차를 교정하기 위한 좌표 변환을 구현하였다.

결과

• 성능: 시스템은 CGH 생성을 위해 약 35.740 fps(프레임당 2528 ms)의 프레임 레이트를 달로성하였다. 계산 시간은 점광원의 수와 관계없이 일정하게 유지되어 위상 보정 방식의 효율성을 확인하였다.
• 시야각 (FOV): 프로토타입은 이론적 최대 FOV $18.23^\circ$와 실험적 FOV $17.06^\circ$를 달성하였다.
• 이미지 품질:
  • 깊이: 실험을 통해 성공적인 깊이 표현을 입증하였다. 서로 다른 깊이(50mm 및 250mm)에 있는 물체는 카메라가 해당 물체에 초점을 맞췄을 때만 선명하게 보이고 나머지는 흐릿하게 보였다.
  • 색상: 시분할 다중화 방식을 사용하여 풀 컬러 재구성을 달성하였으며, 깜빡임은 관찰되지 않았다.
  • 6DoF 모션: 사용자의 머리가 움직이는 동안 재구성된 이미지가 외부 환경에 대해 고정된 상태를 유지하는 것을 성공적으로 보여주었다. 여기에는 전후 이동($\pm 150$ mm), 롤(roll) 회전($\pm 30^\circ$), 피치(pitch) 회전($\pm 1.5^\circ$), 요(yaw) 회전($\pm 3^\circ$)이 포함된다.
  • 한계: 피치 및 요의 회전 각도는 사전 계산된 물체 광 평면의 평면적 특성과 에일리어싱 방지 필요성으로 인해 제한되었다. 큰 롤 회전 시 고차 회절 아티팩트가 관찰되었다.

의의 및 주장
본 논문은 이 연구가 holo-HMD의 가장 중요한 과제 중 하나인 6자유도를 위한 실시간 홀로그램 데이터 생성을 해결했다고 주장한다. 모션 트래킹, 광시야각, 컬러 디스플레이를 하나의 가볍고 컴팩트한 패키지에 통합함으로써, 저자들은 실용적인 holo-HMD가 실현 가능해지고 있음을 입증하였다.

저자들은 현재의 FOV($\approx 20^\circ$)가 기존 AR 글래스와는 유사하지만, 현대적인 VR 시스템이나 고급 AR 글래스(종종 $>50^\circ$)보다는 좁다는 점을 겸허히 언급하였다. 또한 향후 작업으로서 홀로그래픽 광학 소자(HOE)나 웨이브가이드 시스템을 사용하여 FOV를 확장하고, 스펙클 노이즈를 해결하여 이미지 품질을 개선해야 한다고 명시하였다. 그럼에도 불구하고, 본 연구는 미래의 머리 착용형 홀로그래픽 디스플레이 개발 및 실질적인 구현을 위한 유용한 가이드라인과 기능적인 개념 증명(proof-of-concept)을 제공한다.