🔬 optics

Research and Development of High-Efficiency Compressed Transmission Technologies for Holographic Communication in Beyond 5G Networks

이 보고서는 Beyond 5G 네트워크를 위한 홀로그래픽 통신용 고효율 압축 전송 기술 개발에 관한 홋카이도 대학의 NICT 지원 프로젝트 연구 결과를 개략적으로 설명하며, 전문적인 조사 내용을 폭넓은 독자가 이해하기 쉬운 형식으로 제시합니다.

원저자: Yuji Sakamoto, Takahiro Yamanoi, Seok Kang

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuji Sakamoto, Takahiro Yamanoi, Seok Kang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구에게 완벽한 3차원 토끼 홀로그램을 보내려고 한다고 상상해 보세요. 과거에는 이것이 마치 사진 한 장을 보여주기 위해 도서관 한 채 분량의 책을 우편으로 보내는 것과 같았습니다. 데이터가 너무 방대해서 인터넷을 마비시킬 정도였고, 이를 생성하는 데 필요한 컴퓨터는 단 한 프레임을 완성하는 데만 몇 시간이 걸렸습니다.

홋카이도 대학교의 이 보고서는 이러한 문제들을 해결하기 위해 어떻게 "마법 같은 파이프라인"을 구축했는지 설명하며, 차세대 인터넷(Beyond 5G)을 위한 홀로그래픽 TV(Holo-TV)를 실현하는 것을 목표로 합니다.

연구진이 이 문제를 어떻게 해결했는지, 쉬운 개념들로 나누어 설명합니다.

1. "만능 번역기" (공통 데이터 형식)

문제점: 당신이 친구에게 영화를 보낸다고 상상해 보세요. 만약 친구가 대형 TV를 가지고 있든, 태블릿을 가지고 있든, 혹은 안경 형태의 기기를 가지고 있든, 보통은 그 기기에 맞춰 영화를 다시 편집해야 합니다. 만약 1,000명의 친구가 각각 다른 기기를 가지고 있다면, 당신은 1,000개의 서로 다른 버전을 만들어야 할 것입니다. 그것은 불가능합니다.

해결책: 연구진은 빛을 위한 "만능 번역기"를 만들었습니다. 특정 화면에 맞춘 영화를 보내는 대신, 방송국으로부터 단 하나의 원본 "빛 레시피"(Object Light라고 불림)를 보냅니다.

작동 방식: 이 레시피를 빛이 당신의 눈에 어떻게 보여야 하는지에 대한 일련의 지침이라고 생각하세요. 신호가 당신의 기기(헤드셋이든 탁상용 프로젝터든)에 도달하면, 당신의 기기는 번역기 역할을 합니다. 기기는 그 보편적인 레시피를 받아와서, 자신의 화면이 필요로 하는 특정 형식으로 즉시 변환합니다.
결과: 방송국은 단 하나의 신호만 보내지만, 모든 사용자는 각자의 기기에서 완벽한 3D 이미지를 받게 됩니다.

2. "초고속 주방" (고속 컴퓨팅)

문제점: 이러한 홀로그램을 만드는 것은 빛의 모든 미세한 입자 하나하나의 경로를 계산하며 케이크를 굽는 것과 같습니다. 실시간 비디오를 위해 이 작업을 수행하는 데는 과거에 몇 시간이 걸렸습니다.

해결책: 그들은 18개의 강력한 그래픽 카드(GPU) 클러스터를 사용하여 거대한 "주방"을 구축했습니다. 이는 마치 90,000명의 요리사가 함께 일하는 것과 같습니다.

비결: 그들은 이 작업을 조립 라인처럼 구성했습니다. 한 그룹의 요리사들이 재료를 준비하는 동안, 다른 그룹은 요리를 하고, 또 다른 그룹은 음식을 접시에 담습니다.
결과: 그들은 홀로그래픽 비디오의 1초 분량을 1초도 안 되는 시간(약 25프레임/초) 안에 "요리"해 냈습니다. 이는 화면 속의 "토끼"가 지연 없이 실시간으로 점프하고 튀어 오를 수 있음을 의미합니다.

3. "마법의 거울" (사실적인 반사)-

문제점: 현실 세계에서는 빛이 문손잡이나 자동차 범퍼와 같은 곡면에서 튕겨 나갑니다. 기존의 컴퓨터 방식은 이러한 반사를 계산하는 데 어려움을 겪었으며, 이로 인해 홀로그램이 평면적이거나 가짜처럼 보였습니다.

해결책: 그들은 곡면 거울에 반사되는 빛의 경로를 추적하는 새로운 수학적 기법을 개발했습니다.

비유: 구부러진 벽에 공을 던졌을 때 공이 어디로 튈지 예측한다고 상상해 보세요. 추측하는 대신, 그들은 "베지에 클리핑(Bézier clipping)"이라는 방법을 사용하여 곡면을 완벽하게 매핑했습니다.
결과: 그들은 토끼 뒤에 있는 거울에 비친 모습은 물론, 그 거울의 반사된 모습이 다시 한번 반사되는 모습까지 볼 수 있는 홀로그램을 만들어 냈습니다. 이는 정확한 깊이감과 그림자를 갖추어 믿기 힘들 정도로 사실적입니다.

4. "스마트 글래스" (헤드 마운티드 디스플레이)

문제점: 고개를 돌리면 3D 이미지가 즉각적으로 업데이트되어야 합니다. 그렇지 않으면 이미지가 이마에 붙은 평면 스티커처럼 보일 것입니다.

해결책: 그들은 머리의 움직임을 추적하는 가벼운 헤드셋(Holo-HMD)을 제작했습니다.

비결: 고개를 돌릴 때 전체 이미지를 다시 계산하는 대신, 기기는 빛의 각도를 아주 미세하게 "수정"만 합니다.
결과: 왼쪽, 오른쪽, 위, 아래를 보더라도 3D 토끼는 실제 물체처럼 제자리에 머물러 있습니다. 컴퓨터가 작동하는 것을 인지하지 못할 정도로 빠르게(초당 30회 이상) 업데이트됩니다.

5. "게으른 눈" 기법 (포비에이티드 렌더링)

문제점: 홀로그램은 엄청난 양의 데이터를 요구합니다. 4K 홀로그램을 전송하는 것은 8K 해상도로 영화를 스트리밍하려는 것과 같으며, 현재의 네트워크로는 너무 무겁습니다.

해결책: 그들은 인간의 눈이 작동하는 방식에 기반한 기술을 사용했습니다. 우리의 눈은 시야의 중심부(보고 있는 곳)에서만 높은 디테일을 보고, 주변부는 흐릿하게 보입니다.

비유: 초상화를 그린다고 상상해 보세요. 눈 부분은 극도로 세밀하게 그리지만, 배경은 굵고 거친 붓터치로 대충 그리는 것과 같습니다.
결과: 컴퓨터는 이미지의 고해상도 "중심부"만을 계산합니다. 흐릿한 "주변부"는 더 적은 노력으로 계산합니다. 이를 통해 사용자가 차이를 느끼지 못하게 하면서도 데이터 크기를 3배 이상 줄이고 컴퓨터 작업 속도를 8배 더 빠르게 만들었습니다.

6. "떠 있는 토끼" (실제 테스트)

증거: 그들은 단순히 수학 계산만 한 것이 아니라, 실제로 테스트했습니다. 사람과 토끼의 실제 3D 스캔 데이터를 가져와 시스템을 통해 전송하고 헤드셋에 표시했습니다.

결과: 연구진이 머리를 움직일 때 토끼와 사람이 함께 움직이며, 실제 세상처럼 다양한 각도를 보여주고 물체 뒤로 숨는 모습을 보여주었습니다.

요약

이 프로젝트는 여러분이 3D 홀로그래픽 TV를 시청할 수 있는 미래의 "엔진"을 성공적으로 구축했습니다. 그들은 세 가지 가장 큰 장벽을 해결했습니다:

데이터 크기: 보편적인 형식과 "게으른 눈" 압축 기술을 통해 해결했습니다.
속도: 슈퍼컴퓨터 클러스터와 스마트한 수학적 기법을 통해 해결했습니다.
사실성: 복잡한 반사를 계산하고 인간의 시각에 맞춤으로써 해결했습니다.

보고서는 개별 부품들은 완벽하게 작동하지만, 다음 단계는 이 모든 것을 하나의 완전한 엔드 투 엔드(end-to-end) 시스템으로 연결하여 3D 통신의 미래가 어떤 모습인지 세상에 보여주는 것이라고 결론지었습니다.

기술 요약: Beyond 5G 네트워크의 홀로그래픽 통신을 위한 고효율 압축 전송 기술 연구 및 개발

1. 문제 정의

홀로그래픽 텔레비전(Holo-TV)과 몰입형 통신의 실질적인 구현은 역사적으로 두 가지 주요 병목 현상에 의해 저해되어 왔습니다: 고충실도 재구성을 위해 요구되는 방대한 양의 홀로그램 데이터와 디스플레이 장치의 제한된 해상도 및 계산 능력입니다. 기존 방식은 종종 특정 사용자 장치와 시점에 맞춤화된 홀로그램 데이터를 전송해야 하며, 이는 방송국 측의 지속 불가능한 계산 부하와 과도한 통신 대역폭 요구를 초래합니다. 또한, 기존의 컴퓨터 생성 홀로그래피(CGH) 알고리즘은 복잡한 장면(예: 곡면 반사, 가려진 표면)의 사실적인 렌더링과 실시간 성능 구현에 어려움이 있으며, 특히 6자유도(6DoF) 및 다양한 디스플레이 아키텍처(예: 헤드 마운트 디스플레이, 데스크탑 프로젝터)를 지원하는 데 한계가 있습니다.

2. 방법론

홋카이도 대학교 연구팀은 **홀로메트릭 비디오 스트리밍(Holometric Video Streaming, HVS)**이라 명명된 시스템 아키텍처를 제안했습니다. 이 프레임워크는 브로드캐스팅 과정을 사용자의 특정 장치 및 시점으로부터 분리합니다. 핵심 방법론은 다음과 같습니다:

공통 데이터 형식: 특정 장치용 홀로그램을 전송하는 대신, 시스템은 사용자의 하드웨어와 독립적인 "공통 데이터"(구체적으로는 동공 위치에서의 물체 광, $O_{eye}$ )를 전송합니다. 수신 장치는 이 공통 데이터를 사용하여 자신의 특정 광학 시스템에 적합한 홀로그램 데이터( $O_{SLM}$ )로 변환하기 위한 역전파(back-propagation) 계산을 수행합니다.
레이 트레이싱을 통한 사실적 렌더링: 사실주의를 달ach하기 위해, 연구팀은 가려진 표면 제거 및 곡면에서의 반사(Bézier 곡면 및 Bézier 클리핑 사용)를 처리할 수 있는 레이 트레이싱 알고리즘을 개발했습니다.
고속 계산:
- 서버 측: GPU 클러스터(18개의 NVIDIA RTX 4090 GPU)를 활용하여 홀로그램 평면의 파이프라인 처리 및 공간 분할을 통해 CGH 계산을 병렬화했습니다.
- 원통형 기록: 자유 시점 시청을 지원하기 위해 원통형 기록 표면을 도입했습니다. 평면 표면으로부터 역전파함으로써 원통 위의 물체 광을 효율적으로 계산하는 알고리즘을 개발하였으며, 이를 통해 직접 계산 방식 대비 10,000배 이상의 속도 향상을 달성했습니다.
- 클라이언트 측: 사용자 장치(HMD)를 위한 경량 위상 보상 알고리즘을 개발하여, 점광원의 개수와 무관하게 머리 회전에 따라 홀로그램을 실시간으로 업데이트할 수 있도록 했습니다.
인간 시각 시스템(HVS) 활용: 압축 및 계산 속도 문제를 해결하기 위해 **포비에이티드 렌더링(foveated rendering)**을 적용했습니다. 이 기술은 중심 시선 영역(fovea)은 고해상도로 렌더링하고, 주변부 영역은 "서브 홀로그램"을 사용하여 해상도를 낮추는 방식입니다.
하드웨어 개발: 본 프로젝트에는 홀로그래픽 헤드 마운트 디스플레이(Holo-HMD), 홀로그래픽 헤드 마운트 프로젝터(Holo-HMP), 휴대용 FPGA 기반 데이터 생성 장치, 데스크탑 광시야각 디스플레이를 포함한 다양한 디스플레이 프로토타입의 설계 및 구축이 포함되었습니다.

3. 주요 기여 및 결과

A. 시스템 아키텍처 및 데이터 형식

HVS 프레임워크: 공통 데이터가 전송되고 장치별 홀로그램이 로컬에서 생성되는 방송형 아키텍처를 성공적으로 입증했습니다. 이는 방송국의 계산 부하와 전송에 필요한 대역폭을 크게 줄여줍니다.
물체 광을 공통 데이터로 활용: 동공 위치의 광학파( $O_{eye}$ )를 전송함으로써, 적절한 역변환을 거친 후 서로 다른 광학 시스템(예: 볼록 렌즈 유/무)에서 동일한 이미지를 재구성할 수 있음을 검증했습니다.

B. 렌더링 및 계산 성능

곡면 반사 렌더링: 곡면(예: 금속 문손잡이, 곡면 거울)에서의 반사를 생성하는 알고리즘을 개발했습니다. Bézier 곡면을 평면 세그먼트로 세분화하고 페르마의 원리를 적용함으로써 계산 속도를 30배 이상 가속화했으며, 광 경로 최적화를 통해 추가로 100배를 더 가속하여 수 초 단위의 생성 시간을 실현했습니다.
GPU 클러스터 가속: 18개의 GPU를 갖춘 4개 서버 클러스터는 2 PFLOPS의 이론적 피크 성능을 달성했습니다. 이를 통해 복잡한 물리 시뮬레이션(예: 시소 위의 토끼)에 대해 2K 해상도의 홀로그래픽 비디오를 25.8 FPS로 생성하여 준실시간 성능을 구현했습니다.
원통형 물체 광: 제안된 원통형 기록 표면용 역전파 방법은 기존의 점광원 방식보다 10,000배 빠른 속도를 달축했습니다.

C. 디스플레이 장치 및 사용자 경험

Holo-HMD: 16.4°의 시야각(FOV)을 가진 컴팩트한(125 × 130 × 40 mm) 풀컬러 HMD를 개발했습니다. 이는 6DoF를 지원하며 머리 움직임에 반응하여 >30 FPS로 홀로그램을 업데이트합니다.
Holo-HMP: 오목 거울에 홀로그램 이미지를 투영하여 사용자의 시야를 가리지 않으면서 시야각을 확장하는 헤드 마운트 프로젝터 시스템을 구현했습니다. 여기에는 머리 회전(roll)에 대한 실시간 위상 보상이 포함됩니다.
데스크탑 디스플레이: 넓은 시야각(12.8°)과 넓은 시청 구역(32°)을 가진 장치를 시연했습니다. 이 시스템들은 시선 추적을 사용하여 재구성 광을 전자적으로 전환함으로써, 물리적 조정 없이도 여러 사용자가 또는 단일 사용자가 다양한 각도에서 이미지를 볼 수 있게 합니다.
스펙클 노이즈 감소: 두 가지 방법이 테스트되었습니다:
1. 시간적 결맞음 감소: 황색 인광 여기(excitation)와 필터를 사용하여 밝기를 유지하면서 스펙클 노이즈를 약 30% 감소시켰습니다.
2. 공간적 결맞음 감소: 다중 모드 광섬유를 진동시켜 노이즈를 43% 감소시켰으나, 이미지 해상도에서의 일부 트레이드오프가 발생했습니다.

D. 압축 및 효율성

포비에이티드 렌더링: 주변 시야에 서브 홀로그램을 적용함으로써, 전체 해상도 렌더링 대비 계산 속도를 8배 이상 높였습니다.
압축률: 서브 홀로그램을 통한 데이터 용량 감소를 통해, 기존의 무손실 압축 방식보다 3배 이상의 압축률 개선을 달성했습니다.
실제 데이터: 폴리곤 및 포인트 클라우드 데이터를 사용하여 실제 사물로부터 캡처된 3D 데이터를 Holo-HMD에 성공적으로 표시함으로써, 사실적인 폐쇄(occlusion) 및 운동 시차(motion parallax)를 갖춘 6DoF 자유 시점 능력을 입증했습니다.

4. 의의 및 주장

저자들은 본 연구가 Beyond 5G 네트워크에서 방송형 홀로그래픽 통신에 필요한 근본적인 요소 기술을 확립했다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

확장성: HVS 아키텍처는 단일 공통 데이터 스트림을 유지하면서 장치별 렌더링의 계산 부담을 사용자 측으로 전환함으로써, 다양한 장치로의 방송 시 발생하는 확장성 문제를 해결합니다.
실시간 Holo-TV의 타당성: GPU 클러스터 가속, 최적화된 렌더링 알고리즘, HVS 기반 압축을 결합함으로써, 본 프로젝트는 실시간 고충실도 홀로그래픽 비디오 전송이 기술적으로 가능하다는 것을 보여주었으며, 목표치인 1.5 Gbps 이하(기존 방식 대비 8배의 효율 개선)를 충족했습니다.
실용적 장치 통합: 휴대 가능하고 가벼우며 넓은 시청 구역을 가진 디스플레이 장치(HMD, HMP, 데스크탑 유닛)의 개발은 이론적인 홀로그래피와 실제 소비자 애플리케이션 사이의 간극을 메웁니다.
미래 시스템의 토대: 본 연구는 개별적인 요소 기술에 집중하였으나, 몰입형 3D 통신, 교육 및 의료 애플리케이션을 위한 엔드 투 엔드(end-to-end) 시스템으로 통합하기 위한 검증된 로드맵을 제공합니다.

결론적으로, 본 보고서는 엔드 투 엔드 시스템 통합과 추가적인 가속화를 위한 후속 연구가 필요하지만, 제안된 HVS 프레임워크와 시연된 기술들이 Beyond 5G 시대의 홀로그래픽 통신 실현을 위한 핵심 장벽들을 효과적으로 해결하고 있다고 평가합니다.