🔬 optics

Research and Development of High-Efficiency Compressed Transmission Technologies for Holographic Communication in Beyond 5G Networks

本报告概述了北海道大学在NICT资助下，关于开发超越5G网络中全息通信高效率压缩传输技术的项目研究成果，并以面向广泛受众的通俗易懂的形式呈现了专业发现。

原作者： Yuji Sakamoto, Takahiro Yamanoi, Seok Kang

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuji Sakamoto, Takahiro Yamanoi, Seok Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给你的朋友发送一个完美的、三维的兔子全息图。在过去，这就像是为了展示一张图片而邮寄了一整个图书馆的书籍。数据量如此巨大，以至于会堵塞互联网，而且用于生成它的计算机需要花费数小时才能完成单帧画面。

这份来自北海道大学的报告描述了他们如何构建了一个“魔法流水线”来解决这些问题，旨在为下一代互联网（Beyond 5G）实现全息电视（Holo-TV）的现实。

以下是他们是如何做到的，通过简单的概念进行了拆解：

1. “通用翻译官”（通用数据格式）

问题： 想象一下你正在给朋友发送一部电影。如果你的朋友有一台巨型电视、一部平板电脑或一副眼镜，你通常需要专门为他们的设备重新编辑这部电影。如果你有1000个拥有1000种不同设备的朋友，你就必须制作1000个不同的版本。这是不可能实现的。

解决方案： 研究人员为光创造了一个“通用翻译官”。他们不是发送针对特定屏幕定制的电影，而是从广播站发送一个单一的、原始的“光之配方”（称为物体光/Object Light）。

运作方式： 把这个配方想象成一套关于光在你的眼睛里“应该”呈现何种样子的指令。当信号到达你的设备（无论是头戴式显示器还是桌面投影仪）时，你的设备就像是一个翻译官。它接收那个通用的配方，并立即将其转换为其屏幕所需的特定格式。
结果： 广播商只发送一个信号，但每个用户都能在其特定的设备上获得完美的3D图像。

2. “超级快厨房”（高速计算）

问题： 制作这些全息图就像是在烤一个蛋糕，而你必须计算每一粒面包屑的精确路径。对于实时视频，这样做过去需要耗费数小时。

解决方案： 他们利用由18块强大的图形处理器（GPU）组成的集群构建了一个庞大的“厨房”，这就像是有90,000名厨师在协同工作。

窍门： 他们像组装流水线一样组织这项工作。当一组厨师在准备食材时，另一组在烹饪，还有一组在摆盘。
结果： 他们成功地在不到一秒的时间内（约25帧每秒）“烹饪”出了全一秒的全息视频。这意味着屏幕上的“兔子”可以跳跃、弹跳并移动，且没有延迟。

3. “魔镜”（真实的反射）

问题： 在现实世界中，光线会从门把手或汽车保险杠等曲面反射。旧的计算机方法难以计算这些反射路径，导致全息图看起来很扁平或虚假。

解决方案： 他们开发了一种新的数学技巧，用于追踪从曲面镜中反射的光线。

类比： 想象一下，如果你把球扔向一面弯曲的墙，尝试预测球会如何反弹。他们没有靠猜测，而是使用了名为“Bézier裁剪”（Bézier clipping）的方法来完美映射曲线。
结果： 他们创造了可以在其后方的镜子中看到兔子倒影的全息图，甚至能看到第二次反射的倒影。它看起来极其真实，具有正确的深度感和阴影。

4. “智能眼镜”（头戴式显示器）

问题： 如果你转动头部，3D图像需要立即更新，否则它看起来就像贴在你额头上的一个扁平贴纸。

解决方案： 他们制造了一款轻便的头戴式显示器（Holo-HMD），可以追踪你的头部动作。

窍门： 当你转头时，设备并不需要重新计算整个图像，而只是对光的角度进行微小的“微调”。
结果： 你可以向左、向右、向上或向下看，而3D兔子依然保持在原位。它的更新速度足够快（超过每秒30次），以至于你的大脑察觉不到计算机正在工作。

5. “懒眼”技巧（注视点渲染）

问题： 全息图需要海量的数据。传输一个4K全息图就像是在尝试串流一部8K分辨率的电影——这对于目前的网络来说太沉重了。

解决方案： 他们利用了基于人类视觉原理的技巧。你的眼睛只有在注视中心（即你正在看的地方）才能看到高细节度；而视野边缘则是模糊的。

类比： 想象你在画一幅肖像画。你用极高的细节度去描绘眼睛，但用宽阔、松散的笔触去处理背景。
结果： 计算机只计算图像中高细节度的“中心”部分。模糊的“边缘”则以较低的成本进行计算。这使数据量缩小了三倍以上，并使计算机运行速度提升了八倍，而你几乎感觉不到区别。

6. “漂浮的兔子”（现实测试）

证明： 他们不仅仅是在做数学题；他们还进行了测试。他们对一个人物和一个兔子进行了真实的3D扫描，通过他们的系统发送数据，并在头显上进行展示。

结果： 当研究人员移动头部时，兔子和人物随之移动，展现出不同的角度并躲在物体后面，就像现实生活中的物体一样。

总结

该项目成功构建了观看3D全息电视所需的“引擎”。他们解决了三个最大的障碍：

数据大小： 通过使用通用格式和“懒眼”压缩技术。
速度： 通过使用超级计算机集群和智能数学方法。
真实感： 通过计算复杂的反射并匹配人类视觉。

报告结论指出，虽然各个独立部分运行完美，但下一步是将它们全部连接成一个完整的、端到端的系统，向世界展示3D通信的未来景象。

技术摘要：面向超越 5G 网络中全息通信的高效压缩传输技术研发

1. 问题陈述

全息电视（Holo-TV）和沉浸式通信的实际实现，在历史上一直受到两个主要瓶颈的阻碍：一是高保真重建所需的海量全息数据量，二是显示设备有限的分辨率和计算能力。传统方法通常需要传输针对特定用户设备和视角的定制化全息数据，这导致广播站端的计算负载过重，且通信带宽需求过高。此外，现有的计算机生成全息图（CGH）算法在处理复杂场景（如曲面反射、隐藏表面）的逼真渲染以及实时性能方面存在困难，特别是在支持六自由度（6DoF）和多样化显示架构（如头戴式显示器、台式投影仪）时。

2. 研究方法

北海道大学的研究小组提出了一种名为**全息视频流（Holometric Video Streaming, HVS）**的系统架构。该框架将广播过程与用户的特定设备及视角解耦。其核心方法包括：

通用数据格式： 系统不再传输特定设备的图像，而是传输“通用数据”（具体为瞳孔位置处的光场， $O_{eye}$ ），该数据独立于用户的硬件。接收设备随后通过反向传播计算，将此通用数据转换为适用于其特定光学系统的全息数据（ $O_{SLM}$ ）。
基于光线追踪的逼真渲染： 为了实现照片级的真实感，研究小组开发了能够处理隐藏表面去除和曲面反射（利用 Bézier 曲面和 Bézier 修剪）的光线追踪算法。
高速计算：
- 服务端： 利用 GPU 集群（18 块 NVIDIA RTX 4090 GPU）实现 CGH 计算的并行化，采用流水线处理和全息平面的空间划分技术。
- 圆柱体记录： 为了支持自由视角观看，引入了圆柱体记录面。开发了一种算法，通过从平面进行反向传播来高效计算圆柱体上的光场，实现了比直接计算快 10,000 倍以上的加速。
- 客户端： 为用户设备（HMD）开发了轻量级相位补偿算法，使其能够根据头部旋转实时更新全息图，且计算量与点光源数量无关。
利用人类视觉系统（HVS）： 为了解决压缩和计算速度问题，应用了**注视点渲染（foveated rendering）**技术。该技术在高分辨率下渲染中心注视区域（中央凹），同时利用“子全息图”降低外围区域的分辨率。
硬件开发： 该项目涉及多种显示原型机的设计与构建，包括全息头戴式显示器（Holo-HMD）、全息头戴式投影仪（Holo-HMP）、便携式基于 FPGA 的数据生成设备，以及台式宽视场角显示器。

3. 主要贡献与结果

A. 系统架构与数据格式

HVS 框架： 成功演示了一种广播型架构，即传输通用数据，并在本地生成特定设备的图像。这显著降低了广播端的计算负载和传输所需的带宽。
以光场作为通用数据： 验证了传输瞳孔位置处的波前（ $O_{eye}$ ）后，通过适当的逆变换，可以在不同的光学系统（例如带有或不带有凸透镜）中重建出完全相同的图像。

B. 渲染与计算性能

曲面反射渲染： 开发了用于生成曲面（如金属门把手、曲面镜）反射的算法。通过将 Bézier 曲面细分为平面段并应用费马原理，计算速度提升了 30 倍以上，通过光学路径优化进一步提升了 100 倍，使生成时间达到秒级。
GPU 集群加速： 由 4 台服务器组成的 18 块 GPU 集群实现了 2 PFLOPS 的理论峰值性能。这使得对于复杂的物理模拟（如跷跷板上的兔子），能够以 25.8 帧每秒（FPS） 的速度生成 2K 分辨率的全息视频，实现了准实时性能。
圆柱体光场： 所提出的圆柱体记录面反向传播方法比传统的点光源法实现了 10,000 倍的加速。

C. 显示设备与用户体验

Holo-HMD： 开发了一款紧凑型（125 × 130 × 40 mm）、全彩色的 HMD，具有 16.4° 的视场角（FOV）。它支持 6DoF，并能响应头部运动以实现 >30 FPS 的全息图更新。
Holo-HMP： 实现了一种头戴式投影系统，将全息图像投影到凹面镜上，在不遮挡用户现实世界视野的情况下扩大了视场角。该系统包含针对头部翻滚（head roll）的实时相位补偿。
台式显示器： 展示了具有宽视场角（12.8°）和宽观看区域（32°）的设备。这些系统利用眼动追踪技术进行电子切换重建光路，允许多名用户或单名用户从不同角度观看图像，而无需物理调整。
散斑噪声抑制： 测试了两种方法：
1. 时间相干性降低： 使用黄磷激发和频率滤波器，在保持亮度的同时将散斑噪声降低了 ~30%。
2. 空间相干性降低： 通过振动多模光纤减少了 43% 的噪声，尽管在图像分辨率方面存在一定的权衡。

D. 压缩与效率

注视点渲染： 通过对外围视觉应用子全息图，该研究实现了比全分辨率渲染快 >8 倍 的计算速度。
压缩比： 通过子全息图减少数据量，使得压缩比相比传统的无损压缩方法提升了 3 倍以上。
真实世界数据： 系统成功地在 Holo-HMD 上展示了从真实物体（使用多边形和点云数据）捕获的 3D 数据，展示了具有逼真遮挡效果和运动视差的 6DoF 自由视角能力。

4. 意义与主张

作者声称，这项研究为超越 5G 网络中的广播型全息通信奠定了基础要素技术。该工作的意义在于：

可扩展性： HVS 架构通过将特定设备的渲染负担转移到用户端，同时保持单一的通用数据流，解决了向多样化设备进行广播的可扩展性问题。
实时全息电视的可行性： 通过结合 GPU 集群加速、优化的渲染算法以及基于 HVS 的压缩技术，该项目证明了实时、高保真全息视频传输在技术上是可行的，达到了 1.5 Gbps 或更低的带宽目标（比传统方法效率提高了八倍）。
实际设备集成： 开发便携、轻量化且具有宽观看区域的显示设备（HMD、HMP、台式机），弥合了理论全息学与实际消费级应用之间的鸿沟。
未来系统的基础： 虽然研究重点在于单个要素技术，但它为将这些组件集成到用于沉浸式 3D 通信、教育和医疗应用的端到端系统中提供了经过验证的路线图。

报告结论指出，虽然在实现完整的端到端系统集成和进一步加速方面仍需后续工作，但所提出的 HVS 框架及演示的技术有效地解决了实现超越 5G 时代全息通信的关键障碍。