🤖 machine learning

Complex-Valued 2D Gaussian Representation for Computer-Generated Holography

本文提出了一种利用复数值二维高斯原语进行计算机生成全息术的结构化表示方法，该方法利用高斯理论来最小化时空-频率不确定性并显著减少参数搜索空间，从而构建了一个可微且经过 GPU 优化的框架，与现有方法相比，实现了更快的优化速度、更低的内存占用以及更优越的图像质量。

原作者： Yicheng Zhan, Xiangjun Gao, Long Quan, Kaan Akşit

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yicheng Zhan, Xiangjun Gao, Long Quan, Kaan Akşit

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位朋友发送一条极其复杂且高速的信息。

问题所在：“像素”乱象
通常，当我们想要制作全息图（由光组成的3D图像）时，计算机试图逐一写出屏幕上每一个微小点（像素）的指令。这就像是试图通过列举每一块瓷砖的颜色来描述一个宏大而复杂的马赛克。这会占用大量的内存，需要很长时间来计算，并且往往会导致画面模糊或混乱，因为计算机会被海量的细节压垮。

解决方案：“高斯”魔法图块
这篇论文提出了一种更聪明的方法来构建这些全息图。作者不再使用数百万个独立的像素，而是使用了“复数值二维高斯原语”（Complex-Valued 2D Gaussian Primitives）。

这是理解这一点的最佳方式：

类比： 想象你正在画一幅风景画。旧的方法是为每一片树叶都点上一小点颜料。而新的方法（本论文）是使用一种特殊的“魔法画笔”，它可以仅用一笔平滑的笔触就画出一整棵树、一朵云或一座小山。
“魔法”所在（加博尔理论/Gabor's Theory）： 作者为他们的笔触选择了一种被称为“高斯”（Gaussian）的特定形状。在物理学世界中，这种形状非常特殊，因为它是打包信息最有效的方式。它就像是已知“位置”与已知“形态”之间的完美平衡。论文声称，这种形状达到了“最小不确定性”，这意味着它能以最少的笔触捕捉到最多的细节。

它是如何工作的：“光传播”引擎
制作全息图不仅仅是画一幅画；它还在模拟光是如何在空气中实际传播的。

作者构建了一个特殊的“引擎”（一个可微分的光栅化器），它可以在强大的图形处理器（GPU）上运行。
这个引擎不仅是绘制图像，它还模拟了光波在从全息显示屏传播到你眼睛的过程中，是如何发生反射和扩散（衍射）的。
由于他们的“魔法画笔”笔触非常高效，该引擎进行此类模拟的速度比以往的方法更快，且占用的内存更少。

结果：更快、更小、更清晰
论文报告了一些令人印象深刻的成果：

更少杂乱： 他们将参数数量（计算机所需的“指令”）减少了 5 到 1 倍。这就像是在不丢失故事内容的前提下，将一本 500 页的手册缩减到了 100 页。
速度： 优化过程（即计算出正确图像的过程）快了 50%。
内存： 它使用了 30% 更少的显存（VRAM），这意味着你可以在标准硬件上运行这些复杂的 3D 特效而不会导致系统崩溃。
质量： 与其他尝试使用类似“团块”形状的方法相比，生成的图像更加锐利和清晰（在质量指标上提升了高达 13 dB）。

“翻译”步骤
这里有一个难点：这种“魔法画笔”创建的是一个复杂的数学图像，而现实世界的全息投影仪（使用被称为 SLM 的特殊屏幕）无法直接显示它。

解决方法： 作者创建了一个“翻译器”。他们将这种高效的复数数学图像转换为两种实际投影仪可以使用的格式：
- 平滑相位（Smooth Phase）： 一个干净、有序的版本，用于高质量显示。
- 随机相位（Random Phase）： 一个看起来像静态噪声的版本，但仍能投影出清晰的图像，适用于更廉价或不同类型的硬件。

总结
这篇论文介绍了一种设计全息图的高效且极具创新性的新方法。与其通过数百万个像素进行“暴力破解”，不如使用一种数学上完美的“团块”形状（高斯），使其充当超级高效的画笔。这使得计算机能够比以前更快、占用更少内存且误差更少地创建锐利的 3D 全息图像。

技术摘要：用于计算机生成全息术的复数域 2D 高斯表示

问题定义
计算机生成全息术（CGH）旨在合成能够通过捕捉光强、干涉和衍射来重建 3D 场景的全息图。与自然图像不同，全息图表现出高密度、高频且具有随机性的空间变化。现有的表示方法难以应对这一领域：

隐式神经表示（INRs） 和 自动编码器（Autoencoders） 倾向于平滑的低频数据，无法捕捉全息图中固有的高频细节。
逐像素优化（Per-pixel optimization） 创造了巨大的参数搜索空间，阻碍了可扩展性和效率。
现有的基于高斯的方法（例如 3D 高斯泼溅变体）通常是为自然图像或 3D 新视角合成（NVS）设计的，并未显式地对波前光学（干涉和衍射）或全息场的复数值特性进行建模。

方法论
作者提出了一种结构化表示，使用专门针对单视图全息图估计优化的复数域 2D 高斯基元（Complex-Valued 2D Gaussian Primitives）。

基元定义：
该方法定义了一个由预激活位置 ( $\tilde{\mathbf{x}}_n$ )、尺度 ( $\tilde{\mathbf{s}}_n$ )、旋转 ( $\theta_n$ )、颜色振幅 ( $\mathbf{c}_n$ )、不透明度 ( $\tilde{\alpha}_n$ ) 和每通道相位 ( $\boldsymbol{\varphi}_n$ ) 参数化的基元 $G_n$ 。
- 与将两个实值高斯分别配对用于实部和虚部的朴素方法（需要 18 个参数和两次渲染过程）不同，这种统一的公式使用了 12 个参数 并在单次渲染过程中完成。
- 基元在像素 $p$ 处的贡献为 $H_n(p) = \alpha_n \mathbf{c}_n g_n(p) \exp(j \boldsymbol{\varphi}_n)$ ，其中 $g_n(p)$ 是 2D 高斯空间分布。
理论基础（Gabor 理论）：
受 Gabor 不确定性原理的启发，作者指出高斯函数实现了最小的空间-频率不确定性 ( $\Delta x \Delta f_x = 1/2$ )。这使得它们成为表示全息图的最优紧凑基元，因为全息图需要同时对空间和频率信息进行编码。该方法证明，虽然在高参数预算下高斯函数并不能超越逐像素质量，但在参数预算缩减时，它们能更好地保持重建保真度。
可微流水线：
- 光栅化： 开发了一个用于复数域 2D 高斯的自定义可微光栅化器，处理复数算术（用于实部/虚部分解的三角函数求值）以及振幅和相位的梯度计算。
- 光传播： 该流水线集成了一个 GPU 优化的**带限角谱法（BLASM）**内核。它模拟自由空间光传播，允许系统优化全息场 $H$ ，使得其传播后的强度 $|U(d)|^2$ 在多个深度平面上与目标图像匹配。
- 损失函数： 优化过程最小化结合了 MSE、结构相似性（SSIM）以及针对离焦区域特定项的重建损失，并针对多平面焦平面堆栈进行监督。
POH 转换：
由于商用显示器通常采用相位型全息图（POH），作者引入了一种转换程序：
- 平滑 POH（Smooth POH）： 使用双相位-振幅编码（DPAC）在空间上复用振幅和相位。
- 随机 POH（Random POH）： 使用复数高斯表示作为结构引导，来优化随机相位型全息图，共同最小化强度和复数场的差异。

核心贡献

新颖的表示法： 将复数域 3D 高斯迁移到复数域 2D 高斯基元，用于直接的全息图优化，相比于稠密的逐像素参数化，将参数搜索空间降低了 5:1。
系统实现： 开发了一个可微光栅化器和一个 GPU 优化的 BLASM 内核，用于端到端训练，相比标准的 PyTorch 实现实现了显著的速度提升和内存效率。
转换框架： 一种将复数表示适配到实际的平滑型和随机型 POH 格式的程序，实现了表示法与硬件特定编码的解耦。
理论依据： 证明了所提出的基元达到了最小的空间-频率不确定性，为其高效表示全息图提供了理论基础。

结果
在 DIV2K 数据集上的广泛实验以及硬件验证（使用 LASOS MCS4 激光器和 Jasper JD7714 SLM）表明：

质量： 该方法在复数全息图上达到了 30.7 dB PSNR，优于之前的基于高斯的方法（如 Image-GS 为 17.2 dB，GI 为 22.6 dB）和学习型表示（MLP, SIREN）。对于随机 POH，其达到了 29.4 dB PSNR，比 Wirtinger 全息术高出 4.1 dB。
效率：
- 显存（VRAM）占用： 与标准的基于自动微分的实现相比，减少了 ~30%。
- 优化速度： 加速了 50%（例如，GWS 为 5.1 分钟，而本方法为 1.4 分钟）。
- 渲染速度： 与基于 GWS 的方法相比，渲染速度提升高达 3200 倍。
可扩展性： 该方法可以扩展到 3200×1800 的分辨率而不会出现显存溢出（OOM）错误。
消融实验： 与朴素的配对实值高斯相比，统一的复数公式产生了 +6.3 dB 的更高 PSNR，且参数减少了 33%。

意义
本文声称，通过利用具有理论依据的紧凑表示来减少全息图的参数搜索空间，它使得更具可扩展性的全息图估计成为可能，从而助力下一代 CGH 系统。这项工作弥合了高效基于高斯的渲染与波动光学物理约束之间的鸿沟，提供了一种通用的中间表示，可以在保持高重建保真度的同时转换为各种实际的全息格式。作者指出，虽然该方法侧重于中心视瞳（center-eyebox）重建，但它为未来的实时视频和相机在环（camera-in-the-loop）技术奠定了基础。

类似论文