🤖 machine learning

Neural Field Tokenizations with Hierarchy and Spatial Locality Priors

本文介绍了 LH-NeF，这是一个利用局部性和层级先验来生成连续信号通用标记化表示的前馈框架，在实现显著的内存和批处理大小效率的同时，在多种数据类型上达到或超过了现有的模态无关及专用神经场基准模型的性能。

原作者： Alonso Urbano, David W. Romero, Max Zimmer, Sebastian Pokutta

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Alonso Urbano, David W. Romero, Max Zimmer, Sebastian Pokutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个包含各种类型数据的庞大图书馆：照片、椅子的 3D 模型以及全球天气图。传统上，如果你想教计算机理解所有这些数据，你需要为每种类型准备一个不同的“翻译官”。处理照片的翻译官无法处理天气图，而处理 3D 椅子的翻译官则难以处理图像。

这篇论文介绍了一种名为 LH-NeF（局部保持层级神经场）的新方法。你可以把它想象成一个通用翻译官，它可以使用同一套规则来处理任何类型的数据——无论是图像、形状还是天气。

以下是其工作原理的详细分解，采用了简单的类比：

1. 问题所在：“缓慢且昂贵”的方式

在此之前，教计算机理解这些连续数据场（continuous data fields）的最佳方法，就像是通过逐一背诵每一个句子来学习一门新语言。

旧方法（元学习/Meta-Learning）： 对于每一张图像或每一个 3D 形状，计算机都必须停下来，思考并从头开始进行“优化”以理解它。这就像是要求一名学生在读每一个新单词之前，都要重新学习一遍字母表。
代价： 这极其缓慢，并且需要大量的计算机内存（RAM）。这就像是为了读一本书，却要把整个图书馆都背在书包里一样。

2. 解决方案： “智能分词器”（Smart Tokenizer）

作者提出了一种看待数据的新方式。他们不再是死记硬背每一个点，而是将数据转化为一组结构化的“标记/Token”（就像拼图碎片一样），这样计算机就可以立即处理它们。

他们使用了两个主要的“超能力”来实现这一点：

A. 局部性（Locality，即“邻里规则”）

想象你在组织一个庞大的人群。

糟糕的方式： 你把他们随机排列。房间最左边的人站在了房间最右边的人旁边。他们之间毫无关联，却被组合在了一起。这会让计算机感到困惑。
LH-NeF 的方式： 你使用一种“保持局部性”的规则。你将物理位置靠近的人进行分组。如果你在看一张照片，你会将相邻的像素分组；如果你在看一把 3D 椅子，你会将物理位置靠近的零件分组。
类比： 这就像组织图书馆时，不是按随机顺序，而是把关于“烹饪”的书放在其他“烹饪”书旁边，把“历史”的书放在“历史”书旁边。这使得寻找所需信息变得容易得多。

B. 层级性（Hierarchy，即“缩小视角规则”）

想象你在看一张地图。

糟糕的方式： 你只看街道层面。你看到了每一栋房子，但你看不见整个城市。
LH-NeF 的方式： 它构建了一个层级结构。首先，它将小的社区进行分组；然后，它将这些社区进一步组合成区；最后，它将这些区组合成整个城市。
类比： 这就像一套俄罗斯套娃。你从微小的细节开始（最小的娃娃），然后退后一步看到中等规模的群体，最后看到宏观的全貌。这有助于计算机同时理解精细的细节（如椅子腿的纹理）和大的结构（整个椅子）。

3. 它如何读取数据（“渲染器/Renderer”）

一旦数据被转化为这些智能的、分组的标记，计算机就需要将其读回以创建图像或形状。

旧方式： 它必须为每一个点反复进行复杂的数学运算。
新方式： 当计算机想要知道某个特定点看起来是什么样时，它会问：“这个点属于哪个邻里（组）？”然后，它会查看最近的几个邻里，并将它们的信息平滑地融合在一起（就像混合颜料一样），从而瞬间得出答案。
结果： 这就像是询问当地导游方向。你不需要为每一步都去查地图，向导了解整个社区的情况，并能为你提供一条平滑且连续的路径。

4. 为什么这很重要（研究结果）

该论文声称取得了三大胜利：

速度与内存： 由于他们停止了“从头开始重新学习”的步骤，这种新方法比之前的最佳方法节省了 42 倍的内存，并且可以同时处理 133 倍的数据量。这就像是从自行车切换到了高速列车。
质量： 尽管速度更快，但它创建的图像、3D 形状和天气图与那些缓慢的旧方法一样好（甚至更好）。
通用性： 它适用于一切。无论是 2D 照片、3D 物体还是全球气候图，同一个“翻译官”都能奏效。你不需要为每种新类型的数据都建造一个新引擎。

总结

这篇论文提出了一种教计算机理解连续数据（如图像和形状）的新方法，即通过将数据组织成邻里和细节层级。这使得计算机能够瞬间处理数据，而不是每次都缓慢地重新学习，在保持高品质的同时，极大地节省了计算资源。这是一种通用的、高效且智能的方式，用于处理此前难以轻松管理的沉重数据。

技术摘要：具有层次结构与空间局部性先验的神经场标记化

问题陈述

神经场将数据参数化为从坐标到值的连续函数（例如， $f_\theta: [0, 1]^2 \to \mathbb{R}^3$ ），为跨模态的表示学习提供了一个统一的框架。然而，现有的模态无关方法（如 Functa 及其后继者）严重依赖于逐样本元学习（例如 MAML 或自动解码）来推断潜在表示。这种范式存在三个关键局限性：

扩展性瓶颈： 元学习需要存储完整的计算图以进行内循环优化，从而计算二阶梯度。这严重限制了批大小和内存效率，阻碍了向高分辨率或大规模数据集的扩展。
缺乏结构： 通过优化得到的潜在空间往往缺乏显式的结构先验，使得学习效率低下，且其表示难以用于分类等下游任务。
权衡： 在引入有用的结构先验（如局部性和层次性）与保持模态无关性之间存在根本性的张力。大多数引入结构的方法（如 2D 网格、点云）都会牺牲处理任意坐标域的能力。

方法论：LH-NeF

作者提出了 LH-NeF（局部性保持层次化神经场），该框架在不损害模态无关性的前提下，学习连续信号的通用型标记化表示。该方法通过一个学习到的编码器-解码器架构的单次前向传播，取代了逐样本优化。

1. LH-NeF 标记器（编码器）
该标记器基于层次化感知器（HiP）构建，但对其进行了修改以尊重坐标空间的局部性：

局部性保持排序： 不同于使用固定光栅扫描（违反了坐标空间中的空间局部性）的标准 HiP，LH-NeF 使用局部性保持置换 $\pi$ 对输入观测值 $\{(x_i, v_i)\}$ 进行重排序。该置换源自空间填充曲线（例如，针对欧几里得域的 Morton/Z-order 或针对球面数据的 S2 Hilbert 曲线）。这确保了坐标域中紧凑的空间区域在标记序列中也对应于连续的组。
层次化分组注意力： 重排序后的序列通过 $L$ 个分组注意力块进行处理。标记从细粒度组逐步合并为粗粒度组。
空间元数据： 最终输出是一组分组标记 $Y^{(L)}$ ，并附带路由元数据：质心 $\mu_g$ （组内坐标的 Fréchet 平均）和范围 $\lambda_g$ （空间半径或边界框）。这使得表示能够适应输入的采样密度和几何形状。

2. LH-NeF 渲染器（解码器）
给定标记化结果和查询坐标 $x$ ，渲染器通过以下三个步骤重建场值 $f_\theta(x)$ ：

k-组软路由： 根据 $x$ 与组质心 $\mu_g$ 之间的距离，将查询 $x$ 路由到最近的 $k$ 个组。一个可学习的高斯核为这些组分配软权重 $w_g(x)$ ，从而确保连续性并避免组间的突变。
交叉注意力聚合： 对于每个路由到的组，在查询嵌入与该组的标记之间进行交叉注意力计算。输出通过加权求和进行聚合。
几何调节： 聚合后的特征向量通过基于查询的相对位置 $\tilde{x}$ （在最近组内的归一化位置，由组范围缩放）进行 FiLM 式机制的调节。这提供了平移和缩放的不变性，使网络能够学习在不同组之间通用的局部模式。

核心贡献

识别了权衡关系： 本文识别了神经场学习中扩展性、结构先验与模态无关性之间的张力，认为可以在不引入模态特定假设的情况下引入层次性和局部性。
LH-NeF 框架： 一种能够产生具有空间结构的分组标记化的新颖架构。它通过软组路由和交叉注意力，驱动一个能在任意坐标解码场的渲染器，从而消除了对逐样本优化的需求。
效率与性能： 该方法用单次前向传播取代了内存密集型的元学习内循环，在实现显著提升训练效率的同时，达到了甚至超过了最先进方法的性能。

实验结果

作者在图像（CIFAR-10, CelebA-HQ, ImageNet）、3D 形态（ShapeNet）和气候场（ERA5）上评估了 LH-NeF。

重建： LH-NeF 在模态无关方法中达到了最先进的性能。例如，在 CelebA-HQ (64²) 上，它仅用 198K 参数就实现了 44.4 dB PSNR，优于 Functa（2.6M 参数，38.1 dB）和 ENF（522K 参数，42.2 dB）。
下游任务：
- 生成： 在 CelebA-HQ 上，LH-NeF 达到了 9.7 的 FID，优于专门的生成式神经场方法和模态无关的基线方法。
- 分类： 在 ShapeNet16 上，在冻结标记上运行的轻量级分类器达到了 96.8% 的准确率，超过了 ENF (96.6%) 和 Functa (90.3%)。
- 预测： 在 ERA5 上，LH-NeF 提升了温度预测性能，尽管仍落后于使用了对称性特定先验的 ENF。
效率： 通过移除元学习内循环，LH-NeF 比在相同硬件上的最强模态无关基线（ENF）节省了 ~42× 内存，并支持 133× 更大的批大小（266 对比 2）。

意义与主张

本文声称 LH-NeF 是一个可扩展、模态无关的基础方法，用于神经场表示学习。通过利用层次性和局部性作为归纳偏置，该框架成功地在高效的前向传播推理与神经场的灵活性之间架起了桥梁。

作者指出，虽然该方法对于均匀采样数据（图像、网格）非常有效，并能很好地适应非规则采样（点云），但在高度不规则数据（如 LiDAR）上的局部性保持仅在期望意义上成立。他们还建议未来的工作可以探索学习哪些偏置可以跨任务泛化，而非仅仅是手工设计偏置，以及将调节机制扩展到利用来自所有编码器层的信息，而不仅仅是最后一层。

这项工作并不声称解决了所有的表示学习问题，而是证明了结构化标记化可以在不牺牲多模态应用所需的通用性的情况下，取代基于优化的潜在拟合。