Encoding the Euler Characteristic Transform

技术摘要：欧拉特征变换的编码

问题陈述
欧拉特征变换（Euler Characteristic Transform, ECT）是一种强大的、具有单射性的形状描述符，它通过在多个采样方向上聚合计算出的欧拉特征曲线（ECC）来进行工作。虽然可微 ECT（DECT）已经实现了端到端学习，但 ECT 如何为神经网络进行编码仍然是一个关键瓶颈。传统做法是将 ECC 离散化到每个方向（$D$）固定的高度阈值（$H$）网格上，从而生成一个 $D \times H$ 的矩阵。这种离散化引入了一个必须针对每个数据集进行调优的分辨率超参数（$H$），从而在表达能力与计算成本之间产生了权衡。此外，均匀离散化对快速变化区域和平台区域强加了相同的分辨率，尽管 ECC 中的所有拓扑信息本质上都归属于底层细胞复形（cell complex）的顶点。

方法论
作者提出了一种 连续编码 的 ECT，消除了对离散化网格的需求。该方法不再是在固定高度处对 ECC 函数进行采样，而是记录每个顶点 $v$ 在给定方向 $w_i$ 下所贡献的净欧拉特征变化量（$\Delta\chi$）。

• 标记化（Tokenization）： 对于一个拥有 $N$ 个顶点的细胞复形和方向 $w_i$，每个细胞的过滤高度由其“负责顶点”（即投影最大的顶点）决定。净变化量 $\Delta\chi(v, w_i)$ 通过计算在由该顶点定义的阈值处进入过滤的所有细胞的有符号贡献之和来得出。净变化量为零的顶点会被丢弃，从而生成稀疏的标记序列 $\{( \langle v, w_i \rangle, \Delta\chi(v, w_i) )\}$。
• ECC 编码器： 一个小型 Transformer 编码器处理这些标记序列，将每个方向的序列映射为固定长度的特征向量（$d_{out}$）。这取代了传统的离散化矩阵，将其替换为 $D \times d_{out}$ 的特征矩阵。
• 表示架构： 研究评估了六种不同的架构来处理生成的 ECT 矩阵，涵盖了从结构无关的基准模型到等变模型的不同范围：
  1. 前馈网络（Feedforward Network）： 将矩阵展平；无结构归纳偏置。
  2. 深度集合（Deep Sets）： 将方向视为无序集合（置换不变性）。
  3. 二维卷积（2D Convolution）： 将矩阵视为图像；沿方向轴使用循环填充以保持旋转等变性。
  4. 一维卷积（1D Convolution）： 沿方向轴应用卷积，并使用循环填充。
  5. 一维复数卷积（1D Complex Convolution）： 在复数域中表示 ECC，通过相位编码来固有地保持旋转等变性。
  6. 混合架构（Hybrid）： 结合了一维卷积与全连接层。

核心贡献

1. 连续 ECT 表示： 引入了一种无网格、精确且精简的编码方式，它记录的是顶点处的拓扑变化，而非采样函数值。这消除了分辨率超参数，并且本质上是可微的。
2. 系统性的架构研究： 对六种具有不同归纳偏置（从结构无关到旋转等变）的神经网络架构进行了全面评估，以确定如何最好地聚合方向信息。
3. 经验基准测试： 在涵盖多样化数据类型（点云、图、立方体复形以及 2D 和 3D 网格）的六个分类基准测试中进行了评估。

结果

• 编码影响： 与最佳离散编码相比，连续编码在 六个数据集中的五个 上提高了分类准确率。最显著的增益出现在 Letter-high 数据集（+0.120）和 SwissBuildings（+0.094）上。
• 标记化 vs. 容量： 控制实验表明，性能提升源于标记化本身，而非 Transformer 增加的容量。将 Transformer 应用于 离散化 的 ECT 并未产生一致的改进。
• 架构交互： 表示架构的选择虽然重要，但其重要性次于编码的选择。然而，观察到了以下交互作用：
  • 在使用 连续编码 时，简单的 前馈网络 在六个数据集中的五个上表现最强。
  • 在使用 离散编码 时，前馈网络表现不稳定（例如在 SwissBuildings 上崩溃），而卷积架构（特别是 1D 和 Hybrid）则更为稳健。
  • 连续编码提供了一个更具“可学习性”的输入，缩小了前馈网络与卷积模型之间的性能差距。
• 等变性： 虽然旋转等变架构（1D/Complex Conv）旨在保持对称性，但前馈网络在具有规范方向（如 Fashion-MNIST 衍生品）的数据集上往往表现更好，这表明严格的等变性并不总是所有任务的最优归纳偏置。

意义
本文声称，编码 ECT 的方法对于下游性能的影响比用于处理它的特定神经网络架构更为关键。通过从离散的、基于网格的表示转向连续的、基于顶点的标记化，作者在不依赖复杂的等变架构的情况下，实现了更高的准确率和训练稳定性。连续编码有效地规避了与网格分辨率相关的超参数调优问题，提供了一个天然适用于神经处理的、精确的拓扑变换表示。这项工作表明，对于全局形状描述符而言，输入表示的保真度（即编码）比模型归纳偏置的复杂程度更为重要。