Hyperbolic Latent Geometry for Tree-Structured Prototype Networks: A Local-vs-Global Trade-off

技术摘要：用于树状结构原型网络的双曲潜空间几何

问题陈述

本文研究了在层级分类任务中，潜流形几何（latent manifold geometry）的有效性。具体而言，它探讨了满足树状结构正则化项（即强制要求类原型遵循已知层级结构）与保持高数据似然度（准确分类）之间的张力。

现实世界的分类问题通常拥有外部层级结构（例如艺术运动、生物分类学）。一种自然的建模方法是添加一个正则化项，将类原型之间的成对距离向参考树定义的距离进行拉近。核心问题在于：选择何种潜流形——欧几里得空间 ($\mathbb{R}^d$) 还是庞加莱球 ($\mathbb{B}^d_c$)——是否会影响在平衡似然度与正则化时满足该正则化的能力。理论研究表明，双曲空间具有指数级的体积增长，在嵌入树结构时比增长为多项式级的欧几里得空间具有更低的失真。然而，这是否能转化为在处理现实世界数据集时，在平衡似效度与正则化方面的性能提升，仍是一个开放性的实证问题。

研究方法

作者使用 WikiArt-Refined 数据集来开展这项调查，该数据集包含 81,446 幅带有 27 种艺术风格标签的绘画作品。其层级结构是根据艺术史参考资料手工构建的（例如：文艺复兴 $\to$ 巴洛克 $\to$ 洛可可）。

模型架构：

• 编码器（Encoder）： 使用冻结的 CLIP ViT-B/16 编码器提取特征。
• 头部（Head）： 一个两层 MLP 将特征映射到潜流形 $\mathcal{M}$。
• 分类器（Classifier）： 原型分类器，其类条件似然度是关于到可学习类原型 $\{p_k\} \subset \mathcal{M}$ 距离的 softmax 函数。
• 几何空间（Geometries）： 研究对比了欧几里得空间 $\mathbb{R}^d$ 和庞加莱球 $\mathbb{B}^d_c$（曲率 $c > 0$）。唯一的架构差异在于最后的变换（恒等映射 vs 指数映射）以及距离度量（欧几里得距离 vs 双曲距离）。

正则化：
树状结构正则化项惩罚学习到的原型距离矩阵 ($D_{ij}$) 与参考树距离矩阵 ($T_{ij}$) 之间的偏差。该正则化项采用均值归一化平方误差：
$$R(\{p_k\}) = \frac{\lambda}{|P|} \sum_{(i,j) \in P} \left( \frac{D_{ij}}{\bar{D}} - \frac{T_{ij}}{\bar{T}} \right)^2$$
其中 $\lambda$ 控制强度。这种形式确保正则化项约束的是原型的相对结构，允许几何空间根据似然度偏好来选择绝对尺度。

实验设计：
作者通过 150 个重复种子配置进行了参数扫描，变量包括：

• 嵌入维度 $d \in \{2, 4, 8, 16, 32, 64\}$。
• 曲率 $c \in \{0.1, 0.3, 1, 3\}$。
• 正则化强度 $\lambda \in \{0, 0.1, 0.3, 1, 3\}$。
• 三种参考树定义：手工构建的谱系树、按年代划分的时代分组，以及扁平的空树（null tree）。
• 另外两种基于 CLIP 和 DINOv2 特征质心的经验树，用于鲁棒性测试。

关键结果

实验得出了三个主要发现，分别区分了局部层级保持、全局保真度和分类性能。

1. 局部层级保持（鲁棒效应）
双曲原型在保持局部树结构方面显著优于匹配的欧几里得原型。

• 指标： 兄弟节点召回率@5（Sibling recall@5）和堂兄弟节点召回率@5（Cousin recall@5）（衡量在潜空间中的最近邻是否为树中的真实兄弟/堂兄弟节点）。
• 性能： 在 $d=8$ 时，双曲原型实现的兄弟节点召回率@5 为 0.195，而欧几里得原型为 0.149。
• 聚合差距： 在 18 个配对的种子配置中，兄弟节点召回率的平均提升为 +8.7 个百分点 (pp)，堂兄弟节点召回率的提升为 +15.2 pp。
• 鲁棒性： 这种优势在所有嵌入维度、正则化强度以及三种不同的参考树定义（手工构建、CLIP 衍生、DINOv2 衍生）下均保持稳定。随着维度增加，欧几里得空间的差距因失真而扩大，但双曲空间的差距保持平稳。

2. 校准与分类（中性/权衡效应）
与在原始冻结 CLIP 特征上训练的基线相比：

• 欧几里得： 在 Top-1 准确率上与逻辑回归基线表现相当（64.3% vs 64.1%），但在局部检索方面未能超越 k-NN 基线。它并未比原始编码器提供任何可检测到的结构价值。
• 双曲： 在 Top-1 分类性能上（60.6%）低于欧几里得拟合和逻辑回归基线。然而，它是唯一能在局部层级保持方面超越 k-NN 基线（兄弟节点召回率@5 为 0.188 vs 0.160）的训练模型。
• 结论： 双曲拟合以牺牲全局分类准确度为代价，换取了局部结构保真度；而欧几里得拟合无法提供优于原始编码器的结构优势。

3. 全局树保真度（不稳定效应）
关于全局树保真度的说法尚无定论，且对参考树的定义高度敏感。

• 失真： 在针对手工构建树的测试中，平均树失真显著向欧几里得空间倾斜。
• 相关性： 在整个扫描过程中，学习到的距离与树距离之间的 Spearman 相关系数与零没有显著差异（$p=0.68$）。
• 不稳定性： 全局保真度差距的方向取决于参考树是手工构建、CLIP 衍生还是 DINOv2 衍生。作者明确指出，他们并不声称在全局树保真度方面有“胜者”。

意义与主张

本文的主要贡献在于实现了对类结构正则化下，欧几里得与双曲潜空间几何的经验性分离。

• 局部 vs 全局的权衡： 作者提出了一个“清晰”的结论：双曲潜结构相对于编码器增加了局部检索价值（提高了兄弟/堂兄弟召回率），而欧几里得结构则没有。这种局部优势对于“局部”的定义（即参考树的选择）是鲁棒的。
• 并非全局胜出： 论文谦虚地表示，并未声称双曲几何在全局树嵌入方面具有普遍优越性，并指出全局保真度指标是不稳定的，且依赖于参考树的构建方式。
• 机制： 结果支持了理论直觉，即双曲空间的指数级体积增长使其能够以“更低成本”（即对似然度的失真更小）满足树结构约束，但这主要体现在局部邻域拓扑的保持上，而非全局分类准确度上。

局限性：
作者指出，这些发现仅适用于具有冻结编码器（CLIP ViT-B/16）的中等规模数据集以及 27 个叶节点的分类体系。他们并不声称这种局部优势在微调后的编码器或更深的层级结构中必然存在。此外，分类性能的差距表明，虽然双曲几何改善了结构检索，但在这种设置下，它并不一定会提高分类器本身的判别能力。