📊 statistics

Classification Fields: Arbitrarily Fine Recursive Hierarchical Clustering From Few Examples

本文介绍了“分类场”，这是一种通过推断局部父到子细化规则从有限示例中学习无限深度层次聚类结构的框架，并证明了这些规则可被神经网络有效近似以生成具有深度且几何一致的层次结构。

原作者： Yicen Li, Ruiyang Hong, Anastasis Kratsios, Haitz Sáez de Ocáriz Borde, Paul D. McNicholas

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Yicen Li, Ruiyang Hong, Anastasis Kratsios, Haitz Sáez de Ocáriz Borde, Paul D. McNicholas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一棵家谱树。通常，当我们进行“聚类”（将事物分组）时，我们只是为眼前现有的特定对象画一棵树。如果我们有 100 张照片，我们就画一棵有 100 片叶子的树。仅此而已。树就停在那里。

但如果世界不仅仅是一个固定的 100 张照片的列表呢？如果世界像一个分形呢？想象一下蕨类植物的叶子：你看到大叶子，然后放大看到更小的叶子，再看到更小的叶子，理论上，你可以无限放大，图案会不断重复。

这篇论文提出了一个重大问题：如果我们只看到一棵巨大且无限的家谱树的前几层分支，我们能否推导出生成其余部分的“规则”？

以下是他们想法的分解，使用简单的类比：

1. 问题：“有限”与“无限”

大多数用于数据聚类的计算机程序，就像摄影师给人群拍照并画线将它们分组一样。一旦照片拍完，工作就结束了。它们不知道如果再多出现 1000 个人，该如何想象人群。

作者说：“等等，如果分组规则实际上是一个食谱呢？”
与其仅仅死记硬背我们看到的 100 个人，我们不如学习说明书，它告诉我们如何创建下一层分组，以及再下一层，以此类推，永无止境。

2. 解决方案：“分类场”

他们发明了一个新概念，称为分类场。

类比：想象一个魔法印章。你把它按在一张纸上（一个“父”组），它不仅仅制造一个副本；它会生成三个特定的、更小的印章图案（“子”组）。
规则：关键在于这个印章有一个规则：“无论你把我按在哪里，我都会在距离原始印章特定形状和距离处，始终生成三个新印章。”
目标：计算机的任务是观察前几层印章（我们拥有的数据），并确切弄清楚那个魔法印章长什么样。一旦它学会了这个印章，就可以反复按压它，生成它从未见过的层层分组。

3. 他们是如何做到的：“递归展开”

作者构建了一种特殊类型的 AI（神经网络）来充当这个“印章”。

训练：他们向 AI 展示了一棵小树（比如 3 层深）。
学习：AI 试图猜测规则：“如果我在这里有一个组，那三个新组应该放在哪里？”
测试：他们让 AI 继续按压它的“印章”，生成第 4、5、6 层，一直到第 9 层，而不向它展示答案。
结果：AI 并非随机猜测。它保持了模式的一致性。它创建的新组在几何上是正确的，并遵循与原始数据相同的“家谱树”结构。

4. 三项测试

为了证明这行得通，他们在三种不同的场景中进行了测试：

“完美”测试（CFG）：他们创造了一个规则在数学上完美的假想世界。AI 瞬间学会了规则，并无限期地生成完美的树。这证明了数学是成立的。
“分形”测试（IFS）：他们使用了著名的分形形状（如谢尔宾斯基三角形）。这些形状是由重复规则生成的，但这些规则与 AI 训练时所用的规则略有不同。AI 仍然推断出了规则的“精髓”，并正确地绘制了分形，即使它从未见过那个特定的分形。
“混乱”测试（图像）：他们使用了真实的猫和狗的照片（来自 CIFAR 数据集）。他们将照片分组为簇。现实生活是混乱的；这些组并非完美的分形。然而，AI 仍然学习到了一个“局部规则”，可以预测如果进一步划分，这些组将如何分裂。它不仅仅是死记硬背照片；它学习了照片之间关系的几何结构。

5. 为什么这很重要（根据论文）

论文声称，有限的观察可以揭示无限的规则。
如果你向计算机展示图案的一小部分，它可以学习“局部细化规则”（即那个印章），并利用它构建比原始数据所给定的更深、更详细的结构。

简而言之：这种方法不是教计算机仅仅整理桌上的一堆石头，而是教它这些石头的“重力定律”，这样它就能预测如果你有一百万块石头，这堆石头会是什么样子。

他们不声称的内容

他们不声称这将治愈疾病或预测股市。
他们不声称这适用于所有类型的混乱数据（如果数据过于混乱或分组不遵循模式，该方法可能会失败）。
他们严格专注于学习“递归细化规则”并生成更深层次分层的数学能力，而不是像医疗诊断这样的具体现实世界应用。

核心收获是视角的转变：不要只学习数据；要学习生成数据的规则，这样你就能想象出树的其余部分。

技术摘要：分类场：从少量示例实现任意精细的递归层次聚类

1. 问题陈述

经典层次聚类方法通常在固定有限样本上运行，返回数据的有限划分或有限树状图。当感兴趣的底层层次结构是具有精细尺度细化且延伸至直接观测层级之外的递归几何对象时，这种方法是不充分的。在此类情形下，潜在聚类中心的数量（ $k$ ）可能远远超过观测节点的数量（ $N$ ），且细化过程可能在训练数据中不存在的深度上继续进行。

本工作解决的核心问题是：我们能否从层次结构的有限观测前缀中学习局部细化规则，并递归地展开它以生成显著更深的未观测层级？

当前针对层次结构的可微或学习方法通常拟合有限观测树、嵌入固定结构，或优化有限聚类目标。它们并未直接学习能够超越观测层次结构进行递归展开的细化机制。

2. 方法论：分类场

作者引入了分类场（Classification Fields），这是一种用于无限深度层次聚类的度量几何模型。

2.1 核心定义

分类场生成器（CFG）： 一个局部规则 $r: \mathbb{R}^d \to (\mathbb{R}^d)^K$ $r : R^{d} \to (R^{d})^{K}$ ，将父中心映射为有序、有界且分离的 $K$ $K$ 元子代残差。
- 约束： 对于任意父节点 $x$ ，子代残差 $\{r_k(x)\}$ 必须位于欧几里得环域（有界范数）内，且彼此间距为 $s_{sep}$ 。
- 构造： CFG 可以通过对固定参考填充进行正交 - 对角 - 正交变形来构建，以确保满足几何约束。
分类场： 从根节点 $x_0$ $x_{0}$ 和尺度因子 $s$ $s$ 开始，通过递归应用 CFG 获得的无限深度层次结构。
- 结构： 该场是一个递归生成的度量有向无环图（DAG）。
- 组件： 它生成聚类中心、相关的 Voronoi 单元以及谱系地址。
- 度量： 论文定义了该场上的三种距离度量：
  1. 树度量： 基于组合边权重（依赖于层级）。
  2. 基于点的度量： 基于中心之间的欧几里得距离。
  3. 基于单元的度量： 基于 Voronoi 单元之间的 Hausdorff 距离，并按深度缩放。

2.2 学习：分类场预测器（CFP）

给定层次结构的有限前缀（观测至深度 $L_{train}$ ），目标是学习一个分类场预测器（CFP），记为 $\hat{r}$ ，用以逼近底层的 CFG。

训练目标： 最小化预测子代残差与观测残差之间的平方误差：
$\mathcal{L}(\hat{r} | \mathcal{H}_{train}) = \sum_{l=0}^{L_{train}-1} \sum_{x \in \mathcal{H}_l} \sum_{k=1}^K \| x + s^{l+1}\hat{r}(x)_k - \text{chld}(x)_k \|_2^2$
递归展开： 在测试时， $\hat{r}$ 从根节点开始递归应用。每个生成的子代都成为下一层的父节点。在展开过程中不使用未观测层级的真实节点。

2.3 理论保证

论文证明，在特定条件下，所学场的有限截断收敛于完成的无限深度场：

指数收敛： 在有界性、分离性和正则性假设下，深度- $L$ 截断与完成场之间的 Hausdorff 距离随 $L$ 呈指数衰减。
神经可实现性： 逼近 CFG 所需的有限细化窗口可以通过 ReLU 多层感知机（MLP）实现。
- 复杂度： 所需的宽度为 $O(\varepsilon^{-\gamma})$ ，深度为 $\tilde{O}(\varepsilon^{-3\gamma/2})$ ，其中 $\gamma = \log K / (-\log s)$ 。
- 这证明了有限神经网络可以作为无限深度层次结构的有限近似机制。

3. 实验验证

作者在三个与理想化理论偏差逐渐增大的设置中评估了 CFP：

匹配 CFG 生成的层次结构：
- 设置： 数据由理论中使用的同一家族已知 CFG 生成。
- 结果： 与基线（可学习常数、平均残差和仿射预测器）相比，CFP 在未观测展开范围内保持了最低的层级误差。这证实了学习到的局部规则在重复自组合下仍保持一致性。
族外 IFS 分形层次结构：
- 设置： 由具有平滑非线性扰动的迭代函数系统（IFS）生成的层次结构（例如谢尔宾斯基三角形、康托尔尘、科赫曲线）。这些结构具有精确的递归结构，但并非源自参数化 CFG 族。
- 结果： CFP 在均方误差（MSE）、置换不变 Chamfer 距离（PI-CD）和深度失真方面优于基线。这表明分类场公式超越了匹配的生成器类别进行了泛化。
图像诱导的递归聚类层次结构：
- 设置： 使用递归深度聚类方法，基于 CIFAR-10 和 CIFAR-100 图像的 CLIP 嵌入构建层次结构。细化规则是近似的，且子代槽位需要通过 PCA 进行规范化（排序）。
- 结果： CFP 在保持无序几何结构（PI-CD）和层次级路径度量（dpt-distortion）方面显著优于基线。这表明即使在噪声真实数据设置中，有限层次前缀也包含可学习的细化机制。

4. 主要贡献

概念框架： 引入分类场作为无限深度层次聚类的度量几何模型，将重点从学习有限样本上的层次结构转变为学习可重用的局部父代到子代细化规则。
度量理论： 建立了这些对象的严格度量理论，包括树、点和基于单元的距离定义，以及有限截断收敛至完成场的定量界限。
神经可实现性： 证明了有限细化窗口可以由 ReLU 预测器表示，确立了具有显式复杂度界限的无限深度层次补全的有限神经展开机制。

5. 意义与主张

论文主张，有限的层次观测可以揭示能够生成显著更深的分类场的局部细化规则。结果支持这样一种观点：层次聚类可以被框架化为学习局部递归细化律，而非构建有限组合摘要。

作者将这项工作定位为对现有层次聚类方法的补充视角。他们明确指出了局限性：该框架假设固定的分支因子、足够的分离度以及可重用的细化过程。他们承认，将该框架扩展到噪声、可变分支、弱对齐或非自相似层次结构仍是未来工作的重要方向。实验被呈现为验证探针，而非声称每个层次聚类问题都允许完美的分类场。