🤖 AI

Cohort Organized Learning: Clustering Through Agreement

本文介绍了队列组织学习（Cohort Organized Learning，简称 CoOL），这是一种基于神经网络的聚类方法，它通过利用期望最大化进行训练、收敛监测以及针对各种数据类型进行评估，从而在无需显式距离或相似度计算的情况下对数据进行分组。

原作者： Finn Henry O'Shea, Maria Elena Monzani

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Finn Henry O'Shea, Maria Elena Monzani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：整理一座无标签岩石的大山

想象一位科学家面前有一大堆岩石。他知道其中混合着不同类型的岩石（比如花岗岩、砂岩和石灰岩），但没有人曾花时间为它们贴上标签。在现实世界中，这种情况经常发生，比如来自望远镜、粒子加速器甚至是你手机的数据。数据量之大，人类根本无法一一分类。

通常，为了对这些岩石进行分类，计算机使用一把“尺子”。它测量每块岩石与其他所有岩石之间的距离，以观察哪些岩石是“接近”的。但测量数百万个项目的距离既缓慢又昂贵，而且如果岩石形状奇特，这把“尺子”有时也并不好用。

新方案：“群体”观察者

论文的作者引入了一种名为 CoOL（群体组织学习，Cohort Organized Learning）的新方法。CoOL 不再使用尺子来测量距离，而是使用一组观察者（即被称为神经网络的计算机程序）通过**一致性（Agreement）**来对岩石进行分类。

这就像是一个由 5 位专家组成的“猜类别”游戏：

设置： 你在同一时间将同一堆岩石展示给所有 5 位专家。
猜测： 每位专家观察一块岩石并说：“我觉得这是花岗岩，”或者“我觉得这是砂岩。”
冲突： 起初，专家们会产生分歧。一个说“花岗岩”，另一个说“砂岩”。
学习： 专家们彼此交流（在数学层面上的交流）。他们意识到：“等等，如果我对同一块岩石说‘花岗岩’，而你却说‘砂岩’，那么我们两个可能都猜错了。”
达成一致： 他们调整各自的内部规则，直到他们对岩石的类型达成共识。如果 5 位专家都一致认为某块岩石是“花岗岩”，那么它很可能就是一个“花岗岩”簇。

没有老师的情况下如何运作

通常，要教计算机学习，你需要一位老师告诉你：“不对，那其实是砂岩。”这被称为“监督学习”。CoOL 是无监督的，这意味着没有老师。

论文使用了一种叫做**期望最大化（EM）**的数学技巧。想象专家们正在试图寻找一个大家都能达成共识的“真相”。

“可靠性”检查： 系统会检查每位专家的可靠程度。如果专家 A 在其他人达成一致时却一直在改变主意，系统就会学会降低对专家 A 的信任。
“行列式”规则： 为了防止专家变得偷懒（例如，由于得出“所有东西都是花岗岩”是最简单的答案，导致所有专家都这么做），数学模型加入了一个惩罚项。它强制专家将岩石分散到不同的组中。如果他们把所有东西都堆成一堆，数学模型会说：“不，这是一个很差的解！”并推动他们去寻找更明显的不同组别。

“分组”技巧：处理不同的答案

这个方法的一个难点在于，专家们可能会在一次运行中称一个组为“簇 A”，而在另一次运行中称其为“簇 B”。这就像一位专家把狗称为“犬科”，而另一位称为“幼犬”。名字在变，但所属的组是一样的。

为了解决这个问题，作者使用了一种**分组（Grouping）**策略。

假设你运行专家系统 5 次。
岩石 #1 被标记为：（组 1，组 3，组 1，组 2，组 1）。
岩石 #2 被标记为：（组 1，组 3，组 1，组 2，组 1）。
尽管编号发生了变化，但达成一致的模式保持不变。通过观察多次运行中的标签模式，系统可以发现岩石 #1 和岩石 #2 绝对是同一种类型的岩石，即使它们被赋予的名字不同。

他们测试了什么

作者在两项内容上进行了测试：

简单的 2D 地图： 他们创建了一个带有彩色点的虚构地图。尽管这些点的分布方式非常复杂且交织在一起，但 5 位专家在从未测量点与点之间距离的情况下，成功地将它们分成了正确的组。
MNIST 手写数字： 他们使用了著名的手写数字（0 到 9）数据集。
- 成功： 当他们要求系统对 3 个或 5 个数字进行分类时，效果非常好。专家们在标签上的一致性几乎达到了 100%。
- 局限性： 当他们要求系统同时对所有 10 个数字进行分类时，系统表现得有些吃力。专家们开始感到困惑，无法像之前那样容易达成一致。这表明该方法在组别数量不是特别庞大时效果最佳。

检测“异常”数据

这种方法的另一个酷炫的副作用是异常检测。
想象你用普通的岩石训练了这些专家。然后，你给他们看一块实际上是塑料的岩石。

专家们观察这块塑料时会开始争吵。一个说“花岗岩”，另一个说“砂岩”，第三个说“石灰岩”。
因为他们无法达成一致，系统就知道某些数据是“分布外”（Out of Distribution）的，即很奇怪的数据。
论文指出，这可以用于监测数据随时间发生的变化（例如机器中的传感器损坏或出现了某种新型粒子），而无需预先知道这些新数据究竟是什么。

总结

CoOL 是一种无需测量距离即可对数据进行分类的方法。相反，它使用一组计算机程序，通过学习如何对数据达成共识来进行分类。如果他们达成了一致，数据就被分类了；如果他们在争论，说明数据很奇怪，或者系统需要进行调整。这是一种通过让 AI 委员会对答案进行投票，从而组织宇宙数据的手段。

技术摘要：协同组织学习 (Cohort Organized Learning, CoOL)

问题陈述

现代科学过程产生了大量的、高维的、无标签数据（例如来自粒子加速器、望远镜和暗物质探测器）。组织这些数据的传统方法往往成本过高或在计算上难以实现。虽然聚类是划分无标签数据的一种基本策略，但大多数现有算法——包括深度学习方法——都依赖于样本之间显式的距离或相似性矩阵计算。这些方法在处理可扩展性方面（因为亲和力计算随样本量呈平方级增长）或在需要特定潜在空间接近度定义时往往表现不佳。本文旨在解决一种不需要在目标函数中依赖显式距离或相似性度量的聚类方法的需求。

方法论：协同组织学习 (CoOL)

CoOL 是一种使用一组可微观测器（神经网络）对数据进行划分的方法，这些观测器通过学习在不进行显式距离计算的情况下，就聚类身份达成一致。其核心机制基于从 Dawid 和 Skene [18] 的工作中改编的期望最大化 (EM) 框架，该框架最初设计用于从噪声专家标签中估计类别身份。

核心架构

观测器 (Observers)： 系统采用用户定义的数量的观测器 ( $K$ )，以神经网络的形式实现。每个观测器估计给定样本在 $J$ 个可能类别上的概率分布。
同步性 (Simultaneity)： 一个关键要求是所有观测器必须同时处理同一批样本。这确保了“一致性”是从相同的数据上下文中得出的。
EM 过程：
- 初始化： 观测器产生初始标签概率 ( $s^{(k)}_{ij}$ )。
- E 步 (E-Step)： 估计样本属于某一类别的概率为所有观测器输出的平均值。
- M 步 (M-Step)： 算法估计每个观测器的“可靠性矩阵” ( $\pi^{(k)}$ )，该矩阵代表了它们的错误率，基于当前的共识标签。
损失函数与训练：
网络通过最小化结合了正则化项的负对数似然损失进行训练：
$L = \sum_{k=1}^{K} \left( -\alpha \sum_{i,c} I(y_i=c) \log(s^{(k)}_{ic}) - \lambda |\det(\tilde{\pi}^{(k)})| \right)$
- 第一项作为交叉熵损失，其中“真实”标签 ( $y_i$ ) 是从 EM 共识分布 ( $T^{(t)}_{ij}$ ) 中采样的。
- 第二项正则化未归一化的可靠性矩阵 ( $\tilde{\pi}^{(k)}$ ) 的行列式。这防止了所有观测器都认为所有样本属于单一簇的退化解。最大化行列式鼓励观测器将样本均匀地分配到各个类别中。
梯度共享： 来自行列式项的梯度在所有观测器之间共享。这使得协同组能够进行协作学习，帮助它们逃离局部最优解并收敛到一致的数据划分。

监控收敛

由于无法获得地面真值标签，CoOL 使用五个属性来监控收敛情况：

损失 (Loss)： 应下降并趋于饱和。
一致性率 (Agreement Rate)： 所有观测器对标签达成一致的样本比例（目标 >95%）。
唯一类别数 (Unique Classes)： 生成的不同标签数量应与用户定义的聚类数量相匹配。
可靠性矩阵的行列式 (Determinant of Reliability Matrices)： 应增长并趋于饱和，表明存在非退化的划分。
香农均衡指数 (Shannon Equitability Index, SEI)： 衡量样本在类别中的分布是否均匀；接近 1 的值表示划分是平衡的。

核心贡献

无距离聚类 (Distance-Free Clustering)： CoOL 引入了一种新范式，即聚类是通过一组学习者的“一致性”而非显式的距离或相似性度量来实现的。
可微 EM (Differentiable EM)： 本文推导了用于使用 EM 算法训练神经网络的具体梯度，将 Dawid 和 Skene 框架适配于端到端深度学习。
无标签收敛指标： 它提供了一套稳健的指标，无需地面真值标签即可评估聚类成功度。
处理任意聚类数量： 本文引入了一种“分组”策略，以处理聚类数量未知或不同运行之间标签不一致的情况。通过连接多次运行的聚类分配，即使单个运行的标签不同，也能产生一致的组。
分布漂移检测： 该方法证明了观测器之间的不一致率可以作为检测分布外 (OOD) 数据或分布偏移的信号。

结果

作者在合成 2D 数据和 MNIST 手写数字数据集上评估了 CoOL。

合成数据： CoOL 成功划分了一个具有重叠类别的困难 2D 三类数据集，展示了无需基于距离的超参数即可进行非线性判别边界的能力。
MNIST 实验：
- 性能： 对 3、5、7 和 9 个数字的聚类进行了测试。
  - 3 个类别： CoOL-Conv（卷积架构）达到了 95.7% 的准确率，与 IDEC (98.9%) 和 TELL (87.4%) 相当。
  - 5-7 个类别： CoOL-Conv 的表现与 TELL 相当，但落后于 IDEC。
  - 9 个类别： 性能显著下降（CoOL-Conv 准确率为 25.9%），一致性率降至接近零。作者将其归因于在较高的类别数量下，使用默认正则化参数难以达到共识。
- 比较： IDEC 一直保持最高的准确率，这可能是由于其在完整 MNIST 数据集上进行了预训练。在较低类别计数下，CoOL-Conv 在准确率上通常优于 SpectralNet 和 K-Means，但随着类别数量增加，其表现受到限制。
- 分组： 当聚类数量 (4) 少于真实类别数 (5 个数字) 时，分组策略成功识别了一致的子组（例如，将 0 与其他数字分开），并揭示了 CoOL 将视觉相似的数字（如 2 和 3）归为一类。
- OOD 检测： 当遇到未见的数字时，观测器之间的一致性率显著增加，证明了该方法在检测分布漂移方面的效用。

重要性与局限性

论文将 CoOL 定位为一种灵活的工具，适用于任何与可微模型兼容的数据，特别是在距离度量难以定义或计算成本高昂的高维科学背景下。

适度的声明： 作者明确表示，其目的并非试图超越 MNIST 上的最先进技术，而是旨在展示 CoOL 框架的效用和机制。
局限性：
- 在默认超参数下，CoOL 在处理高类别数量（如 9 类）时表现挣扎，往往无法收敛到有效的划分。
- 该方法依赖于样本可以被划分为若干组的假设，即“更相似”的样本会被聚集在一起；它本身并不学习一个度量空间。
- 当前实现每个 epoch 使用一次 EM 迭代；多次 EM 迭代的影响留待未来研究。
未来前景： 作者提出了 CoOL 在半监督学习、多模态聚类（例如同时对图像和声音进行聚类）以及开发更好正则化策略（例如使用熵或互信息）方面的潜在应用。他们还指出，该方法可以用于实时数据流中的异常检测或分布偏移检测。