💻 computer science

FRAP: Fisher–Rao Geometric Trajectory Pruning for Class-Aware Dataset Selection

该论文提出了 FRAP，一种类别感知的数据集剪枝框架，它利用 Fisher–Rao 几何来通过有效信息几何位移评分量化训练样本的预测轨迹，从而实现高效选择具有信息量的的数据，以在降低计算成本的同时保持分类性能。

原作者： Bahar Niknam, Hedieh Sajedi

发布于 2026-09-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Bahar Niknam, Hedieh Sajedi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

深度学习已经改变了机器观察和理解世界的方式，为从医学诊断到自动驾驶汽车的一切领域提供了动力。这一进步依赖于向人工智能系统喂入海量的标注样本，使其能够通过调整内部设置来学习模式。然而，随着这些数据集增长到包含数百万张图像，处理它们的成本已成为一项沉重的负担，需要巨大的计算能力和内存。研究人员长期以来一直怀疑，在这些庞大的库中，并非每一个样本都同样有用；事实上，一旦系统掌握了基础知识，许多数据可能就是冗余的，无法提供新的信息。因此，挑战在于如何识别哪些特定的样本对于教导模型至로必要，而哪些可以被安全地丢弃而不损害其性能。

德黑兰大学的一个研究小组开发了一种名为 FRAP 的新方法来解决这个问题。研究人员并没有将数据点视为由单一分数评判的静态项目，而是观察了模型对每张图像的理解随时间变化的过程。他们在一个完整的数据集上训练模型，并在每次训练阶段结束时记录其预测结果。通过追踪这些预测在模型学习过程中所走的路径，他们可以观察到每张图像独特的“旅程”。有些图像会导致模型的预测在不同的猜测之间剧烈摆动，最后才稳定在正确答案上；而另一些图像则能被立即识别并保持一致。该团队意识到，这些预测路径的形状和长度是识别最有价值训练数据的关键。

为了衡量这些路径，研究人员使用了一个数学概念，该概念将概率视为一个弯曲的空间，从而能够计算不同不确定状态之间的真实距离。他们将这种运动的测量与模型对正确答案的置信度检查相结合。这创造了一个双重信号：一部分测量模型的思维如何演变，另一部分测量图像对于模型的掌握难度。至关重要的是，该方法并不仅仅是在整个范围内将所有图像按从易到难进行排名。相反，它首先决定要从每个类别中保留多少图像，以确保稀有或困难的群体不会被意外抹去。然后，它根据每个群体内独特的学习旅程，从中挑选出最好的样本。

在包含数万张图片的标准图像库上进行测试时，这种方法始终优于现有方法。在一个拥有十个类别的数据集上，该新方法在仅保留 30% 数据的情况下实现了 95.58% 的准确率，这一结果高于测试过的任何其他技术。即使是在一个拥有一千个类别的大型数据集中，该方法也保持了在竞争对手中的最高准确率，仅用一半的数据就达到了近 80% 的准确率。研究人员发现，仅仅观察图像的最终预测是不够的；模型如何得出该预测的历史过程与预测本身同样重要。通过保留每个类别中易与难样本的特定组合，该系统即使只利用一小部分数据也能学得一样好。

这项研究表明，缩减数据集最有效的方法是尊重学习过程本身的多元性。研究人员证明，基于单一性能快照来丢弃数据往往会导致重要信息的丢失，而追踪模型理解的全过程演变则能保留必要的教训。虽然该方法需要一个初始训练阶段来绘制这些学习路径，但由此产生的更小的数据集可以在未来实现更快、更高效的训练。这项工作为使深度学习更具可持续性提供了一个实用的蓝图，证明了有时，只有当你完全理解学习是如何发生时，知道更少才是可能的。

技术摘要：FRAP —— 用于类感知数据集选择的 Fisher–Rao 几何轨迹剪枝

1. 问题陈述

深度学习数据集规模的不断扩大引入了巨大的计算和内存成本，这促使了对有效数据集剪枝的需求。虽然增加数据可以提高泛化能力，但冗余表明很大一部分训练样本提供的收益有限。现有的剪枝方法通常依赖于静态属性（如损失、梯度）或在单一时间点收集的标量不确定性度量。这些方法未能捕捉样本预测分布随时间演变的完整几何过程。此外，许多方法采用全局排名策略，无法显式控制保留预算在各类别之间的分布，这可能导致剪枝后的子集中出现不良的类别不平衡问题。

2. 方法论

作者提出了 FRAP (Fisher–Rao 几何轨迹剪枝)，这是一个类感知的框架，通过记录训练轮次（epochs）中预测分布的轨迹来表征训练样本。该方法在两个耦合层面运行：基于轨迹的评分和分层类感知选择。

2.1 预测轨迹提取

在全量数据集上训练一个参考模型 $T$ 个轮次。在每个轮次结束时，模型评估训练集，为每个样本 $n$ 记录预测概率向量 $p^{(t)}_n$ 。这一序列构成了预测轨迹 $\mathcal{T}_n$ 。

2.2 Fisher–Rao 几何评分 (EIGD)

为了量化样本预测分布的移动，FRAP 利用了概率单纯形上的 Fisher–Rao 测地距离。

平滑处理： 对预测向量进行平滑处理，以确保在进行几何计算时具有严格的正分量。
路径长度 ( $L_n$ )： 跨轮次的连续预测状态之间的累积 Fisher–Rao 距离，代表总的预测移动。
净位移 ( $G_n$ )： 初始状态 ( $t=1$ ) 与最终状态 ( $t=T$ ) 之间的 Fisher–Rao 距离。
轨迹效率 ( $E_n$ )： 定义为净位移与累积路径长度的比值 ( $G_n / (L_n + \epsilon_d)$ )，衡量样本向其最终状态移动的直接程度。
EIGD 分数 ( $Q_n$ )： 有效信息几何位移 (Effective Information-Geometric Displacement) 结合了量级与效率：
$Q_n = G_n E_n = \frac{G_n^2}{L_n + \epsilon_d}$
该分数倾向于那些经历了实质性预测变化且没有过度中间振荡的样本。

2.3 鲁棒化标签感知难度

为了补充轨迹评分，基于地面真值类别的平均置信度 ( $q^{(t)}_n$ ) 计算了一个标签感知难度信号。难度 $H_n$ 定义为 $1 - \text{mean}(q^{(t)}_n)$ 。为了防止极端值占据主导地位，应用了基于 $\kappa$ -百分位数的上尾截断来生成 $H^{rob}_n$ 。

2.4 分层类感知选择

FRAP 并非采用全局排名，而是采用两阶段过程：

类别级预算分配： 聚合并归一化类别级统计量（平均 EIGD 和平均截断难度）。类别优先级分数 $D_c$ 被计算为这些归一化统计量的加权和。该优先级结合类别规模，决定了每个类别的保留配额 $K_c$ ，从而确保全局剪枝预算根据特定类别的预测行为进行分配。
类内样本选择： 在每个类别内部，样本根据组合分数 $S_n = (1-\alpha)\tilde{Q}_n + \alpha\tilde{H}^{rob}_n$ 进行排名，其中 $\tilde{Q}$ 和 $\tilde{H}$ 是类内归一化的。保留前 $K_c$ 个样本。

3. 核心贡献

Fisher–Rao 轨迹表示： 一个通过预测分布的演变（而非标量统计量）来表示样本的新颖框架，利用 Fisher–Rao 几何来测量预测移动。
EIGD 分数： 引入了有效信息几何位移，它整合了净预测位移与累积轨迹的效率。
分层类感知机制： 一种将类别级预算分配与类内样本排名显式分离的选择程序，解决了全局排名方法中固有的类别不平衡问题。
全面评估： 在多个数据集（CIFAR-10, CIFAR-100, ImageNet-1K, Waterbirds）和剪枝率下进行了实证验证，证明了其优于代表性基准方法的性能。

4. 实验结果

作者将 FRAP 与包括 Random, Forgetting, EL2N, CCS, MetriQ, Dyn-Unc, TDDS, 和 InfoBatch 在内的多种方法进行了对比评估。

性能： FRAP 在所有测试的数据集和剪枝率下均一致实现了最高的 Top-1 准确率。
- CIFAR-10： 在 30% 剪枝时达到 95.58%，在 90% 剪枝时达到 87.86%。
- CIFAR-100： 在 30% 剪枝时达到 77.78%，在 90% 剪枝时达到 56.72%。
- ImageNet-1K： 在 25% 剪枝时达到 79.83%，在 50% 剪枝时达到 78.58%。
- Waterbirds： 在 30% 剪枝时达到 96.42%，在 90% 剪枝时达到 93.18%。
消融实验：
- 移除类别级分配或难度信号会导致准确率下降，证实了这两者的必要性。
- 用简单的端点位移 ( $G_n$ ) 替换完整的 EIGD 分数会导致性能降低，验证了轨迹效率的重要性。
敏感性： 混合系数 $\alpha$ （平衡轨迹与难度）在 CIFAR-100 上在 $\alpha=0.5$ 时表现出最优性能。

5. 意义与主张

本文声称 FRAP 通过捕捉预测分布的几何演变并显式管理类别级保留预算，解决了现有剪枝方法的关键局限性。作者指出，他们的方法有效地平衡了从预测轨迹中获取的信息与收集这些轨迹所需的计算成本。

结果表明，通过概率单纯形中的完整预测轨迹（而非依赖静态或标量指标）来表示样本，能为识别信息性数据提供更鲁棒的信号。分层选择机制被视为确保激进剪枝不会不成比例地损害特定类别的必要步骤。作者总结道，尽管承认未来仍需在降低提取完整训练轨迹相关的计算开销方面开展工作，但 FRAP 在所测试的条件下设定了新的最先进水平（state-of-the-art）。