🤖 machine learning

Knee or ROC

该论文探讨了在图像类别多于一种且总体分布未知的情况下，如何利用“膝点法”替代传统的 ROC 阈值来确定自注意力 Transformer 图像分类的准确率阈值，并通过基于 CIFAR-10 的多类数据集验证了该方法的有效性。

原作者： Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Veronica Wendt, Jacob Steiner, Byunggu Yu, Caleb Kelly, Justin Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：当人工智能（AI）看一张包含多个物体的图片时，我们该如何判断它“看对了”还是“看错了”？

为了让你轻松理解，我们可以把这篇论文想象成是在解决一个**“多任务考试评分标准”**的难题。

1. 背景：AI 的“视力”升级与新的难题

以前的 AI（单眼视力）： 过去的 AI 就像是一个只擅长识别单一物体的学生。比如，给它看一张全是猫的图片，它能很准地告诉你“这是猫”。这时候，判断它考得好不好，有一套现成的标准（叫 ROC 曲线），就像老师手里有一把固定的尺子，只要分数超过 80 分就算及格。
现在的 AI（双眼视力）： 现在的 AI 变得更聪明了（使用了名为 Transformer 的新技术），它能处理更复杂的图片。比如，一张图片里既有猫，又有狗，还有鸟。
遇到的麻烦： 当图片里东西变多，而且我们不知道图片里到底有多少种东西、每种东西占多大比例时，那把“固定的尺子”（传统的 ROC 方法）就不管用了。因为尺子是考试前定死的，一旦 AI 到了真实世界（比如监控摄像头实时工作），情况变了，尺子却不会变，这就导致判断不准。

2. 论文提出的三种“新尺子”

为了解决这个问题，作者提出了三种方法来给 AI 的“多任务考试”重新定标准：

方法一：画一张“理想地图” (Method 1)

比喻： 想象你要在两个重叠的圆圈（代表“对的”和“错的”）之间画一条分界线。作者用数学公式（正态分布）画出了一张完美的理论地图。
怎么做： 他们计算出一个理论上的最佳分界线。
缺点： 这就像是在地图上画线，虽然理论完美，但在真实的、混乱的考试现场（实时环境），这张地图可能不够灵活。

方法二：玩“如果……会怎样”的游戏 (Method 2)

比喻： 这就像是一个**“试错游戏”**。作者把所有的答案打乱，然后不断尝试：“如果我把及格线定在 0.1 会怎样？”“如果定在 0.2 会怎样？”……一直试到 0.9。
怎么做： 他们通过这种“暴力”尝试，找出哪一条分界线能让 AI 的表现最好（也就是让“对的”尽可能多，“错的”尽可能少）。
结果： 这种方法比方法一更灵活，能找到更优的“及格线”。

方法三：寻找“膝盖” (Method 3 - 也就是标题里的 KNEE)

比喻： 这是最精彩的部分。想象你在爬一座山，刚开始坡度很陡（AI 的信心从低到高变化很快），但爬到一定程度后，坡度突然变平了，就像人的膝盖弯曲的地方。
怎么做： 作者不看复杂的地图，也不玩试错游戏，而是直接看 AI 给出的信心分数。如果分数突然发生剧烈变化（出现了“膝盖”点），那个点就是最佳的判断标准。
妙处： 这个方法非常灵活（Ad-hoc）。它不需要提前设定，就像你在爬山时，看到路变平了，自然就知道该停下来了。它可以在训练时、考试时，甚至是在 AI 实时工作的“现场”随时使用。

3. 实验结果：哪种方法最好？

作者用了一个叫 CIFAR-10 的数据库（里面有很多小图片）做了实验，把四张小图拼成一张大图，让 AI 识别。

对于“小物体”或“信心不高”的情况： 方法二（试错游戏） 表现最好。它能找到最精确的界限。
对于“大物体”或“信心很高”的情况（比如 AI 非常确定某处有东西）： 方法三（找膝盖） 非常有效。
- 作者发现了一个有趣的规律：如果 AI 对某个物体的信心分数超过 0.35，那么它的“膝盖”通常出现在第 6 到第 8 个位置。这就像是一个信号，告诉我们要在这里做决定。
- 如果信心很低（低于 0.35），“膝盖”就不明显，这时候用这个方法就不太准。

4. 总结：这篇论文到底说了什么？

简单来说，这篇论文说：

“以前的 AI 只能识别单一物体，用老办法打分就行。现在 AI 能识别图片里的一堆东西了，老办法（固定尺子）不管用了。我们提出了三种新办法：

画理论地图（有点死板）；

疯狂试错找最佳线（比较准，但计算量大）；

找‘膝盖’点（最灵活，适合实时应用）。

我们的结论是：如果你面对的是复杂的、多物体的图片，‘找膝盖’的方法特别有用，因为它不需要提前知道所有规则，能根据现场情况灵活调整。这为未来让 AI 在更复杂的真实世界中工作打下了基础。”

一句话概括：
这就好比给一个正在学习“同时识别猫、狗和鸟”的 AI 学生，作者不再给他一把固定的尺子，而是教他**“看到路变平就转弯（找膝盖）”或者“多试几次找最佳路线（试错）”**，让他能更灵活地应对真实世界的复杂考试。

论文技术总结：KNEE or ROC

1. 研究背景与问题定义 (Problem)

背景：
自注意力机制（Self-attention）的 Transformer 架构（如 Compact Convolutional Transformer, CCT）已成功从自然语言处理迁移至计算机视觉领域，并在小数据集上展现出优异的分类精度。然而，现有的研究大多基于单类图像检测，且假设图像总体（Image Population）的分布是已知的。

核心问题：
在实际应用场景中（如目标检测模型 YOLO 或 Faster R-CNN 的前端分类器），输入图像可能包含多个类别（Multiclass），且测试集往往缺乏对图像总体分布的完整信息。

传统 ROC 曲线的局限性：传统的接收者操作特征（ROC）曲线通常用于二分类，且其最佳阈值通常在模型训练阶段确定，一旦模型部署到实时环境（Live Environment），阈值无法动态调整，难以适应未知的多类输入。
阈值确定的挑战：在缺乏已知总体分布的情况下，如何为多类图像检测确定最佳的准确率阈值（Accuracy Threshold）是一个未解决的问题。

2. 方法论 (Methodology)

作者提出了三种方法来处理多类图像数据的阈值确定问题，旨在结合 ROC 曲线分析与“膝点”（Knee）方法。

方法 1：基于累积分布函数 (CDF) 的 ROC 曲线构建

原理：将真阳性率（TPR）和真阴性率（TNR）视为正态分布。
步骤：
1. 基于 TPR ( $\mu_1, \sigma_1$ ) 和 TNR ( $\mu_2, \sigma_2$ ) 的 Softmax 值构建两条正态分布曲线。
2. 设定任意阈值 $T_1$ ，利用累积分布函数 (CDF) 计算从 $T_1$ 到 $\infty$ 的积分值，从而得到对应的 TPR 和 FPR。
3. 通过递增 $T_1$ 值，绘制出新的 ROC 曲线。
特点：这是一种基于统计分布的数学推导方法，用于生成多类数据的 ROC 曲线。

方法 2：基于“假设分析”的暴力搜索 (Brute Force "What-if" Scenario)

原理：通过重新排列原始概率数组来模拟不同阈值下的分类结果。
步骤：
1. 定义正类数组（Parr）和负类数组（Narr）。
2. 设定初始阈值 $T_2$ （如 0.05）和步长（如 0.01）。
3. 遍历每个概率值，根据 $T_2$ 将其分配到四个新数组中：真阳性 (TP)、假阳性 (FP)、假阴性 (FN)、真阴性 (TN)。
4. 基于这些新数组计算 TPR 和 FPR，生成 ROC 曲线。
5. 不断递增 $T_2$ 并重复上述过程，寻找具有最大曲线下面积（AUC）的曲线。
特点：这是一种“暴力”搜索方法，通过穷举阈值变化来寻找最优的 ROC 曲线和对应的最大阈值。

方法 3：基于概率分布的膝点 (Knee) 方法

原理：针对实时环境或未知分布的情况，直接利用概率值的排序分布寻找“膝点”（Elbow/Knee point），即成本与收益不再平衡的拐点。
步骤：
1. 获取多类图像测试中的概率值数组。
2. 将概率值按升序排序。
3. 绘制概率值（Y 轴）与索引（X 轴）的曲线。
4. 使用 KneeLocator 函数计算曲线的膝点值。
特点：该方法具有**按需计算（Ad-hoc）**的特性，适用于训练、测试及实时部署环境，无需预先训练特定的 ROC 模型。

3. 实验设置 (Experimental Setup)

数据集：基于 CIFAR-10 数据集构建。通过将 4 张图像随机组合成 2x2 网格，并调整大小为 32x32，生成了 500 张包含多目标的“新”图像。
模型架构：使用预训练的 CCT-7/3x1 模型（Compact Convolutional Transformer），包含 7 个 Transformer 编码器层和 3x3 卷积分词器。
工具：基于 Ross Wightman 的 timm PyTorch 库。
评估指标：AUC（曲线下面积）、膝点坐标、欧几里得距离、阈值 $T$ 。

4. 关键结果 (Key Results)

方法 1 与方法 2 的对比

方法 1 生成了基于 CDF 的可行 ROC 曲线。
方法 2 通过迭代和数组重排，生成了具有更大 AUC 的 ROC 曲线。
最优阈值计算：
- 在方法 2 生成的最佳 ROC 曲线上，利用 KneeLocator 找到膝点坐标为 $(0.33, 0.64)$ 。
- 计算该点与 AUC=0.5 对角线之间的垂直距离（欧几里得距离为 0.22）。
- 最终计算出的最佳阈值 $T = 0.5 + 0.22 = \mathbf{0.72}$ 。
结论：方法 2（暴力搜索重排）在确定多类图像阈值方面优于方法 1。

方法 3 (膝点法) 的发现

概率阈值与膝点的关系：
- 当图像中最大概率值 $\ge 0.35$ 时，膝点值（Knee Index）一致地 大于 6（在 500 张图像中，294 张满足此条件，其中 92.5% 的膝点在 6-8 之间）。
- 当最大概率值 $< 0.35$ 时，膝点值不一致，甚至不存在。
适用性：
- 方法 2 更适合处理小尺寸的多类对象（概率较低或分布复杂的情况）。
- 方法 3 更适合处理大尺寸或高置信度的多类对象（概率 $\ge 0.35$ ），且具备实时适应性。

5. 主要贡献 (Key Contributions)

多类图像阈值确定框架：提出并验证了三种方法，解决了在输入类别未知且总体分布不明确的情况下，如何为 Transformer 图像分类器确定最佳阈值的问题。
动态阈值机制：引入了基于“膝点”的按需计算方法（方法 3），突破了传统 ROC 曲线仅在训练阶段确定阈值的限制，使其适用于实时（Live）环境。
CCT 在多类检测中的应用：展示了 Compact Convolutional Transformer (CCT) 在处理多目标（2x2 网格）图像时的潜力，证明了其在保持高精度的同时降低了计算成本。
实证分析：通过 CIFAR-10 的变体实验，量化了不同概率分布下膝点值的规律，为后续研究提供了数据支持。

6. 意义与未来展望 (Significance & Future Work)

实际意义：该研究为将轻量级 Transformer 架构应用于复杂的现实世界目标检测任务（如 YOLO 或 Faster R-CNN 的前端）提供了理论依据和工具。特别是在处理未知数量类别的图像时，提供了一种自适应的阈值调整策略。
局限性：目前尚未完全解决“完全未知图像总体分布”下的类别识别问题。
未来方向：
- 进一步研究在完全未知分布情况下的自适应膝点算法。
- 将膝点计算方法与更成熟的架构结合，以实现状态最先进（SOTA）的多类检测性能。
- 探索在训练、测试和实时部署全生命周期中动态识别多个类别的灵活性。

总结：这篇论文通过结合统计分布（ROC）和几何拐点（Knee）分析，为多类图像分类中的阈值自适应问题提供了一套创新的解决方案，特别是强调了在实时环境中无需重新训练即可动态调整阈值的可行性。