🤖 AI

Rethinking Global Average Pooling: Your Classifier Is Secretly a Multi-Instance Learner

本文将使用全局平均池化的标准图像分类器重新诠释为多实例学习器，证明了它们在逻辑值（logits）中本质上保留了可恢复的空间类别证据，并由此实现了一种用于提取该信息以改进多目标场景分析的后验诊断方法。

原作者： Aray Karjauv

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Aray Karjauv

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一张繁忙公园的照片。照片中，一只金毛寻回犬正在玩飞盘，还有一个红色的长凳，背景中还有一些绿树。

长期以来，现代 AI 图像分类器就像是一个非常严厉、缺乏耐心的管理者。当它们观察这张照片时，会采用一种“全局平均池化”（Global Average-Pooling, GAP）的方法。你可以把这想象成管理者要求公园里的每一个人（图像中的每一个微小区域）都大声喊出他们看到了什么，然后管理者将所有这些喊叫声进行平均，从而做出一个最终决定。

如果狗喊了 10 次“狗！”，长凳喊了 5 次“长凳！”，树喊了 5 次“树！”，管理者可能会感到困惑。如果因为狗比较小导致“狗”的喊叫声比“树”的喊叫声小一点，那么平均值最终可能会倾向于“树”或“公园”。管理者会对整张图片做一个单一的猜测，往往忽略了那里其实有一只狗的事实。

重大发现
这篇题为《重新思考全局平均池化》（Rethinking Global Average Pooling）的论文指出，这些 AI 模型实际上比我们认为的要聪明得多。作者发现，即使 AI 只给出一个最终答案（比如“这是一个公园”），它在将所有信息平均化之前，实际上已经在为它看到的每一个部分记录一份详细的日记。

作者称之为**多实例学习（Multiple Instance Learning, MIL）**视角。与其将图像视为一个巨大的整体，不如将其视为一个“实例包”（bag of instances）。

旧方法： “这张整张图是什么？” -> “是一个公园。”
新方法： “这个角落里有什么？一只狗。那个角落里有什么？一个长凳。天空里有什么？树木。”

“秘密日记”类比
想象一下，AI 模型拥有一组覆盖在照片上的微型间谍网格。

旧观点： 我们只听取最后那位“总监间谍”的汇报，由他将一切总结成一句话。如果总监间谍的总结错了，我们就认为整个团队都失败了。
新观点： 作者意识到，我们可以窥视每一位间谍在向总监汇报之前的笔记。

通过这种方式，他们发现了一个惊人的事实：即使总监间警给出了错误的结论，间谍们的笔记往往也是正确的。

他们的发现
研究人员在著名的 AI 模型（如 ResNet、Swin 和 ConvNeXt）上，使用标准数据集（如 ImageNet）进行了测试。以下是他们的观察结果：

隐藏的成功： 在许多 AI 说“这是一只猫”但实际照片里是一只狗的情况下，AI 在狗所在特定区域的“间谍笔记”其实正确地识别出了“狗！”。最终错误的答案仅仅是因为将“狗”的笔记与过多的“背景”笔记进行了平均。
“园蛛”之谜： 他们观察了一张关于园蛛在蛛网上活动的图片。AI 的最终猜测是“园蛛”。但当他们查看间谍笔记时，发现显示“蛛网”部分的图像正确识别了“蜘蛛网”，而显示“蜘蛛”部分的图像则识别出了“园蛛”。模型知道两者都在那里，它只是将它们平均成了一个标签。
鲁棒性： 他们在 ImageNet-A（一组标准 AI 会表现糟糕的棘手自然图像集，其准确率仅约 20%）上进行了测试。然而，当他们查看“间谍笔记”（空间网格）时，发现模型在正确位置识别出正确物体的频率实际上达到了 50-60%。失败的原因并不是 AI “看不见”物体，而是“平均化”这一步骤冲淡了证据。

为什么这很重要（根据论文观点）
论文指出，问题不在于 AI 对复杂场景中的物体是“盲目”的。问题在于用于结合证据的数学规则（全局平均池化）。

缺陷： 平均化就像是用红漆混合白漆来得到粉红色。如果你只有一小滴红漆（物体）和一大桶白漆（背景），结果几乎就是粉红色。你会丢失红色。
解决方案： 论文建议，我们不应该再将图像视为一个单一的问题。相反，我们应该承认 AI 已经在扮演一个“多实例学习者”的角色——它已经在观察一个包含多种物体的“包”了。

他们并没有声称的内容
重要的是要紧扣论文的原意：

他们没有说这让 AI 变得完美，或者说它现在可以取代人类医生或自动驾驶汽车。
他们没有声称我们需要从头开始重新训练所有这些模型来解决问题。
他们没有说这些“间谍笔记”是能够绘制精确物体轮廓的完美地图（其分辨率仍然是模糊且粗糙的）。

核心启示
这篇论文是一个“诊断工具”。它表明我们现有的 AI 模型在寻找特定位置的物体方面，实际上在暗中做得非常出色。我们看到的“错误”往往只是由于一种笨拙的平均过程，这种过程掩盖了模型已经在做的出色工作。通过观察“间谍笔记”（空间网格）而不是仅仅看最终的总结，我们可以看到 AI 比它表现出来的要博学得多。

技术摘要：重新思考全局平均池化

问题陈述

现代图像分类器主要依赖全局平均池化（Global Average Pooling, GAP）后接线性分类头。虽然这种架构确保了平移不变性并减少了参数量，但它将空间特征网格压缩为单个图像级向量。这种聚合过程掩盖了底层的空间类别证据分布。因此，标准评估指标（如 Top-1 准确率）将模型视为输出单一决策的黑盒，无法区分正确的预测究竟是源于目标物体、周围上下文，还是两者的混合。此外，当图像级预测失败时，尚不清楚目标类别的证据是完全从特征表示中消失了，还是仅仅在平均过程中被稀释了。

方法论

本文通过**多示例学习（Multiple-Instance Learning, MIL）**的视角，对基于 GAP 的分类器进行了重新审视。在这种表述中，一张图像被视为一个由空间实例（最终网格中的特征向量）组成的“包”（bag），而监督仅针对整个“包”提供。

核心机制：稠密读出（Dense Readout）
作者证明，对于线性分类头 $f(h) = \Theta^\top h + b$ ，图像级逻辑值（logit） $z$ 在数学上等同于在空间特征网格上逐点计算的局部逻辑值的平均值：
$z = f(\bar{h}) = \frac{1}{N} \sum_{i=1}^{N} (\Theta^\top h_i + b)$
通过在全局池化步骤之前，将训练好的分类头应用于每个空间特征向量，作者生成了一个稠密读出（一个 $K \times H \times W$ 的类别得分图）。这一过程揭示了原本被平均化掉的空间类别证据。

实验方案
本研究在三种不同设置下评估了该稠密读出：

ImageNet-1K： 使用 ILSVRC 边界框标注将地面真值（ground truth）投影到空间网格上。作者分析了前景定位、背景激活以及在网格内恢复“ReaL”标签（超出单一地面真值的有效标签）的情况。
ImageNet-A： 一个自然对抗性基准测试，其中图像级准确率会发生崩溃。作者测量了尽管全局预测失败，目标类别是否在空间网格中仍然可检测。
MS-COCO： 评估冻结的自监督骨干网络（CLIP, DINO, MAE, BEiT），这些网络仅在池化嵌入上训练线性头。随后将该头逐点应用于特征网格，以测试在没有端到端监督的情况下，空间证据是否会显现。
合成多目标数据集： 一个受控实验，图像包含 3–5 个物体，但训练仅使用单个图像级标签。这隔离了研究问题：即基于 GAP 的分类器是否能在不完全监督的情况下，学会将特定的空间实例与标签相关联。

关键结果

1. 空间证据的恢复
在所有架构（ConvNeXt, Swin, MaxViT, ResNet）中，稠密读出都能一致地在前景区域恢复地面真值类别，即使图像级预测是错误的。

前景检测： 在 ImageNet 上，各架构的前景检测率均超过 90%，显著高于 Top-1 准确率。
ReaL 恢复： 在网格内预测出的类别集合，其恢复有效“ReaL”标签的速率比图像级 Top-1 准确率高出 1.2 到 7.1 个百分点，这表明有效的证据通常存在，但被平均过程抑制了。

2. 特定架构的动态特性

Transformer (ViTs)： 在未修改的图像上表现出较高的背景激活（在背景区域预测目标类，例如 Swin/MaxViT 约为 90%）。然而，当前景物体被遮挡时，这种背景激活会剧烈下降（约 36–38%）。这表明 ViT 通过自注意力机制在全球范围内分配物体证据，使得背景 Token 依赖于前景物体的存在。
CNNs： 表现出较低的基线背景激活，且在遮挡时下降并不剧烈。然而，对于特定类别，遮挡前景反而会增加背景预测，这表明存在复杂的相互作用，即物体的存在会抑制基于上下文的捷径（shortcuts）。

3. 对对抗性偏移的鲁棒性
在图像级准确率降至低至 3.8%（EfficientNet）的 ImageNet-A 上，空间检测率仍保持在较高水平（例如 30.6% 至 56.9%）。这表明，即使全局聚合无法产生正确的图像级决策，局部的类别证据仍持久存在于特征网格中。

4. 从不完全监督中学习
在合成多目标实验中，从随机初始化开始、每张图像仅使用单个标签（包含 3–5 个物体）训练的模型，实现了约 26% 的图像级准确率（符合 $n \in \{3,4,5\}$ 个物体的预期随机猜测率）。然而，空间定位准确率明显更高（ResNet-18 为 94%，ViT-S/32 为 63%），这证明了基于 GAP 的分类器即使在单标签监督下，也能学会将正确的类别得分分配给特定的空间实例。

意义与主张

本文认为，标准图像分类器的局限性并不一定在于表示学习的失败，而在于聚合规则（均值池化）的失败。

诊断工具： 稠密读出作为一个事后诊断工具，可以在不需要重新训练、额外标注或改变架构的情况下，揭示空间类别证据。它允许研究人员区分基于物体的预测和基于上下文的捷径。
MIL 解释： 通过将基于 GAP 的分类器视为均值聚合的 MIL 模型，本文将常见的失效模式（如对背景上下文的敏感性、在对抗样本上的失效）重新定义为当证据稀疏或存在空间竞争时，均值聚合固有的局限性。
架构启示： 结果表明，替代聚合规则（如最大池化、基于注意力的 MIL）可以缓解这些问题。本文指出，GAP 造成的“瓶颈”掩盖了学习到的特征的真实能力。

作者总结道，标准分类器本质上保留了空间信号，而这些信号目前在标准评估协议中是无法获取的，因此重新审视聚合步骤对于理解和提高模型的鲁棒性及可解释性至关重要。

技术摘要：重新思考全局平均池化

问题陈述

方法论

关键结果

意义与主张

类似论文