💻 computer science

PI-H2T: Enhancing Long-Tailed Visual Recognition with Permutation-Invariant and Head-to-Tail Feature Fusion

PI-H2T 是一种即插即用的方法，它通过采用置换不变特征融合来优化表示空间，并利用头尾特征融合来传递语义信息，从而纠正分类器偏差并提升尾部类别的性能，进而增强长尾视觉识别。

原作者： Mengke Li, Zhikai Hu, Yang Lu, Weichao Lan, Yiu-ming Cheung, Hui Huang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Mengke Li, Zhikai Hu, Yang Lu, Weichao Lan, Yiu-ming Cheung, Hui Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

巨大的不平衡：为什么人工智能会困在“热门事物”上

想象一下，你正在教一名新学生如何识别动物。你给他们看了 1,000 张金毛寻回犬的照片，但只给了一张稀有的红熊猫照片。如果让这个学生参加考试，他们很可能会成为识别狗的专家，但每当看到红熊猫时，他们很可能会直接猜是“狗”，仅仅是因为他们见过的这类例子最多。这就是人工智能中“长尾”数据的核心问题。在现实世界中，数据很少是完美平衡的；我们拥有一些拥有海量样本的“头部”类别（如常见的路标或热门动物），以及一个由极少数样本组成的漫长“尾部”类别（如稀有类别）。

深度学习模型——即现代人工智能背后的“大脑”——在处理这种不平衡时表现得很吃力。它们往往在识别常见事物方面变得极其出色，却完全遗忘了那些稀有的事物。这主要有两个原因：首先，模型的内部“世界地图”被挤压和扭曲了，因为它看到的稀有物品样本不够多，以至于不知道这些物品应该归属于何处；其次，模型的“决策者”（分类器）产生了偏差，总是倾向于选择那些热门的选项。解决这个问题至关重要，因为如果我们希望人工智能能在现实世界中发挥作用——那里存在着罕见疾病、晦涩物种和分众目标——它就必须对稀有事物公平，而不仅仅是对热门事物公平。

解决方案：两步走的魔术技巧

研究人员在论文中提出了一种名为 PI-H2T（置换不变特征融合与头尾融合）的新方法来解决这种不公平性。你可以将他们的这种方法看作是一个两步走的魔术技巧，旨在帮助 AI 学生像学习金毛寻回犬一样更好地学习红熊猫。

第一步：“洗牌与混合”（置换不变特征融合）
首先，团队解决了扭曲的“地图”问题。当 AI 查看一张图像时，它会将图像分解成细小的信息碎片（特征）。通常情况下，这些碎片的顺序很重要，但对于某些稀有物体，AI 会被像素的具体排列方式所迷惑，将其视为噪声。研究人员引入了一个名为 PIF（置换不变特征融合）的步骤。想象一下，拿着一副代表图像细节的扑克牌并进行洗牌。如果“手牌”的“含义”（物体）在洗牌后保持不变，那么 AI 就知道它找到了一个可靠且稳固的线索。

通过将这些洗牌后的线索与原始线索进行混合，AI 创建了一个更强大的“心理地图”。这一步非常高效；它几乎不会给系统增加额外的计算量或内存负担（仅需两个微小的可调参数）。结果如何？AI 开始将相似的稀有物体聚集在一起，并将它们推离常见物体，从而在它的脑海中创造出自然的“边界”或安全区，让稀有项目可以在那里生存而不会被挤压。

第二步：“借用”策略（头尾融合）
一旦地图修复完成，第二步就要解决带有偏差的“决策者”问题。即使有了更好的地图，AI 仍然不敢猜是“红熊猫”，因为它见过的红熊猫实在太少了。研究人员使用了一个聪明的技巧，称为 H2TF（头尾融合）。他们提取了 AI 对常见“头部”类别（如金毛寻回犬）所学到的丰富且详细的知识，并将其温柔地融入到“尾部”类别（如红熊猫）中。

这就像是一个精通狗知识的学生去帮助一个对红熊猫一无所知的学生。他们不会只说：“这是一张熊猫的照片。”相反，他们会说：“把熊猫想象成一种狗，但具有这些特定的差异。”这种对语义信息的“借用”填补了 AI 心智中那些空旷、稀疏的空间。至关重要的是，这种“借用”只发生在 AI 学习（训练）期间。当 AI 进行最终测试（推理）时，它使用的是自己干净、无偏差的知识。这确保了 AI 在进行实际识别时，不会因为混合了动物的身份而产生混乱。

他们的发现

团队在几个著名的数据集上测试了这种方法，包括包含 100 种不同物体的图像（CIFAR100-LT）、数百万张真实世界照片（ImageNet-LT）以及自然摄影照片（iNaturalist 2018）。

结果表明，PI-H2T 的效果非常好。当我们将这种方法添加到现有的 AI 模型中时，稀有“尾部”类别的准确率显著提升。例如，在 CIFAR100-LT 数据集上，我们的方法比之前的顶尖方法将标准模型的准确率提高了 3% 以上。在庞大的 ImageNet-LT 数据集上，它将单模型方法的性能提升到了通常需要更复杂的多模型系统才能达到的水平。

论文明确反对了“需要构建巨大的、复杂的全新网络或海量的额外数据来解决此问题”的观点。相反，他们展示了通过一种轻量级的、“即插即用”的添加方式——即重新排列现有特征并借鉴常见类别的知识——就足以产生巨大的改变。他们还发现，虽然该方法在大多数数据集上表现出色，但在图像本身已经非常相似（如场景照片）的数据集上，其效果略显逊色，这表明“洗牌”步骤在 AI 需要理清杂乱、稀疏数据时最为有效。

简而言之，PI-H2T 并不是试图强迫 AI 去死记硬背更多内容，而是教会 AI 如何更好地组织已有的知识，以及如何利用对常见世界的认知来理解稀有世界。这是一种简单、高效的方式，让人工智能对每个人都更加公平和准确，而不仅仅是对那群“热门群体”。

PI-H2T 技术摘要：通过置换不变性与头尾特征融合增强长尾视觉识别

问题陈述
长尾视觉识别受到现实世界数据中严重类别不平衡的影响，其中少数“头部（head）”类占据了数据集的主导地位，而“尾部（tail）”类则面临样本稀缺的问题。这种不平衡导致了两个主要挑战：一是变形的表示空间，即尾部类的特征分布稀疏且容易过拟合伪模式；二是偏置的分类器，由于头部类在训练期间占据了主导的语义信息，分类器会向其倾斜。现有方法通常将表示学习和分类器校准分开优化，导致其中一个环节处于次优状态。此外，虽然参数高效微调（PEFT）利用了预训练模型，但其决策边界往往仍未经过校准，且对头部类的偏置依然存在。

方法论
作者提出了 PI-H2T（置换不变性与头尾特征融合），这是一个插件式、架构无关的框架，旨在同时优化表示空间和分类器。该方法分为两个渐进阶段运行：

置换不变特征融合 (PIF)：
- 目标： 在不显著改变骨干网络架构的情况下，增强特征鲁棒性并自动建立适当的类间间隔。
- 机制： PIF 在最终池化层之前引入了一个置换不变（PI）操作来处理特征图。具体而言，它将特征图重塑为二维矩阵，并在通道维度上执行平均操作（已被证明具有置换不变性）。随后，这些 PI 特征通过一个仅包含两个可学习参数（ $a$ 和 $b$ ）的轻量级残差结构与原始特征进行融合。
- 效果： 该过程减少了特征冗余和依赖于顺序的伪影。从理论上讲，这等同于自动分配正向分类间隔，从而创建一个更紧凑的特征空间，为后续的分类器校准提供便利。
头尾融合 (H2TF)：
- 目标： 在分类器调整阶段（第二阶段）通过利用来自头部类的语义信息来增强尾部类的表示，从而修正偏置的决策边界。
- 机制： H2TF 将来自类别平衡采样分支（针对尾部类）的特征与来自实例级采样分支（偏向头部类）的特征进行融合。融合定义为 $\tilde{f} = r \cdot f_t + (1-r) \cdot f_h$ ，其中 $f_t$ 是尾部特征， $f_h$ 是头部特征。
- 自适应融合比例： 不同于以往版本依赖手动调节超参数，融合比例 $r$ 是根据样本距离其类中心的距离（ $d_x$ ）自动确定的。位于中心附近（靠近决策边界）的样本会获得更高的融合比例以填补语义空白，而靠近中心点的样本则保留更多的原始表示。
- 训练策略： H2TF 仅应用于第二阶段训练以校准分类器。在此阶段，骨干网络保持冻结状态，且在推理过程中省略 H2TF 以防止语义混淆。

核心贡献

PIF 模块： 一种仅增加两个参数的轻量级机制，能够增强特征表示并隐式地创建最优决策间隔，解决了表示空间的变形问题。
H2TF 机制： 一种在无需额外数据或网络参数的情况下，将语义信息从头部类转移到尾部类的策略，有效地利用了训练良好的骨干网络来学习判别性边界的能力。
自动化融合： 引入了由特征距离类中心确定的自适应融合比例，消除了对手动超参数调优的需求。
通用性： 该框架在多种架构上均表现出有效性，包括单模型 CNN、多专家框架以及基于多头自注意力机制（MHSA）的 Vision Transformer (ViT)。

实验结果
在四个标准长尾基准测试集（CIFAR100-LT、ImageNet-LT、iNaturalist 2018 和 Places-LT）上进行了广泛的实验。

性能： PI-H2T 一致地优于现有的最先进方法，包括解耦表示（DR）、MisLAS、GCL 以及各种 PEFT 方法（如 LPT、LIFT）。
- 在 CIFAR100-LT（不平衡因子 100）上，结合 DR 的 PI-H2T 达到了 49.22% 的准确率，超过之前的最佳水平（H2T + DR）1.5% 以上，并超过了 GCL+H2T。
- 在 ImageNet-LT 上，GCL+PI-H2T 达到了 55.08% 的 Top-1 准确率，优于 RIDE 等多专家模型。
- 在 iNaturalist 2018 上，GCL+PI-H2T 达到了 75.02%，较单模型基准线有显著提升。
MHSA 适配： 当应用于基于 ViT 的模型（如 LPT）时，PI-H2T 提升了约 1% 的性能（例如在 CIFAR100-LT 上从 89.00% 提升至 90.05%）。
消融实验： t-SNE 可视化证实了 PIF 创建了更紧密的类内簇和更清晰的类间间隔。自适应融合比例被证明能够稳定收敛，且自动确定的 $r$ 在不同数据集上均表现出鲁棒性。

意义与主张
论文声称 PI-H2T 提供了一个统一的、连续的优化框架，能够同时解决表示学习和分类器校准问题。其主要意义在于其高效性和适应性：

它引入了极小的计算开销和参数量（PIF 仅有两个可学习权重）。
它是“插件式”的，允许无缝集成到现有的单模型、多专家和基于基础模型的流水线中，且无需重新训练骨干网络。
它从理论和实证上证明了，通过 PIF 精炼表示空间是实现有效分类器校准（通过 H2TF）的前提条件，解决了现有分离优化方法中表现欠佳的问题。

作者承认，虽然 PI-H2T 提高了准确率，但偶尔会表现出略高的期望校准误差（ECE），这表明置信度校准是未来的研究方向。此外，表示融合与分类器校准之间的理论交互作用仍是一个有待深入研究的开放性问题。

巨大的不平衡：为什么人工智能会困在“热门事物”上

解决方案：两步走的魔术技巧

他们的发现

类似论文