🤖 AI

DCSCR: A Class-Specific Collaborative Representation based Network for Image Set Classification

本文提出了深度类特定协同表示（DCSCR）网络，这是一种新颖的小样本图像集分类方法，它将深度特征提取与类特定协同表示度量学习模块相结合，以同时学习帧级和概念级特征并自适应地衡量集合相似度，从而在小样本数据集上优于现有方法。

原作者： Xizhan Gao, Wei Hu

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Xizhan Gao, Wei Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在嘈杂混乱的房间里认出一个朋友。你不仅仅是盯着他们脸部的某一个静止瞬间，而是观察他们走路、说话和欢笑的样子。你会从不同的角度看他们，在不同的光线下看他们，甚至可能看到他们戴着一顶滑稽的帽子。你的大脑并不仅仅存储一张关于他们的“完美”照片，而是通过结合所有那些凌乱、不完美的瞬间，构建出一个灵活且鲜活的关于他们是谁的概念。这就是**图像集分类（Image Set Classification）**所面临的挑战。科学家们不再是要求计算机识别单张照片，而是教它去识别一整组照片或视频帧。问题在于，这些集合是混乱的：有些帧是模糊的，有些是昏暗的，有些甚至显示的是人倒过来的样子。

长期以来，计算机尝试通过两种方式来解决这个问题。“老派”的方法就像是仅用一系列基本事实（比如“有鼻子”、“有眼睛”）来描述一个朋友，这往往因为无法处理现实生活中混乱的细节而失败。“新派”的方法利用强大的人工智能从每张照片中学习深层细节，但它往往会陷入困境，试图将所有照片强行压缩成一个僵化的、平均化的总结，从而丢失了那些重要的独特细节。研究人员提出的核心问题是：我们如何构建一个既能学习每张照片的深层细节，又能保持足够的灵活性，使其理解力能根据当前正在观察的具体照片组进行调整的计算机？

本文介绍了一种名为 DCSCR（深度类特定协作表示，Deep Class-Specific Collaborative Representation）的新型解决方案。可以将 DCSCR 想象成一位超级聪明的侦探，它不仅仅是死记硬背一个照片文件夹，而是拥有三种特殊的工具。首先，它使用深度神经网络（就像一台高科技显微镜）来放大并理解集合中每一张图像的微小局部细节。第二，它使用一个“全局特征学习”模块来退后一步观察大局，理解图像中所有像素是如何协同工作的。

但真正的魔力发生在第三个工具：类特定协作表示。想象一下，你正试图通过一组照片来猜测某个神秘人物是谁。一个僵化的计算机可能只是将所有照片取平均值。但 DCSCR 不同，它会观察正在进行对比的那组特定照片，并动态地决定哪些照片是最重要的。如果一张照片很模糊，它就会忽略它；如果另一张照片清晰地展示了人的脸部，它就会赋予这张照片更高的权重。这就像侦探在说：“好吧，对于这次特定的对比，这三张照片讲述了真实的故事，而那张模糊的照片仅仅是噪音。”

作者发现，这种灵活的方法效果极其出色，尤其是在计算机见过的样本很少的情况下（这种情况被称为“少样本”学习）。在测试中，DCSCR 能够以惊人的准确率识别视频集中的人物。在名为 Honda/UCSD 的数据集上，仅用 50 帧就达到了 97.95% 的正确率，而在 100 帧或 200 帧时达到了 100% 的完美表现。在另一个数据集 CMU MoBo 上，它的得分在 98.41% 到 98.73% 之间。这些数字高于其他依赖于老式规则或僵化 AI 模型的高级方法。

论文指出，DCSCR 胜出的原因在于它不会在开始对比之前，就强行对一个图像集“是什么”做出永久性的决定。相反，它会实时调整自己的理解。它结合了两者的优点：利用深度学习的力量来观察细微之处，并利用智能的自适应逻辑来挑选最合适的线索。虽然作者承认该方法对计算能力的要求仍然较高，且依赖于其使用的特定 AI“骨干网络”，但他们认为，这种让计算机为每一组新照片都调整策略的方法，是向前迈出的重要一步。他们计划在未来尝试将这一理念与更先进的 AI 模型相结合，使其变得更快、更聪明。

技术摘要：用于少样本图像集分类的 DCSCR

1. 问题陈述

图像集分类（Image Set Classification, ISC）涉及比较由无序、异构且具有可变数量和质量的图像组成的集合。虽然 ISC 已引起广泛关注，但它面临两个主要挑战：学习有效的特征表示以及探索不同图像集之间的相似性。

现有方法存在特定的局限性：

传统的 ISC 方法（例如 Manifold Density Divergence, ISCRC, DLRC）通常依赖于原始像素特征或低级手工特征。虽然它们在概念级建模（例如使用仿射或凸包以及协作表示）方面表现出色，但缺乏学习判别性帧级特征的能力，限制了它们在不受限场景下的性能。
深度 ISC 方法（例如 GhostVLAD, NAN, FaceNet）利用卷积神经网络（CNN）来学习强大的帧级特征。然而，其中许多方法通过静态池化或注意力机制将图像集聚合为固定的特征向量（概念级表示）。这种固定聚合无法根据所比较的特定图像集对来自适应地调整概念级特征。此外，深度方法在少样本场景中往往表现出过拟合和泛化能力差的问题。

核心问题在于如何同时学习帧级特征（局部与全局）和自适应的概念级表示，从而在比较目标的基础上进行动态调整，特别是在提高少样本 ISC 任务中的性能方面。

2. 方法论：DCSCR 网络

作者提出了**深度类特定协作表示（Deep Class-Specific Collaborative Representation, DCSCR）**网络，该网络将深度神经网络与类特定协作表示（CSCR）理论相结合。其架构由三个主要模块和一个双层训练策略组成。

2.1 网络架构

深度特征提取器 (Deep Feature Extractor, DFE)：
- 利用先进网络（如 ResNet50, GoogleNet）的预训练卷积层来提取局部帧级特征。
- DFE 的参数在在大规模数据集上预训练后被冻结，以防止在少样本设置下发生过拟合。
- 输出：两个输入图像集的特征图 $X$ 和 $Y$ 。
全局特征学习模块 (Global Feature Learning Module, GFLM)：
- 解决卷积层在捕捉长程依赖关系方面的局限性。
- 采用**非局部模块（non-local block，自注意力机制）**来聚合图像中所有像素的信息，从而捕捉全局帧级特征。
- 应用全局平均池化（GAP）生成每个集合中每张图像的最终全局特征表示。
基于类特定协作表示的度量学习模块 (Class-Specific Collaborative Representation-based Metric Learning Module, CSCRMLM)：
- 这是概念级建模的核心创新。它不再将特征聚合为固定向量，而是根据正在与之比较的集合，自适应地学习图像集的概念级表示。
- 虚拟建模层 (Virtual Modeling Layer)： 通过寻找两个集合（ $X$ 和 $Y$ ）之交替子空间的虚拟图像 $v$ ，来模拟两个集合之间的距离。概念级特征表示为线性组合 $X\alpha$ 和 $Y\beta$ ，其中 $\alpha$ 和 $\beta$ 是自适应权重。
- 基于 CSCR 的对比损失 (CSCR-based Contrastive Loss)： 设计了一个自定义损失函数，用于联合优化网络参数和协作表示权重（ $\alpha, \beta$ $α, β$ ）。
  - 它最小化同类集合（ $y_{ij}=1$ ）之间的距离，并最大化异类集合（ $y_{ij}=0$ ）之间的距离。
  - 它包含 $L_2$ 正则化项，以鼓励使用高质量图像并抑制低质量图像，同时利用更少的样本重建子空间。
  - 约束条件确保权重之和为 1。

2.2 双层训练与优化

为了训练该网络，作者提出了一个两阶段交替优化方案：

第一层训练 (Level-1 Training)： 使用标准交叉熵损失在全局特征上预训练 DFE 和 GFLM。
第二层训练 (Level-2 Training)： 在优化协作表示权重和网络参数之间进行交替：
1. 固定网络参数 ( $\theta$ )： 使用交替方向乘子法 (ADMM) 解出最优权重 $\alpha$ 和 $\beta$ 。这一步对于神经网络权重是无参数的。
2. 固定权重 ( $\alpha, \beta$ )： 计算对比损失并使用随机梯度下降 (SGD) 更新网络参数 $\theta$ 。

3. 核心贡献

新型 DCSCR 框架： 一种结合了传统协作表示的概念级建模优势与深度网络强大的帧级特征学习能力的混合方法。
全局特征学习： 引入了一个使用自注意力机制的模块，用以自适应学习全局帧级特征，克服了标准 CNN 的局部感受野限制。
自适应度量学习： 一个基于 CSCR 的度量学习模块，在计算距离时自动调整概念级特征，这与固定聚合方法不同。该模块不引入额外的可学习权重参数，而是依赖于 ADMM 优化。
双层训练策略： 一个统一的训练过程，共同优化深度特征提取和协作表示学习。

4. 实验结果

该方法在三个数据集上进行了评估：Honda/UCSD 和 CMU MoBo（少样本 ISC）以及 YouTube Faces (YTF)（大规模验证）。

Honda/UCSD 数据集：
- DCSCR 实现了 97.95% 的准确率（50 帧）、100.0%（100 帧）和 100.0%（200 帧）。
- 它优于最先进的深度方法（NAN, FaceNet）和传统方法（JMLC, ISCRC）。
- 消融研究表明，移除 CSCRMLM 模块会导致性能显著下降（比完整模型低约 20%），突显了其重要性。
CMU MoBo 数据集：
- DCSCR 实现了 98.41%（50 帧）、98.57%（100 帧）和 98.73%（200 帧）。
- 它始终优于基准方法，包括 nonlocal+GAP 和 nonlocal+DFA。
- 与 DLRC 和 PLRC 等对图像集大小敏感的方法不同，DCSCR 的性能随着帧数的增加而提高或保持稳定。
YouTube Faces (YTF) 数据集：
- DCSCR 实现了 94.42% 的验证准确率，超过了基准 nonlocal+GAP (94.24%) 和非参数化字典学习方法 (nonlocal+DFA)。
- ROC 曲线分析证实了其优于基准方法的性能。
计算复杂度：
- 模型总参数量约为 25.64M（主要来自离线 DFE）。
- CSCRMLM 模块是无参数的，增加的计算开销极小（约占总 FLOPs 的 1%）。
- 主要计算成本在于 GFLM 和离线特征提取。

5. 意义与主张

论文声称 DCSCR 有效解决了传统和深度 ISC 方法的局限性，通过：

弥合差距： 成功地将传统方法的自适应建模能力与深度学习的表示能力相结合。
少样本泛化： 在其他深度方法容易过拟合的少样本场景中展示了卓越的泛化能力。
自适应概念级建模： 证明了概念级特征不应该是固定的，而应该根据特定的比较对进行动态调整，从而实现更准确的距离度量。
鲁棒性： 展示了在不受限环境下对图像集大小和质量变化的韧性。

作者承认了局限性，指出性能取决于骨干网络（backbone）的选择，并且模型相对于输入图像的数量仍具有较高的计算开销。他们建议未来的工作涉及 Vision Transformers 和轻量化模型设计。