A Weighted Sparse Matrix Regression Model for Face Recognition

技术摘要：一种用于人脸识别的加权稀疏矩阵回归模型

问题陈述
人脸识别仍然是图像处理领域的一个关键挑战，特别是在处理连续遮挡（例如太阳镜、围巾或大面积块状遮挡）以及显著的光照变化时。虽然基于回归的模型，如线性回归分类（LRC）和稀疏表示分类（SRC），已被广泛采用，但它们通常依赖于一维像素级的噪声假设。这些模型往往对异常值（outliers）较为敏感，并且无法捕捉由遮挡引起的误差图像中的结构信息。此外，现有的基于核范数的矩阵回归模型（如 NMR）假设误差图像具有低秩结构。然而，作者认为，当遮挡区域较大时，核范数可能会过度惩罚较大的奇异值，从而导致次优解，并无法满足实现最优低秩恢复所需的非相干性（incoherence）假设。

方法论
本文提出了一种**加权稀疏矩阵回归（WSMR）**模型，旨在解决大规模结构化噪声和连续遮挡问题。该方法基于三个主要的动机：

1. 行差稀疏性（Row-Difference Sparsity）： 模型不再依赖核范数，而是利用了这样一个观察结果：误差图像中相邻的噪声像素值是相似的。因此，误差图像相邻行之间的差异表现出稀疏性。
2. 基于距离的加权（Distance-Based Weighting）： 为了区分正确类别和错误类别，模型引入了距离信息。它计算测试样本与每个类别的子空间之间的距离（如 LRC 中所做的那样），并为每个类别的系数向量分配权重。距离较大的类别（很可能是错误的类别）会被更严厉地惩罚。
3. 类内协作（Intra-Class Collaboration）： 为了利用同类训练样本之间的协作关系，模型对同类系数内的连续差异施加了平方约束，从而鼓励这些系数在数值上趋于接近。

数学公式
WSMR 模型被公式化为一个优化问题，在满足约束条件 $y = Bx + \text{vec}(E)$ 的情况下最小化以下目标函数：
$$\min_{x,E} \sum_{i=1}^{c} \|P_i H_i x\|_2^2 + \lambda_1 \|C \text{vec}(E)\|_1 + \lambda_2 \sum_{i=1}^{c} \omega_i \|H_i x\|_2^2$$
其中：

• $y$ 是向量化的测试样本，$B$ 是训练数据矩阵，$x$ 是系数向量。
• $E$ 是误差图像矩阵。
• 项 $\|C \text{vec}(E)\|_1$ 代表误差图像相邻行之间差异的 $L_1$ 范数，从而强制这些差异具有稀疏性。
• $\omega_i = \exp(\mu d_i)$ 表示第 $i$ 个类的权重，其中 $d_i$ 是测试样本与第 $i$ 个类子空间之间的距离。
• 项 $\sum \|P_i H_i x\|_2^2$ 对同类系数内的连续差异实施平方约束。
• $\lambda_1$ 和 $\lambda_2$ 是超参数。

求解算法
为了求解该优化问题，作者采用了交替方向乘子法（ADMM）。通过引入辅助变量来处理 $L_1$ 范数项，对问题进行重构。算法迭代更新系数向量 $x$、辅助变量 $\eta$ 以及拉格朗日乘子 $q$，直到满足收敛标准（原残差和对偶残差）。论文指出，由于目标函数是凸的，因此两块 ADMM 算法保证收敛。

核心贡献

1. 新型回归模型： 作者提出了 WSMR，它通过对误差图像的相邻行之间的差异而非图像本身或其奇异值施加稀疏约束，从而区别于现有模型。作者声称这种方法在描述大规模结构化噪声的二维结构方面更为有效。
2. 加权与协作约束： 模型集成了基于距离的加权以惩罚错误类别，并引入了类内系数差异的平方约束，以增强正确类训练样本之间的协作。
3. 高效求解器： 设计了一个专门用于求解 WSMR 模型的 ADMM 算法，确保了计算的可行性。

实验结果
作者在四个公开数据库上评估了 WSMR：Extended YaleB、CMU PIE、AR 和 Yale A。模型在多种条件下进行了测试：

• 光照变化： 在 Extended YaleB 数据库上，在严苛的光照条件下，WSMR 在 Subset 5 上达到了 90.13% 的识别率，在 Subset 6 上达到了 91.01%，分别超过第二好的模型（LDMR）24% 和 30% 以上。在 CMU PIE 数据库上，WSMR 在 Subset 5 上达到 95.59%，在 Subset 6 上达到 96.32%，始终优于其他模型。
• 块状遮挡： 在遮挡比例高达 64% 的黑块、白块、人脸图像和狒狒图像实验中，WSMR 始终优于其他回归模型（LRC、SRC、CRC、GSC、NMR 变体）和深度学习模型（ResNet、SwinT、MobileViT、ConvNeXt）。例如，在 64% 白块遮挡下，WSSR 保持了 77.63% 的准确率，显著高于竞争对手。
• 真实伪装： 在 AR 数据库（太阳镜和围巾）和 Yale A 数据库上，WSMR 取得了最高的识别率，特别是在核范数模型难以应对的有限训练样本场景下。

意义与主张
论文声称，WSMR 与现有的回归方法和深度学习方法相比，在涉及大规模连续遮挡和有限训练数据的场景中具有更优越的鲁棒性和效率。

• 作者认为，虽然深度学习模型在海量数据集下表现出色，但它们对训练中未见到的遮挡非常敏感。相比之下，WSMR 的数学可解释性和结构化约束使其能够有效地处理新的复杂噪声。
• 该模型区别于以往未利用先验信息（如相似性关系或局部结构信息）的回归模型。WSMR 显式地将距离信息作为先验知识用于分配系数权重，并利用行差的稀疏性来捕捉结构信息。
• 作者总结道，即使在光照变化和遮挡区域显著的情况下，WSMR 仍能保持高识别率，解决了核范数模型的一个关键局限性。