Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap

技术摘要：在有限数据下改进低分辨率人脸识别

问题陈述
部署在监控系统中的人脸识别（FR）系统经常遇到低分辨率（LR）人脸，即面部区域低于标准的 112 × 112 输入尺寸（例如 16–32 像素）。虽然高分辨率（HR）训练数据非常丰富，但带标签的原生低分辨率（native-LR）数据，以及至关重要的原生低分辨率/高分辨率配对数据却非常稀缺。这种稀缺性阻碍了为边缘设备训练鲁棒模型的进程。一种常见的变通方法是从现有的高分辨率人脸中合成低分辨率数据；然而，在复杂的合成策略上投入的精力是否能转化为在真实世界低分辨率数据上识别准确率的提升，目前尚不明确。此外，这种情况还引发了公平性问题，因为降质处理可能会对不同的人口统计群体产生不均衡的影响。

方法论
作者针对在有限低分辨率数据下，面向紧凑型边缘设备骨干网络（EdgeFace-S）的合成数据生成策略进行了系统性研究。他们评估了跨越三个“合成投入”层级的五种适配策略：

1. 低投入（插值增强）： 一个确定性的链式过程，涉及使用三次（cubic）或区域（area）插值将高分辨率人脸下采样到特定分辨率（56, 28, 14 或 7 像素），然后将其上采样回 112 像素。模型在该增强数据上进行端到端重训练。
2. 中等投入（生成式降质）： 利用类 Real-ESRGAN 的随机降质流水线（随机模糊、缩放、噪声和 JPEG 压缩）来合成逼真的低分辨率训练人脸。这包括训练一个原生的 32 像素 Stem（用 1×1 卷积替换标准 Stem），以直接接收这些降质后的图像。
3. 高投入（学习型超分辨率前段）： 一种两阶段方法，其中身份感知超分辨率（SR）前段（使用 ESPCN 或 RRDB 架构）经过预训练，用于从 32 像素输入重建类高分辨率图像。随后是与前置领域转换器（PDT）翻译器进行的联合对比训练，最后全部输入到一个冻结的更强骨干网络（EdgeFace-base）中。

研究还评估了知识蒸馏（KD），即由经过高分辨率训练的教师模型引导低分辨率学生模型。

评估协议
作者通过在两种不同类型的数据上评估所有策略，来解决“合成–真实差距”问题：

• 合成基准测试： 经过各种分辨率合成降质的标准验证集（LFW, CFP-FP, AgeDB-30）。
• 真实原生低分辨率数据： TinyFace 数据集，这是一个真实的低分辨率人脸集合，在两种对齐流水线（带填充的对齐裁剪和可微人脸对齐器）下进行评估。

关键结果

• 合成–真实差距： 在合成基准测试上表现最优的降质设置（28 像素，采用三次下采样/区域上采样，记作 28 ↓c/↑a）在真实原生低分辨率数据（TinyFace）上的表现很差，甚至不如高分辨率训练的基线模型。相反，较温和的合成设置（56 ↓c/↑a）在真实低分辨率数据上最为有效。
• 投入回报的非单调性： 增加合成投入并不保证获得更好的结果。
  • 在**紧凑型骨干网络（EdgeFace-S）**上，简单的插值增强（56 ↓c/↑a）是唯一优于直接馈送基线的策略。
  • 知识蒸馏在合成数据上收益最大，但在真实低分辨率数据上失效。
  • 学习型超分辨率前段： 即便使用了身份感知预训练和联合训练，学习型 SR+PDT 流水线的表现仍未能超越将对齐后的低分辨率图像直接馈送入强力冻结骨干网络的方案。重建人脸的视觉质量并未转化为识别能力的提升。
• 公平性： 虽然低分辨率感知合成提高了平均准确率，但它并未系统性地减少人口统计学偏差。在 RFW 数据集上，非洲、亚洲、高加索和印度人群之间的错误匹配率（FMR）差异取决于训练分辨率，表现出不一致性或甚至恶化。

意义与结论
论文得出结论，用于低分辨率人脸识别的生成方法必须在真实低分辨率数据上进行验证，并针对直接馈送基线进行评估，而不能仅仅依赖于合成降质基准。作者认为：

1. 最优设置因领域而异： “最佳”的合成降质并非在实际部署中表现最好。
2. 简单往往胜出： 对于可重训练的紧凑型模型，低投入的插值增强优于复杂的生成式流水线。
3. 基线的重要性： 如果一个强大的骨干网络可以直接接收对齐后的图像，那么学习型超分辨率前段作为一个独立的解决方案是无效的；只有当修复流水线能够超越这种直接馈送基线时，才能声称其具有益处。
4. 公平性局限： 通过合成手段获得的准确率提升并不能自动解决人口统计学偏差问题。

作者发布了其流水线以鼓励在真实原生低分辨率数据上进行验证，并强调将合成投入与部署约束（紧凑型 vs. 强力骨干网络）相匹配对于实际应用至关重要。