💻 computer science

FaceLiVTv2: An Improved Hybrid Architecture for Efficient Mobile Face Recognition

本文提出了 FaceLiVTv2，一种专为移动端优化的改进型混合架构，通过引入轻量级全局令牌交互模块（Lite MHLA）和统一 RepMix 块，在显著降低推理延迟的同时实现了比现有方法更优的精度与效率平衡。

原作者： Novendra Setyawan, Chi-Chia Sun, Mao-Hsiu Hsu, Wen-Kai Kuo, Jun-Wei Hsieh

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Novendra Setyawan, Chi-Chia Sun, Mao-Hsiu Hsu, Wen-Kai Kuo, Jun-Wei Hsieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FaceLiVTv2 的新技术，它的核心目标是：让手机和小型设备上的“人脸识别”既快又准，而且不费电。

想象一下，你现在的手机解锁、刷脸支付，都需要在毫秒级内完成。以前的技术要么像“笨重的大象”（准确但慢，耗电快），要么像“瘦弱的小狗”（跑得快但容易看错人）。FaceLiVTv2 就是作者造出来的一只“猎豹”：既敏捷又聪明。

下面我用几个生活中的比喻来拆解它的核心创新：

1. 核心问题：以前的“混合架构”有点“头重脚轻”

以前的技术（FaceLiVTv1）尝试把两种看脸的方法结合起来：

CNN（卷积神经网络）： 像显微镜，擅长看局部的细节（比如眼睛的形状、鼻子的纹理）。
Transformer（Transformer 架构）： 像望远镜，擅长看全局的关系（比如整张脸的布局、五官之间的相对位置）。

以前的版本虽然结合了两者，但那个“望远镜”（Transformer 部分）有点太笨重了，计算量太大，导致在手机上跑起来很慢。

2. FaceLiVTv2 的三大“魔法”升级

魔法一：Lite MHLA —— 把“复杂的翻译官”变成了“高效的速记员”

旧版问题： 以前的全局模块（MHLA）像一个啰嗦的翻译官。它要把信息反复翻译、处理，还要经过很多层复杂的步骤（像 MLP 多层网络），虽然聪明，但太费时间，而且很多步骤其实是重复劳动。
新版改进（Lite MHLA）： 作者把这个模块简化了。现在的它像一个高效的速记员。
- 它去掉了那些多余的“翻译”步骤（非线性激活函数）。
- 它直接通过简单的线性映射（就像直接写下来，而不是反复修改）来理解全局信息。
- 比喻： 以前是“先写草稿，再润色，再翻译，最后定稿”；现在是“一眼看穿，直接记录核心”。这让它在保持聪明的同时，速度提升了，内存占用也少了。

魔法二：GDConv 头部 —— 给“大锅饭”加上了“智能调味”

旧版问题： 以前的模型在得出最终结果前，会把整张脸的信息“一锅炖”（全局平均池化）。这就像把整盘菜混在一起吃，不管哪块肉好吃，都混在一起了，导致一些关键的细节（比如伤疤、特殊的痣）被淹没了。
新版改进（GDConv）： 作者换了一种方式，叫全局深度卷积。
- 比喻： 这就像给厨师（模型）发了一把智能勺子。它不再是把菜搅匀，而是能根据每一块食材（图像的每个位置）的重要性，自动调整“调味”（权重）。如果眼睛区域很重要，它就多关注一点；如果背景不重要，它就少关注一点。这样提取出来的“人脸特征”更精准，更有辨识度。

魔法三：RepMix 统一架构 —— 把“分头行动”变成“协同作战”

旧版问题： 以前处理局部细节和全局关系是分开进行的，有点像两个部门各干各的，最后才汇总，效率不高。
新版改进（RepMix）： 作者设计了一种**“重参数化”**的技巧。
- 比喻： 训练时，它像两个专家（一个看局部，一个看全局）在并肩工作，互相学习。但在真正部署到手机上时，它通过一种数学魔法，把这两个专家合并成了一个超级专家。
- 这意味着：训练时很强大，但运行在手机上的时候，它只占用一个专家的空间，速度极快，没有额外的负担。

3. 实际效果：快如闪电，准如神眼

作者在 iPhone 15 Pro 和各种边缘设备上做了测试，结果非常惊人：

速度提升： 相比上一代（FaceLiVTv1），速度提升了 22%；相比其他流行的轻量级模型（如 GhostFaceNet），速度提升了 30.8%。
准确率更高： 在各种刁钻的测试集（比如老人小孩、侧脸、低分辨率监控画面）上，它的准确率都超过了竞争对手。
省电省内存： 因为它去掉了冗余的计算，手机发热更少，电池更耐用。

总结

FaceLiVTv2 就像是给手机人脸识别系统做了一次“微创手术”加“健身训练”：

瘦身： 砍掉了多余的计算步骤（Lite MHLA）。
强化： 让模型更懂得关注重点（GDConv）。
整合： 把训练时的复杂结构完美融合，运行时轻装上阵（RepMix）。

最终，它让你的手机在不发热、不卡顿的情况下，能瞬间、精准地认出你，哪怕是在光线不好或者你侧着脸的时候。这对于未来的移动支付、安防监控和智能家居来说，是一个巨大的进步。

这是一份关于论文 《FaceLiVTv2: An Improved Hybrid Architecture for Efficient Mobile Face Recognition》 的详细技术总结。

1. 研究背景与问题 (Problem)

随着人脸识别（FR）在移动设备和边缘计算场景中的广泛应用，模型面临着严格的延迟、内存和能耗限制。

现有挑战：
- 纯 CNN 模型（如 MobileFaceNet, GhostFaceNet）：虽然推理速度快，但感受野有限，难以捕捉长距离的面部依赖关系（如大姿态变化、遮挡），导致在复杂场景下精度受限。
- 纯 Transformer 模型（如 ViT）：具有全局感受野，能建模长距离依赖，但计算复杂度高（ $O(N^2)$ ），参数量大，难以在移动端实时运行。
- 混合架构（Hybrid CNN-Transformer）：试图结合两者优势，但现有的混合模型（如 FaceLiVTv1, EdgeFace, KANFace）仍存在权衡问题：
  - 全局注意力机制（如 FaceLiVTv1 中的 MHLA）仍存在冗余的线性投影和非线性激活，增加了计算开销。
  - 局部与全局特征的融合不够紧密。
  - 嵌入头（Embedding Head）通常使用全局平均池化（GAP），忽略了空间上的判别性特征，导致对局部关键信息的聚合不够自适应。

2. 方法论 (Methodology)

本文提出了 FaceLiVTv2，一种针对移动端优化的改进型混合 CNN-Transformer 架构。其核心设计包含三个关键组件：

A. Lite MHLA (轻量级多头线性注意力)

这是 FaceLiVTv2 的核心创新，旨在替代原有的 MHLA 模块，以更低成本实现全局上下文建模。

去冗余设计：移除了原 MHLA 中每层的多层感知机（MLP）风格的双层线性投影和非线性激活（GELU）。
仿射重缩放（Affine Rescale）：用可学习的仿射变换（ $\alpha \cdot x + \beta$ ）替代了计算昂贵的 LayerNorm 和中间非线性层。由于前序模块已进行归一化，这种轻量级变换足以稳定训练并校准特征分布。
纯线性映射：Token 交互仅通过单层线性投影完成，消除了 Softmax 和 Q/K/V 投影的冗余计算。
复杂度优势：在低分辨率特征图（如 7x7 或 4x4）上，其计算复杂度显著低于标准 MHSA 和原 MHLA，同时保持了多头的表征多样性。

B. GDConv 嵌入头 (Global Depthwise Convolution Head)

针对传统全局平均池化（GAP）忽略空间判别性信息的问题，FaceLiVTv2 引入了自适应空间聚合机制。

机制：在特征提取的最后阶段，使用**全局深度卷积（GDConv）**替代 GAP。
作用：GDConv 能够学习通道特定的空间权重，自适应地强调面部图像中具有判别力的区域（如眼睛、嘴巴），从而生成更具区分度的特征向量，特别有利于开放集人脸识别。

C. 统一的 RepMix-Lite MHLA 结构

RepMix (重参数化 Token Mixer)：用于局部特征提取。在训练时包含 $3\times3$ 和 $1\times1$ 深度卷积分支，部署时通过结构重参数化合并为单一路径，减少推理延迟。
阶段化设计：
- 浅层（Stage 1-2）：仅使用 RepMix 提取局部空间模式，避免全局交互带来的不必要开销。
- 深层（Stage 3-4）：将 RepMix 与 Lite MHLA 结合，形成统一块（Unified Block）。这种设计在保留局部结构信息的同时，增强了深层特征的全局上下文建模能力。

3. 主要贡献 (Key Contributions)

提出 Lite MHLA：重新设计了全局 Token 交互模块，通过移除冗余投影和非线性层，并引入仿射重缩放，在减少参数和计算量的同时提升了全局建模能力。
架构协同设计 (Co-design)：提出了 FaceLiVTv2 整体架构，集成了 GDConv 自适应嵌入头、重参数化局部混合器（RepMix）和 Lite MHLA，实现了局部与全局特征的高效联合学习。
全面的实验验证：在 LFW, CA-LFW, CP-LFW, CFP-FP, AgeDB-30, IJB-B/C 以及低分辨率 TinyFace 等多个基准测试上进行了广泛评估。
移动端性能突破：在 iPhone 15 Pro 等移动设备上验证了模型，证明了其在保持高精度的同时显著降低了推理延迟。

4. 实验结果 (Results)

FaceLiVTv2 在多个维度上超越了现有的轻量级 SOTA 模型（如 GhostFaceNet, EdgeFace, KANFace, FaceLiVTv1）：

精度与效率的平衡：
- FaceLiVTv2-S (4.6M 参数, 179 MFLOPs)：在 iPhone 15 Pro 上比 GhostFaceNetV2-2 快 30.8%，且平均精度更高。
- FaceLiVTv2-M：在保持与 FaceLiVTv1-M 相似延迟的情况下，精度显著提升。
- FaceLiVTv2-L：在 IJB-C 上甚至略微超越了参数量大得多的 ResNet200-TopoFR，且参数量减少了 13.9 倍，FLOPs 减少了 76.1 倍。
延迟降低：
- 相比 FaceLiVTv1，移动端推理延迟降低了 22%。
- 相比 EdgeFace 和 KANFace，在跨平台（CPU, GPU, Jetson, Mobile）上延迟降低了 20%-41%。
低分辨率表现：在 TinyFace 基准测试中，FaceLiVTv2-XS 仅用 90 MFLOPs 就取得了优于 MobileFaceNet 等模型的 Rank-1 精度，证明了其在监控等低分辨率场景下的鲁棒性。
消融实验结论：
- 用 GDConv 替换 GAP 显著提升了 CFP-FP 和 AgeDB-30 的精度。
- Lite MHLA 相比原 MHLA 减少了 22% 的参数量和 24% 的 FLOPs，同时精度提升最大（平均提升 1.14%）。
- 4 个头的 Lite MHLA 配置在精度和效率之间达到了最佳平衡。

5. 意义与影响 (Significance)

理论价值：证明了在轻量级架构中，通过简化注意力机制（去除非线性、使用仿射变换）和自适应空间聚合，可以在不牺牲表征能力的情况下大幅降低计算成本。
实际应用：FaceLiVTv2 为资源受限的移动端和边缘设备提供了一种即插即用的高性能人脸识别解决方案。它能够在保证实时性（低延迟）的前提下，处理大姿态、跨年龄、遮挡及低分辨率等复杂场景，具有极高的部署价值。
开源贡献：作者公开了代码，推动了轻量级 Transformer 在生物识别领域的进一步研究。

总结：FaceLiVTv2 通过精妙的架构协同设计，成功解决了移动人脸识别中“高精度”与“低延迟”难以兼得的痛点，是目前移动端人脸识别领域最具竞争力的混合架构之一。