GAFSV-Net: A Vision Framework for Online Signature Verification

以下是论文"GAFSV-Net：一种在线签名验证视觉框架”的详细技术总结。

1. 问题陈述

在线签名验证（OSV） 旨在区分真实签名与熟练伪造签名。该任务面临两个主要挑战：

1. 类内高变异性：由于速度、压力和环境因素，用户的签名在不同书写实例间存在显著差异。
2. 数据稀缺：验证系统通常每个用户仅有极少的注册样本（例如 1–4 个签名），使得学习鲁棒的书写者无关模型变得困难。

现有方法的局限性：

• 经典方法：依赖手工特征（如 DTW、GMM），在不同书写风格间的泛化能力较差。
• 深度学习（1D）：大多数当前的深度学习模型（RNN、LSTM、1D-CNN、Transformer）直接处理原始时间序列。这将其限制在 1D 架构中，无法利用强大的预训练 2D 视觉骨干网络（例如在 ImageNet 上训练的模型），也无法利用 2D 空间归纳偏置。
• 差距：缺乏能够有效地将 1D 时间序列签名数据转换为适合先进计算机视觉模型的 2D 表示的方法。

2. 方法论：GAFSV-Net

作者提出了GAFSV-Net，这是一个双分支深度学习框架，旨在弥合 1D 时间数据与 2D 视觉架构之间的差距。

A. 数据表示：非对称格拉姆角场（GAF）

该方法首先将数据转换为 2D 图像，而不是将原始 $(x, y, p)$ 序列直接输入网络：

1. 运动学提取：从原始手写笔数据中导出三个时间序列：
   • 笔速 ($v$)
   • 压力导数 ($\dot{p}$)
   • 方向角 ($\theta$)
2. 编码：三个通道中的每一个被独立编码为两个互补的 2D 矩阵：
   • GASF（格拉姆角求和场）：编码值共现（对称结构）。它捕捉两个时间步具有相似值的时刻。
   • GADF（格拉姆角差场）：编码方向转换（反对称结构）。它捕捉值在时间步之间是增加还是减少。
3. 非对称构建：为了保留因果时间顺序并减少冗余，作者将时间序列分为两半。矩阵的上三角部分表示前半部分与自身的关联，下三角部分表示后半部分。这生成了一个大小为 $M/2 \times M/2$ 的六通道图像（$3 \text{ 通道} \times 2 \text{ 变体}$）。

B. 网络架构

该框架利用双分支 ConvNeXt-Tiny架构：

• 双骨干网络：两个独立的 ConvNeXt-Tiny 网络（在 ImageNet-1k 上预训练）分别处理 GASF 和 GADF 两半。这使得每个分支能够学习专门针对对称（GASF）与反对称（GADF）图像特定统计属性的滤波器。
• 注意力机制：
  • 分支内自注意力：细化每个分支内的特征图，以捕捉全局空间相关性。
  • 双向交叉注意力：融合 GASF 和 GADF 分支之间的信息。这使得 GASF 分支能够在投影前查询 GADF 分支中的判别性模式（反之亦然）。
• 投影：融合后的特征被投影到单位超球面上，生成紧凑的 $D$ 维嵌入。

C. 训练策略

该模型使用书写者无关的度量学习方法进行训练：

• 损失函数：结合半硬三元组损失和均匀性正则化器。
• 硬负样本注入：在训练过程中明确将熟练伪造样本作为“硬负样本”注入。特定的簇级项确保伪造样本被推离其目标书写者的真实簇，而不仅仅是推离随机书写者。
• 均匀性：通过鼓励嵌入在超球面上均匀分布，防止“嵌入坍塌”（即所有样本聚集在一点）。

D. 验证

在测试时，系统计算查询签名嵌入与用户注册原型均值之间的余弦相似度。如果分数超过阈值，则接受该签名。

3. 主要贡献

1. 新颖的表示：提出了非对称 GASF/GADF编码在 OSV 中的首次应用，将 1D 运动学信号转换为 2D 图像，显式地映射成对时间相关性。
2. 双分支架构：证明了 GASF 和 GADF 捕捉了时间动态的正交方面（共现与方向）。带有交叉注意力的双分支设计有效地利用了这些互补视图。
3. 迁移学习：成功将ImageNet 预训练的 2D 视觉骨干网络迁移到数据稀缺的 OSV 领域，性能优于在 1D 序列上从头训练的模型。
4. 受控比较：提供了 GAF 基方法与基于序列的基线（BiLSTM、Transformer、TCN）之间的首次公平比较，使用相同的训练目标，隔离了表示本身带来的增益。

4. 实验结果

该框架在DeepSignDB和BiosecurID数据集上进行了评估。

• 性能：
  • BiosecurID：在 4 个注册样本的情况下实现了2.97% 的等错误率（EER），显著优于之前的最佳结果（DeepSign 为 5.61%）和标准 DTW 基线（10.43%）。
  • DeepSignDB：实现了6.01% 的 EER，优于所有使用相同目标训练的基于序列的基线（BiGRU、LSTM、Transformer、TCN）。
• 与基线的比较：
  • GAFSV-Net 始终优于 1D 模型（RNN、1D-CNN、Transformer）。
  • 它甚至优于MOMENT（一种大型时间序列基础模型），证明了 2D GAF 编码提供了序列域预训练无法恢复的归纳偏置。
• 消融研究：
  • GADF 与 GASF：发现 GADF（方向性）在针对熟练伪造时比 GASF（共现）具有稍强的判别力，但组合使用效果最佳。
  • 交叉注意力：双向交叉注意力机制比简单的拼接提供了约 0.6% 的提升，证明了动态特征融合的价值。
  • 损失组件：三元组损失、伪造注入和均匀性正则化的组合至关重要；移除任何组件都会显著降低性能。

5. 意义

• 范式转变：GAFSV-Net 确立了将时间序列数据转换为 2D 结构化图像，使 OSV 系统能够利用预训练计算机视觉模型的巨大表示能力，这是以前 1D 序列模型所不具备的能力。
• 鲁棒性：该方法对熟练伪造特别有效，熟练伪造通常模仿签名的粗略形状，但无法复制由 GADF 编码捕捉的细粒度运动学动态（加速度、压力变化）。
• 泛化性：该框架是书写者无关的，在测试时不需要特定于用户的参数，使其适合在注册数据有限的情况下进行实际部署。

总之，GAFSV-Net 证明了2D 时间编码是在线签名验证的优越表示，为生物特征安全提供了超越传统 1D 序列建模的新方向。