GAFSV-Net: A Vision Framework for Online Signature Verification

**"GAFSV-Net: 온라인 서명 검증용 비전 프레임워크"**에 대한 상세한 기술 요약입니다.

1. 문제 제기

**온라인 서명 검증 (OSV)**은 진본 서명과 숙련된 위조 서명을 구별하는 것을 목표로 합니다. 이 작업은 두 가지 주요 난관에 직면해 있습니다:

1. 높은 클래스 내 변동성: 속도, 압력, 환경적 요인 등으로 인해 사용자의 서명은 서로 다른 작성 시마다 크게 달라집니다.
2. 데이터 부족: 검증 시스템은 사용자당 매우 적은 등록 샘플 (예: 1~4 개의 서명) 만을 갖는 경우가 많아, 강건한 작성자 독립 모델을 학습하기 어렵습니다.

기존 방법의 한계:

• 전통적 접근법: DTW, GMM 과 같은 수동 설계 특징에 의존하여 다양한 작성 스타일에서 일반화 능력이 떨어집니다.
• 딥러닝 (1D): 대부분의 현재 딥러닝 모델 (RNN, LSTM, 1D-CNN, Transformer) 은 원시 시간 계열 시퀀스를 직접 처리합니다. 이는 이를 1D 아키텍처로 제한하여 강력한 사전 학습된 2D 비전 백본(예: ImageNet 에서 학습된 모델) 의 사용을 막고, 2D 공간적 귀납적 편향을 활용하지 못하게 합니다.
• 격차: 1D 시간 계열 서명 데이터를 고급 컴퓨터 비전 모델에 적합한 2D 표현으로 효과적으로 변환하는 방법이 부족합니다.

2. 방법론: GAFSV-Net

저자들은 1D 시간 데이터와 2D 비전 아키텍처 간의 격차를 해소하는 이중 분기 딥러닝 프레임워크인 GAFSV-Net을 제안합니다.

A. 데이터 표현: 비대칭 그라미안 각도 필드 (GAF)

원시 $(x, y, p)$ 시퀀스를 네트워크에 직접 입력하는 대신, 이 방법은 먼저 데이터를 2D 이미지로 변환합니다:

1. 운동학 추출: 원시 스타일러스 데이터에서 세 가지 시간 계열이 유도됩니다:
   • 펜 속도 ($v$)
   • 압력 미분 ($\dot{p}$)
   • 방향 각도 ($\theta$)
2. 인코딩: 세 채널 각각이 독립적으로 두 개의 보완적인 2D 행렬로 인코딩됩니다:
   • GASF (Gramian Angular Summation Field): **값의 공발생 (value co-occurrence)**을 인코딩합니다 (대칭 구조). 두 시간 단계가 유사한 값을 가질 때를 포착합니다.
   • GADF (Gramian Angular Difference Field): **방향 전환 (directional transitions)**을 인코딩합니다 (반대칭 구조). 시간 단계 간 값이 증가하는지 감소하는지 포착합니다.
3. 비대칭 구성: 인과적 시간 순서를 보존하고 중복을 줄이기 위해 저자들은 시간 계열을 두 반으로 나눕니다. 행렬의 상부 삼각부는 첫 번째 절반의 자기 자신과의 상관관계를, 하부 삼각부는 두 번째 절반을 나타냅니다. 그 결과 $M/2 \times M/2$ 크기의 6 채널 이미지 ($3 \text{ 채널} \times 2 \text{ 변형}$) 가 생성됩니다.

B. 네트워크 아키텍처

이 프레임워크는 이중 분기 ConvNeXt-Tiny 아키텍처를 활용합니다:

• 이중 백본: ImageNet-1k 에서 사전 학습된 두 개의 독립적인 ConvNeXt-Tiny 네트워크가 GASF 와 GADF 반을 각각 처리합니다. 이를 통해 각 분기는 대칭 (GASF) 대 반대칭 (GADF) 이미지의 특정 통계적 속성에 특화된 필터를 학습할 수 있습니다.
• 어텐션 메커니즘:
  • 분기 내 자기 어텐션 (Intra-branch Self-Attention): 각 분기 내 특징 맵을 정제하여 전역 공간 상관관계를 포착합니다.
  • 양방향 교차 어텐션 (Bidirectional Cross-Attention): GASF 와 GADF 분기 간 정보를 융합합니다. 이를 통해 GASF 분기는 투영 전에 GADF 분기에서 판별력 있는 패턴을 쿼리할 수 있고 (그 반대도 마찬가지입니다).
• 투영: 융합된 특징은 단위 초구 (unit hypersphere) 에 투영되어 컴팩트한 $D$차원 임베딩을 생성합니다.

C. 학습 전략

모델은 작성자 독립 메트릭 학습 접근법을 사용하여 학습됩니다:

• 손실 함수: Semi-hard Triplet Loss와 Uniformity Regularizer의 조합입니다.
• 하드 네거티브 주입: 숙련된 위조 서명은 학습 중 명시적으로 "하드 네거티브"로 주입됩니다. 특정 클러스터 수준 항은 위조 서문이 무작위 작성자가 아닌 대상 작성자의 진본 클러스터에서 멀어지도록 보장합니다.
• 균일성: 임베딩이 초구 전체에 고르게 퍼지도록 장려하여 "임베딩 붕괴"(모든 샘플이 한 지점에 뭉치는 현상) 를 방지합니다.

D. 검증

테스트 시, 시스템은 쿼리 서명 임베딩과 사용자의 등록 프로토타입 평균 간의 코사인 유사도를 계산합니다. 점수가 임계값을 초과하면 서명이 승인됩니다.

3. 주요 기여

1. 새로운 표현: OSV 에 비대칭 GASF/GADF 인코딩을 최초로 적용하여, 1D 운동학 신호를 2D 이미지로 변환하고 명시적으로 쌍별 시간 상관관계를 매핑합니다.
2. 이중 분기 아키텍처: GASF 와 GADF 가 시간 역학의 직교적 측면(공발생 대 방향) 을 포착함을 입증합니다. 교차 어텐션을 갖춘 이중 분기 설계는 이러한 보완적 관점을 효과적으로 활용합니다.
3. 전이 학습: ImageNet 사전 학습된 2D 비전 백본을 데이터가 부족한 OSV 도메인으로 성공적으로 이전하여, 1D 시퀀스에서 처음부터 학습된 모델보다 우수한 성능을 발휘합니다.
4. 통제된 비교: 동일한 학습 목표를 사용하여 GAF 기반 방법과 시퀀스 기반 베이스라인 (BiLSTM, Transformer, TCN) 간의 첫 번째 공정한 비교를 제공하여, 표현 자체에서 비롯된 이득을 분리해 냅니다.

4. 실험 결과

이 프레임워크는 DeepSignDB와 BiosecurID 데이터셋에서 평가되었습니다.

• 성능:
  • BiosecurID: 4 개의 등록 샘플로 **2.97% 동등 오류율 (EER)**을 달성하여 이전 최고 성능 (DeepSign, 5.61%) 과 표준 DTW 베이스라인 (10.43%) 을 크게 능가했습니다.
  • DeepSignDB: 6.01% EER를 달성하여 동일한 목표로 학습된 모든 시퀀스 기반 베이스라인 (BiGRU, LSTM, Transformer, TCN) 을 능가했습니다.
• 베이스라인과의 비교:
  • GAFSV-Net 은 1D 모델 (RNN, 1D-CNN, Transformer) 보다 일관되게 우수한 성능을 보였습니다.
  • 시퀀스 도메인 사전 학습이 회복할 수 없는 2D GAF 인코딩이 제공하는 귀납적 편향을 증명하여, 대규모 시간 계열 기초 모델인 MOMENT조차 능가했습니다.
• Ablation 연구:
  • GADF 대 GASF: 숙련된 위조 서명의 경우 GADF(방향) 가 GASF(공발생) 보다 약간 더 판별력이 있었으나, 조합이 가장 좋은 결과를 낳았습니다.
  • 교차 어텐션: 단순 연결 대비 약 0.6% 의 개선을 제공하여 동적 특징 융합의 가치를 입증했습니다.
  • 손실 구성 요소: Triplet Loss, 위조 주입, 균일성 정규화의 조합이 필수적이었으며, 어떤 구성 요소를 제거해도 성능이 크게 저하되었습니다.

5. 의의

• 패러다임 전환: GAFSV-Net 은 시간 계열 데이터를 2D 구조화된 이미지로 변환하면 OSV 시스템이 사전 학습된 컴퓨터 비전 모델의 막대한 표현력을 활용할 수 있음을 입증했습니다. 이는 이전 1D 시퀀스 모델이 갖지 못했던 능력입니다.
• 강건성: 이 방법은 종종 서명의 거시적 형태는 모방하지만 GADF 인코딩이 포착하는 세밀한 운동학 역학 (가속도, 압력 변화) 을 재현하지 못하는 숙련된 위조에 특히 효과적입니다.
• 일반화: 이 프레임워크는 작성자 독립적이며 테스트 시 사용자별 매개변수가 필요하지 않아, 제한된 등록 데이터로 실제 세계 배포에 적합합니다.

결론적으로, GAFSV-Net 은 2D 시간 인코딩이 온라인 서명 검증을 위한 우수한 표현임을 보여주며, 전통적인 1D 시퀀스 모델링을 넘어선 생체 인식 보안을 위한 새로운 방향을 제시합니다.