GAFSV-Net: A Vision Framework for Online Signature Verification

1. Enunciato del Problema

La Verifica Online delle Firme (OSV) mira a distinguere le firme genuine dalle falsificazioni abili. Questo compito affronta due sfide principali:

1. Alta Variabilità Intraclass: La firma di un utente varia significativamente tra diverse istanze di scrittura a causa di velocità, pressione e fattori ambientali.
2. Scarsità di Dati: I sistemi di verifica spesso dispongono di pochissimi campioni di iscrizione (ad esempio, 1–4 firme) per utente, rendendo difficile apprendere modelli indipendenti dall'autore robusti.

Limitazioni dei Metodi Esistenti:

• Approcci Classici: Si basano su feature progettate a mano (ad esempio, DTW, GMM) che generalizzano male tra diversi stili di scrittura.
• Deep Learning (1D): La maggior parte dei modelli di deep learning attuali (RNN, LSTM, 1D-CNN, Transformer) elabora direttamente le sequenze temporali grezze. Questo li limita ad architetture 1D, impedendo l'uso di potenti backbone di visione 2D preaddestrati (ad esempio, quelli addestrati su ImageNet) e fallendo nello sfruttare i bias induttivi spaziali 2D.
• Lacuna: Manca un metodo che converta efficacemente i dati delle firme temporali 1D in una rappresentazione 2D adatta ai modelli avanzati di computer vision.

2. Metodologia: GAFSV-Net

Gli autori propongono GAFSV-Net, un framework di deep learning a due rami che colma il divario tra dati temporali 1D e architetture di visione 2D.

A. Rappresentazione dei Dati: Campi Angolari Gramiani Asimmetrici (GAF)

Invece di alimentare le sequenze $(x, y, p)$ grezze direttamente in una rete, il metodo trasforma prima i dati in immagini 2D:

1. Estrazione Cinematica: Tre serie temporali sono derivate dai dati grezzi della penna:
   • Velocità della penna ($v$)
   • Derivata della pressione ($\dot{p}$)
   • Angolo di direzione ($\theta$)
2. Codifica: Ognuno dei tre canali viene codificato indipendentemente in due matrici 2D complementari:
   • GASF (Campo Angolare Gramiano di Somma): Codifica la co-occorrenza dei valori (struttura simmetrica). Cattura quando due passi temporali hanno valori simili.
   • GADF (Campo Angolare Gramiano di Differenza): Codifica le transizioni direzionali (struttura antisimmetrica). Cattura se un valore sta aumentando o diminuendo tra i passi temporali.
3. Costruzione Asimmetrica: Per preservare l'ordinamento temporale causale e ridurre la ridondanza, gli autori dividono la serie temporale in due metà. Il triangolo superiore della matrice rappresenta la correlazione della prima metà con se stessa, mentre il triangolo inferiore rappresenta la seconda metà. Questo risulta in un'immagine a sei canali ($3 \text{ canali} \times 2 \text{ varianti}$) di dimensioni $M/2 \times M/2$.

B. Architettura di Rete

Il framework utilizza un'architettura Dual-Branch ConvNeXt-Tiny:

• Doppi Backbone: Due reti ConvNeXt-Tiny indipendenti (preaddestrate su ImageNet-1k) elaborano separatamente le metà GASF e GADF. Ciò permette a ciascun ramo di apprendere filtri specializzati per le proprietà statistiche specifiche delle immagini simmetriche (GASF) rispetto a quelle antisimmetriche (GADF).
• Meccanismi di Attenzione:
  • Self-Attention Intra-ramo: Affina le mappe di feature all'interno di ciascun ramo per catturare correlazioni spaziali globali.
  • Cross-Attention Bidirezionale: Fonde le informazioni tra i rami GASF e GADF. Ciò permette al ramo GASF di interrogare pattern discriminativi nel ramo GADF (e viceversa) prima della proiezione.
• Proiezione: Le feature fuse sono proiettate su un ipersfera unitaria per creare un embedding compatto $D$-dimensionale.

C. Strategia di Addestramento

Il modello è addestrato utilizzando un approccio di metric learning indipendente dall'autore:

• Funzione di Perdita: Una combinazione di Triplet Loss Semi-hard e un Regolarizzatore di Uniformità.
• Iniezione di Negativi Difficili: Le falsificazioni abili sono iniettate esplicitamente come "negativi difficili" durante l'addestramento. Un termine specifico a livello di cluster garantisce che le falsificazioni vengano allontanate dal cluster genuino dell'autore target, non solo da autori casuali.
• Uniformità: Previene il "collasso dell'embedding" (dove tutti i campioni si raggruppano in un unico punto) incoraggiando gli embedding a distribuirsi uniformemente sull'ipersfera.

D. Verifica

Al momento del test, il sistema calcola la similarità del coseno tra l'embedding di una firma di query e la media dei prototipi di iscrizione dell'utente. Se il punteggio supera una soglia, la firma viene accettata.

3. Contributi Chiave

1. Rappresentazione Innovativa: Propone la prima applicazione della codifica GASF/GADF Asimmetrica per l'OSV, trasformando segnali cinematici 1D in immagini 2D che mappano esplicitamente le correlazioni temporali a coppie.
2. Architettura a Doppio Ramo: Dimostra che GASF e GADF catturano aspetti ortogonali delle dinamiche temporali (co-occorrenza vs direzione). Il design a doppio ramo con cross-attention sfrutta efficacemente queste visioni complementari.
3. Transfer Learning: Trasferisce con successo backbone di visione 2D preaddestrati su ImageNet al dominio OSV a scarsità di dati, superando i modelli addestrati da zero su sequenze 1D.
4. Confronto Controllato: Fornisce il primo confronto equo tra metodi basati su GAF e baseline basate su sequenze (BiLSTM, Transformer, TCN) utilizzando obiettivi di addestramento identici, isolando il guadagno derivante dalla rappresentazione stessa.

4. Risultati Sperimentali

Il framework è stato valutato sui dataset DeepSignDB e BiosecurID.

• Prestazioni:
  • BiosecurID: Ha raggiunto un Tasso di Errore Uguale (EER) del 2,97% con 4 campioni di iscrizione, superando significativamente il precedente migliore (DeepSign al 5,61%) e la baseline DTW standard (10,43%).
  • DeepSignDB: Ha raggiunto un EER del 6,01%, superando tutte le baseline basate su sequenze (BiGRU, LSTM, Transformer, TCN) addestrate con lo stesso obiettivo.
• Confronto con le Baseline:
  • GAFSV-Net ha costantemente superato i modelli 1D (RNN, 1D-CNN, Transformer).
  • Ha persino superato MOMENT, un grande modello fondazionale per serie temporali, dimostrando che la codifica GAF 2D fornisce bias induttivi che il preaddestramento nel dominio delle sequenze non può recuperare.
• Studi di Ablazione:
  • GADF vs GASF: GADF (direzionale) è risultato leggermente più discriminativo di GASF (co-occorrenza) per le falsificazioni abili, ma la combinazione ha prodotto i migliori risultati.
  • Cross-Attention: Il meccanismo di cross-attention bidirezionale ha fornito un miglioramento di circa lo 0,6% rispetto alla semplice concatenazione, dimostrando il valore della fusione dinamica delle feature.
  • Componenti della Perdita: La combinazione di Triplet Loss, Iniezione di Falsificazioni e Regolarizzazione di Uniformità è stata essenziale; la rimozione di qualsiasi componente ha degradato significativamente le prestazioni.

5. Significato

• Cambiamento di Paradigma: GAFSV-Net stabilisce che convertire i dati delle serie temporali in immagini strutturate 2D permette ai sistemi OSV di sfruttare il potere rappresentativo massiccio dei modelli di computer vision preaddestrati, una capacità precedentemente non disponibile per i modelli di sequenza 1D.
• Robustezza: Il metodo è particolarmente efficace contro le falsificazioni abili, che spesso imitano la forma grossolana di una firma ma falliscono nel replicare le dinamiche cinematiche fini (accelerazione, cambiamenti di pressione) catturate dalla codifica GADF.
• Generalizzabilità: Il framework è indipendente dall'autore e non richiede parametri specifici dell'utente al momento del test, rendendolo adatto al dispiegamento nel mondo reale con dati di iscrizione limitati.

In conclusione, GAFSV-Net dimostra che la codifica temporale 2D è una rappresentazione superiore per la verifica online delle firme, offrendo una nuova direzione per la sicurezza biometrica che va oltre la tradizionale modellazione di sequenze 1D.