GAFSV-Net: A Vision Framework for Online Signature Verification

Hier volgt een gedetailleerde technische samenvatting van het paper "GAFSV-Net: A Vision Framework for Online Signature Verification."

1. Probleemstelling

Online Handtekeningverificatie (OSV) heeft tot doel echte handtekeningen te onderscheiden van gespecialiseerde vervalsingen. Deze taak staat voor twee hoofduitdagingen:

1. Hoge Intra-klasse Variabiliteit: De handtekening van een gebruiker varieert aanzienlijk tussen verschillende schrijfinstanties door snelheid, druk en omgevingsfactoren.
2. Data-schaarste: Verificatiesystemen hebben vaak zeer weinig inschrijvingsvoorbeelden (bijvoorbeeld 1–4 handtekeningen) per gebruiker, wat het moeilijk maakt om robuuste, schrijver-onafhankelijke modellen te leren.

Beperkingen van Bestaande Methoden:

• Klassieke Benaderingen: Gebaseerd op handgemaakte kenmerken (bijvoorbeeld DTW, GMM) die slecht generaliseren over verschillende schrijfstijlen.
• Deep Learning (1D): De meeste huidige deep learning-modellen (RNN's, LSTMs, 1D-CNN's, Transformers) verwerken ruwe temporale sequenties direct. Dit beperkt hen tot 1D-architecturen, waardoor het gebruik van krachtige voorgereputeerde 2D-vision backbones (bijvoorbeeld die getraind op ImageNet) wordt verhinderd en 2D ruimtelijke inductieve bias niet wordt benut.
• Kloof: Er ontbreekt een methode die 1D tijdsreeks-handtekeningdata effectief omzet in een 2D-representatie die geschikt is voor geavanceerde computer vision-modellen.

2. Methodologie: GAFSV-Net

De auteurs stellen GAFSV-Net voor, een deep learning-framework met twee takken dat de kloof overbrugt tussen 1D temporale data en 2D-vision-architecturen.

A. Data-representatie: Asymmetrische Gramian Angular Fields (GAF)

In plaats van ruwe $(x, y, p)$-sequenties direct in een netwerk te voeden, transformeert de methode de data eerst naar 2D-afbeeldingen:

1. Kinematische Extractie: Drie tijdsreeksen worden afgeleid uit de ruwe stylus-data:
   • Pen-snelheid ($v$)
   • Drukafgeleide ($\dot{p}$)
   • Richtingshoek ($\theta$)
2. Codering: Elk van de drie kanalen wordt onafhankelijk gecodeerd in twee complementaire 2D-matrices:
   • GASF (Gramian Angular Summation Field): Codeert waarde-samenvoeging (symmetrische structuur). Het vangt op wanneer twee tijdstappen vergelijkbare waarden hebben.
   • GADF (Gramian Angular Difference Field): Codeert richtingsovergangen (antisymmetrische structuur). Het vangt op of een waarde tussen tijdstappen toeneemt of afneemt.
3. Asymmetrische Constructie: Om causale temporale volgorde te behouden en redundantie te verminderen, splitsen de auteurs de tijdsreeks in twee helften. De bovenste driehoek van de matrix vertegenwoordigt de correlatie van de eerste helft met zichzelf, en de onderste driehoek vertegenwoordigt de tweede helft. Dit resulteert in een zes-kanaals afbeelding ($3 \text{ kanalen} \times 2 \text{ varianten}$) van grootte $M/2 \times M/2$.

B. Netwerkarchitectuur

Het framework maakt gebruik van een Dual-Branch ConvNeXt-Tiny architectuur:

• Dual Backbones: Twee onafhankelijke ConvNeXt-Tiny netwerken (voorgereputeerd op ImageNet-1k) verwerken de GASF- en GADF-helften afzonderlijk. Dit stelt elke tak in staat filters te leren die gespecialiseerd zijn voor de specifieke statistische eigenschappen van symmetrische (GASF) versus antisymmetrische (GADF) afbeeldingen.
• Aandachtsmechanismen:
  • Intra-tak Self-Attention: Verfijnt feature maps binnen elke tak om globale ruimtelijke correlaties te vangen.
  • Bidirectionele Cross-Attention: Voegt informatie samen tussen de GASF- en GADF-takken. Dit stelt de GASF-tak in staat discriminatieve patronen in de GADF-tak te bevragen (en omgekeerd) voordat projectie plaatsvindt.
• Projectie: De samengevoegde features worden geprojecteerd op een eenheidshypersfeer om een compacte $D$-dimensionale embedding te creëren.

C. Trainingsstrategie

Het model wordt getraind met een schrijver-onafhankelijke metric learning aanpak:

• Verliesfunctie: Een combinatie van Semi-hard Triplet Loss en een Uniformity Regularizer.
• Hard-Negative Injectie: Gespecialiseerde vervalsingen worden expliciet ingebracht als "hard negatives" tijdens het trainen. Een specifiek cluster-niveau-term zorgt ervoor dat vervalsingen worden weggeduwd van de echte cluster van hun doel-schrijver, niet alleen van willekeurige schrijvers.
• Uniformiteit: Voorkomt "embedding collapse" (waarbij alle samples in één punt clusteren) door embeddings aan te moedigen gelijkmatig over de hypersfeer te verspreiden.

D. Verificatie

Tijdens het testen berekent het systeem de cosine-afstand tussen een query-handtekeningembedding en het gemiddelde van de inschrijvingsprototypes van de gebruiker. Als de score een drempelwaarde overschrijdt, wordt de handtekening geaccepteerd.

3. Belangrijkste Bijdragen

1. Nieuwe Representatie: Stelt de eerste toepassing voor van Asymmetrische GASF/GADF codering voor OSV, waarbij 1D kinematische signalen worden omgezet in 2D-afbeeldingen die expliciet paarsgewijze temporale correlaties in kaart brengen.
2. Dual-Branch Architectuur: Toont aan dat GASF en GADF orthogonale aspecten van temporele dynamiek vangen (samenvoeging versus richting). Het dual-branch ontwerp met cross-attention benut deze complementaire visies effectief.
3. Transfer Learning: Succesvol transfer van ImageNet-voorgereputeerde 2D-vision backbones naar het data-schaarse OSV-domein, waarbij modellen die van scratch op 1D-sequenties zijn getraind, worden overtroffen.
4. Gecontroleerde Vergelijking: Biedt de eerste eerlijke vergelijking tussen GAF-gebaseerde methoden en sequentie-gebaseerde baselines (BiLSTM, Transformer, TCN) met identieke trainingsdoelen, waardoor de winst puur uit de representatie zelf wordt geïsoleerd.

4. Experimentele Resultaten

Het framework is geëvalueerd op de DeepSignDB en BiosecurID datasets.

• Prestaties:
  • BiosecurID: Bereikte een 2,97% Equal Error Rate (EER) met 4 inschrijvingsvoorbeelden, significant beter dan de vorige beste (DeepSign met 5,61%) en de standaard DTW-baseline (10,43%).
  • DeepSignDB: Bereikte 6,01% EER, beter dan alle sequentie-gebaseerde baselines (BiGRU, LSTM, Transformer, TCN) die met hetzelfde doel werden getraind.
• Vergelijking met Baselines:
  • GAFSV-Net presteerde consequent beter dan 1D-modellen (RNN's, 1D-CNN's, Transformers).
  • Het presteerde zelfs beter dan MOMENT, een groot tijdsreeks-foundation model, wat bewijst dat de 2D GAF-codering inductieve bias biedt die sequentiedomein-pretraining niet kan herstellen.
• Ablatie-studies:
  • GADF vs. GASF: GADF (richting) bleek iets meer discriminerend dan GASF (samenvoeging) voor gespecialiseerde vervalsingen, maar de combinatie leverde de beste resultaten op.
  • Cross-Attention: Het bidirectionele cross-attention mechanisme bood een verbetering van ongeveer 0,6% ten opzichte van eenvoudige concatenatie, wat de waarde van dynamische feature-samenvoeging bewijst.
  • Verliescomponenten: De combinatie van Triplet Loss, Forgery Injectie en Uniformity Regularization was essentieel; het verwijderen van een component degradeerde de prestaties aanzienlijk.

5. Betekenis

• Paradigmaverschuiving: GAFSV-Net stelt vast dat het omzetten van tijdsreeksdata in 2D-gestructureerde afbeeldingen OSV-systemen in staat stelt de enorme representatieve kracht van voorgereputeerde computer vision-modellen te benutten, een capaciteit die voorheen niet beschikbaar was voor 1D-sequentiemodellen.
• Robuustheid: De methode is bijzonder effectief tegen gespecialiseerde vervalsingen, die vaak de grove vorm van een handtekening nabootsen maar falen in het repliceren van de fijnkorrelige kinematische dynamiek (versnelling, drukveranderingen) die door de GADF-codering wordt vastgelegd.
• Generaliseerbaarheid: Het framework is schrijver-onafhankelijk en vereist geen schrijverspecifieke parameters tijdens het testen, waardoor het geschikt is voor implementatie in de echte wereld met beperkte inschrijvingsdata.

Kortom, GAFSV-Net demonstreert dat 2D temporale codering een superieure representatie is voor online handtekeningverificatie, en biedt een nieuwe richting voor biometrische beveiliging die voorbij traditionele 1D-sequentiemodellering gaat.