First International StepUP Competition for Biometric Footstep Recognition: Methods, Results and Remaining Challenges

Deze paper presenteert de resultaten van de eerste internationale StepUP-competitie voor biometrische stapherkenning, waarbij teams gebruikmaakten van het uitgebreide UNB StepUP-P150-dataset om robuuste modellen te ontwikkelen, met als beste resultaat een gelijke foutkans van 10,77% door het team Saeid_UCC, hoewel generalisatie naar onbekend schoeisel een aanhoudende uitdaging blijft.

De kern

Hoe je loopstijl je vingerafdruk is: Een verslag van de eerste wereldwijde "Loopwedstrijd"

Stel je voor dat je niet met je vingerafdruk of je gezicht wordt herkend, maar met de manier waarop je loopt. Elke keer als je een stap zet, druk je op een heel unieke manier op de grond. Het is alsof je voeten een geheim codeboek dragen dat niemand anders heeft. Dit noemen we biometrische loopherkenning.

Deze paper vertelt het verhaal van een grote internationale wedstrijd die werd georganiseerd om te kijken of computers deze "loopcodes" echt goed kunnen leren, zelfs als de omstandigheden veranderen.

Hier is hoe het verhaal eruitziet, vertaald naar simpele taal:

1. Het Probleem: De "Kleding" en "Snelheid" van het lopen

Stel je voor dat je een computer wilt leren wie je bent. Je laat de computer een paar keer zien hoe je loopt. Maar in het echte leven is het niet zo makkelijk.

• Soms loop je in sokken, soms in schoenen, en soms in sneakers.
• Soms loop je snel (alsof je de bus nog net haalt), soms langzaam (een wandelingetje), en soms stopt je halverwege.

Vroeger hadden wetenschappers geen goede manier om dit te testen. Ze hadden te weinig gegevens. Het was alsof je probeert een taal te leren met alleen maar één zinnetje. Je kunt dan niet voorspellen hoe die taal klinkt als iemand een andere accent heeft of sneller praat.

2. De Oplossing: Een gigantische bibliotheek van loopstappen

Om dit op te lossen, hebben onderzoekers van de Universiteit van New Brunswick (Canada) een enorme database gemaakt: StepUP-P150.

• Ze lieten 150 mensen lopen op een speciaal vloertje met sensoren (zoals een supergevoelige mat).
• Deze mensen liepen in alle mogelijke situaties: blote voeten, hun eigen schoenen, standaard sneakers, en in verschillende snelheden.
• Het resultaat? Een bibliotheek met 200.000 loopstappen. Dit is als een enorme bibliotheek waar elke stap van elke persoon perfect is opgeslagen.

3. De Wedstrijd: De "Loop-olympiade"

Om te zien of de beste computerprogramma's deze bibliotheek echt kunnen begrijpen, organiseerden ze een wedstrijd.

• De opdracht: Deelnemers kregen de grote bibliotheek (de training) en moesten een slimme computer bouwen.
• De test: Vervolgens kregen ze een geheim testpakket. Hierin zaten mensen die ze nog nooit hadden gezien, en ze liepen in schoenen en snelheden die ze ook nog nooit hadden gezien.
• De doelstelling: De computer moest zeggen: "Ja, dit is persoon X" of "Nee, dit is iemand anders", zelfs als die persoon een andere schoen aanhad dan bij de eerste keer.

Er deden 23 teams mee, van universiteiten en bedrijven over de hele wereld.

4. De Winnaars: De slimste "Loop-coaches"

Drie teams staken de kop erboven uit, en ze gebruikten allemaal slimme trucs om hun computers te trainen:

• 1e Plaats (Saeid UCC): Deze groep gebruikte een slimme robot-agent. Stel je voor dat je een kok bent die duizenden recepten wil proberen. In plaats van elk recept volledig te koken (wat tijd kost), proeft de robot-agent na een paar minuten al of het gerecht goed smaakt. Als het niet lekker ruikt, stopt hij en probeert hij iets anders. Zo leerden ze hun computer razendsnel welke instellingen het beste werkten. Ze wonnen met een foutpercentage van ongeveer 10,77%.
• 2e Plaats (Peneter ML): Zij gebruikten een transfer-leer-methode. Het is alsof je eerst een klein modelletje traint op een simpele versie van de data (zoals een zwart-wit foto), en dat model vervolgens gebruikt om het grote, complexe probleem (de kleurrijke foto) op te lossen. Dit bespaart veel tijd en rekenkracht.
• 3e Plaats (CyberTI): Zij gebruikten een evolutie-methode. Ze lieten duizenden versies van hun computerprogramma met elkaar "vechten" in een simulatie. De besten overleefden en kregen hun eigenschappen doorgegeven aan de volgende generatie, net zoals in de natuur. Zo evolueerden ze naar het perfecte programma.

5. Wat ging er goed en wat ging er mis?

De resultaten waren indrukwekkend, maar er was nog een grote uitdaging.

• Wat goed ging: Als iemand liep in de zelfde schoenen en zelfde snelheid als bij de training, was de computer bijna perfect. Het was alsof je iemand herkent die je gisteren hebt gezien in dezelfde kleding.
• Wat moeilijk was: Schoenen. Dit was de grootste hindernis. Als iemand in de test liep in een andere schoen dan bij de training, werd het heel lastig voor de computer.
  • Voorbeeld: Stel, iemand liep in de training in een sportieve hardloopschoen, maar in de test liep hij in een open sandaal. De computer dacht dan soms: "Oh, dit is iemand anders!" terwijl het dezelfde persoon was.
  • Er was zelfs één geval waarbij iemand in een sandaal liep die precies leek op die van een andere persoon. De computer verwarde hen volledig.

6. De Conclusie: We zijn op de goede weg, maar nog niet thuis

De wedstrijd was een groot succes. Het bewees dat we met deze enorme database en slimme kunstmatige intelligentie al heel ver komen. De computers kunnen nu mensen herkennen, zelfs als ze sneller of langzamer lopen.

Maar de "schoenen-problematiek" is nog niet opgelost. Het is alsof we een sleutel hebben die perfect past in een deur, maar als je de deur een beetje verplaatst (een andere schoen), past de sleutel niet meer.

De boodschap voor de toekomst:
De onderzoekers zeggen: "We hebben de basis gelegd. Nu moeten we blijven zoeken naar manieren om de computer slimmer te maken, zodat hij niet alleen kijkt naar de vorm van de voet, maar begrijpt dat de manier van lopen hetzelfde blijft, ongeacht wat je aan je voeten hebt."

Dit is een belangrijke stap voor de toekomst van beveiliging. Stel je voor dat je door een vliegveld loopt en de beveiliging weet direct wie je bent, zonder dat je je paspoort hoeft te laten zien, zelfs als je je schoenen hebt verwisseld. Dat is de droom waar deze wedstrijd naar toe werkt.

Technische samenvatting

1. Probleemstelling

Biometrische stapherkenning is een opkomend veld dat individuen identificeert of verifieert op basis van de unieke drukpatronen onder hun voeten tijdens het lopen. Hoewel deze modologie veelbelovend is voor beveiliging (bijv. in vliegvelden of kritieke infrastructuur) vanwege zijn passieve aard en weerstand tegen omgevingsfactoren zoals licht, blijft de implementatie in de echte wereld beperkt door twee hoofdproblemen:

• Gebrek aan grote, diverse datasets: Bestaande datasets (zoals CASIA-D of GaitRec) zijn te klein, hebben te weinig variatie in variabelen (schoeisel, loopsnelheid) of gebruiken onvoldoende resolutie.
• Generalisatieproblemen: Systemen moeten robuust zijn tegen natuurlijke variabiliteit (cognitieve belasting, loopsnelheid) en vooral tegen onbekende schoeiseltypen. De meeste bestaande systemen presteren goed in gecontroleerde labomstandigheden, maar falen vaak bij de overgang naar onvoorspelbare real-world scenario's met beperkte referentiedata (enrollment).

2. Methodologie en Competitie-opzet

Om deze uitdagingen aan te pakken, lanceerden de auteurs de First International StepUP Competition, gebaseerd op het nieuwe UNB StepUP-P150 dataset.

• Dataset (StepUP-P150):
  • Bevat ongeveer 200.000 hoogresolutie stapopnames van 150 deelnemers.
  • Variabelen: 4 schoeiselcondities (blote voeten/socks, standaard sneakers, 2 persoonlijke schoenenparen) en 4 loopsnelheden.
  • Data: 3D drukkaarten (101 x 75 x 40 tensor: tijd, hoogte, breedte) opgevangen via een piezoresistief sensorplatform.
• Competitie Taak:
  • Deelnemers moesten een verificatiemodel ontwikkelen dat 10.000 "probe" (test) stappen verifieert tegen een referentiedataset van 15 gebruikers.
  • Uitdaging: Het model moest generaliseren naar onbekende gebruikers (met weinig referentiedata) en onbekende condities (nieuwe schoenen, andere snelheden).
  • Referentie-data: Beperkt tot 10 stappen per gebruiker (5 links, 5 rechts) in één schoen en één snelheid.
  • Probe-data: Bevatte zowel bekende als onbekende condities (o.a. tweede paar persoonlijke schoenen, standaard sneakers, snelle/traag lopen). 30% ware claims, 70% valse claims.
• Basislijn (Starter Kit): Een R(2+1)D Convolutional Neural Network (CNN) met contrastief verlies, gebruikt als startpunt voor de deelnemers.

3. Belangrijkste Bijdragen van de Winnaars

De competitie trok 23 teams aan. De top 3 gebruikte geavanceerde optimalisatiestrategieën in plaats van handmatige feature-engineering:

1. 1e Plaats: Saeid UCC (Ierland)

   • Methode: Gebruikte een Generative Reward Machine (GRM) framework.
   • Techniek: Een autonome agent die de gezamenlijke ruimte van architecturen en hyperparameters navigeert. De GRM leert de trainingsdynamiek van een model in een vroeg stadium te interpreteren om de uiteindelijke prestaties te voorspellen. Dit elimineert de noodzaak om elke configuratie volledig te trainen.
   • Resultaat: Selecteerde een R(2+1)D architectuur met specifieke hyperparameters (o.a. TripletMarginLoss, Adam optimizer) en bereikte de beste prestaties.

2. 2e Plaats: Peneter ML (Iran)

   • Methode: Transfer-Initialized Multi-Fidelity Bayesian Optimization (TI-MFBO).
   • Techniek: Om de "cold start" van Bayesiaanse optimalisatie te omzeilen, werd het surrogate-model vooraf getraind op goedkopere proxy-taken (bijv. 2D-CNN op gereduceerde data). Vervolgens werd een multi-fidelity schema gebruikt waarbij veelbelovende configuraties worden gepromoveerd van goedkope (minder data/epochs) naar dure evaluaties.
   • Resultaat: Gebruikte ook een R(2+1)D netwerk met een efficiëntere zoekstrategie.

3. 3e Plaats: CyberTI (Australië)

   • Methode: Evolutionary Curriculum Co-Optimization (ECCO).
   • Techniek: Een evolutionair algoritme dat simultaan de hyperparameters en het trainingscurriculum optimaliseert. Het curriculum introduceert data geleidelijk aan in complexiteit (eerst simpele condities, dan complexe schoenen/snelheden).
   • Resultaat: Gebruikte een R(2+1)D netwerk met een TripletMargin loss en AdamW optimizer.

4. Resultaten

De prestaties werden gemeten aan de hand van de Equal Error Rate (EER) (waarbij de False Match Rate en False Non-Match Rate gelijk zijn).

• Algemene Prestaties:
  • Winnaar (Saeid UCC): EER van 10,77%.
  • Runner-up (Peneter ML): EER van 11,33%.
  • Basislijn (Starter Kit): EER van 19,5%.
  • De top 5 teams lagen allemaal binnen 1,6% van elkaar, maar hadden een duidelijke voorsprong op de rest.
• Analyse van Generalisatie:
  • Bekende condities: Zeer hoge nauwkeurigheid (EER 2,1% - 3,2%) voor stappen in bekende schoenen en snelheden.
  • Snelheid: Generalisatie naar nieuwe snelheden was sterk; zelfs sneller lopen presteerde soms beter dan het voorkeurslooptempo.
  • Schoeisel (Kritieke Uitdaging): Generalisatie naar onbekende schoenen was het grootste struikelblok.
    • Bij de tweede persoonlijke schoen: EER steeg naar 14,7% - 19,7%.
    • Bij standaard sneakers (die ook in de trainingsdata zaten): EER was lager (10,2% - 14,6%), wat suggereert dat modellen specifieke schoenkenmerken kunnen leren als deze in de trainingsdata voorkomen.
• Foutanalyse:
  • Een Venn-diagram toonde aan dat 650 stappen door alle top 3 teams fout werden geclassificeerd.
  • Veel fouten waren gerelateerd aan specifieke schoenstijlen (bijv. Birkenstock-sandalen die leken op die van een andere gebruiker, of een grote domeinverschuiving van sandalen in de referentie naar sportschoenen in de probe).

5. Betekenis en Conclusie

• Mijlpaal voor het veld: De competitie en het StepUP-P150 dataset markeren een doorbraak door een grote, diverse, openbare dataset beschikbaar te stellen die geschikt is voor deep learning.
• Validatie van Data-gedreven benaderingen: De succesvolle strategieën van de winnaars tonen aan dat geautomatiseerde optimalisatie (zoals GRM en Bayesiaanse optimalisatie) effectiever is dan handmatige aanpassingen voor het omgaan met hoge variabiliteit.
• Toekomstige Richtingen: Hoewel de resultaten veelbelovend zijn, benadrukt het paper dat schoeiselvariatie nog steeds de grootste uitdaging is. Toekomstig onderzoek moet zich richten op:
  • Het ontwikkelen van architecturen en verliesfuncties die specifiek invariante eigenschappen ten opzichte van schoeisel leren.
  • Het combineren van data-augmentatie met deep metric learning.
  • Het verbeteren van de robustheid bij zeer beperkte referentiedata (few-shot learning).

De competitie heeft een nieuwe benchmark vastgesteld en dient als katalysator voor de ontwikkeling van praktische, in de echte wereld inzetbare biometrische stapherkenningssystemen.