First International StepUP Competition for Biometric Footstep Recognition: Methods, Results and Remaining Challenges

O artigo descreve a Primeira Competição Internacional StepUP de Reconhecimento Biométrico de Passos, que utilizou o novo conjunto de dados StepUP-P150 para avaliar modelos de aprendizado profundo entre 23 equipes, destacando que, embora a melhor solução tenha alcançado uma taxa de erro de 10,77%, a generalização para calçados desconhecidos permanece um desafio crítico.

O essencial

Imagine que cada vez que você caminha, seus pés deixam uma "assinatura" única no chão, como uma impressão digital, mas feita de pressão e ritmo. Essa é a ideia por trás do reconhecimento biométrico de passos. É como se o chão pudesse dizer: "Ah, esse passo é do João, ele anda rápido e usa tênis de corrida", ou "Isso não é a Maria, ela anda devagar e está de sandália".

O artigo que você leu conta a história de uma grande competição internacional chamada StepUP, organizada por pesquisadores do Canadá, para ver quem conseguiria criar o melhor "detetive de passos" usando inteligência artificial.

Aqui está a explicação do que aconteceu, usando analogias simples:

1. O Grande Desafio: O "Céu" e a "Terra"

Os cientistas tinham um problema: eles tinham um monte de dados de pessoas andando (o "céu" de informações), mas precisavam ensinar a máquina a reconhecer essas pessoas em situações do mundo real, onde tudo muda (a "terra" difícil).

• O Problema: Se você treina um sistema com uma pessoa usando tênis e andando rápido, o sistema pode ficar confuso quando essa mesma pessoa usar botas e andar devagar. É como tentar reconhecer um amigo em uma foto de dia, e depois tentar reconhecê-lo à noite, com óculos escuros e um chapéu gigante.
• A Solução (O Tesouro): Eles lançaram um novo conjunto de dados chamado StepUP-P150. Imagine isso como uma biblioteca gigante com 200.000 "fotos" de passos de 150 pessoas diferentes, usando 4 tipos de calçados e andando em 4 velocidades diferentes. Era o maior e mais variado "álbum de recortes" do mundo até então.

2. A Competição: O "Show de Talentos" dos Robôs

Para celebrar esse novo álbum de dados, eles organizaram uma competição.

• Os Participantes: 23 equipes de universidades e empresas de todo o mundo entraram na arena.
• A Missão: Eles tinham que criar um robô (um modelo de IA) que pudesse olhar para um passo novo (o "probe") e dizer: "Sim, é o João!" ou "Não, isso é um impostor!".
• A Pegadinha: O robô só tinha uma foto de referência do João (com um tênis específico e andando rápido) para comparar. O teste, porém, incluía o João usando botas, chinelos, correndo ou andando devagar. O robô precisava ser esperto o suficiente para ignorar as mudanças de roupa e velocidade e focar na "alma" do passo.

3. Os Campeões: Como eles venceram?

A equipe vencedora, chamada Saeid UCC, não apenas criou um robô, mas criou um "treinador de robôs" super inteligente.

• A Analogia do Treinador (GRM): Imagine que você tem que escolher o melhor carro de corrida e o melhor piloto para uma pista difícil. Em vez de testar 1.000 carros e 1.000 pilotos (o que levaria anos), eles usaram um sistema chamado Generative Reward Machine (GRM).

  • Esse sistema é como um treinador que olha para os primeiros minutos de treino de um carro e diz: "Ei, esse carro parece promissor, vamos focar nele!" ou "Esse não vai longe, pare de gastar gasolina nele".
  • Isso permitiu que eles encontrassem a combinação perfeita de arquitetura e configurações muito mais rápido do que os outros.

• Os Próximos Colocados:

  • A 2ª colocada (Peneter ML) usou uma técnica de "transferência de conhecimento". Foi como ensinar um aluno a andar de bicicleta antes de ensinar a andar de moto. Eles treinaram primeiro em dados simples e depois aplicaram no difícil.
  • A 3ª colocada (CyberTI) usou uma "evolução". Eles criaram uma população de soluções e deixaram as melhores "sobreviverem" e se misturarem, como na seleção natural, até surgirem as mais fortes.

4. O Resultado: O que funcionou e o que falhou?

• O Sucesso: Os robôs ficaram muito bons quando o cenário era familiar. Se o João andava com o mesmo tênis e na mesma velocidade do treino, o robô acertava quase sempre (erro de apenas 2-3%).
• O Fracasso (O Calcanhar de Aquiles): O grande problema foi calçado. Quando o robô via o João usando um sapato que ele nunca tinha visto antes (como uma segunda par de sapatos pessoais ou botas), o erro disparou para quase 20%.
  • A Analogia: É como se o robô estivesse tão focado na forma do tênis que esquecia de olhar para a pessoa. Um par de chinelos Birkenstock enganou o robô, fazendo-o achar que era outra pessoa, porque a "forma" do passo mudou muito.

5. A Lição Final

A competição mostrou que a inteligência artificial está ficando muito boa em reconhecer padrões, mas ainda é "teimosa" quando as coisas mudam de forma drástica (como trocar de sapato).

• O que aprendemos: A melhor estratégia não foi inventar um novo tipo de cérebro de robô, mas sim usar métodos inteligentes para ajustar os cérebros existentes (os modelos R(2+1)D) para que eles aprendam melhor com os dados.
• O Futuro: O desafio agora é fazer com que o robô entenda que "João é João", não importa se ele está de tênis, de salto alto ou descalço. Os pesquisadores dizem que ainda há muito trabalho a ser feito para que essa tecnologia seja usada em aeroportos ou bancos com segurança total.

Resumo em uma frase: Foi uma corrida global para ensinar computadores a reconhecerem pessoas pelo jeito que elas andam, onde os vencedores usaram "treinadores de IA" inteligentes, mas ainda precisam aprender a ignorar a bagunça que os diferentes sapatos causam.

Resumo técnico

1. Problema e Contexto

O reconhecimento biométrico de passos (footstep recognition) é uma modalidade emergente que identifica indivíduos com base nos padrões únicos de pressão sob os pés durante a caminhada. Embora promissor para segurança e controle de acesso em ambientes como hubs de transporte e infraestrutura crítica, o campo enfrenta barreiras significativas para implementação no mundo real:

• Falta de Dados Diversos: A progressão foi limitada pela ausência de grandes conjuntos de dados públicos que capturem a variabilidade natural da marcha (diferentes calçados, velocidades, carga cognitiva).
• Desafio de Generalização: Sistemas treinados em condições controladas (um tipo de calçado, uma velocidade) falham ao generalizar para condições não vistas (novos calçados, velocidades diferentes) e para novos usuários com dados de referência limitados.
• Variabilidade Intrínseca: Fatores como o tipo de calçado e a velocidade de caminhada introduzem grandes "desvios de domínio" (domain shifts), tornando a verificação robusta um desafio complexo.

2. Metodologia e o Desafio StepUP

Para abordar essas lacunas, os organizadores lançaram a Primeira Competição Internacional StepUP, baseada no novo conjunto de dados UNB StepUP-P150.

• Conjunto de Dados (StepUP-P150):

  • Contém cerca de 200.000 passos de alta resolução de 150 indivíduos.
  • Dados coletados em um piso instrumentado com sensores piezorresistivos (4 sensores/cm², 100 Hz).
  • Variabilidade abrangente: 4 condições de calçado (pé descalço, tênis padrão, 2 pares de calçados pessoais) e 4 velocidades de caminhada.
  • Formato dos dados: Mapas de pressão 3D (tempo, altura, largura) com dimensões de tensor $101 \times 75 \times 40$.

• Tarefa da Competição:

  • Os participantes deveriam desenvolver modelos de verificação para um conjunto de teste oculto (Probe Set) contendo 10.000 amostras.
  • Condições de Avaliação: O modelo deveria verificar a identidade de um passo (probe) contra um conjunto de referência (Reference Set) contendo apenas 10 passos por usuário (5 esquerdo, 5 direito), coletados em uma única condição (calçado pessoal e velocidade preferida).
  • Desafio Crítico: O conjunto de teste incluía condições não vistas (outros calçados pessoais, tênis padrão, velocidades lentas/rápidas) e impostores desconhecidos.

• Avaliação:

  • Métrica principal: Taxa de Erro Igual (EER - Equal Error Rate), onde as taxas de falso positivo e falso negativo se igualam.
  • Métricas secundárias: Taxa de Falsa Aceitação (FMR), Taxa de Falsa Rejeição (FNMR) e Precisão Balanceada (BACC).

3. Soluções e Abordagens dos Vencedores

A competição atraiu 23 equipes, das quais 12 submeteram soluções. As três melhores equipes utilizaram estratégias avançadas de otimização automatizada em vez de apenas engenharia de características manual.

1º Lugar: Equipe Saeid UCC (Saeid Rezaei, University College Cork)

• Abordagem: Utilizou uma Máquina de Recompensa Generativa (GRM - Generative Reward Machine).
• Inovação: Criou um agente autônomo que navega no espaço conjunto de arquiteturas de redes neurais e hiperparâmetros.
  • Fase 1: Treinamento offline de modelos de regressão para prever o desempenho final de uma arquitetura baseada apenas em seus primeiros sinais de treinamento (dinâmica inicial).
  • Fase 2: Busca online baseada em Aprendizado por Reforço (RL) que usa esses preditores para alocar recursos computacionais eficientemente, descartando configurações promissoras precocemente.
• Resultado: Selecionou uma arquitetura R(2+1)D CNN (uma variante mais leve) com otimização via Adam e função de perda TripletMarginLoss.

2º Lugar: Equipe Peneter ML (Mahdi Laghaei, Islamic Azad University)

• Abordagem: Otimização Bayesiana Multi-Fidelidade Inicializada por Transferência (TI-MFBO).
• Inovação: Mitiga o "cold start" da otimização bayesiana.
  • Usa aprendizado por transferência para inicializar o modelo substituto (surrogate model) com dados de tarefas mais baratas (ex: CNN 2D em projeções de máxima intensidade ou resoluções reduzidas).
  • Emprega uma estrutura multi-fidelidade onde configurações promissoras em avaliações de baixo custo (poucos épocas, subconjunto de dados) são promovidas para avaliações de alta fidelidade.
• Resultado: Também utilizou a rede R(2+1)D com otimização Adam.

3º Lugar: Equipe CyberTI (Ali Hajighasem, UNSW, Austrália)

• Abordagem: Co-Otimização Curricular Evolutiva (ECCO).
• Inovação: Trata o treinamento como um processo dinâmico. Um algoritmo evolutivo otimiza simultaneamente os hiperparâmetros do modelo e o currículo de treinamento (a ordem e complexidade dos dados apresentados ao modelo).
  • O "genoma" codifica hiperparâmetros (taxa de aprendizado, etc.) e o cronograma de curricula (ex: começar com calçados simples e velocidade única, evoluindo para condições complexas).
• Resultado: Utilizou R(2+1)D com TripletMarginLoss e otimizador AdamW.

4. Resultados Principais

• Desempenho Geral: A equipe vencedora (Saeid UCC) alcançou um EER de 10,77%, superando a solução base (starter kit) que obteve 19,5%. As três primeiras equipes tiveram EERs muito próximos (dentro de 1,6% uma da outra).
• Generalização por Condição:
  • Condições Conhecidas: Alta precisão (EER entre 2,1% e 3,2%) para calçados e velocidades presentes no conjunto de referência.
  • Velocidades Não Vistas: A generalização para velocidades diferentes (lenta/rápida) foi robusta, com queda mínima no desempenho.
  • Calçados Não Vistos (O Grande Desafio): A generalização para calçados pessoais não vistos foi significativamente difícil.
    • Para o segundo par de calçados pessoais: EER variou de 14,7% a 19,7%.
    • Para o tênis padrão (comum a todos): EER variou de 10,2% a 14,6%.
• Análise de Erros:
  • 650 amostras foram mal classificadas por todas as três melhores equipes.
  • A maioria dos erros (73,1%) foram falsas aceitações (False Matches).
  • Casos específicos de falha incluíram calçados com estilos muito similares entre usuários diferentes (ex: sandálias Birkenstock) e grandes desvios de domínio (ex: usuário com referência em sandálias sendo testado com tênis esportivo).

5. Contribuições e Significância

• Lançamento do Dataset StepUP-P150: A disponibilização do maior e mais diversificado conjunto de dados de pressão de passos até a data, permitindo o avanço do deep learning nesta área.
• Estabelecimento de Benchmark: A competição definiu um novo padrão de avaliação rigoroso para verificação biométrica de passos, focando em cenários realistas com dados de referência limitados e condições variáveis.
• Validação de Otimização Automatizada: Demonstrou que estratégias de busca automática de hiperparâmetros e arquiteturas (como GRM e Otimização Bayesiana) são superiores a métodos manuais para lidar com alta variabilidade de dados.
• Identificação de Limitações Futuras: O estudo confirmou que, embora a velocidade de caminhada seja um fator manejável, a variabilidade de calçados permanece o principal obstáculo para a implantação prática. Isso aponta para a necessidade de futuras pesquisas focadas em invariância a covariáveis específicas (como o calçado) e técnicas de aumento de dados mais sofisticadas.

Em suma, a competição StepUP marcou um marco importante ao provar que a verificação biométrica de passos é viável com alta precisão em condições controladas, mas destacou a necessidade urgente de inovação para superar os desafios impostos pela diversidade de calçados no mundo real.