Event-based Liveness Detection using Temporal Ocular Dynamics: An Exploratory Approach

1. Declaração do Problema

A detecção de vitalidade facial (Detecção de Ataque de Apresentação) é crítica para prevenir ataques de falsificação (por exemplo, reprodução de vídeo) em sistemas biométricos.

• Limitações dos Métodos Atuais: Métodos tradicionais baseados em RGB frequentemente alcançam alta precisão em configurações controladas e intra-dataset, mas falham em generalizar entre diferentes sensores, condições de iluminação e cenários de ataque. Eles frequentemente dependem de artefatos específicos do conjunto de dados em vez de pistas intrínsecas de vitalidade.
• O Desafio Específico: Ataques de replay são particularmente difíceis de detectar porque mimetizam a aparência visual de um rosto real. No entanto, eles lutam para reproduzir as dinâmicas temporais do movimento humano genuíno, especificamente movimentos oculares rápidos (sacadas e piscadas), devido ao reamostragem temporal (taxas de quadros) e artefatos de exibição.
• A Lacuna: Embora câmeras de eventos (sensores neuromórficos) ofereçam resolução de microssegundos e alta faixa dinâmica, sua aplicação na detecção de vitalidade ocular remota (onde a câmera está a >50cm de distância) permanece amplamente inexplorada.

2. Metodologia

Os autores propõem um sistema ativo de anti-falsificação baseado em eventos que aproveita as dinâmicas oculares temporais.

A. Coleta de Dados e Conjunto de Dados

• Conjunto de Dados Base: Expansão do conjunto de dados existente RGBE-Gaze (dados sincronizados de câmera RGB e de Eventos).
• Novo Conjunto de Dados de Ataque de Replay: Criação de um conjunto de dados personalizado de ataque de replay reproduzindo clipes RGB genuínos em uma tela IPS de 60Hz e re-gravando-os usando um equipamento multi-sensor (RealSense D435i, DAVIS346 e Prophesee EVK4).
• Protocolo: Um mecanismo ativo de Desafio-Resposta foi implementado. Os usuários são instruídos a realizar movimentos oculares rápidos (sacadas ou piscadas). O sistema analisa o fluxo de eventos para verificar se o movimento é genuíno.
• Escala: 17 sujeitos (4 mulheres, 13 homens) com dados RGB e de Eventos sincronizados para ambos os cenários genuínos e de replay.

B. Processamento de Dados de Eventos

O sistema processa fluxos de eventos assíncronos $(x, y, t, p)$ onde $p$ é a polaridade.

• Extração de Características:
  • Perfil de Atividade ($A_p$): Uma estimativa contínua da atividade de eventos usando kernels de decaimento exponencial para modelar dinâmicas temporais.
  • Superfície de Eventos Ativos (SAE): Uma representação semelhante a quadros que codifica o histórico temporal recente de eventos em uma vizinhança espacial, permitindo o uso de CNNs padrão.
  • Características Estatísticas: Taxa média de eventos, equilíbrio de polaridade e intervalos inter-eventos (IEI) para detectar artefatos de atualização de tela.

C. Pipeline de Detecção

O pipeline realiza duas tarefas concorrentes:

1. Segmentação de Movimento Ocular: Detecção do momento preciso de piscadas e sacadas para validar a resposta ao desafio.
   • Detecção de Piscada: Usa processamento de sinal no perfil de atividade (buscando cruzamentos de zero nos sinais suavizados $A_{on} - A_{off}$).
   • Detecção de Sacada: Usa uma Rede Neural Convolucional Temporal (TCN) com convoluções dilatadas para modelar dependências temporais, superando a detecção simples de picos.
2. Classificação de Vitalidade Facial: Determinar se a sequência é genuína ou um replay.
   • Modelo: Uma Rede Neural Convolucional de Spiking (SCNN) processa dados de eventos diretamente (representação em grade de voxels).
   • Comparação: Também foram avaliados Vision Transformers (ViT) em quadros SAE e CNNs padrão.

3. Principais Contribuições

1. Aplicação de Modalidade Novel: Primeiro estudo a investigar a detecção de vitalidade baseada em eventos aproveitando dinâmicas oculares temporais em cenários de olho remoto.
2. Novo Conjunto de Dados: Introdução de um conjunto de dados de ataque de replay derivado do RGBE-Gaze, especificamente projetado para pesquisa de vitalidade baseada em eventos.
3. Método de Segmentação Temporal: Um método orientado a eventos para a segmentação temporal precisa de sacadas e piscadas em ambientes remotos.
4. Análise de Robustez: Demonstração de que câmeras de eventos capturam pistas intrínsecas de movimento (resolução de microssegundos) que são inerentemente difíceis para ataques de replay replicarem devido às limitações de exibição.

4. Resultados

O sistema foi avaliado no conjunto de dados personalizado usando uma divisão independente de sujeitos (80/20).

• Detecção de Vitalidade:
  • A Rede Neural Convolucional de Spiking (SCNN) alcançou o melhor desempenho com 95,37% de Precisão Top-1.
  • ACER (Taxa Média de Erro de Classificação): 4,65% (APCER: 4,20%, BPCER: 5,10%).
  • A SCNN superou o Vision Transformer (ViT) treinado em quadros RGB (92,15% de precisão), provando a superioridade de características temporais baseadas em eventos para esta tarefa.
• Detecção de Movimento Ocular:
  • Detecção de Piscada: Processamento de sinal simples alcançou um F1-score de 95,35%.
  • Detecção de Sacada: O modelo TCN alcançou um F1-score de 89,65%, superando significativamente o método de detecção de picos de base (62,72%).
• Análise de Características: A análise estatística confirmou que ataques de replay exibem artefatos distintos, como taxas médias de eventos mais baixas (devido aos limites de brilho da tela) e intervalos inter-eventos agrupados em torno da taxa de quadros da tela (por exemplo, 16,6ms para 60Hz), que estão ausentes em fluxos de eventos genuínos.

5. Significado e Trabalho Futuro

• Robustez: A abordagem demonstra que câmeras de eventos fornecem uma solução robusta contra ataques de replay analisando a física do movimento (dinâmicas temporais) em vez de apenas a aparência estática.
• Privacidade e Latência: Câmeras de eventos oferecem baixa latência e capacidades de preservação de privacidade (sem imagens de quadro completo, apenas mudanças esparsas), tornando-as ideais para sistemas biométricos em tempo real.
• Direções Futuras:
  • Expandir o conjunto de dados para incluir instrumentos de ataque diversos (diferentes telas, ataques de impressão, máscaras, falsificações geradas por IA).
  • Aumentar a escala do conjunto de dados e a diversidade ambiental para melhorar a generalização.
  • Desenvolver pipelines totalmente baseados em eventos que removam a dependência de quadros RGB para registro facial.

Em conclusão, este trabalho estabelece que as dinâmicas oculares temporais capturadas por câmeras de eventos são uma pista altamente eficaz e robusta para distinguir usuários genuínos de ataques de replay, alcançando precisão state-of-the-art em um cenário desafiador de olho remoto.