Event-based Liveness Detection using Temporal Ocular Dynamics: An Exploratory Approach

A continuación se presenta un resumen técnico detallado del artículo "Detección de vitalidad basada en eventos utilizando dinámicas oculares temporales: Un enfoque exploratorio."

1. Planteamiento del Problema

La detección de vitalidad facial (Detección de Ataques de Presentación) es crítica para prevenir ataques de suplantación (por ejemplo, reproducir un video) en sistemas biométricos.

• Limitaciones de los Métodos Actuales: Los métodos tradicionales basados en RGB a menudo logran una alta precisión en entornos controlados y dentro del mismo conjunto de datos, pero fallan al generalizar entre diferentes sensores, condiciones de iluminación y escenarios de ataque. Frecuentemente dependen de artefactos específicos del conjunto de datos en lugar de señales intrínsecas de vitalidad.
• El Desafío Específico: Los ataques de reproducción son particularmente difíciles de detectar porque imitan la apariencia visual de un rostro real. Sin embargo, luchan por reproducir las dinámicas temporales del movimiento humano genuino, específicamente los movimientos oculares rápidos (sacadas y parpadeos), debido al muestreo temporal (tasas de fotogramas) y a los artefactos de visualización.
• La Brecha: Aunque las cámaras de eventos (sensores neuromórficos) ofrecen resolución de microsegundos y un alto rango dinámico, su aplicación a la detección de vitalidad ocular remota (donde la cámara está a más de 50 cm de distancia) permanece en gran medida inexplorada.

2. Metodología

Los autores proponen un sistema activo de anti-suplantación basado en eventos que aprovecha las dinámicas oculares temporales.

A. Recopilación de Datos y Conjunto de Datos

• Conjunto de Datos Base: Se extendió el conjunto de datos existente RGBE-Gaze (datos sincronizados de cámaras RGB y de eventos).
• Nuevo Conjunto de Datos de Ataques de Reproducción: Se creó un conjunto de datos personalizado de ataques de reproducción reproduciendo clips RGB genuinos en una pantalla IPS de 60 Hz y re-grabándolos utilizando un equipo de sensores múltiples (RealSense D435i, DAVIS346 y Prophesee EVK4).
• Protocolo: Se implementó un mecanismo activo de Desafío-Respuesta. Se solicita a los usuarios que realicen movimientos oculares rápidos (sacadas o parpadeos). El sistema analiza el flujo de eventos para verificar si el movimiento es genuino.
• Escala: 17 sujetos (4 mujeres, 13 hombres) con datos sincronizados RGB y de eventos para ambos escenarios, genuino y de reproducción.

B. Procesamiento de Datos de Eventos

El sistema procesa flujos de eventos asíncronos $(x, y, t, p)$ donde $p$ es la polaridad.

• Extracción de Características:
  • Perfil de Actividad ($A_p$): Una estimación continua de la actividad de eventos utilizando núcleos de decaimiento exponencial para modelar las dinámicas temporales.
  • Superficie de Eventos Activos (SAE): Una representación similar a un fotograma que codifica la historia temporal reciente de eventos en una vecindad espacial, permitiendo el uso de CNN estándar.
  • Características Estadísticas: Tasa media de eventos, equilibrio de polaridad e intervalos inter-eventos (IEI) para detectar artefactos de actualización de pantalla.

C. Pipeline de Detección

El pipeline realiza dos tareas concurrentes:

1. Segmentación de Movimiento Ocular: Detectar el momento preciso de los parpadeos y las sacadas para validar la respuesta al desafío.
   • Detección de Parpadeo: Utiliza procesamiento de señales en el perfil de actividad (buscando cruces por cero en las señales suavizadas $A_{on} - A_{off}$).
   • Detección de Sacada: Utiliza una Red Neuronal de Convolución Temporal (TCN) con convoluciones dilatadas para modelar dependencias temporales, superando a la simple detección de picos.
2. Clasificación de Vitalidad Facial: Determinar si la secuencia es genuina o una reproducción.
   • Modelo: Una Red Neuronal Convolucional de Espigas (SCNN) procesa los datos de eventos directamente (representación en cuadrícula de volúmenes).
   • Comparación: También se evaluaron Transformadores de Visión (ViT) en fotogramas SAE y CNN estándar.

3. Contribuciones Clave

1. Aplicación de una Nueva Modalidad: Primer estudio que investiga la detección de vitalidad basada en eventos aprovechando las dinámicas oculares temporales en escenarios de ojo remoto.
2. Nuevo Conjunto de Datos: Introducción de un conjunto de datos de ataques de reproducción derivado de RGBE-Gaze, diseñado específicamente para la investigación de vitalidad basada en eventos.
3. Método de Segmentación Temporal: Un método impulsado por eventos para la segmentación temporal precisa de sacadas y parpadeos en entornos remotos.
4. Análisis de Robustez: Demostración de que las cámaras de eventos capturan señales intrínsecas de movimiento (resolución de microsegundos) que son inherentemente difíciles de replicar para ataques de reproducción debido a las limitaciones de visualización.

4. Resultados

El sistema fue evaluado en el conjunto de datos personalizado utilizando una división independiente del sujeto (80/20).

• Detección de Vitalidad:
  • La Red Neuronal Convolucional de Espigas (SCNN) logró el mejor rendimiento con una Precisión Top-1 del 95.37%.
  • ACER (Tasa Promedio de Error de Clasificación): 4.65% (APCER: 4.20%, BPCER: 5.10%).
  • La SCNN superó al Transformador de Visión (ViT) entrenado en fotogramas RGB (92.15% de precisión), demostrando la superioridad de las características temporales basadas en eventos para esta tarea.
• Detección de Movimiento Ocular:
  • Detección de Parpadeo: El procesamiento simple de señales logró una puntuación F1 del 95.35%.
  • Detección de Sacada: El modelo TCN logró una puntuación F1 del 89.65%, superando significativamente al método de detección de picos de referencia (62.72%).
• Análisis de Características: El análisis estadístico confirmó que los ataques de reproducción exhiben artefactos distintos, como tasas medias de eventos más bajas (debido a los límites de brillo de la pantalla) e intervalos inter-eventos agrupados alrededor de la tasa de fotogramas de la pantalla (por ejemplo, 16.6 ms para 60 Hz), los cuales están ausentes en los flujos de eventos genuinos.

5. Significado y Trabajo Futuro

• Robustez: El enfoque demuestra que las cámaras de eventos proporcionan una solución robusta contra los ataques de reproducción al analizar la física del movimiento (dinámicas temporales) en lugar de solo la apariencia estática.
• Privacidad y Latencia: Las cámaras de eventos ofrecen baja latencia y capacidades de preservación de la privacidad (sin imágenes de fotograma completo, solo cambios dispersos), lo que las hace ideales para sistemas biométricos en tiempo real.
• Futuras Direcciones:
  • Expandir el conjunto de datos para incluir diversos instrumentos de ataque (diferentes pantallas, ataques de impresión, máscaras, falsificaciones generadas por IA).
  • Aumentar la escala del conjunto de datos y la diversidad ambiental para mejorar la generalización.
  • Desarrollar pipelines totalmente basados en eventos que eliminen la dependencia de fotogramas RGB para el registro facial.

En conclusión, este trabajo establece que las dinámicas oculares temporales capturadas por cámaras de eventos son una señal altamente efectiva y robusta para distinguir usuarios genuinos de ataques de reproducción, logrando una precisión de vanguardia en un escenario desafiante de ojo remoto.