Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling

1. El Problema

La extracción de características oculares (como el centroide de la pupila) a partir de flujos de datos basados en eventos (cámaras DVS) ofrece ventajas significativas en términos de latencia, consumo de energía y resolución temporal en comparación con las cámaras de fotogramas tradicionales. Sin embargo, existe un desafío crítico: la variabilidad cinemática de los movimientos oculares.

• Movimientos rápidos (Sacadas): Generan ráfagas densas de eventos con una alta relación señal-ruido (SNR).
• Movimientos lentos o fijos (Fijación, seguimiento suave): Generan muy pocos eventos, resultando en una baja densidad de eventos y un SNR bajo.

Los modelos existentes, como las Redes Neuronales Recurrentes (RNN) o los modelos basados en convoluciones (CNN) con componentes recurrentes, suelen fallar en estos escenarios. Tienden a depender excesivamente del contexto histórico (recurrencia) incluso cuando la información actual es fiable (alta SNR), o pierden la memoria cuando la densidad de eventos cae drásticamente durante las fijaciones, lo que degrada la precisión de la predicción.

2. Metodología Propuesta: AISSM

Los autores proponen el Modelo de Espacio de Estados de Inferencia Adaptativa (AISSM), una arquitectura novedosa diseñada para ajustar dinámicamente el peso relativo entre la información actual y la información histórica.

Componentes Clave:

1. Modelo de Espacio de Estados (SSM) Bayesiano:

   • A diferencia de los enfoques de inferencia variacional estándar que colapsan las distribuciones posterior y prior, el AISSM trata la distribución posterior ($q(s_t|o_t)$) como informativa únicamente del estado presente y la distribución prior ($p(s_t|h_{t-1})$) como informativa únicamente del estado pasado.
   • Utiliza una distribución categórica discreta para representar el estado latente, en lugar de un único vector latente.

2. Red de Confianza Dinámica (Dynamic Confidence Network):

   • Es un módulo auxiliar que estima la fiabilidad de la observación actual.
   • Calcula un puntaje de confianza ($\alpha_t$) basado en dos métricas:
     • Relación Señal-Ruido (SNR): La proporción de eventos dentro de una región de interés (ROI) frente a eventos fuera de ella.
     • Densidad de Eventos (ED): La cantidad de eventos normalizada por el tamaño de la ROI.
   • Este puntaje $\alpha_t$ (donde $0 \le \alpha_t \le 1$) determina cuánto peso debe dar el modelo a la información actual frente a la histórica.

3. Mecanismo de Ponderación Adaptativa:

   • La representación del estado final ($\bar{s}_t$) se calcula como una combinación lineal ponderada:
     $$\bar{s}_t = \hat{\alpha}_t \cdot s^q_t + (1 - \hat{\alpha}_t) \cdot s^p_t$$
     Donde $s^q_t$ es el estado posterior (actual) y $s^p_t$ es el estado prior (histórico).
   • Lógica: Si la densidad de eventos es alta (alta confianza), $\alpha_t \to 1$ (se confía en la observación actual). Si la densidad es baja (baja confianza), $\alpha_t \to 0$ (se confía en la memoria histórica).

4. Técnica de Entrenamiento de Largo Alcance (Long-Horizon Training):

   • Para evitar el problema de "entrenamiento sin estado" (donde el estado recurrente se reinicia en cada lote, perdiendo dependencias temporales largas), los autores almacenan y reutilizan los estados del modelo (posterior, prior y estado recurrente) directamente en el conjunto de datos entre épocas. Esto permite que el modelo aprenda dependencias temporales más largas y estables.

3. Contribuciones Clave

• Arquitectura AISSM: Un nuevo modelo que integra la inferencia adaptativa con modelos de espacio de estados, inspirado en el filtro de Kalman pero implementado mediante redes neuronales profundas.
• Red de Confianza Dinámica: Un mecanismo que permite al sistema "saber" cuándo confiar en la entrada actual y cuándo depender de la memoria, basándose en métricas físicas de los datos (SNR y densidad).
• Método de Entrenamiento: Una técnica de entrenamiento que preserva el estado temporal entre lotes, mejorando la eficiencia y la estabilidad de modelos recurrentes en tareas de seguimiento.
• Representación de Datos: Uso de la representación binaria de eventos (binarep) combinada con el modelo temporal propuesto para lograr un equilibrio entre complejidad y rendimiento.

4. Resultados Experimentales

El modelo se evaluó utilizando el dataset 3ET+, un estándar en la comunidad de seguimiento ocular basado en eventos. Se comparó contra modelos de última generación (SOTA) como CNN-GRU, CB-ConvLSTM, MambaPupil y CNN-BiGRU, restringiendo todos a aproximadamente 500,000 parámetros para una comparación justa.

• Métricas de Precisión: El AISSM superó significativamente a todos los baselines en las métricas de éxito de predicción (porcentaje de estimaciones dentro de un radio de píxeles del ground truth):
  • P5 (dentro de 5 píxeles): 46.85% (vs. 29.86% del siguiente mejor, CB-ConvLSTM).
  • P10 (dentro de 10 píxeles): 72.38%.
  • P15 (dentro de 15 píxeles): 85.41%.
• Error de Distancia: Logró el menor error de distancia normalizado (0.01).
• Análisis de Transiciones: Las pruebas mostraron que el AISSM mantiene una alta precisión durante las transiciones de sacadas a fijación (donde la densidad de eventos cae), mientras que los modelos basados en RNN (como CNN-GRU) sufren una degradación rápida de rendimiento al depender demasiado de la observación actual de baja calidad.
• Estabilidad: El uso de la técnica de entrenamiento de largo alcance estabilizó la curva de aprendizaje y evitó la divergencia de precisión observada en modelos entrenados sin esta técnica.

5. Significado e Impacto

Este trabajo es significativo porque aborda una de las limitaciones fundamentales de los sensores de eventos en la visión por computadora: la inconsistencia en la densidad de datos.

• Eficiencia y Robustez: Demuestra que es posible lograr un seguimiento ocular de alta precisión y baja latencia sin depender de grandes volúmenes de datos o arquitecturas computacionalmente costosas (como Transformers masivos).
• Aplicabilidad en Dispositivos Edge: Al ser eficiente en parámetros y energía, el AISSM es ideal para dispositivos portátiles (wearables) y sistemas embebidos donde el consumo de energía y la latencia son críticos.
• Avance Teórico: Introduce un enfoque de inferencia adaptativa que imita mecanismos biológicos de atención y confianza, ofreciendo una alternativa superior a las RNN tradicionales para datos esparsos y variables en el tiempo.

En resumen, el AISSM establece un nuevo estado del arte en la estimación de características oculares basadas en eventos, resolviendo el problema de la variabilidad cinemática mediante una ponderación dinámica e inteligente de la información temporal.