Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling

1. Problématique

L'extraction de caractéristiques oculaires (comme le centre de la pupille) à partir de flux de données d'événements (caméras à événements ou DVS) offre des avantages majeurs en termes de faible latence et de consommation énergétique par rapport aux caméras à trames classiques. Cependant, une limitation critique persiste : la variabilité cinématique des mouvements oculaires.

• Le défi : Les mouvements oculaires alternent entre des phases de saccades (mouvements rapides générant une densité d'événements élevée et un rapport signal-sur-bruit ou SNR élevé) et des phases de fixation ou de poursuite lente (générant très peu d'événements et un SNR faible).
• La limite des modèles existants : Les architectures récurrentes classiques (RNN, LSTM) ou les modèles basés sur l'attention (Transformers) peinent à gérer ces transitions abruptes. Ils tendent soit à dépendre excessivement de l'historique (introduisant un biais lors des saccades rapides), soit à réagir trop lentement aux changements de densité d'événements, dégradant ainsi la précision de la prédiction lors des phases de faible activité.

2. Méthodologie : Le Modèle d'Inférence Adaptative (AISSM)

Les auteurs proposent une nouvelle architecture appelée Adaptive Inference State Space Model (AISSM). Ce modèle est conçu pour ajuster dynamiquement le poids relatif accordé aux informations actuelles (courantes) par rapport aux informations historiques, en fonction de la fiabilité du signal.

Architecture Principale

Le modèle repose sur une approche bayésienne inspirée du filtre de Kalman, structurée autour de trois composants clés :

1. Le Réseau de Confiance Dynamique (Dynamic Confidence Network - DCN) :

   • Ce module analyse l'observation actuelle (la trame d'événements) pour estimer sa fiabilité.
   • Il calcule un score de confiance ($\hat{\alpha}_t$) basé sur deux métriques : le Rapport Signal-sur-Bruit (SNR) et la Densité d'Événements (Event Density) au sein d'une région d'intérêt (ROI) autour de la pupille.
   • Le score $\hat{\alpha}_t$ varie entre 0 et 1, indiquant la confiance dans l'information présente.

2. Le Modèle d'État (State Space Model) :

   • Postérieur ($q_\theta$) : Un encodeur (CNN + MLP) traite l'observation actuelle pour produire une distribution de probabilité sur l'état latent présent ($s_t$).
   • Prior ($p_\nu$) : Un modèle de transition récurrent (RNN) prédit l'état futur basé sur l'historique ($h_{t-1}$ et $s_{t-1}$), représentant la connaissance passée.

3. Mécanisme d'Inférence Adaptative :

   • Au lieu de fusionner aveuglément le passé et le présent, le modèle combine les distributions du postérieur et du prior de manière linéaire pondérée par le score de confiance $\hat{\alpha}_t$ :
     $$\bar{s}_t = \hat{\alpha}_t \cdot s_t^{post} + (1 - \hat{\alpha}_t) \cdot s_t^{prior}$$
   • Logique : Si la densité d'événements est élevée (saccade, SNR élevé), $\hat{\alpha}_t \to 1$ : le modèle fait confiance à l'observation actuelle. Si la densité est faible (fixation), $\hat{\alpha}_t \to 0$ : le modèle s'appuie davantage sur l'historique pour maintenir la précision.

Technique d'Entraînement : Long-Horizon Training

Pour éviter le problème de réinitialisation de l'état récurrent à chaque lot d'entraînement (qui brise la dépendance temporelle), les auteurs proposent une technique d'entraînement à long horizon. Les états internes (postérieur, prior, état récurrent) sont stockés directement dans le jeu de données et réutilisés pour chaque instance lors de l'entraînement, permettant au modèle d'apprendre des dépendances temporelles sur de longues séquences sans perte d'information.

3. Contributions Clés

1. Architecture AISSM : Introduction d'un modèle d'espace d'état bayésien capable d'ajuster dynamiquement la pondération entre le passé et le présent en fonction de la qualité du signal (SNR et densité).
2. Réseau de Confiance Dynamique : Un module auxiliaire qui apprend à estimer la fiabilité de l'observation en temps réel, guidant le mécanisme d'inférence.
3. Technique d'Entraînement Innovante : La méthode "Long-Horizon Training" qui améliore l'efficacité et la stabilité de l'entraînement des modèles récurrents en préservant l'état entre les itérations.
4. Performance Supérieure : Démonstration empirique que cette approche surpasse les méthodes de l'état de l'art (SOTA) sur des données d'événements, notamment lors des transitions rapides entre les modes de mouvement oculaire.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données 3ET+, un benchmark standard pour le suivi oculaire basé sur les événements.

• Comparaison : Le modèle AISSM a été comparé à plusieurs baselines, notamment des CNN, des CNN-GRU, des CNN-Mamba, et des modèles spécialisés comme CB-ConvLSTM et MambaPupil.
• Métriques : Les performances ont été évaluées via les taux de succès de localisation à l'intérieur de rayons de 5, 10 et 15 pixels (P5, P10, P15) et l'erreur de distance normalisée.
• Résultats Chiffrés :
  • P5 (Précision à 5 pixels) : AISSM atteint 46.85%, surpassant largement le meilleur concurrent (CB-ConvLSTM à 29.86%).
  • P10 : AISSM atteint 72.38% contre 57.40% pour CB-ConvLSTM.
  • P15 : AISSM atteint 85.41% contre 71.94% pour CB-ConvLSTM.
  • Erreur de distance : AISSM affiche la plus faible erreur (0.01) avec une déviation standard très faible.
• Analyse des transitions : L'analyse visuelle (Figure 2) montre que lors des transitions saccade-fixation, les modèles RNN classiques (comme CNN-GRU) subissent une chute de performance lorsque la densité d'événements chute. En revanche, l'AISSM maintient sa précision en augmentant dynamiquement le poids de l'information historique.

5. Signification et Conclusion

Ce travail démontre que l'intégration d'un mécanisme d'inférence adaptative, inspiré des principes bayésiens et du contrôle actif, est cruciale pour traiter les flux de données d'événements non stationnaires.

• Impact : L'AISSM résout le compromis classique entre la réactivité (nécessaire pour les mouvements rapides) et la stabilité (nécessaire pour les phases de faible signal).
• Applications : Cette approche est particulièrement pertinente pour les dispositifs portables (wearables) et les systèmes embarqués où la consommation énergétique est critique et où les conditions de mouvement sont imprévisibles.
• Limites et Perspectives : Les auteurs notent que l'utilisation de deux réseaux (AISSM + DCN) pourrait augmenter la latence d'inférence. Les travaux futurs visent à optimiser cette architecture, potentiellement en intégrant l'incertitude directement dans le modèle principal plutôt que via un réseau séparé, et à explorer des représentations de données plus efficaces que la distribution catégorielle actuelle.

En résumé, cette recherche établit une nouvelle référence pour le suivi oculaire basé sur les événements, prouvant que l'adaptation dynamique à la densité d'information est la clé pour atteindre une précision robuste dans des scénarios réels.