Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling

Probleemstelling

Het extraheren van oogkenmerken (zoals de pupillimitiet of het centrum van de pupil) uit event-based datastromen biedt grote voordelen voor real-world eye-tracking, waaronder lage energieverbruik en hoge temporaliteit. Echter, bestaande methoden kampen met een fundamenteel probleem: de hoge variabiliteit in de kinematica van oogbewegingen.

• Saccades vs. Fixatie: Ogen vertonen periodes van snelle, ballistische bewegingen (saccades) die dichte bursts van gebeurtenissen (events) genereren met een hoog signaal-ruisverhouding (SNR). Deze worden afgewisseld met langzamere bewegingen of fixaties, waarbij er nauwelijks events zijn en het SNR laag is.
• Beperkingen van bestaande modellen:
  • Frame-gebaseerde camera's lijden onder motion blur en hoge bandbreedte-eisen.
  • RNN's (Recurrent Neural Networks) en CNN's die op recurrente elementen zijn gebaseerd, presteren vaak slecht bij abrupte veranderingen in event-dichtheid. Ze vertrouwen vaak te sterk op recente informatie of zijn computationally inefficiënt tijdens periodes met hoog SNR. Ze kunnen ook bias introduceren door onnodige historische context te gebruiken wanneer de huidige signalen sterk zijn, of juist falen wanneer de huidige signalen zwak zijn (tijdens fixatie).

Methodologie: Adaptive Inference State Space Model (AISSM)

De auteurs introduceren een nieuwe architectuur, het Adaptive Inference State Space Model (AISSM), gebaseerd op Bayesiaanse principes en geïnspireerd door de Kalman-filter. Het doel is om dynamisch de weging tussen huidige waarnemingen en historische informatie aan te passen.

De kerncomponenten van de methode zijn:

1. Bayesiaanse State Space Model Architectuur:

   • In plaats van een enkel latent vector te gebruiken, modelleert het systeem de toestand als een discrete, categorische verdeling.
   • Het model genereert twee distributies:
     • Posterior ($q_\theta(s_t|o_t)$): Gebaseerd op de huidige event-frame waarneming ($o_t$).
     • Prior ($p_\nu(s_t|h_t)$): Gebaseerd op de historische context via een recurrente dynamiek ($h_t$).
   • Het uiteindelijke geschatte toestand ($\bar{s}_t$) is een gewogen som van deze twee: $\bar{s}_t = \hat{\alpha}_t \cdot s^q_t + (1 - \hat{\alpha}_t) \cdot s^p_t$.

2. Dynamic Confidence Network (DCN):

   • Dit is een aanvullende module die de wegingsfactor $\hat{\alpha}_t$ (waarbij $\hat{\alpha}_t \in [0, 1]$) voorspelt.
   • De DCN schat de betrouwbaarheid van het huidige signaal op basis van twee factoren:
     • Signal-to-Noise Ratio (SNR): De verhouding tussen events binnen het gebied van belang (ROI rond de pupil) en events daarbuiten.
     • Event Density (ED): Het aantal events per pixel in de ROI.
   • Logica: Als de huidige event-dichtheid hoog is (bijv. tijdens een saccade), wordt $\hat{\alpha}_t$ hoog (vertrouwen op huidige data). Als de dichtheid laag is (bijv. tijdens fixatie), wordt $\hat{\alpha}_t$ laag, waardoor het model meer vertrouwen stelt in de historische prior.

3. Long-Horizon Training Technique:

   • Om het probleem van "stateless training" (waarbij de RNN-state bij elke batch wordt gereset) op te lossen, koppelen de auteurs de interne states (posterior, prior en recurrente state) direct aan elk trainingsitem in de dataset.
   • Hierdoor kan het model lange-termijn afhankelijkheden leren zonder dat de temporale coherentie verloren gaat tussen batches, wat de stabiliteit en nauwkeurigheid tijdens het trainen verbetert.

4. Trainingsdoel:

   • Het model wordt getraind om de oogkenmerken (pupilcentrum) te voorspellen met behulp van de Huber loss, wat robuust is tegen outliers.
   • Er wordt geen complexiteitsstraf (zoals KL-divergentie) gebruikt om de posterior en prior te laten samenvallen; ze worden bewust als onderscheidende bronnen van informatie (huidig vs. verleden) behandeld.

Kernbijdragen

• AISSM Architectuur: Een nieuw state space model dat dynamisch de weging tussen huidige en historische informatie aanpast op basis van geschatte signaalkwaliteit.
• Dynamic Confidence Network: Een module die de betrouwbaarheid van het huidige signaal schat via SNR en event-dichtheid, waardoor het model adaptief kan schakelen tussen "huidige waarneming" en "historische geheugen".
• Long-Horizon Training: Een trainingsstrategie die de staat van het model behoudt over trainingsitems heen, wat de efficiëntie en stabiliteit van het trainen van recurrente modellen voor eye-tracking aanzienlijk verbetert.
• State-of-the-Art Prestaties: Het bereiken van superieure resultaten op de 3ET+ dataset vergeleken met bestaande methoden zoals CNN-GRU, CB-ConvLSTM en MambaPupil.

Resultaten

De auteurs evalueerden hun model op de 3ET+ dataset (een grote, real-world dataset voor event-based eye-tracking) met een resolutie van 320x320 pixels. Alle modellen waren beperkt tot ongeveer 500.000 parameters voor een eerlijke vergelijking.

• Nauwkeurigheid: AISSM behaalde de beste scores op alle belangrijke metrieken:
  • P5 (voorspelling binnen 5 pixels): 46,85% (vs. 29,86% voor de tweede beste, CB-ConvLSTM).
  • P10: 72,38%.
  • P15: 85,41%.
  • Genormaliseerde afstandsfout: 0,01 (laagste fout).
• Analyse van Gedrag:
  • Figuur 2 in het paper toont dat tijdens de overgang van saccade naar fixatie (waar de event-dichtheid daalt), het CNN-GRU model snel prestatieverlies lijdt omdat het te veel vertrouwt op de huidige, lege waarneming.
  • AISSM daarentegen verhoogt dynamisch de weging van de historische informatie zodra de DCN een lage betrouwbaarheid voor de huidige frame detecteert, waardoor het aantal succesvolle voorspellingen ("hits") hoog blijft.
• Trainingsstabiliteit: Figuur 3 toont dat het gebruik van de Long-Horizon training leidt tot een stabielere nauwkeurigheid over tijd, zonder de divergentie die optreedt bij standaard training.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een oplossing biedt voor het fundamentele probleem van variabele signaalkwaliteit in event-based vision. Door de overgang van statische of strikt recurrente modellen naar een adaptief Bayesiaans framework, kunnen systemen nu efficiënter omgaan met de natuurlijke dynamiek van oogbewegingen.

• Toepassing: De methode maakt het mogelijk om nauwkeurigere, energiezuinige en low-latency eye-tracking systemen te bouwen voor draagbare apparaten en edge devices.
• Beperkingen: De auteurs erkennen dat de huidige implementatie twee netwerken vereist (AISSM + DCN), wat de inferentie-tijd en latentie kan verhogen.
• Toekomstig werk: Onderzoek richt zich op het optimaliseren van de inferentie-snelheid, mogelijk door de DCN te vervangen door een methode die onzekerheid direct uit de observatie afleidt, of door het gebruik van andere representatiemethoden (zoals disentangled representations) in plaats van categorische distributies om de rekentijd te verlagen.

Samenvattend biedt dit paper een robuust en adaptief kader voor de volgende generatie eye-tracking systemen die gebruikmaken van event-camera's.