Enhancing Eye Feature Estimation from Event Data Streams through Adaptive Inference State Space Modeling

Resumo Técnico: Modelagem de Espaço de Estados com Inferência Adaptativa para Estimativa de Recursos Oculares em Dados de Eventos

1. O Problema

A extração de recursos oculares (como o centroide da pupila ou a borda da íris) a partir de fluxos de dados baseados em eventos (Event Cameras/DVS) oferece vantagens significativas em relação às câmeras baseadas em quadros (frame-based), incluindo baixa latência, alto consumo de energia reduzido e alta resolução temporal. No entanto, os métodos atuais enfrentam um desafio crítico: a variabilidade cinemática dos movimentos oculares.

• Movimentos Rápidos (Saccades): Geram explosões densas de eventos com alta relação sinal-ruído (SNR).
• Movimentos Lentos/Fixação: Geram poucos eventos, resultando em baixa SNR e densidade de eventos.

Modelos tradicionais, como Redes Neurais Recorrentes (RNNs) ou CNNs com elementos recorrentes, tendem a falhar nessas transições. Eles frequentemente dependem excessivamente do histórico (contexto temporal), o que introduz viés e latência desnecessária durante movimentos rápidos de alta SNR, ou falham em manter a precisão quando a densidade de eventos cai durante a fixação, pois não conseguem adaptar-se dinamicamente à qualidade do sinal atual.

2. Metodologia Proposta

Os autores propõem o Modelo de Espaço de Estados com Inferência Adaptativa (AISSM - Adaptive Inference State Space Model), uma arquitetura Bayesiana inovadora projetada para ponderar dinamicamente a importância das informações atuais versus as informações históricas.

O sistema é composto pelos seguintes módulos principais:

• AISSM (Núcleo do Modelo):

  • Diferente das inferências variacionais padrão que colapsam distribuições, o AISSM trata a distribuição posterior (informação atual) e a distribuição a priori (história/recorrência) como entidades separadas.
  • Utiliza uma representação de estado latente discreta (distribuição categórica) em vez de vetores contínuos.
  • O estado final é uma combinação linear ponderada: $\bar{s}_t = \hat{\alpha}_t \times s^q_t + (1 - \hat{\alpha}_t) \times s^p_t$, onde $s^q_t$ é o estado atual e $s^p_t$ é o estado histórico.

• Rede de Confiança Dinâmica (Dynamic Confidence Network):

  • Este módulo é responsável por calcular o termo de ponderação $\hat{\alpha}_t$ (um valor entre 0 e 1).
  • Ele estima a "confiança" do sinal atual baseando-se em duas métricas calculadas a partir do quadro de eventos:
    1. Relação Sinal-Ruído (SNR): Razão entre eventos dentro de uma Região de Interesse (ROI) e eventos fora dela.
    2. Densidade de Eventos (ED): Razão entre o número de eventos na ROI e o número de pixels na ROI (normalizado).
  • Se a confiança for alta (movimento rápido), o modelo confia mais no dado atual. Se for baixa (fixação), o modelo confia mais no histórico.

• Técnica de Treinamento de Longo Horizonte (Long-Horizon Training):

  • Para resolver o problema de "treinamento sem estado" (stateless training) comum em RNNs, onde o estado é reiniciado a cada lote, os autores armazenam e reutilizam os estados do modelo (posteriores, anteriores e estados recorrentes) diretamente nos itens do conjunto de dados. Isso permite que o modelo aprenda dependências temporais mais longas e estáveis sem interferência entre comportamentos de olhar independentes.

3. Principais Contribuições

1. Arquitetura AISSM: Introdução de um modelo de espaço de estados Bayesiano que adapta dinamicamente a ponderação entre passado e presente, superando as limitações de RNNs fixas em cenários de SNR variável.
2. Rede de Confiança Dinâmica: Um mecanismo supervisionado que aprende a estimar a confiabilidade do sinal em tempo real com base na densidade de eventos e SNR, eliminando a necessidade de heurísticas manuais.
3. Método de Treinamento: Uma nova técnica de treinamento que preserva o estado temporal entre lotes, melhorando a eficiência e a estabilidade da convergência do modelo.
4. Desempenho Superior: Demonstração empírica de que a abordagem supera os métodos mais recentes (SOTA) em extração de recursos oculares baseados em eventos.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados 3ET+, utilizando uma resolução de 320x320 pixels e limitando todos os modelos a aproximadamente 500.000 parâmetros para comparação justa.

• Métricas de Desempenho: O AISSM superou consistentemente os baselines (incluindo CNN-GRU, CB-ConvLSTM e MambaPupil) em todas as métricas:
  • P5 (Precisão dentro de 5 pixels): 46,85% (vs. 29,86% do melhor baseline anterior, CB-ConvLSTM).
  • P10: 72,38% (vs. 57,40%).
  • P15: 85,41% (vs. 71,94%).
  • Erro de Distância Normalizado: 0,01 (o menor entre todos os modelos).
• Análise de Transição: Gráficos de densidade de eventos vs. sucesso de previsão mostraram que, enquanto modelos baseados em RNN (como CNN-GRU) sofrem degradação rápida durante a transição de saccada para fixação (queda de eventos), o AISSM mantém a precisão ao aumentar automaticamente o peso das informações históricas quando a confiança no sinal atual cai.
• Estabilidade: O uso da técnica de treinamento de longo horizonte resultou em uma curva de aprendizado mais estável e evitou a divergência de precisão observada em modelos treinados sem essa técnica.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na visão computacional baseada em eventos para rastreamento ocular. Ao tratar a incerteza do sinal de forma adaptativa e Bayesiana, o AISSM resolve o dilema fundamental entre latência (confiar no presente) e robustez (confiar no passado) em sistemas de rastreamento ocular.

A capacidade de operar com alta eficiência energética e baixa latência, mantendo alta precisão mesmo em condições de baixa densidade de eventos, torna esta arquitetura particularmente promissora para dispositivos vestíveis (wearables) e sistemas de computação de borda (edge computing), onde o consumo de energia e a latência são críticos. O código-fonte foi disponibilizado publicamente para facilitar a reprodução e o avanço futuro na área.