Low Latency Gaze Tracking via Latent Optical Sensing

Declaração do Problema

Os sistemas convencionais de rastreamento de olhar dependem de câmeras de alta resolução para capturar imagens completas do olho, seguidas por inferência de redes neurais profundas. Embora precisos, essa abordagem introduz sobrecarga significativa de sensoriamento, largura de banda e computação devido à necessidade de ler e processar milhões de pixels. Essa latência frequentemente excede o limite de 5 ms exigido por displays vestíveis de AR/VR de próxima geração para suportar interação em tempo real e renderização foveada sem interromper a imersão do usuário. Soluções existentes leves ou baseadas em eventos muitas vezes ainda requerem agregação temporal ou reconstrução semelhante a imagem, falhando em eliminar o gargalo fundamental da aquisição e processamento de imagem de quadro completo.

Metodologia

Os autores propõem um sistema óptico totalmente passivo que contorna a formação explícita de imagem por completo. Em vez de capturar uma imagem densa, o sistema realiza codificação óptica orientada a tarefas para adquirir diretamente uma representação latente compacta e de baixa dimensão do olho.

1. Codificador Óptico e Arquitetura de Hardware
O núcleo do sistema é um "codificador óptico latente" composto por três componentes principais:

• Matriz de Microlentes (MLA): Uma matriz de lentes de Fresnel que reduz a imagem do olho.
• Máscara Binária de Cromo: Uma máscara binária co-projetada colocada no plano focal da MLA.
• Matriz de Fototransistores: Uma matriz 4×4 (16 elementos) que captura as medições ópticas multiplexadas espacialmente.
  A luz do olho passa pela MLA e é modulada pela máscara binária. A intensidade codificada resultante é capturada diretamente pelos fototransistores, produzindo um vetor de medição de 16 dimensões. Este hardware é integrado a um FPGA para aquisição rápida de sinal.

2. Framework de Treinamento End-to-End
O sistema é treinado usando um pipeline de simulação para realidade que otimiza conjuntamente as máscaras de codificação óptica e a rede de inferência digital:

• Emulação Digital: Um codificador digital diferenciável $\tilde{E}$ simula o processo óptico usando 16 máscaras binárias aprendíveis (resolução $256 \times 256$) aplicadas a imagens de entrada do olho.
• Destilação Latente: Para garantir que as 16 medições contenham informações suficientes, o sistema emprega uma abordagem de destilação "professor-aluno". Uma rede professora ($P_T$) inverte um gerador StyleGAN2 pré-treinado para mapear imagens do olho para um espaço latente de 256 dimensões ($h_T$) e prevê o olhar. Um decodificador aluno ($P$) é treinado para mapear o vetor comprimido de 16 medições diretamente para esse mesmo espaço latente ($h$), bem como para prever a direção do olhar ($\hat{g}$) e uma bandeira de validade ($\hat{v}$).
• Função de Perda: O objetivo de treinamento combina regressão de olhar supervisionada, classificação de validade, destilação de olhar (correspondendo à previsão de olhar do professor) e destilação de características (correspondendo à representação latente do professor).
• Aumento de Dados: Para abordar o viés de identidade e a diversidade limitada do conjunto de dados, os autores usam inpainting generativo (modelo de difusão Flux com SAM3 e ControlNet) para variar a aparência periocular (tom de pele, iluminação) enquanto preservam o rótulo de olhar verdadeiramente correto.

3. Direcionamento de Olhar
O framework inclui uma rede de controle que pode direcionar o olhar no espaço latente. Ao prever um deslocamento residual ($\Delta h$ ou $\Delta w^+$) com base nos vetores de olhar de origem e destino, o sistema pode editar a representação latente para alterar a direção do olhar enquanto preserva a identidade do sujeito, demonstrando que as características aprendidas desacoplam efetivamente o olhar da aparência.

Principais Contribuições

1. Framework de Espaço Latente End-to-End: Um framework inovador que otimiza conjuntamente a codificação óptica passiva e a decodificação neural, permitindo inferência direta de olhar a partir de 16 medições escalares sem reconstruir imagens completas do olho.
2. Protótipo de Hardware Compacto: Um sistema de sensoriamento óptico de disparo único utilizando uma MLA, máscaras binárias otimizadas e uma matriz de fototransistores 4×4 com aquisição FPGA. Este design alcança uma latência end-to-end de 3,4 ms (incluindo sensoriamento e computação).
3. Pipeline de Simulação para Realidade: Uma estratégia de avaliação em duas etapas alcançando um erro de simulação entre sujeitos de 6,47° e um erro no mundo real por sujeito calibrado abaixo de 6° usando apenas 12–15 pontos de calibração.

Resultados

• Precisão vs. Eficiência: No conjunto de dados ETH-XGaze, o método proposto alcança um erro angular de 6,47° usando apenas 16 medições e um MLP leve (0,244M parâmetros, 0,49M FLOPs).
  • Comparado a uma baseline ResNet18 16×16, reduz a dimensionalidade de sensoriamento em 16×, parâmetros em ~48× e computação em ~573×.
  • Comparado a uma baseline ResNet18 256×256, reduz a dimensionalidade de sensoriamento em 4096× e computação em ~9300×.
  • Supera backbones compactos como MobileNetV3 e EfficientNet-B0 em termos de eficiência de parâmetros e FLOPs, mantendo precisão competitiva.
• Latência: O sistema demonstra uma latência total end-to-end de 3,4 ms em uma CPU (3,19 ms para sensoriamento/aquisição óptica + 0,22 ms para inferência). Isso supera significativamente os sistemas móveis de borda baseados em imagem convencionais (tipicamente dezenas de milissegundos) e aproxima-se do desempenho de rastreadores comerciais de alta velocidade especializados (por exemplo, EyeLink 1000 Plus).
• Desempenho no Mundo Real: Com ajuste fino específico do sujeito usando 12 pontos de calibração, o sistema alcança um erro angular médio de 5,96°, com alguns sujeitos atingindo 4,5°.
• Privacidade: O sistema preserva a privacidade capturando apenas características latentes relevantes para a tarefa em vez de imagens biométricas do olho, conforme demonstrado pela incapacidade de reconstruir a identidade do sujeito a partir das medições.

Significado e Alegações

O artigo alega que deslocar a extração de características para o domínio óptico por meio de design orientado a tarefas oferece um caminho viável para rastreamento de olhar de latência ultra-baixa e eficiente energeticamente. Ao eliminar a necessidade de leitura de imagem de alta largura de banda e processamento computacional pesado, o sistema atende aos requisitos estritos de latência <5 ms para aplicações XR imersivas. Os autores enfatizam que, embora o protótipo atual seja uma prova de conceito, a drástica redução no volume de dados (de megapixels para 16 escalares) sugere um caminho claro para implementações altamente eficientes energeticamente em futuros dispositivos vestíveis operados por bateria. O trabalho destaca o potencial de "sensoriamento como inferência" para substituir a formação de imagem convencional para tarefas específicas de visão computacional.