Resumo Técnico: GazePrior

Declaração do Problema

O rastreamento ocular (ET) é uma tecnologia fundamental para aplicações avançadas de Realidade Aumentada (AR) e Realidade Virtual (VR), habilitando recursos como renderização foveada e interação baseada no olhar. No entanto, o treinamento de modelos de aprendizado profundo para ET é prejudicado pelo alto custo e tempo necessários para coletar dados do mundo real com verdade de base de alta qualidade para cada nova geração de dispositivos. À medida que as configurações de hardware (posicionamento da câmera, resolução) evoluem, novos conjuntos de treinamento compostos por milhões de quadros tornam-se necessários. Métodos existentes de geração de dados sintéticos frequentemente carecem de realismo, enquanto dados reais obtidos por meio de crowdsourcing carecem de precisão. Além disso, as abordagens semissintéticas atuais que tentam sintetizar imagens oculares frequentemente dependem de máscaras de globo ocular explícitas e rotações rígidas, ignorando o acoplamento intrincado entre o globo ocular, as pálpebras e as características faciais circundantes, o que degrada a plausibilidade física e a precisão.

Metodologia

Os autores propõem o GazePrior, uma abordagem zero-shot que aproveita um prior 3D de olhar aprendido para sintetizar dados de treinamento de alta fidelidade para novos dispositivos de ET utilizando apenas dados de entrada esparsos de dispositivos existentes. O método consiste em duas etapas principais:

1. Aprendizado de um Prior 3D de Olhar Desacoplado (Pré-treinamento)

Inspirado por métodos de avatar 3D, os autores treinam um Campo de Radiância Neural (NeRF) condicional que modela a distribuição de olhos humanos através de diversas identidades, direções de olhar e condições de iluminação.

• Campo de Radiância Condicional: A rede $\Psi$ recebe um ponto 3D $x$, direção de visão $v$ e incorporações latentes para identidade do sujeito ($\hat{s}$), direção do olhar ($\hat{g}$) e iluminação ($\hat{l}$). Ela produz densidade $\sigma$ e cor $c$.
• Desacoplamento: A arquitetura desacopla explicitamente esses fatores. A rede de densidade depende da identidade e do olhar, mas é independente da iluminação ($\hat{l}$), enquanto a rede de cor depende de todos os três. Isso garante que a consistência geométrica não seja confundida por mudanças de iluminação.
• Representações Latentes:
  • Sujeito ($\hat{s}$): Um vetor de livro de códigos aprendível para cada identidade, incentivando uma representação compartilhada de baixa frequência que atua como regularizador contra artefatos (flutuadores).
  • Olhar ($\hat{g}$): Diferentemente de modelos de rotação rígida do globo ocular, o olhar é codificado via codificação sinusoidal do vetor de olhar de verdade de base. Isso permite que a rede aprenda os movimentos não rígidos das pálpebras e sobrancelhas acoplados às mudanças de olhar.
  • Iluminação ($\hat{l}$): Um vetor de livro de códigos aprendível que afeta apenas a saída de cor, garantindo que a geometria reconstruída permaneça invariante à iluminação.
• Treinamento: O modelo é pré-treinado em um grande conjunto de dados (Lin et al. [11]) contendo mais de 400 sujeitos com imagens multivista, olhares variados e iluminação, utilizando uma função de perda que combina reconstrução RGB, perda perceptual e divergência KL para regularizar o espaço latente.

2. Redirecionamento com Entrada Esparsa (Ajuste Fino)

Para adaptar o prior a um novo dispositivo alvo (por exemplo, um headset com uma configuração de câmera diferente), o método realiza uma otimização em duas etapas em imagens de origem esparsas (por exemplo, 4 vistas) de um headset existente:

1. Otimização Latente: Com os pesos da rede pré-treinada congelados, o sistema otimiza os códigos latentes específicos ($\hat{s}_I, \hat{l}_I$) para o novo sujeito e iluminação para ajustar às vistas de origem esparsas. A incorporação de olhar de verdade de base $\hat{g}_I$ é computada a partir das anotações conhecidas e mantida fixa.
2. Ajuste Fino: Os pesos da rede são descongelados e otimizados conjuntamente com os códigos latentes para capturar detalhes específicos da pessoa e refinar a reconstrução.
3. Síntese: O campo de radiância de alta fidelidade resultante é renderizado a partir da perspectiva das câmeras do dispositivo alvo. Isso gera imagens de treinamento sintéticas que mantêm as anotações de olhar de verdade de base originais, mas correspondem às características ópticas do novo dispositivo.

Contribuições Principais

• Primeiro Prior de Olhar Aprendido: O artigo introduce o primeiro prior 3D de olhar que desacopla sujeito, olhar e luz, apresentando movimentos de pálpebras biologicamente precisos sem depender de máscaras de globo ocular explícitas ou rotações rígidas.
• Reconstrução 3D com Vistas Esparsas: O método permite síntese de novas vistas de alta qualidade a partir de entradas extremamente esparsas (tão poucas quanto 2-4 vistas), uma melhoria significativa sobre métodos anteriores que exigiam capturas multivistas densas.
• Síntese de Dados Zero-Shot: Fornece um pipeline para gerar dados de treinamento para novos dispositivos AR/VR sem coletar nenhum dado real novo, efetivamente fechando a lacuna de domínio entre hardware legado e novo.
• Desempenho Superior: Os dados sintetizados permitem que modelos de ET alcancem maior precisão e robustez em comparação com modelos treinados em dados de bases de síntese concorrentes.

Resultados Experimentais

Os autores avaliaram o GazePrior usando o headset Aria como dispositivo alvo e compararam-no com bases de estado da arte (ControllableGaze [10], Lin et al. [11]).

• Síntese de Novas Vistas (NVS): Em avaliações quantitativas (PSNR, SSIM, MSE), o GazePrior superou significativamente as bases à medida que o número de vistas de entrada diminuía. Com apenas 2 vistas de entrada, o GazePrior alcançou uma diferença de desempenho de quase 10 dB sobre a melhor base. Resultados qualitativos mostraram que o GazePrior produziu detalhes de alta fidelidade (cílios, pálpebras) com uma lacuna de domínio mínima em comparação com capturas reais do Aria, enquanto as bases exibiam flutuadores e artefatos.
• Desempenho de Rastreamento Ocular: Um modelo de ET treinado em dados sintetizados pelo GazePrior alcançou um erro médio de ângulo de olhar de 5,85° em dados de teste reais do Aria. Isso representa uma melhoria substancial sobre as bases (12,53° e 12,69°) e aproxima-se do desempenho de um modelo treinado em dados reais específicos do dispositivo (4,35°).
• Estudos de Ablação: O estudo confirmou que espaços latentes desacoplados e a separação da iluminação da densidade são críticos. O uso de um único vetor latente ou tornar a densidade dependente da luz resultou em quedas significativas de desempenho. A codificação sinusoidal de olhar provou ser mais eficaz do que livros de códigos aprendidos para o olhar.

Significado e Alegações

O artigo alega que o GazePrior aborda os custos proibitivos de coleta de dados para novos dispositivos AR/VR, permitindo uma abordagem zero-shot para rastreamento ocular. Ao aproveitar conjuntos de dados anotados existentes de headsets mais antigos e redirecioná-los por meio de um prior 3D aprendido, o método permite que desenvolvedores:

1. Treinem rastreadores oculares robustos para novos dispositivos antes que eles sejam fisicamente construídos.
2. Avaliem como o posicionamento da câmera impacta o desempenho sem prototipagem física.
3. Alcançem alta precisão sem a necessidade de campanhas caras e em grande escala de coleta de dados.

Os autores posicionam este trabalho como um passo fundamental para desbloquear recursos avançados como renderização foveada e interações de pinça com o olhar em XR, removendo o gargalo de coleta de dados que atualmente impede a iteração rápida no campo. Eles reconhecem limitações, como a dificuldade de simular brilhos corneanos de alta frequência com campos de radiância, mas enfatizam o sucesso do método em gerar dados de treinamento diversos e realistas que superam as técnicas de síntese existentes.