GazeShift: Unsupervised Gaze Estimation and Dataset for VR

O artigo apresenta o GazeShift, um framework de estimativa de olhar não supervisionado e o dataset VRGaze, que juntos oferecem uma solução eficiente em tempo real e com poucos parâmetros para rastreamento de olhar em realidade virtual, superando a escassez de dados rotulados em configurações de câmeras off-axis.

O essencial

Imagine que você está usando um óculos de Realidade Virtual (VR) muito avançado. Para que o mundo virtual reaja ao que você está olhando, o óculos precisa saber exatamente para onde seus olhos estão apontando. Isso é chamado de estimativa de olhar (ou gaze estimation).

O problema é que ensinar um computador a fazer isso é como tentar adivinhar para onde uma pessoa está olhando apenas olhando para uma foto do olho dela, sem saber o que ela está vendo. Tradicionalmente, para treinar esses computadores, os cientistas precisavam de milhares de fotos com "etiquetas" manuais (dizendo: "neste momento, a pessoa olhava para a esquerda"). Isso é caro, demorado e difícil de fazer com precisão.

Aqui entra o trabalho chamado GazeShift, apresentado por pesquisadores da Samsung e da Universidade Bar-Ilan. Vamos explicar como eles resolveram isso usando uma analogia simples.

1. O Problema: A "Falta de Mapa" e a "Lente Torta"

Imagine que você quer ensinar um turista a navegar em uma cidade nova.

• O Problema dos Dados: Antes, os cientistas tinham apenas mapas de cidades antigas e planas (câmeras de frente, como em computadores), mas os óculos de VR modernos usam câmeras que ficam de lado e embaixo dos olhos (câmeras "off-axis"). É como tentar usar um mapa de Londres para navegar em Nova York: não funciona bem porque a perspectiva é diferente.
• A Solução (VRGaze): Os autores criaram o VRGaze, que é como um "mapa gigante" novo. Eles tiraram 2,1 milhões de fotos dos olhos de 68 pessoas usando óculos de VR reais. É o primeiro mapa desse tipo no mundo, feito especificamente para a geometria estranha dos óculos modernos.

2. A Grande Ideia: O "Mágico do Olhar" (GazeShift)

Agora, como ensinar o computador a ler o olhar sem usar aquelas etiquetas manuais chatas? Eles criaram o GazeShift.

Imagine que você tem duas fotos do mesmo olho de uma pessoa:

1. Foto A: O olho olhando para a esquerda.
2. Foto B: O olho olhando para a direita.

A maioria das coisas na foto (a cor da pele, as pálpebras, a forma do olho) é a mesma. A única coisa que mudou é a direção do olhar.

O GazeShift funciona como um mágico de ilusão de ótica:

• Ele pega a Foto A (o olho olhando para a esquerda).
• Ele recebe um "sinal mágico" (um código) que diz: "Transforme isso para parecer que está olhando para a direita".
• O mágico tenta transformar a Foto A para ficar idêntica à Foto B.

O Truque Inteligente:
Para fazer essa mágica funcionar, o computador precisa separar o que é "o olho" (a aparência) do que é "para onde ele está olhando" (o olhar).

• Ele tem um Cérebro de Aparência: que memoriza a cor da pele e a forma do olho.
• Ele tem um Cérebro de Olhar: que aprende a direção.
• Eles usam uma técnica chamada Atenção (como um holofote). O computador aprende a focar apenas na parte do olho que muda quando você olha para outro lado (a pupila e a íris) e ignora o resto.

Se o computador consegue transformar a Foto A na Foto B usando apenas o "Cérebro de Olhar", significa que ele aprendeu a entender o olhar perfeitamente, sem precisar que ninguém tenha dito "olha para a esquerda" antes. Ele aprendeu sozinho!

3. O Resultado: Rápido e Preciso

• Precisão: No teste, o sistema errou menos de 2 graus na média. É como tentar acertar um alvo e errar apenas um pouco. Isso é quase tão bom quanto os sistemas que usam etiquetas manuais.
• Velocidade: O sistema é tão leve que roda dentro do próprio chip do óculos de VR em apenas 5 milissegundos. É mais rápido que o tempo que você leva para piscar.
• Versatilidade: O mesmo sistema funciona bem em óculos de VR (onde a câmera é de lado) e também em câmeras normais de computador (onde a câmera é de frente), mesmo tendo sido treinado sem etiquetas.

4. Por que isso é importante?

Antes, para ter óculos de VR que respondem ao olhar, você precisava de um laboratório gigante com câmeras caras e horas de calibração. Com o GazeShift:

1. Não precisa de etiquetas: O sistema aprende sozinho observando as mudanças no vídeo.
2. Funciona em qualquer lugar: Serve para os óculos mais modernos, que têm câmeras em ângulos estranhos.
3. É leve: Roda em dispositivos pequenos e baratos, permitindo que jogos e interfaces de realidade virtual sejam mais imersivos e responsivos.

Resumo da Ópera:
Os autores criaram um novo "mapa" de olhos (VRGaze) e um "mágico" (GazeShift) que aprende a ler para onde você está olhando apenas observando como seu olho muda de posição, sem precisar de um professor humano para corrigi-lo. Isso torna a tecnologia de Realidade Virtual mais inteligente, rápida e acessível para todos.

Resumo técnico

Resumo Técnico: GazeShift e VRGaze

1. O Problema

A estimativa de olhar (gaze estimation) é fundamental para sistemas de Realidade Virtual (VR), permitindo renderização foveada, interfaces conscientes da atenção e interação sem as mãos. No entanto, o avanço nessa área enfrenta dois obstáculos principais:

• Escassez de Dados: A maioria dos conjuntos de dados existentes foi capturada com câmeras "on-axis" (alinhadas ao centro), enquanto os headsets modernos de VR utilizam câmeras "off-axis" (ângulos oblíquos) para reduzir obstruções visuais. Essa diferença geométrica causa distorções de perspectiva que impedem a transferência de modelos treinados em dados on-axis para ambientes VR reais.
• Dependência de Rótulos: A anotação manual de dados de olhar é difícil, cara e propensa a erros, pois a fixação em alvos intencionais não pode ser garantida devido a saccades involuntárias e incertezas de fixação. Métodos supervisionados exigem grandes quantidades de dados rotulados com precisão.

2. Metodologia

Os autores propõem uma solução dupla: um novo conjunto de dados e um novo framework de aprendizado.

A. VRGaze (Novo Conjunto de Dados)

• O primeiro conjunto de dados de grande escala para estimativa de olhar em VR com câmeras off-axis.
• Estatísticas: 2,1 milhões de imagens infravermelhas de olhos próximos (near-eye), capturadas de 68 participantes.
• Características: Imagens em 400x400 pixels a 30 fps, com diversidade demográfica (etnia, idade, gênero). Os dados foram coletados enquanto os participantes seguiam alvos móveis em um display VR, variando o brilho do fundo para elicitar diferentes dilatações pupilares.

B. GazeShift (Framework de Aprendizado Não Supervisionado)
O GazeShift é um framework baseado em atenção que aprende representações de olhar sem dados rotulados, utilizando uma tarefa pretext de redirecionamento de olhar (gaze redirection).

• Arquitetura:
  • Codificadores Separados: Utiliza dois codificadores distintos: um para aparência (que preserva a estrutura espacial da imagem fonte) e outro para olhar (que extrai um embedding latente do alvo). Isso facilita o disentanglement (desemaranhamento) entre a identidade/aparência do olho e a direção do olhar.
  • Redirecionamento por Atenção: O modelo tenta reconstruir a imagem de destino (com um novo olhar) a partir da imagem de fonte, condicionado ao embedding de olhar do destino. Utiliza mecanismos de Self-Attention e Cross-Attention para transformar as características de aparência com base no embedding de olhar, sem depender de priores geométricos complexos ou campos de deformação.
  • Loss Focada no Olhar (Gaze-Focused Loss): Em vez de uma perda de reconstrução uniforme (MSE), o método utiliza os mapas de atenção do próprio modelo para criar pesos adaptativos. Isso força o modelo a focar na reconstrução das regiões relevantes para o olhar (como a íris), ignorando ruídos periféricos (pálpebras, fundo). Um parâmetro de afinação ($\gamma$) controla a nitidez desse foco.
• Calibração: Após o pré-treinamento não supervisionado, uma calibração leve "few-shot" (poucos exemplos rotulados) é aplicada para mapear os embeddings latentes para ângulos de olhar 2D, adaptando-se a cada usuário individualmente.

3. Principais Contribuições

1. VRGaze: A liberação do primeiro dataset público de grande escala (2.1M imagens) com geometria off-axis típica de headsets VR modernos.
2. GazeShift: Um framework não supervisionado que aprende a redirecionar o olhar através de atenção cruzada, eliminando a necessidade de rótulos precisos durante o treinamento principal.
3. Eficiência e Generalização: Demonstração de que o método funciona tanto em câmeras próximas (VR) quanto remotas, com uma arquitetura extremamente leve e eficiente.

4. Resultados Experimentais

• Desempenho no VRGaze (VR Off-axis):

  • Com calibração por pessoa (few-shot), o GazeShift atingiu um erro médio de 1.84°, aproximando-se da acurácia de métodos supervisionados (1.54°) e superando significativamente a base não supervisionada anterior (Cross-Encoder: 2.15°).
  • Em cenários "person-agnostic" (sem calibração individual), o erro foi de 2.13°, ainda superior ao baseline.
  • Validação de Desemaranhamento: Análise de embeddings mostrou que as representações de olhar variam principalmente com a direção do olhar, enquanto as de aparência permanecem estáveis, confirmando o sucesso do disentanglement.

• Desempenho em Câmeras Remotas (MPIIGaze e Columbia):

  • O modelo generalizou bem para câmeras remotas, alcançando 7.15° de erro no MPIIGaze (com ResNet-18) e 8.00° com a versão leve (MobileNetV2).
  • Eficiência Computacional: A versão leve do GazeShift utiliza 10x menos parâmetros e 35x menos FLOPs (operações de ponto flutuante) do que o baseline Cross-Encoder, mantendo ou superando a precisão.

• Implantação em Dispositivo:

  • Implementado nativamente em um headset VR (GPU Exynos 2200/Xclipse 920), o tempo de inferência para ambos os olhos é de apenas 5 ms, permitindo aplicações em tempo real.

5. Significado e Conclusão

O trabalho resolve a lacuna crítica entre a pesquisa acadêmica de estimativa de olhar e a realidade dos dispositivos VR comerciais.

• Viabilidade Prática: Ao eliminar a dependência de grandes conjuntos de dados rotulados e fornecer um modelo leve que roda em tempo real em hardware de borda (headsets), o GazeShift torna a estimativa de olhar precisa acessível para aplicações comerciais de XR.
• Necessidade de Dados Off-axis: O estudo demonstra empiricamente que modelos treinados em dados on-axis (como OpenEDS) falham ao serem transferidos para VR off-axis, justificando a criação do VRGaze.
• Generalidade: A abordagem baseada em atenção para aprendizado de representações não supervisionadas pode ser estendida para outras tarefas onde variações de aparência codificam mudanças estruturadas (como pose da cabeça ou movimento facial).

Em resumo, o GazeShift oferece uma solução robusta, eficiente e escalável para o rastreamento de olhar em VR, combinando um novo dataset essencial com uma arquitetura de aprendizado profundo inovadora e não supervisionada.