GazeOnce360: Fisheye-Based 360{\deg} Multi-Person Gaze Estimation with Global-Local Feature Fusion

Resumo Técnico: GazeOnce360

1. Problema e Contexto

O artigo aborda o desafio de estimar a direção do olhar (gaze) de múltiplas pessoas em um cenário de 360°, capturado por uma única câmera fisheye montada em uma mesa e voltada para cima (upward-facing).

• Limitações das Abordagens Atuais: A maioria dos métodos existentes depende de câmeras frontais com pontos de vista restritos ou utiliza pipelines complexos de múltiplos passos para câmeras fisheye. Esses pipelines tradicionais envolvem etapas como projeção panorâmica, detecção de rostos e estimativa de olhar separada, o que gera:
  • Consumo excessivo de tempo.
  • Acúmulo de erros (erros na detecção afetam a estimativa de olhar).
  • Dificuldade de implantação e escalabilidade.
  • Problemas com distorção geométrica severa nas bordas da imagem fisheye, que pode dividir rostos nas fronteiras da projeção.
• O Cenário Específico: O uso de uma câmera fisheye voltada para cima em mesas é ideal para espaços colaborativos, balcões de recepção e robótica de serviço, mas carece de soluções robustas e end-to-end (de ponta a ponta).

2. Metodologia

Os autores propõem o GazeOnce360, um modelo end-to-end inovador que realiza a estimativa de olhar de múltiplas pessoas diretamente a partir da imagem fisheye distorcida, sem necessidade de reprojeto ou etapas intermediárias complexas.

A arquitetura baseia-se em três pilares principais:

• A. Convoluções Rotacionais (Rotational Convolutions):

  • Para lidar com a distorção radial extrema e as variações de ângulo de visão inerentes às imagens fisheye, o modelo integra convoluções rotacionais na camada superior da Rede de Pirâmide de Recursos (FPN).
  • Diferente das convoluções padrão (invariantes à transição), as convoluções rotacionais replicam o kernel em quatro orientações ortogonais e agregam as respostas, permitindo que a rede aprenda representações invariantes à rotação, essenciais para rostos que aparecem em diferentes ângulos ao redor da câmera.

• B. Arquitetura de Fusão de Recursos em Dupla Resolução (Dual-Resolution):

  • O modelo utiliza duas ramificações paralelas para equilibrar contexto global e detalhes locais:
    1. Ramo Global (Baixa Resolução): Processa a imagem fisheye inteira para capturar o layout espacial, a disposição da multidão e a geometria grosseira pessoa-câmera.
    2. Ramo Local (Alta Resolução): Processa recortes de alta resolução das faces detectadas para extrair características finas dos olhos e região periocular, cruciais para a precisão do olhar.
  • Fusão por Atenção Cruzada: Os recursos de baixa resolução atuam como queries e os recursos de alta resolução (descritores faciais compactos) atuam como keys e values. Um mecanismo de atenção cruzada funde essas informações, permitindo que o modelo foque nas regiões relevantes do contexto global usando os detalhes locais.

• C. Supervisão Multi-Tarefa:

  • O modelo é treinado para prever simultaneamente: confiança, caixas delimitadoras (bounding boxes), pose da cabeça, distância, direção do olhar e landmarks (pontos de referência) faciais e oculares.
  • A supervisão com landmarks oculares (centros dos olhos e pupilas) é particularmente importante para refinar a aprendizagem de características oculares, guiando a rede para representações espacialmente significativas.

3. Contribuições Principais

1. MPSGaze360 (Novo Dataset Sintético):

   • Os autores introduzem o primeiro dataset sintético em grande escala projetado especificamente para estimativa de olhar de múltiplas pessoas em 360° com configuração de câmera fisheye.
   • Renderizado com Unreal Engine 5 e MetaHuman, o dataset contém 23.496 imagens com 1 a 7 pessoas, cobrindo diversas etnias, idades, poses de cabeça e condições de iluminação.
   • Oferece anotações precisas em nível de pixel, incluindo vetores de olhar 3D, pose da cabeça, landmarks faciais e oculares, e distâncias, que seriam extremamente difíceis de obter manualmente no mundo real.

2. Modelo GazeOnce360:

   • Uma solução end-to-end que elimina a necessidade de pipelines multi-etapa, lidando diretamente com a distorção fisheye através de convoluções rotacionais e fusão de recursos.

3. Validação Experimental:

   • Demonstração de que a abordagem proposta supera os métodos existentes em precisão e eficiência, generalizando bem para imagens reais, mesmo sendo treinada apenas com dados sintéticos.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset MPSGaze360 e em imagens reais para validação.

• Desempenho Geral: O modelo alcançou um erro de direção do olhar (Gaze Error) de 8,94° no conjunto de teste padrão.
• Ablação de Componentes:
  • O uso de Convolução Rotacional reduziu significativamente os erros de pose e olhar em comparação com a linha de base.
  • A Supervisão com Landmarks Oculares foi o fator mais crítico para o ganho de precisão, reduzindo o erro de olhar para 8,89° quando combinada com a convolução rotacional.
  • A Arquitetura de Dupla Resolução manteve uma precisão quase idêntica à de um modelo de alta resolução pura (8,96° vs 8,94°), mas com 22% mais velocidade de inferência (16,23 FPS vs 13,30 FPS), provando a eficiência do método.
• Comparação com o Estado da Arte (GAM360):
  • Em cenários de teste desafiadores (cross-scene + cross-identity), o GazeOnce360 superou o método anterior GAM360 (que usa um pipeline multi-etapa) com um erro de olhar de 10,39° contra 18,96°, além de ser quase 4 vezes mais rápido (16,23 FPS vs 4,23 FPS).
• Generalização: O modelo demonstrou forte capacidade de generalização para imagens reais capturadas por câmeras fisheye, apesar de ter sido treinado exclusivamente com dados sintéticos.

5. Significado e Impacto

O trabalho GazeOnce360 representa um avanço significativo na área de interação humano-computador e análise comportamental em ambientes não controlados.

• Viabilidade Prática: Demonstra que é possível realizar estimativa de olhar de múltiplas pessoas em 360° de forma robusta, escalável e com baixo custo de implantação (apenas uma câmera), eliminando a necessidade de múltiplos dispositivos sincronizados.
• Solução para Distorção: A integração de convoluções rotacionais e fusão de recursos oferece um novo paradigma para processamento de imagens fisheye, indo além das técnicas tradicionais de reprojeção que introduzem descontinuidades.
• Recurso para a Comunidade: O lançamento do dataset MPSGaze360 preenche uma lacuna crítica, fornecendo um benchmark padronizado e anotado com precisão para pesquisas futuras em estimativa de olhar em cenários de visão panorâmica e upward-facing.

Em suma, o artigo estabelece uma fundação sólida para a implementação de sistemas de gaze estimation em robótica de serviço, escritórios colaborativos e interfaces de usuário em ambientes reais e dinâmicos.