EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset

Este trabalho apresenta o conjunto de dados EgoCampus e o modelo EgoCampusNet, que utilizam óculos com rastreamento ocular para prever a atenção visual de pedestres em ambientes externos, preenchendo uma lacuna em estudos anteriores focados principalmente em cenários internos.

O essencial

Imagine que você está caminhando por um campus universitário movimentado. Você olha para a esquerda para ver um prédio bonito, para a direita para evitar um colega, e continua olhando para frente para não tropeçar. Onde seus olhos vão? Por que você olha para aquilo e não para outra coisa?

Este artigo, chamado EgoCampus, é como um "diário de bordo" super detalhado desse tipo de experiência, mas com um toque de tecnologia futurista. Vamos descomplicar o que os pesquisadores da Universidade Rutgers descobriram:

1. O Problema: O "GPS" dos Olhos

Antes, os cientistas estudavam para onde as pessoas olhavam apenas em laboratórios, olhando para telas de computador ou em tarefas de cozinha. Era como tentar entender como um piloto voa um avião apenas olhando para um simulador estático. Mas a vida real é dinâmica! Ninguém fica parado.

Os pesquisadores queriam saber: Para onde as pessoas olham enquanto caminham pelo mundo real? Para responder a isso, eles precisavam de dados de "olhos em movimento".

2. A Solução: Óculos Mágicos e um "Mapa de Olhares"

Eles criaram algo chamado EgoCampus.

• Os "Olhos" Digitais: Eles usaram óculos inteligentes (os Project Aria da Meta) que funcionam como uma câmera de corpo inteiro. Esses óculos não só gravam o que você vê (vídeo), mas também rastreiam exatamente para onde seus olhos estão apontando, além de medir como você se move (aceleração, GPS, etc.).
• A Grande Coleta: Eles pediram para mais de 80 pessoas caminharem por 25 caminhos diferentes no campus da universidade. Imagine 80 pessoas fazendo uma "passeata científica" por 6 quilômetros de trilhas.
• O Resultado: Eles têm 32 horas de vídeo onde cada quadro tem um "ponto vermelho" indicando exatamente onde a pessoa estava olhando naquele milésimo de segundo. É como ter um mapa de calor de onde a atenção humana viaja.

3. A "Cérebro" Artificial: EgoCampusNet

Com tantos dados, eles criaram um modelo de Inteligência Artificial chamado EgoCampusNet.

• A Analogia do Detetive: Pense no modelo como um detetive muito esperto. Ele não olha apenas para a foto atual (o que você vê agora). Ele olha para os últimos segundos de vídeo (o que você viu antes) e combina isso com a foto atual para adivinhar: "Ok, a pessoa estava olhando para o prédio, agora virou a cabeça para a esquerda... provavelmente vai olhar para aquele poste ou para o colega que está vindo."
• A Lição: O modelo aprendeu que, ao caminhar, as pessoas tendem a olhar para o centro (para onde estão indo), mas também olham para marcos importantes (árvores, prédios) e para obstáculos (outras pessoas).

4. O Que Eles Descobriram?

• O "Viés do Centro": Quando caminhamos, nossos olhos tendem a ficar fixos no centro da visão (o caminho à frente). É como se o cérebro dissesse: "Fique focado no caminho para não cair". O modelo aprendeu isso muito bem.
• O Que Chama a Atenção: Quando as pessoas viram a cabeça rapidamente (para olhar algo lateral), elas geralmente olhavam para marcos estruturais (como um prédio famoso ou uma árvore grande) ou para transições de navegação (onde o caminho muda). Não é aleatório; é estratégico.
• Modelos Antigos vs. Novos: Eles testaram modelos de IA antigos. A maioria falhou porque foi treinada em fotos estáticas ou vídeos de cozinha. Eles não sabiam lidar com a complexidade de caminhar na rua. O novo modelo deles (EgoCampusNet) foi muito melhor, mas ainda tem espaço para melhorar.

5. Por Que Isso Importa? (O Futuro)

Imagine um robô de entrega ou um carro autônomo andando na calçada.

• Se o robô soubesse para onde os pedestres estão olhando, ele poderia prever o que eles vão fazer.
• Se o robô vê que uma pessoa olhou para a esquerda, ele sabe que aquela pessoa pode virar a esquina.
• Isso torna a interação entre humanos e máquinas muito mais segura e natural. É como dar ao robô a capacidade de "ler a mente" visual do pedestre.

Resumo em uma Frase

Os pesquisadores criaram um banco de dados gigante de "olhos em movimento" enquanto pessoas caminham na rua e usaram isso para ensinar uma Inteligência Artificial a prever para onde olharemos a seguir, ajudando a criar robôs e carros que entendem melhor o comportamento humano no mundo real.

Eles estão disponibilizando esses dados e o código para que outros cientistas possam usar e melhorar essa tecnologia no futuro!

Resumo técnico

1. Problema e Motivação

O trabalho aborda o desafio de prever a atenção visual humana durante a navegação em ambientes do mundo real. Embora existam pesquisas anteriores sobre rastreamento ocular, a maioria foca em tarefas restritas (como olhar para imagens estáticas ou vídeos de tela) ou em ambientes internos estruturados (como cozinhas).

• Lacuna Identificada: Há uma falta de dados e modelos robustos para prever o olhar de pedestres em movimento em ambientes externos (ao ar livre), onde a atenção é dividida entre objetos salientes e informações relevantes para a tarefa de navegação.
• Objetivo: Criar um conjunto de dados e um modelo capaz de capturar e prever o comportamento de olhar (gaze) de pedestres enquanto navegam por rotas universitárias ao ar livre, integrando dados visuais, de movimento e de localização.

2. Contribuições Principais

Os autores apresentam duas contribuições fundamentais:

1. EgoCampus (Dataset): Um novo conjunto de dados multimodal e egocêntrico.

   • Escala: Coletado de 82 participantes distintos percorrendo 25 rotas únicas em um campus universitário (6 km no total).
   • Duração: Aproximadamente 32 horas de vídeo (cerca de 3,5 milhões de quadros).
   • Hardware: Utilização dos óculos Meta Project Aria, que capturam simultaneamente:
     • Vídeo RGB de alta resolução (1408x1408 a 30Hz).
     • Coordenadas de rastreamento ocular (olho).
     • Dados de sensores inerciais (IMU), magnetômetro, barômetro, GPS e sinais Wi-Fi/Bluetooth.
   • Privacidade: Implementação de algoritmos de ofuscação (EgoBlur) para proteger a identidade de transeuntes não participantes.
   • Diferenciais: Ao contrário de datasets anteriores (como Ego4D ou GEETUP), o EgoCampus foca exclusivamente em locomoção de pedestres ao ar livre, oferece trajetórias contínuas mais longas (média de 108s por clipe) e inclui dados de sensores ricos e sincronizados.

2. EgoCampusNet (ECN - Modelo): Uma nova arquitetura de rede neural para prever o olhar a partir de vídeo egocêntrico.

   • Abordagem: O modelo assume que informações passadas (vídeo) influenciam o comportamento futuro do olhar.
   • Arquitetura:
     • Utiliza um backbone de vídeo pré-treinado (X3D) para extrair características espaço-temporais.
     • Extrai características da imagem de consulta (geralmente o último quadro) usando um codificador de imagem (ResNet).
     • Fusão: Combina as características espaço-temporais do vídeo com as características da imagem de consulta através de blocos CNN leves.
     • Decodificação: Um decodificador CNN gera um mapa de calor de olhar (gaze heatmap) com as mesmas dimensões espaciais da entrada.

3. Metodologia e Processamento

• Coleta de Dados: Os participantes seguiram rotas pré-definidas (ida e volta) em diferentes horários, estações e condições climáticas.
• Processamento:
  • Sincronização temporal rigorosa entre o vídeo (30Hz) e os dados de rastreamento ocular e IMU (1000Hz).
  • Os dados de alta frequência (IMU) foram agregados (média) para corresponder aos quadros de vídeo.
  • O vídeo foi redimensionado para 224x224 para treinamento, mantendo os dados brutos disponíveis.
• Treinamento: O modelo foi treinado no PyTorch com um único GPU NVIDIA RTX 3090, utilizando o otimizador ADAM e perda MSE (Erro Quadrático Médio) por 10 épocas.
• Divisão dos Dados: 70% para treino e 30% para teste, com separação baseada em caminhos (16 caminhos para treino, 9 para teste) para evitar vazamento de dados entre rotas.

4. Resultados e Avaliação

Os autores compararam o ECN com modelos existentes de predição de saliência (como EML-Net, SUM, GLC, DeepGazeIIE) e baselines simples (viés de centro e prioridade do dataset).

• Métricas Utilizadas: AUC-Judd, Correlação de Pearson (CC), Divergência Kullback-Leibler (KLD), Similaridade (SIM) e métricas de classificação (F1, Precisão, Recall).
• Desempenho Bruto: O modelo GLC (baseado em transformers e grandes backbones) obteve o melhor desempenho geral, seguido pelo ECN. O ECN demonstrou ser uma base eficiente, alcançando resultados competitivos com um número significativamente menor de parâmetros (42,5M vs. centenas de milhões em outros modelos).
• Análise de Viés (Center Bias): O dataset apresenta um forte viés de centro (os pedestres tendem a olhar para o centro da imagem, na direção do movimento).
  • Ao aplicar uma estratégia de ponderação relativa ao prior (que penaliza modelos que apenas exploram o viés de centro), o desempenho de modelos dependentes de prioridade caiu drasticamente.
  • O ECN e o GLC mostraram maior robustez, mantendo ou melhorando o desempenho em métricas ponderadas, indicando que conseguem capturar desvios ativos de atenção (olhar para o lado, para pedestres, etc.).
• Resultados Qualitativos: O ECN produz mapas de calor mais focados e centrados no ponto de olhar real, enquanto outros modelos tendem a superestimar a área de olhar ou focar excessivamente em rostos de outras pessoas (o que nem sempre é o alvo principal na navegação egocêntrica).

5. Significado e Impacto

• Recurso para IA Embarcada e Robótica: O dataset e o modelo são cruciais para o desenvolvimento de agentes autônomos e robôs que operam em espaços compartilhados com humanos. A capacidade de prever para onde um pedestre olhará permite uma navegação mais segura e cooperativa.
• Avanço Científico: O trabalho avança além de benchmarks de quadros isolados, introduzindo uma avaliação cumulativa e consciente do ambiente durante a navegação.
• Disponibilidade: O dataset EgoCampus e o código do modelo serão disponibilizados publicamente, juntamente com um dataset complementar (YOPO-Campus) que captura as mesmas rotas de um robô, permitindo estudos comparativos entre visão humana e robótica.

Em resumo, o EgoCampus preenche uma lacuna crítica na visão computacional ao fornecer dados de alta qualidade sobre a atenção visual em movimento no mundo real, estabelecendo um novo padrão para modelos de predição de olhar em navegação.