GazeMoE: Perception of Gaze Target with Mixture-of-Experts

O artigo apresenta o GazeMoE, um novo framework end-to-end que utiliza módulos de Mistura de Especialistas (MoE) para selecionar adaptativamente pistas de um modelo de fundação congelado e estimar com estado da arte o alvo do olhar humano, abordando desafios como desequilíbrio de classes e a necessidade de integrar múltiplas pistas multimodais.

O essencial

Imagine que você é um robô tentando entender o que uma pessoa está olhando. Às vezes, a pessoa olha para algo na tela, mas outras vezes, ela olha para algo que está fora da câmera, ou talvez esteja com a cabeça virada, ou a imagem esteja distorcida. Para um robô, isso é como tentar adivinhar o que um amigo está pensando apenas olhando para o topo da cabeça dele em um dia de neblina.

O artigo que você enviou apresenta uma solução inteligente chamada GazeMoE. Vamos descomplicar como ele funciona usando algumas analogias do dia a dia.

1. O Problema: O "Detetive" que se perde

Antes, os robôs usavam um único "detetive" (um modelo de inteligência artificial) para tentar adivinhar onde a pessoa estava olhando. O problema é que esse detetive era generalista: ele tentava usar a mesma lógica para todas as situações.

• Se a pessoa estava de óculos escuros? O detetive se confundia.
• Se a imagem era de uma lente de peixe (distorcida)? O detetive falhava.
• Se a pessoa era uma criança (que se move muito)? O detetive perdia o foco.

Além disso, os dados que esses robôs treinavam eram desequilibrados: havia muitos exemplos de pessoas olhando para coisas dentro da foto, e poucos exemplos de pessoas olhando para coisas fora da foto. Era como treinar um jogador de futebol apenas chutando para o gol, mas nunca praticando o que fazer quando a bola sai do campo.

2. A Solução: O "Comitê de Especialistas" (GazeMoE)

O GazeMoE muda a regra do jogo. Em vez de ter um único detetive, ele cria uma equipe de especialistas dentro de uma única mente.

Imagine que você precisa resolver um problema complexo, como organizar uma festa. Você não contrata apenas um "gerente". Você contrata:

• Um especialista em decoração (olha para o cenário).
• Um especialista em música (olha para o som).
• Um especialista em comida (olha para a mesa).
• Um especialista em segurança (olha para quem entra e sai).

No GazeMoE, isso funciona assim:

• O Cérebro Base (DINOv2): É como um "bibliotecário" muito inteligente que já leu milhões de livros e sabe o que é uma cara, uma mão, um gesto ou um cenário. Ele não muda, ele só fornece a informação bruta.
• Os Especialistas (MoE - Mixture of Experts): O GazeMoE tem vários "cérebros menores" (chamados de experts) que são ativados seletivamente.
  • Se a imagem tem uma mão apontando, o "Especialista em Gestos" é ativado.
  • Se a cabeça está virada, o "Especialista em Pose" é ativado.
  • Se a imagem está distorcida, o "Especialista em Contexto" assume.

O sistema é como um maestro de orquestra: ele olha para a situação e decide quais instrumentos (especialistas) devem tocar naquele momento. Se a música é suave, ele pede aos violinos; se é forte, ele chama os trompetes. Isso torna o robô muito mais rápido e eficiente, porque ele não gasta energia pensando em tudo ao mesmo tempo, apenas no que é necessário.

3. O Treinamento: Aprendendo com os "Difíceis"

Os criadores perceberam que os robôs antigos ignoravam os casos difíceis (como quando a pessoa olha para fora da foto).

• A Analogia do Professor: Imagine um professor que só dá nota para os alunos que já sabem a matéria. Os alunos que têm dificuldade nunca aprendem.
• A Solução do GazeMoE: Eles criaram um sistema de "nota extra" para os casos difíceis. O robô é forçado a prestar mais atenção nos exemplos raros e confusos (como olhar para fora da câmera). Isso é feito através de uma técnica matemática chamada Focal Loss, que funciona como um amplificador de voz para os sussurros (os casos difíceis) que ninguém estava ouvindo.

Além disso, eles "treinaram" o robô com truques de ilusão de ótica: mudaram as cores, cortaram partes da imagem e giraram os rostos. É como treinar um atleta em diferentes climas (chuva, sol, neve) para que ele não tenha surpresas no dia da competição.

4. Os Resultados: O Robô que "Vê" de Verdade

Quando testaram o GazeMoE:

• Ele ficou melhor que todos os outros em bancos de dados padrão.
• Ele conseguiu entender o que crianças estavam olhando (algo que os outros robôs tinham muita dificuldade).
• Ele funcionou bem até em fotos tiradas com lentes de peixe (que distorcem tudo), algo que antes era um pesadelo para a inteligência artificial.
• Ele é rápido o suficiente para ser usado em tempo real (como em um robô que interage com humanos em uma fábrica ou hospital).

Resumo Final

O GazeMoE é como transformar um robô que tinha um "olho único e teimoso" em um robô com uma mente coletiva e adaptável. Ele sabe quando usar a lógica de gestos, quando usar a lógica de cenários e quando focar nos detalhes difíceis.

Isso significa que, no futuro, robôs e assistentes virtuais poderão entender muito melhor o que as pessoas estão olhando e pensando, tornando a interação entre humanos e máquinas muito mais natural e segura, seja para ajudar crianças com autismo, para dirigir carros autônomos ou para simplesmente entender se você está entediado ou interessado no que está vendo.

Resumo técnico

1. O Problema

A estimativa precisa do alvo do olhar (onde uma pessoa está olhando) a partir de imagens visíveis é fundamental para que robôs e sistemas autônomos compreendam a atenção humana, a fadiga de motoristas, o interesse de consumidores e padrões de atenção em condições como o autismo.

Apesar dos avanços recentes, existem desafios significativos:

• Generalização: Modelos treinados em cenários específicos (como filmes ou educação infantil) falham em prever olhares em cenários do mundo real.
• Cues Visuais Variáveis: A estimativa depende de quatro pistas visuais principais: (a) marcos dos olhos, (b) pose da cabeça, (c) gestos e geometria da cena, e (d) saliência contextual. No entanto, essas pistas podem estar ausentes, ocluídas ou distorcidas (ex: imagens de lentes olho-de-peixe).
• Desequilíbrio de Classes: A maioria dos conjuntos de dados possui um desequilíbrio entre alvos "dentro do quadro" (in-frame) e "fora do quadro" (out-of-frame), dificultando a classificação robusta.
• Arquitetura de Decodificação: Trabalhos anteriores não investigaram profundamente arquiteturas de decodificador otimizadas para selecionar dinamicamente as pistas de cena mais relevantes.

2. Metodologia: GazeMoE

O GazeMoE é um framework end-to-end que integra um modelo de visão fundacional congelado com um módulo de Mistura de Especialistas (MoE) para uma adaptação dinâmica.

• Arquitetura do Encoder:
  • Utiliza um DINOv2 ViT-Large congelado como codificador para extrair representações espaciais de baixa nível e ricas em semântica da cena, sem necessidade de treinamento adicional na parte de extração de características.
• Módulo Mixture-of-Experts (MoE) no Decodificador:
  • Inspirado em Grandes Modelos de Linguagem (LLMs), o decodificador emprega um mecanismo de roteamento adaptativo.
  • Especialistas Compartilhados: Um especialista comum processa características gerais da cena.
  • Especialistas Roteados: Quatro especialistas especializados são criados para capturar as quatro pistas de olhar (aparência dos olhos, pose da cabeça, gestos e saliência contextual).
  • Mecanismo de Portão (Gating): Uma rede de portão seleciona dinamicamente os Top-K (no caso, K=2) especialistas mais relevantes para cada entrada específica. Isso permite que o modelo ignore ruídos visuais e foque apenas nas pistas disponíveis e relevantes para aquela cena específica.
• Cabeças de Saída:
  • Mapa de Calor (Heatmap): Prevê a localização do alvo do olhar dentro do quadro.
  • Classificação Binária: Prevê se o alvo está "dentro" ou "fora" do campo de visão da câmera.
• Estratégia de Treinamento e Perdas:
  • Função de Perda para Heatmap: Utiliza Binary Cross-Entropy (BCE) pixel a pixel em vez do tradicional MSE, pois é menos sensível a erros de magnitude em picos de probabilidade e lida melhor com mapas de calor imperfeitos.
  • Função de Perda Auxiliar (Focal Loss): Introduzida para a classificação in/out-of-frame para lidar com o desequilíbrio de classes, focando mais nas amostras difíceis e minoritárias.
  • Aumentação de Dados (Data Augmentation): Um conjunto completo de técnicas é aplicado, incluindo corte aleatório, viragem horizontal, jittering de prompts de cabeça e transformações fotométricas (variação de cor, escala de cinza, contraste e nitidez) para melhorar a robustez.

3. Principais Contribuições

1. Proposta do GazeMoE: O primeiro framework end-to-end a utilizar uma estrutura de Mistura de Especialistas (MoE) especificamente para tarefas de estimativa de alvo de olhar, permitindo a seleção adaptativa de pistas visuais.
2. Estratégias de Treinamento Otimizadas: Demonstração de que a combinação de perda BCE para heatmaps e Focal Loss para classificação, juntamente com um conjunto robusto de aumentações de dados, é crucial para a generalização.
3. Desempenho SOTA e Robustez: O modelo alcança o estado da arte (SOTA) em múltiplos benchmarks e demonstra uma capacidade superior de generalização em cenários fora da distribuição (out-of-distribution), como imagens com distorção de lentes olho-de-peixe e estimativa de olhar em crianças.

4. Resultados Experimentais

O modelo foi avaliado em cinco conjuntos de dados principais: GazeFollow, VideoAttentionTarget (VAT), ChildPlay, GazeFollow360 e EYEDIAP.

• Desempenho Geral: O GazeMoE superou métodos existentes (incluindo o Gaze-LLE e GazeFollow anteriores) na maioria das métricas (AUC, Distância de Erro Médio, Precisão).
  • No GazeFollow, alcançou AUC de 0.959 (superando o Gaze-LLE ViT-L de 0.958).
  • No VideoAttentionTarget, alcançou AUC de 0.939 e precisão de classificação in/out de 0.917.
  • No ChildPlay (cenário complexo com crianças), alcançou AUC de 0.945.
• Generalização (Zero-Shot e Domínios Diferentes):
  • No GazeFollow360 (imagens 360° com distorção severa), o modelo atingiu AUC de 0.9232, aproximando-se do desempenho humano (0.935) e superando métodos especializados em 360°.
  • Na inferência Zero-Shot no dataset EYEDIAP (sem ajuste fino), o GazeMoE manteve desempenho superior, demonstrando a capacidade do MoE de adaptar-se a cenários não vistos.
• Eficiência Computacional:
  • Latência de 74.2 ms por amostra (aprox. 13 FPS), permitindo processamento em tempo real para aplicações robóticas.
  • Uso de memória de pico de 984 MB, ligeiramente superior a alguns concorrentes, mas justificado pelo ganho de precisão.

5. Significado e Impacto

O GazeMoE representa um avanço significativo na área de interação humano-robô e visão computacional. Ao demonstrar que a arquitetura MoE pode selecionar dinamicamente quais características visuais (olhos, cabeça, contexto) são relevantes para cada cena, o modelo supera as limitações de abordagens estáticas que falham quando certas pistas estão ocultas ou distorcidas.

A capacidade de lidar com imagens de lentes olho-de-peixe e crianças (que possuem padrões de olhar e desenvolvimento cognitivo diferentes) sem necessidade de re-treinamento massivo sugere que o GazeMoE é uma solução viável para aplicações no mundo real, onde a variabilidade do ambiente é a regra, não a exceção. O código e os modelos pré-treinados foram disponibilizados publicamente, fomentando futuras pesquisas.