DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation

Este artigo apresenta o DHECA-SuperGaze, um método de aprendizado profundo que combina super-resolução e um módulo de atenção cruzada dual cabeça-olho para melhorar a estimativa de olhar em cenários não controlados, corrigindo erros de anotação no conjunto de dados Gaze360 e alcançando desempenho superior ao estado da arte em várias métricas de erro angular.

O essencial

Imagine que você está tentando adivinhar para onde uma pessoa está olhando em uma foto tirada em um dia de muito vento, com pouca luz e a pessoa pode estar de lado, de costas ou usando óculos escuros. É como tentar entender o que alguém está pensando apenas olhando para o topo da cabeça dele em uma foto borrada. É difícil, certo?

Este artigo apresenta uma nova tecnologia chamada DHECA-SuperGaze que funciona como um "super-olho" para computadores, ajudando-os a entender exatamente para onde as pessoas estão olhando, mesmo em situações caóticas.

Aqui está como eles fizeram isso, usando analogias simples:

1. O Problema: Fotos Borradas e Confusas

Antes, os computadores tentavam adivinhar o olhar apenas olhando para a foto inteira da cabeça. Mas, na vida real, as fotos são muitas vezes de baixa qualidade (como uma foto tirada com uma câmera velha) e o computador não consegue ver os detalhes finos dos olhos. Além disso, a cabeça pode estar virada para um lado, mas os olhos para o outro (como quando você olha para o lado sem virar o pescoço).

2. A Solução Mágica: O "Super-Resolução" (SR)

A primeira parte do sistema é como um restaurador de fotos antigo.

• A Analogia: Imagine que você tem uma foto pequena e pixelada de um rosto. Em vez de tentar adivinhar os detalhes, o sistema usa uma "mágica" (chamada Super-Resolução) para aumentar a imagem, preenchendo os pixels faltantes e deixando a foto nítida, como se tivesse sido tirada com uma câmera profissional de alta definição.
• O Truque: Eles aplicaram essa "mágica" especificamente na foto da cabeça inteira, para que o computador pudesse ver os detalhes com clareza antes de tentar adivinhar o olhar.

3. O Cérebro Duplo: "Cabeça" e "Olhos" conversando (DHECA)

Aqui está a parte mais inteligente. O sistema não olha apenas para a cabeça ou apenas para os olhos; ele usa dois "cérebros" que conversam entre si.

• A Analogia: Imagine que você tem dois detetives trabalhando no mesmo caso.
  • O Detetive Cabeça olha para a orientação do rosto (para onde o nariz está apontando).
  • O Detetive Olhos olha para os detalhes dos olhos (para onde a pupila está focada).
  • O Problema Antigo: Antes, esses detetives trabalhavam sozinhos ou apenas um dava ordens ao outro.
  • A Inovação (DHECA): Neste novo sistema, os dois detetives têm um "telefone direto" (atenção cruzada). Eles trocam informações o tempo todo. Se o Detetive Cabeça diz "o rosto está virado para a esquerda", o Detetive Olhos ajusta sua análise. Se o Detetive Olhos diz "a pupila está olhando para a direita", o Detetive Cabeça entende que a pessoa está olhando para o lado, mesmo com a cabeça virada. Essa conversa constante faz a previsão ser muito mais precisa.

4. A Limpeza de Dados: Arrumando a Bagunça

Os pesquisadores descobriram que um dos maiores bancos de dados de fotos do mundo (chamado Gaze360) estava com "rótulos errados".

• A Analogia: Era como se, em um álbum de fotos de uma festa, alguém tivesse escrito "João está olhando para a pizza" em uma foto onde, na verdade, a foto estava focada no irmão de João que estava ao fundo, e não no João principal.
• A Correção: Eles passaram horas revisando as fotos, encontrando esses erros e corrigindo os rótulos. Isso é como limpar uma biblioteca bagunçada; quando os livros (dados) estão organizados no lugar certo, qualquer pessoa (ou computador) consegue encontrar a informação muito mais rápido e com mais precisão.

5. O Resultado: Precisão de Mestre

Com a foto nítida (Super-Resolução), a conversa entre os dois detetives (DHECA) e os dados corrigidos, o sistema se tornou o melhor do mundo em testes.

• Ele consegue prever para onde alguém está olhando com muito menos erro do que os sistemas anteriores.
• Funciona bem tanto em fotos paradas quanto em vídeos (onde a pessoa se move).
• Funciona mesmo quando a pessoa está de costas ou em ambientes escuros.

Em resumo:
O DHECA-SuperGaze é como dar ao computador óculos de alta definição para ver a foto, um tradutor para fazer a cabeça e os olhos conversarem perfeitamente, e uma equipe de limpeza para garantir que os dados de treinamento não estejam bagunçados. O resultado é um sistema que entende o olhar humano quase tão bem quanto outro humano, mas sem se cansar e sem se confundir com a bagunça do mundo real.

Resumo técnico

Resumo Técnico: DHECA-SuperGaze

1. Problema

A estimativa de olhar (gaze estimation) em ambientes não controlados (unconstrained) visa determinar para onde um sujeito está direcionando sua atenção visual. Embora crucial para aplicações como monitoramento de distração de motoristas, proctoring de exames e interfaces homem-máquina acessíveis, os sistemas atuais enfrentam desafios significativos:

• Baixa Resolução: Imagens capturadas "na natureza" (in-the-wild) frequentemente possuem baixa resolução, dificultando a extração de detalhes finos dos olhos.
• Modelagem Insuficiente: Métodos do estado da arte (SOTA) muitas vezes não modelam adequadamente a interação entre a orientação da cabeça e a posição dos olhos. Como a divergência entre o olhar e o alinhamento da cabeça pode chegar a 35°, considerar apenas a imagem da cabeça ou apenas os olhos de forma isolada é limitante.
• Erros de Anotação: O artigo identifica que um dos conjuntos de dados mais utilizados, o Gaze360, contém erros críticos de anotação (caixas delimitadoras que capturam rostos de outras pessoas na cena em vez do sujeito central), o que prejudica o treinamento de modelos.

2. Metodologia (DHECA-SuperGaze)

O método proposto combina super-resolução (SR) e um mecanismo de atenção cruzada dual para melhorar a precisão. A arquitetura é dividida em pré-processamento e um modelo de estimativa de olhar híbrido (CNN-Transformer).

• Pré-processamento e Super-Resolução (SR):

  • A imagem de entrada (cabeça) passa por um modelo de Super-Resolução (utilizando o DRCT-GAN, baseado em Transformers) para gerar uma versão de alta resolução da imagem da cabeça.
  • A imagem da cabeça é processada em múltiplas escalas (zoom in/out) para capturar contextos variados.
  • As regiões dos olhos são recortadas da imagem original (ou da imagem super-resolvida, dependendo da configuração testada) para fornecer detalhes finos.

• Backbone Dual:

  • O sistema utiliza duas redes CNN (ResNet18) separadas: uma para processar as imagens de cabeça em múltiplas escalas e outra para as imagens dos olhos.
  • Os recursos visuais extraídos são transformados em tokens.

• Módulo DHECA (Dual Head-Eye Cross-Attention):

  • Este é o núcleo inovador do trabalho. Diferente de abordagens anteriores que usam atenção cruzada unidirecional (apenas dos olhos para a cabeça), o DHECA permite uma atenção cruzada bidirecional.
  • Os tokens da cabeça e dos olhos são processados em blocos de atenção cruzada onde:
    • Os recursos da cabeça atuam como Query (Q) e os dos olhos como Key/Value (K/V).
    • Simultaneamente, os recursos dos olhos atuam como Query e os da cabeça como Key/Value.
  • Isso permite um refinamento recíproco das características visuais, integrando a orientação global da cabeça com a orientação local dos olhos.

• Predição:

  • Após a passagem pelos blocos de atenção, os tokens de classificação (CLS) são concatenados e processados por uma MLP para prever os ângulos de yaw e pitch.
  • O modelo utiliza transformações trigonométricas (seno e cosseno) para evitar problemas de descontinuidade nos ângulos.

3. Contribuições Chave

1. Correção do Dataset Gaze360: Os autores realizaram uma análise exploratória que revelou caixas delimitadoras incorretas no dataset Gaze360 (focando em pessoas erradas). Eles identificaram e corrigiram essas anotações, demonstrando que o uso dos dados corrigidos melhora o desempenho de todos os modelos treinados.
2. Módulo DHECA: Proposição de um novo módulo de atenção cruzada dual que modela explicitamente a interação bidirecional entre características da cabeça e dos olhos, superando abordagens unidirecionais.
3. Arquitetura DHECA-SuperGaze: Integração bem-sucedida de Super-Resolução (aplicada à imagem da cabeça) e processamento multiescala com o módulo de atenção, alcançando resultados SOTA em datasets estáticos e temporais (vídeo).

4. Resultados

Os experimentos foram conduzidos nos datasets Gaze360 e GFIE, avaliando cenários estáticos (imagem única) e temporais (sequência de vídeo).

• Desempenho Intra-dataset (Treino e Teste no mesmo dataset):
  • Estático: Redução do Erro Angular (AE) em 0,48° no Gaze360 e 2,95° no GFIE em comparação ao segundo melhor método.
  • Temporal: Redução do AE em 0,59° no Gaze360 e 3,00° no GFIE.
• Desempenho Cross-dataset (Treino em um, Teste em outro):
  • O método demonstrou forte generalização, superando os métodos existentes em mais de 1,53° (Gaze360) e 3,99° (GFIE) em configurações estáticas e temporais.
• Ablação e Configurações:
  • A configuração ótima de SR foi encontrada aplicando Super-Resolução apenas à imagem da cabeça e usando os recortes originais dos olhos (sem aplicar SR nos olhos).
  • O módulo DHECA superou significativamente alternativas como "sem atenção", "auto-atenção" e "atenção cruzada unidirecional" (CrossGaze).
  • O uso dos dados corrigidos do Gaze360 resultou em uma melhoria consistente de ~0,15° no erro angular para todos os modelos que utilizam anotações de olhos.

5. Significado e Impacto

O trabalho DHECA-SuperGaze representa um avanço significativo na estimativa de olhar em ambientes não controlados. Ao abordar tanto a qualidade dos dados (corrigindo o Gaze360) quanto a arquitetura do modelo (através da atenção cruzada bidirecional e super-resolução), o método estabelece um novo padrão de desempenho.

A descoberta de que a super-resolução na imagem da cabeça, combinada com a atenção cruzada bidirecional, é mais eficaz do que aplicar SR apenas aos olhos ou usar atenção unidirecional, oferece novas direções para pesquisas futuras em visão computacional. Além disso, a correção pública das anotações do Gaze360 beneficia toda a comunidade de pesquisa, garantindo que futuros modelos sejam treinados em dados mais precisos.