See Through the Noise: Improving Domain Generalization in Gaze Estimation

1. Problema e Motivação

O artigo aborda o desafio da generalização de domínio em tarefas de estimativa de olhar (gaze estimation). Embora métodos baseados em aprendizado profundo tenham avançado significativamente, eles frequentemente sofrem degradação de desempenho quando aplicados a domínios não vistos (cenários do mundo real).

O problema central identificado pelos autores não é apenas a variação de domínio, mas a presença de ruído nas etiquetas (rótulos) dos dados de treinamento. Devido à dificuldade inerente de coletar anotações precisas de olhar (influenciadas por atenção instável, iluminação, pose da cabeça e oclusão), conjuntos de dados em larga escala contêm inevitavelmente ruído de anotação.

• O Gap: Métodos existentes de generalização de domínio focam em aprender representações invariantes ao domínio, mas ignoram o efeito negativo do ruído nas etiquetas.
• Desafio Específico: A estimativa de olhar é uma tarefa de regressão (valores contínuos), não de classificação. Isso torna a detecção de ruído mais difícil do que em tarefas de classificação, pois não há limites claros entre "correto" e "incorreto", e heurísticas comuns (como seleção por perda pequena) tornam-se pouco confiáveis.

2. Metodologia: Framework SeeTN

Os autores propõem o See-Through-Noise (SeeTN), um novo framework projetado para mitigar o impacto do ruído de etiquetas e melhorar a generalização. O método opera em três etapas principais:

A. Construção de um Manifold Semântico (Semantic Manifold)

Para preservar a estrutura topológica entre as características (features) e as etiquetas contínuas de olhar:

• O framework transforma as características extraídas em um espaço semântico usando uma transformação baseada em protótipos.
• São selecionados $K$ protótipos aleatórios em uma hipersfera unitária, que são atualizados progressivamente via Exponential Moving Average (EMA) para representar centros semânticos.
• O objetivo é alinhar a matriz de afinidade das características no manifold ($A^{(m)}$) com a matriz de afinidade das etiquetas de olhar ($A^{(g)}$). Isso força o modelo a manter a estrutura relacional dos dados (ex: olhares similares devem ter representações similares), criando uma base sólida para detectar inconsistências.

B. Detecção de Ruído via Indicador $\eta$

O framework utiliza o manifold para distinguir amostras limpas de amostras ruidosas:

• Calcula-se a discrepância entre a distribuição das relações nas características e a distribuição nas etiquetas para cada amostra.
• Define-se um indicador $\eta$ baseado na entropia cruzada entre essas distribuições. Amostras com alto $\eta$ indicam uma forte inconsistência entre o que o modelo "vê" (características) e o que a etiqueta diz, sendo classificadas como ruidosas.
• O conjunto de dados é dividido dinamicamente em um subconjunto limpo ($D_S^C$) e um subconjunto ruidoso ($D_S^N$) antes de cada época de treinamento.

C. Regularização Robusta ao Ruído (Affinity Regularization)

Uma vez separados os dados, o framework aplica estratégias de aprendizado distintas:

• Para o subconjunto Limpo ($D_S^C$): Utiliza-se a perda de regressão padrão (MAE) e uma perda de alinhamento ($L_{align}^C$) para forçar a correspondência exata entre as afinidades de características e etiquetas.
• Para o subconjunto Ruidoso ($D_S^N$): Em vez de descartar as amostras (o que causaria perda de informação), o framework aplica uma regularização de afinidade suave ($L_{align}^N$). Esta perda usa a matriz de afinidade supervisionada pelos dados limpos para restringir as características dos dados ruidosos. Isso transfere o sinal supervisionado "limpo" para as amostras ruidosas, permitindo que o modelo aprenda características invariantes ao domínio sem ser enganado pelas etiquetas incorretas.

A função de perda total combina a perda de olhar, a regularização de alinhamento limpo e a regularização robusta ao ruído.

3. Contribuições Principais

1. Primeira Investigação Abrangente: É o primeiro trabalho a investigar sistematicamente o impacto negativo do ruído de etiquetas na generalização de domínio para estimativa de olhar.
2. Framework SeeTN: Propõe uma nova abordagem que mapeia etiquetas contínuas e características em um manifold semântico baseado em protótipos, permitindo a detecção de ruído e a transferência de conhecimento entre amostras limpas e ruidosas.
3. Regularização Específica para Regressão: Desenvolve uma estratégia de regularização que lida com a natureza contínua da regressão, superando as limitações de métodos de aprendizado com etiquetas ruidosas (LNL) projetados para classificação.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro conjuntos de dados populares (ETH-XGaze, Gaze360, MPIIFaceGaze, EyeDiap) em configurações de domínio cruzado.

• Desempenho Superior: O SeeTN superou consistentemente o estado da arte (SOTA) em tarefas de generalização de domínio. Por exemplo, ao usar Gaze360 como domínio fonte, o método reduziu o erro angular em comparação com métodos como AGG e FSCI.
• Robustez ao Ruído: Em experimentos com ruído sintético (adicionando desvio padrão de 60° a 10-30% das etiquetas), o SeeTN manteve uma generalização robusta, enquanto a linha de base (ResNet-18) degradou-se significativamente.
• Sem Perda de Precisão Interna: Diferente de alguns métodos de generalização que sacrificam a precisão no domínio fonte para ganhar em domínios alvo, o SeeTN melhorou a generalização sem comprometer a precisão dentro do domínio de origem.
• Visualização (t-SNE): As visualizações mostraram que o SeeTN organiza as características baseando-se na direção do olhar (semântica da tarefa) e não na pose da cabeça (estilo do domínio), ao contrário da linha de base.

5. Significado e Conclusão

O trabalho demonstra que a generalização de domínio em estimativa de olhar está intrinsecamente ligada à qualidade das etiquetas. Ao tratar explicitamente o ruído de anotação através de um manifold semântico e regularização adaptativa, o SeeTN oferece uma solução mais robusta para aplicações do mundo real.

A principal implicação é que, em tarefas de regressão complexas com dados ruidosos, simplesmente tentar aprender representações invariantes ao domínio não é suficiente; é necessário um mecanismo que identifique e corrija (ou suavize) o impacto das anotações incorretas durante o treinamento. O framework SeeTN estabelece um novo paradigma para lidar com a interseção entre aprendizado com etiquetas ruidosas e generalização de domínio em visão computacional.