🤖 AI

See Through the Noise: Improving Domain Generalization in Gaze Estimation

Cet article propose le cadre SeeTN, une approche novatrice qui améliore la généralisation de domaine en estimation du regard en atténuant les effets du bruit des étiquettes grâce à un espace d'incrustation sémantique et à une régularisation d'affinité pour distinguer et exploiter les échantillons propres.

Auteurs originaux : Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanming Peng, Shijing Wang, Yaping Huang, Yi Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎯 Le Problème : Un GPS qui se trompe de destination

Imaginez que vous essayez d'entraîner un robot à deviner où vous regardez (votre "regard") simplement en analysant une photo de votre visage. C'est comme donner un GPS à un robot pour qu'il sache où vous voulez aller.

Le problème, c'est que pour entraîner ce robot, les humains doivent lui donner des exemples avec la "bonne réponse" (l'étiquette). Mais dans le monde réel, ces réponses sont souvent imprécises.

L'analogie : Imaginez un professeur qui doit noter des élèves. Parfois, il est fatigué, la lumière est mauvaise, ou l'élève bouge trop. Il écrit sur la copie : "Tu regardes à droite", alors que l'élève regardait en fait un peu en haut. C'est du bruit (une erreur d'étiquetage).

Si le robot apprend par cœur ces erreurs (ces "mauvaises réponses"), il devient confus. Il ne comprend plus la logique du regard, il mémorise juste les erreurs du professeur. Quand on le sort du laboratoire pour l'utiliser dans la vraie vie (avec de nouvelles lumières, de nouvelles têtes), il échoue lamentablement.

💡 La Solution : "SeeTN" (Voir à travers le bruit)

Les chercheurs de cet article ont créé une méthode appelée SeeTN (See-Through-Noise). Leur idée géniale ? Au lieu de simplement essayer de corriger les erreurs une par une, ils ont décidé de comprendre la logique globale pour repérer qui se trompe.

Voici comment cela fonctionne, étape par étape, avec des métaphores :

1. Créer une "Carte des Regards" (Le Manifold Sémantique)

Imaginez que vous avez une immense carte géographique où chaque point représente un regard possible.

Avant : Les points étaient éparpillés au hasard. Un regard vers la droite pouvait être loin d'un autre regard vers la droite, juste parce que la photo venait d'une caméra différente.
Avec SeeTN : Les chercheurs construisent une carte très organisée. Sur cette carte, tous les regards qui vont dans la même direction sont regroupés ensemble, formant des "îles" logiques. Ils utilisent des "points de repère" (des prototypes) pour s'assurer que la carte reste cohérente. C'est comme ranger une bibliothèque : tous les livres sur le même sujet sont sur la même étagère, peu importe la couleur de la couverture.

2. Détecter les menteurs (Identifier le bruit)

Une fois la carte construite, le système peut facilement repérer les anomalies.

L'analogie : Si vous avez un élève qui dit "Je regarde vers le Nord" (l'étiquette), mais que sa position sur la carte (son image) est tout près de ceux qui regardent vers le Sud, le système se dit : "Attends, il y a un décalage ! L'étiquette est probablement fausse."
Le système calcule un "score de suspicion" (noté $\eta$ ). Plus le score est élevé, plus l'étiquette est suspecte. Il ne jette pas ces images, il les met de côté dans un panier "à vérifier".

3. Apprendre des "élèves modèles" pour aider les autres (Régularisation)

C'est la partie la plus intelligente. Au lieu de simplement ignorer les images avec des étiquettes fausses, le système utilise les images "propres" (celles dont on est sûr) pour aider les autres.

L'analogie : Imaginez un groupe d'étudiants en train de résoudre un problème. Certains ont la bonne réponse, d'autres ont fait une erreur d'inattention.
- Le système dit aux "élèves modèles" : "Continuez comme ça, vous avez la bonne logique."
- Puis, il dit aux "élèves en erreur" : "Ne regardez pas votre propre réponse (qui est fausse). Regardez plutôt ce que vos camarades modèles font. Adaptez votre raisonnement au leur."
Cela permet au robot d'apprendre la vraie logique du regard (qui est universelle) plutôt que de mémoriser les erreurs spécifiques à un jeu de données.

🚀 Pourquoi c'est révolutionnaire ?

Jusqu'à présent, la plupart des méthodes essayaient de rendre le robot plus fort contre les changements d'environnement (lumière, angle de la tête), mais elles ignoraient le fait que les données d'entraînement étaient souvent "sales".

SeeTN change la donne en disant : "Pour bien généraliser, il faut d'abord nettoyer la compréhension, pas juste renforcer la force."

Résultat : Le robot devient un expert du regard. Même si on le déplace dans un nouveau pays, avec une nouvelle caméra ou une nouvelle culture, il continue de fonctionner parfaitement, car il a appris la géométrie du regard et non pas les erreurs de ses professeurs.

En résumé

Ce papier nous apprend que pour créer une intelligence artificielle robuste, il ne suffit pas de lui donner plus de données. Il faut lui apprendre à distinguer le vrai du faux en comprenant la structure profonde des informations. Comme un détective qui ne se fie pas aux témoignages isolés, mais qui recoupe les indices pour trouver la vérité, SeeTN permet à l'IA de "voir à travers le bruit" et de mieux comprendre le monde réel.

1. Problématique

L'estimation du regard (gaze estimation) basée sur l'apparence a connu des progrès significatifs grâce au deep learning, mais elle souffre d'une dégradation importante des performances lorsqu'elle est déployée dans des domaines non vus (généralisation de domaine).

Les auteurs identifient un problème sous-estimé : le bruit des étiquettes (label noise).

Origine : Les jeux de données de regard sont notoirement difficiles à annoter avec précision en raison de l'instabilité de l'attention humaine, des variations d'éclairage, de la pose de la tête et des occlusions.
Impact : Le surapprentissage (overfitting) sur ces étiquettes bruitées force le modèle à apprendre des caractéristiques non pertinentes pour le regard, ce qui nuit gravement à sa capacité de généralisation inter-domaine.
Défi spécifique : Contrairement aux tâches de classification où le bruit est catégoriel, l'estimation du regard est une tâche de régression avec un espace de sortie continu. Cela rend la délimitation entre échantillons "propres" et "bruités" extrêmement difficile, rendant inefficaces les méthodes classiques de sélection d'échantillons basées sur la perte (small-loss).

2. Méthodologie : Le cadre SeeTN (See-Through-Noise)

Les auteurs proposent un nouveau cadre nommé SeeTN, conçu pour atténuer l'impact du bruit d'étiquettes et améliorer la généralisation de domaine. L'approche repose sur trois piliers principaux :

A. Construction d'une Variété Sémantique (Semantic Manifold)

Pour capturer la structure sémantique continue du regard, le modèle ne se contente pas d'apprendre une régression directe.

Transformation : Les caractéristiques extraites (features) sont projetées sur une hypersphère unitaire via un MLP.
Prototypes : $K$ prototypes ( $\mu_k$ ) sont initialisés et mis à jour via une Moyenne Mobile Exponentielle (EMA) pour représenter les centres sémantiques.
Alignement Topologique : Le modèle construit une matrice d'affinité dans l'espace des caractéristiques ( $A^{(m)}$ ) et l'aligne avec la matrice d'affinité des étiquettes de regard ( $A^{(g)}$ ) en minimisant l'erreur absolue moyenne (MAE) entre les deux. Cela force la structure topologique des caractéristiques à respecter la continuité des étiquettes de regard.

B. Détection du Bruit via l'Indicateur $\eta$

Une fois la variété sémantique construite, le modèle identifie les échantillons bruités :

Indicateur de Discrepance : Pour chaque échantillon $x_i$ , un indicateur $\eta_i$ est calculé. Il mesure la divergence (entropie croisée) entre la distribution des relations de l'échantillon dans l'espace des étiquettes et celle dans l'espace des caractéristiques (variété).
Logique : Les échantillons avec un $\eta$ élevé présentent une incohérence entre leur étiquette et leurs relations sémantiques avec les autres échantillons, indiquant un bruit potentiel.
Séparation : Les échantillons sont triés selon $\eta$ . Les $t\%$ ayant les valeurs les plus élevées sont classés comme bruités ( $D_S^N$ ), le reste étant considéré comme propre ( $D_S^C$ ). Cette partition est mise à jour à chaque époque d'entraînement.

C. Régularisation Robuste au Bruit (Noise-Robust Regularization)

Le modèle applique des stratégies d'apprentissage distinctes pour les deux sous-ensembles :

Pour les échantillons propres ( $D_S^C$ ) : Utilisation directe de la perte de regard standard ( $L_{gaze}$ ) et alignement strict de la matrice d'affinité ( $L_{align}^C$ ) pour garantir la précision.
Pour les échantillons bruités ( $D_S^N$ ) : Au lieu de les rejeter, le modèle utilise la matrice d'affinité apprise à partir des échantillons propres pour contraindre les caractéristiques des échantillons bruités. Une régularisation douce ( $L_{align}^N$ ) basée sur la similarité cosinus transfère l'information sémantique des échantillons propres vers les échantillons bruités, réduisant ainsi la dépendance aux étiquettes de mauvaise qualité.

La fonction de perte totale est : $L_{all} = L_{gaze} + L_{align}^C + \lambda L_{align}^N$ .

3. Contributions Clés

Première étude systématique : C'est le premier travail à investiguer et traiter la généralisation de domaine dans l'estimation du regard spécifiquement sous l'angle de l'atténuation du bruit d'étiquettes.
Cadre SeeTN : Proposition d'un mécanisme novateur reliant les angles de regard continus aux caractéristiques via une variété sémantique basée sur des prototypes, permettant une détection précise du bruit et un apprentissage robuste.
Stratégie de régularisation adaptative : Introduction d'une régularisation qui sépare et traite différemment les échantillons propres et bruités, transférant l'information sémantique fiable aux échantillons douteux.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données majeurs (ETH-XGaze, Gaze360, MPIIFaceGaze, EyeDiap) dans des scénarios de généralisation de domaine (cross-domain).

Performance Supérieure : SeeTN surpasse systématiquement les méthodes de base (ResNet-18/50) et les méthodes de l'état de l'art (PureGaze, GazeCF, CGaG, AGG, etc.).
- Exemple : Sur le scénario $DG \to DM$ (Gaze360 vers MPIIFaceGaze), l'erreur angulaire moyenne passe de 7.94° (base) à 6.57° avec SeeTN (amélioration de 17.2%).
Robustesse au Bruit : Comparé aux méthodes d'apprentissage avec étiquettes bruitées (DivideMix, SUGE), SeeTN est nettement supérieur. DivideMix échoue car conçu pour la classification, et SUGE est moins efficace en contexte de généralisation de domaine.
Préservation de la Précision Inter-Domaine : Contrairement à d'autres méthodes qui améliorent la généralisation au détriment de la précision sur le domaine source, SeeTN améliore également les performances intra-domaine (réduction de 3-5% de l'erreur).
Visualisation (t-SNE) : Les visualisations montrent que SeeTN apprend des caractéristiques alignées sur la direction du regard plutôt que sur la pose de la tête (contrairement à la base), préservant la continuité sémantique des étiquettes.

5. Signification et Impact

Ce travail est significatif car il change de paradigme dans l'estimation du regard :

Il démontre que le bruit d'étiquettes est un facteur critique limitant la généralisation de domaine, souvent ignoré par les approches précédentes axées sur l'adaptation de domaine.
Il propose une solution efficace pour les tâches de régression continue, un domaine où les techniques classiques de nettoyage de données sont inapplicables.
En améliorant la robustesse sans sacrifier la précision, SeeTN rend les systèmes de suivi du regard plus fiables pour des applications réelles (réalité virtuelle, interaction homme-machine, analyse médicale) où les conditions d'acquisition sont imparfaites et les données non étiquetées du domaine cible sont indisponibles.

En conclusion, SeeTN établit un nouvel état de l'art en prouvant que la gestion explicite du bruit d'étiquettes via une structure sémantique est la clé pour obtenir une généralisation de domaine robuste en estimation du regard.