Résumé Technique : GazePrior

Énoncé du Problème

Le suivi oculaire (ET) est une technologie fondamentale pour les applications avancées de Réalité Augmentée (RA) et de Réalité Virtuelle (RV), permettant des fonctionnalités telles que le rendu fovéal et l'interaction basée sur le regard. Cependant, l'entraînement de modèles d'apprentissage profond pour le suivi oculaire est entravé par le coût élevé et le temps nécessaire pour collecter des données réelles avec une vérité terrain de haute qualité pour chaque nouvelle génération d'appareils. À mesure que les configurations matérielles (placement des caméras, résolution) évoluent, de nouveaux ensembles d'entraînement comprenant des millions d'images sont nécessaires. Les méthodes existantes de génération de données synthétiques manquent souvent de réalisme, tandis que les données réelles issues du crowdsourcing manquent de précision. De plus, les approches semi-synthétiques actuelles qui tentent de synthétiser des images oculaires reposent souvent sur des masques d'yeux explicites et des rotations rigides, ignorant le couplage complexe entre le globe oculaire, les paupières et les traits faciaux environnants, ce qui dégrade la plausibilité physique et la précision.

Méthodologie

Les auteurs proposent GazePrior, une approche zero-shot qui exploite un a priori de regard 3D appris pour synthétiser des données d'entraînement haute fidélité pour de nouveaux appareils de suivi oculaire en utilisant uniquement des données d'entrée éparses provenant d'appareils existants. La méthode se compose de deux étapes principales :

1. Apprentissage d'un A priori de Regard 3D Découplé (Pré-entraînement)

S'inspirant des méthodes d'avatars 3D, les auteurs entraînent un Champ de Radiance Neuronale (NeRF) conditionnel qui modélise la distribution des yeux humains à travers diverses identités, directions de regard et conditions d'éclairage.

• Champ de Radiance Conditionnel : Le réseau $\Psi$ prend en entrée un point 3D $x$, une direction de vue $v$, et des plongements latents pour l'identité du sujet ($\hat{s}$), la direction du regard ($\hat{g}$) et l'éclairage ($\hat{l}$). Il envoie la densité $\sigma$ et la couleur $c$.
• Découplage : L'architecture découple explicitement ces facteurs. Le réseau de densité dépend de l'identité et du regard mais est indépendant de l'éclairage ($\hat{l}$), tandis que le réseau de couleur dépend des trois. Cela garantit que la cohérence géométrique n'est pas faussée par les changements d'illumination.
• Représentations Latentes :
  • Sujet ($\hat{s}$) : Un vecteur de codebook apprenable pour chaque identité, favorisant une représentation partagée et basse fréquence qui agit comme un régularisateur contre les artefacts (floaters).
  • Regard ($\hat{g}$) : Contrairement aux modèles de rotation rigide du globe oculaire, le regard est encodé via un encodage sinusoïdal du vecteur de regard de vérité terrain. Cela permet au réseau d'apprendre les mouvements non rigides des paupières et des sourcils couplés aux changements de regard.
  • Éclairage ($\hat{l}$) : Un vecteur de codebook apprenable qui affecte uniquement la sortie de couleur, garantissant que la géométrie reconstruite reste invariante à l'éclairage.
• Entraînement : Le modèle est pré-entraîné sur un grand ensemble de données (Lin et al. [11]) contenant plus de 400 sujets avec des images multi-vues, des regards variables et un éclairage variable, en utilisant une fonction de perte combinant la reconstruction RVB, une perte perceptuelle et la divergence KL pour régulariser l'espace latent.

2. Transfert avec Entrée Éparse (Affinage)

Pour adapter l'a priori à un nouvel appareil cible (par exemple, un casque avec une configuration de caméra différente), la méthode effectue une optimisation en deux étapes sur des images sources éparses (par exemple, 4 vues) provenant d'un casque existant :

1. Optimisation Latente : Les poids du réseau pré-entraîné étant gelés, le système optimise les codes latents spécifiques ($\hat{s}_I, \hat{l}_I$) pour le nouveau sujet et l'éclairage afin de s'ajuster aux vues sources éparses. L'embedding de regard de vérité terrain $\hat{g}_I$ est calculé à partir des annotations connues et maintenu fixe.
2. Affinage : Les poids du réseau sont dégelés et optimisés conjointement avec les codes latents pour capturer les détails spécifiques à la personne et affiner la reconstruction.
3. Synthèse : Le champ de radiance haute fidélité résultant est rendu depuis la perspective des caméras de l'appareil cible. Cela génère des images d'entraînement synthétiques qui conservent les annotations de regard de vérité terrain originales mais correspondent aux caractéristiques optiques du nouvel appareil.

Contributions Clés

• Premier A priori de Regard Appris : L'article introduit le premier a priori de regard 3D qui découple le sujet, le regard et la lumière, présentant des mouvements de paupières biologiquement précis sans dépendre de masques d'yeux explicites ou de rotations rigides.
• Reconstruction 3D à Vues Éparses : La méthode permet une synthèse de nouvelle vue de haute qualité à partir d'entrées extrêmement éparses (aussi peu que 2-4 vues), une amélioration significative par rapport aux méthodes précédentes nécessitant des captures multi-vues denses.
• Synthèse de Données Zero-Shot : Elle fournit un pipeline pour générer des données d'entraînement pour de nouveaux appareils RA/RV sans collecter de nouvelles données réelles, comblant efficacement l'écart de domaine entre le matériel ancien et nouveau.
• Performance Supérieure : Les données synthétisées permettent aux modèles de suivi oculaire d'atteindre une précision et une robustesse supérieures par rapport aux modèles entraînés sur des données provenant de bases de comparaison de synthèse concurrentes.

Résultats Expérimentaux

Les auteurs ont évalué GazePrior en utilisant le casque Aria comme appareil cible et l'ont comparé à des bases de comparaison de l'état de l'art (ControllableGaze [10], Lin et al. [11]).

• Synthèse de Nouvelle Vue (NVS) : Dans les évaluations quantitatives (PSNR, SSIM, MSE), GazePrior a considérablement surpassé les bases de comparaison à mesure que le nombre de vues d'entrée diminuait. Avec seulement 2 vues d'entrée, GazePrior a atteint un écart de performance de près de 10 dB par rapport à la meilleure base de comparaison. Les résultats qualitatifs ont montré que GazePrior produisait des détails haute fidélité (cils, paupières) avec un écart de domaine minimal par rapport aux captures réelles d'Aria, tandis que les bases de comparaison présentaient des floaters et des artefacts.
• Performance de Suivi Oculaire : Un modèle de suivi oculaire entraîné sur des données synthétisées par GazePrior a atteint une erreur moyenne d'angle de regard de 5,85° sur des données de test réelles d'Aria. Cela représente une amélioration substantielle par rapport aux bases de comparaison (12,53° et 12,69°) et s'approche de la performance d'un modèle entraîné sur des données réelles spécifiques à l'appareil (4,35°).
• Études d'Ablation : L'étude a confirmé que les espaces latents découplés et la séparation de l'éclairage de la densité sont critiques. L'utilisation d'un seul vecteur latent ou la dépendance de la densité à la lumière a entraîné des baisses de performance significatives. L'encodage sinusoïdal du regard s'est avéré plus efficace que les codebooks appris pour le regard.

Importance et Revendications

L'article revendique que GazePrior répond aux coûts prohibitifs de la collecte de données pour les nouveaux appareils RA/RV en permettant une approche zero-shot de suivi oculaire. En exploitant des ensembles de données annotés existants provenant de casques plus anciens et en les transférant via un a priori 3D appris, la méthode permet aux développeurs de :

1. Entraîner des traceurs oculaires robustes pour de nouveaux appareils avant qu'ils ne soient physiquement construits.
2. Évaluer comment le placement des caméras impacte la performance sans prototypage physique.
3. Atteindre une haute précision sans avoir besoin de campagnes de collecte de données coûteuses et à grande échelle.

Les auteurs positionnent ce travail comme une étape fondamentale vers le déverrouillage de fonctionnalités avancées telles que le rendu fovéal et les interactions de pincement par le regard dans la Réalité Étendue (XR), éliminant le goulot d'étranglement de la collecte de données qui entrave actuellement l'itération rapide dans ce domaine. Ils reconnaissent des limitations, telles que la difficulté de simuler des reflets cornéens haute fréquence avec des champs de radiance, mais soulignent le succès de la méthode dans la génération de données d'entraînement diverses et réalistes qui surpassent les techniques de synthèse existantes.