CLERF: Contrastive LEaRning for Full Range Head Pose Estimation

Imaginez que vous essayez d'apprendre à un robot à comprendre le langage corporel humain. Vous voulez qu'il sache exactement comment une personne incline la tête, qu'elle regarde un oiseau en l'air, un téléphone en bas, ou qu'elle tourne sur elle-même en cercle. Cette tâche est appelée l'estimation de la pose de la tête (Head Pose Estimation ou HPE), et c'est un enjeu majeur pour tout, des jeux de réalité virtuelle aux voitures autonomes qui doivent savoir si un piéton les regarde. Pour enseigner cela à un ordinateur, nous lui montrons généralement des milliers de photos de visages. Mais voici la partie délicate : dans le monde réel, il est incroyablement rare de trouver deux photos de personnes différentes regardant exactement dans la même direction. C'est comme essayer de trouver deux inconnus dans un stade bondé qui fixent tous deux exactement le même grain de poussière au plafond. Parce que ces paires « correspondantes » sont si difficiles à trouver, une méthode d'enseignement puissante appelée « apprentissage contrastif » — qui fonctionne en comparant des choses similaires pour apprendre ce qui les rend semblables — s'est retrouvée bloquée dans la boue pour ce travail spécifique.

Entrez en scène une équipe de chercheurs qui a décidé de construire un pont au-dessus de ce fossé boueux. Ils ont créé un nouveau cadre appelé CLERF (Contrastive LEaRning for Full Range Head Pose Estimation). Au lieu d'attendre que l'univers leur fournisse des photos correspondantes, ils ont utilisé un type spécial de générateur d'IA pour créer leurs propres photos « jumelles » à la volée. Ils ont également réalisé que la plupart des cerveaux de robots existants sont terribles pour gérer des photos même légèrement inclinées ou retournées ; si vous tournez une photo de 10 degrés, le robot est confus. CLERF, cependant, est conçu pour gérer le monde entier à 360 degrés, y compris les têtes à l'envers, et il reste calme même quand les photos deviennent un peu désordonnées.

Le Problème : La « aiguille dans une botte de foin » des poses de tête

Considérez l'estimation de la pose de la tête comme l'enseignement d'une direction à un étudiant. Si vous ne lui montrez que des photos de personnes regardant droit devant elles ou légèrement sur le côté, elles deviennent des experts en la matière. Mais si vous lui demandez d'identifier quelqu'un qui regarde droit vers le haut, droit vers le bas, ou même à l'envers, l'étudiant pourrait échouer car il n'a jamais vu ces angles auparavant.

Les chercheurs ont découvert qu'essayer d'utiliser l'« apprentissage contrastif » pour toute cette plage de mouvements était presque impossible. En termes simples, l'apprentissage contrastif est comme un jeu de « trouver les différences » où l'ordinateur apprend en comparant une image « cible » (l'ancre) avec une « correspondance » (le positif) et une « non-correspondance » (le négatif). Pour bien apprendre, l'ordinateur doit voir de nombreuses paires de personnes regardant dans la même direction. Or, dans le vaste espace 3D des mouvements de tête, trouver deux personnes regardant exactement dans la même direction est statistiquement presque impossible — moins de 0,02 % de chances. Sans ces correspondances, l'ordinateur ne peut pas apprendre les subtilités entre les angles.

La Solution : Le Miroir Magique et la Pièce Tournante

Pour résoudre cela, les auteurs ont construit un tour de passe-passe ingénieux en deux étapes.

Étape 1 : Le Miroir Magique (Jumeaux Synthétiques)
Au lieu de chercher de vraies personnes regardant de la même façon, ils ont utilisé un « GAN conscient de la 3D » (un type d'IA capable de générer des images 3D réalistes) pour créer un jumeau synthétique. Imaginez que vous avez la photo d'une personne regardant légèrement vers la gauche. L'IA génère une fausse photo d'une personne différente qui regarde dans cette exacte même direction. Désormais, l'ordinateur possède une « paire positive » parfaite (une correspondance) à étudier. Cela résout le problème de « l'aiguille dans la botte de foin » en créant les aiguilles dès qu'elles sont nécessaires.

Étape 2 : La Pièce Tournante (Transformations Géométriques)
Les chercheurs ont réalisé que le simple fait d'avoir des correspondances ne suffisait pas ; ils devaient apprendre à l'ordinateur à gérer n'importe quel angle, y compris les plus étranges comme les têtes à l'envers. Ils ont appliqué des « inversions » et des « rotations » mathématiques à leurs images. Considérez cela comme le fait de prendre une photo et de faire tourner la pièce autour d'elle. Si vous faites pivoter une photo d'une personne regardant vers la gauche de 180 degrés, elle regarde désormais vers la droite. En faisant pivoter et en inversant mathématiquement ces images, ils pouvaient couvrir l'intégralité de la sphère des mouvements de tête, de -180 à 180 degrés, garantissant que l'ordinateur voie tous les angles possibles.

Crucialement, ils ont prouvé que si vous faites pivoter ou inversez une paire d'images correspondantes de la même manière, elles restent une correspondance. Cela leur a permis d'utiliser l'apprentissage contrastif de manière efficace, en apprenant à l'ordinateur qu'une tête regardant vers la gauche est fondamentalement différente d'une tête regardant vers la droite, même si l'image est à l'envers.

Ce qu'ils ont trouvé : Le robot qui ne prend pas le mal de mer

L'équipe a testé leur nouveau modèle, CLERF, contre les meilleurs modèles existants en utilisant des ensembles de données de test standards. Voici ce qui s'est passé :

• Sur les photos normales : Lorsqu'il est testé sur des photos standard et droites, CLERF est aussi performant que les meilleurs modèles. Ce n'était pas une solution miracle qui rendait tout parfait instantanément, mais il tenait son rang.
• Sur les photos légèrement inclinées : C'est ici que la magie a opéré. Lorsque les chercheurs ont pris les photos de test et les ont fait pivoter de 10 degrés ou les ont inversées (créant ce qu'ils appellent des versions « légèrement augmentées » ou SA), les anciens modèles ont commencé à trébucher. Leur précision a chuté de manière significative. CLERF, cependant, est resté solide comme un roc. Il était environ 0,5 à 1,3 degré plus précis que le modèle suivant sur ces images de rotation légèrement complexes.
• Sur les photos largement pivotées : Lorsqu'ils ont testé les modèles sur des images fortement pivotées ou inversées (les versions « Plage Complète » ou FA), la différence était massive. Les modèles existants, même ceux qui prétendaient gérer des plages complètes, étaient confus et leurs erreurs ont bondi de plus de 10 degrés. CLERF, en revanche, a géré ces angles fous avec aisance, surpassant la concurrence par une marge énorme.

Les chercheurs ont également visualisé la façon dont l'ordinateur « voyait » le monde. Ils ont montré aux modèles une vidéo d'une personne tournant en un cercle complet. Les anciens modèles voyaient la personne qui tournait comme un amas flou et confus où les points de départ et d'arrivée semblaient trop similaires. CLERF, cependant, voyait un cercle clair et fluide, distinguant parfaitement les angles proches des angles éloignés.

Ce qu'il faut retenir

L'article suggère qu'en générant leurs propres images « jumelles » et en faisant pivoter mathématiquement les données, ils ont réussi à enseigner à un ordinateur à comprendre les poses de tête d'une manière qui n'a jamais été faite auparavant. Ils n'ont pas seulement créé un modèle qui fonctionne bien sur des photos parfaites ; ils en ont fait un modèle assez robuste pour gérer la réalité désordonnée, pivotée et à l'envers du monde réel. Bien qu'ils ne prétendent pas avoir résolu tous les problèmes de vision par ordinateur, ils ont démontré que cette nouvelle approche permet un modèle de « véritable plage complète » capable de prédire avec précision n'importe quelle pose de tête, y compris celles qui ont précédemment laissé les meilleurs systèmes d'IA perplexes.