Training-seed variance in single-run comparisons of frozen-CLIP adaptation: evidence from cross-dataset facial expression recognition

Dans le monde de l'intelligence artificielle, les ordinateurs apprennent de plus en plus à reconnaître le monde en étudiant de vastes bibliothèques d'images et de textes ensemble. Ce processus crée un cerveau polyvalent et puissant capable de comprendre des images qu'il n'a jamais vues auparavant. Cependant, lorsque ces systèmes sont déployés dans le monde réel, ils trébuchent souvent. Un modèle entraîné sur un ensemble de photos peut échouer lamentablement lorsqu'on lui présente des images prises sous un éclairage différent, par des caméras différentes ou présentant des personnes différentes. C'est un problème courant dans la reconnaissance des expressions faciales, où un ordinateur entraîné à détecter le bonheur ou la colère dans un jeu de données perd souvent sa précision face à une nouvelle collection de visages. Pour corriger cela sans réentraîner l'intégralité de ce cerveau massif, les chercheurs ont développé des techniques d'« adaptation ». Ces méthodes maintiennent le cerveau principal gelé et inchangé, n'ajoutant qu'une petite couche entraînable par-dessus pour s'ajuster à la nouvelle situation. C'est une solution pratique, mais elle repose sur une hypothèse dangereuse : que si un chercheur lance ce processus d'ajustement une seule fois et obtient un résultat, ce résultat est la vérité.

Une équipe de chercheurs de l'Université de technologie de Hefei s'est donné pour mission de tester si cette hypothèse de l'exécution unique tient la route. Ils se sont concentrés sur deux manières concurrentes d'adapter ces cerveaux d'IA gelés pour la reconnaissance des expressions faciales. Une méthode, appelée « voie globale » (global route), prend un résumé unique de l'image entière et tente de modifier ce résumé pour l'adapter à la nouvelle tâche. L'autre, connue sous le nom de « voie des jetons » (token route), fonctionne différemment ; au lieu de résumer l'image d'abord, elle examine les morceaux individuels de l'image et apprend comment les pondérer avant de prendre une décision. Pendant des années, la voie des jetons a été supposée être supérieure car elle préserve plus de détails. Pour tester cela, les chercheurs ont pris un modèle d'IA figé standard et ont appliqué les deux méthodes d'adaptation. Mais au lieu de lancer l'expérience une seule fois et de rapporter le vainqueur, ils l'ont lancée de nombreuses fois, ne changeant que le point de départ aléatoire du processus d'entraînement, appelé « graine » (seed). Ils ont fait cela pour deux tailles différentes de modèles d'IA, menant l'expérience dix fois sur le petit modèle et quinze fois sur le plus grand, en utilisant toujours exactement les mêmes données et les mêmes règles.

Les résultats de ce re-test rigoureux furent saisissants. Lorsque les chercheurs ont examiné les données d'un seul passage, la voie des jetons semblait être nettement meilleure que la méthode globale lors d'un test sur un jeu de données croisé, avec une avance de près de quatre points de pourcentage. C'est le genre de résultat sensationnel qui définit habituellement un domaine. Cependant, lorsqu'ils ont calculé la moyenne des résultats sur l'ensemble des dix ou quinze passages d'entraînement différents, cette avance a disparu. En fait, pour le petit modèle d'IA, l'avantage s'est totalement inversé ; la voie des jetons était en réalité moins performante que la méthode globale en moyenne. La différence entre le meilleur et le pire passage était si grande qu'elle a complètement éclipsé la revendication initiale. Les chercheurs ont découvert que le point de départ aléatoire du processus d'entraînement suffisait à inverser la conclusion de l'étude. Cinq des six comparaisons majeures qu'ils ont effectuées montraient cette instabilité, ce qui signifie qu'une seule expérience pourrait facilement rapporter un « vainqueur » qui perdrait si l'expérience était simplement répétée avec un point de départ aléatoire différent.

Il y eut toutefois une exception qui a survécu au test de la répétition. Sur un test spécifique impliquant des images dégradées par des distorsions synthétiques comme le flou ou le bruit, la voie des jetons a systématiquement surpassé la méthode globale sur le plus grand modèle d'IA. Cet avantage s'est maintenu à travers les quinze passages d'entraînement, la voie des jetons menant d'environ trois et demi points de pourcentage. Pour être absolument certains qu'il ne s'agissait pas d'un coup de chance, les chercheurs ont appliqué ce résultat à un tout nouveau jeu de données d'expressions faciales qu'ils n'avaient jamais touché auparavant. Ils ont appliqué les mêmes règles strictes et les mêmes critères prédéfinis. La voie des jetons a gagné à nouveau, avec une avance de près de trois points. Cela a confirmé que, bien que la voie des jetons ne soit pas une solution miracle universelle qui bat tout dans toutes les situations, elle possède une force réelle et reproductible lorsqu'elle traite certains types de corruption d'image sur des modèles plus larges.

L'étude a également révélé que la manière dont les chercheurs règlent leurs expériences importe autant que le point de départ aléatoire. Lorsque les chercheurs ont permis au taux d'apprentissage — un paramètre clé qui contrôle la vitesse à laquelle le modèle apprend — d'être choisi différemment pour chaque passage aléatoire, les résultats ont radicalement changé. Dans un cas, le changement de ce paramètre a déplacé la différence de performance de plus de trois points, ce qui correspondait exactement à la taille de l'effet que le passage unique original avait prétendu trouver. Cela suggère que le « vainqueur » d'une comparaison dépend souvent autant des choix de réglage spécifiques que de la méthode elle-même. Les chercheurs ont conclu que le domaine s'appuie trop lourdement sur les comparaisons à passage unique, qui peuvent produire des affirmations directionnelles trompeuses. Ils ont démontré que pour de nombreuses méthodes d'adaptation, le bruit introduit par les variations d'entraînement aléatoires est suffisant pour inverser les résultats. La seule façon de savoir si une méthode est réellement meilleure est de la tester de nombreuses fois et de rapporter l'étendue des résultats, plutôt que de se contenter du seul meilleur résultat.

Ce travail ne déclare pas qu'une méthode d'adaptation est définitivement supérieure à une autre. Au contraire, il révèle que le paysage de l'adaptation de l'IA est bien plus instable qu'on ne le pensait. La voie des jetons n'est pas une victoire garantie, et la voie globale n'est pas un échec ; leurs performances sont très sensibles aux graines aléatoires utilisées pendant l'entraînement et aux conditions spécifiques du test. Le seul résultat clair et reproductible est que la voie des jetons offre un véritable avantage pour les modèles plus grands lorsque les images sont corrompues, mais que cette force ne s'étend pas à toutes les tâches ni à toutes les tailles de modèles. L'étude sert de correction nécessaire à la manière dont ces technologies sont évaluées, exhortant les chercheurs à aller au-delà des instantanés de performance et à embrasser l'image complète de la variabilité. Ce faisant, la communauté scientifique pourra distinguer le bruit statistique éphémère des améliorations réelles et fiables de la compréhension humaine par les machines.