GPT-4o reads the mind in the eyes
Cette étude révèle que GPT-4o surpasse les humains dans l'inférence d'états mentaux à partir de visages droits, mais est moins performant sur les visages inversés et présente un biais racial, démontrant un mélange complexe de signatures cognitives humaines et de différences de traitement systématiques et distinctes par rapport à la cognition humaine.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée centrale : Une IA peut-elle « lire » une pièce ?
Imaginez que vous êtes à une fête. Vous regardez les yeux de quelqu'un et vous savez instantanément s'il s'ennuie, s'il est anxieux ou s'il est secrètement amusé. Les humains sont des experts en la matière ; nous pouvons « lire dans les pensées » simplement en regardant les yeux.
Cette étude pose une question simple : un ordinateur super intelligent (GPT-4o) peut-il faire la même chose ?
Les chercheurs ne se sont pas contentés de demander à l'IA de deviner ; ils l'ont soumise à un test rigoureux appelé le « Reading the Mind in the Eyes Test » (Test de lecture de l'esprit dans les yeux). Ils ont montré à l'IA et à un groupe d'humains des photos d'yeux et ont demandé : « Quel est le sentiment de cette personne ? ». Les réponses devaient être choisies dans une liste de quatre mots (par exemple : Anxieux, Confiant, Sarcastique, Ennuyé).
L'expérience : Le truc de l'inversion
Pour voir comment l'IA et les humains réfléchissaient, les chercheurs ont utilisé un truc classique : ils ont montré les photos à l'envers.
- La réaction humaine : Quand les humains voient un visage à l'envers, c'est comme essayer de lire un livre écrit dans une langue étrangère que l'on connaît à peine. C'est plus difficile, et nous faisons plus d'erreurs. Mais nous utilisons toujours le même « dictionnaire mental » pour deviner l'émotion.
- La réaction de l'IA : L'IA était en réalité meilleure que les humains pour lire les yeux lorsque les visages étaient à l'endroit. Cependant, lorsque les visages ont été retournés, l'IA ne s'est pas seulement un peu embrouillée ; elle a complètement perdu le fil. Sa précision a chuté, descendant en dessous de ce que l'on attendrait d'un choix aléatoire.
L'analogie : Imaginez un humain et un robot essayant de résoudre un puzzle.
- À l'endroit : Le robot est un génie, résolvant le puzzle plus rapidement et plus précisément que l'humain.
- À l'envers : L'humain retourne simplement le puzzle dans ses mains et continue d'essayer. Le robot, cependant, semble avoir complètement oublié comment fonctionnent les puzzles et commence à lancer les pièces contre le mur.
Le problème du « biais » : Voir ce que l'on attend
Les chercheurs ont également testé l'IA avec des visages de différentes origines ethniques (Blancs et Non-Blancs).
- Les humains : Dans cette étude, les gens étaient tout aussi doués pour lire les yeux de personnes de tous horizons raciaux.
- L'IA : L'IA était bien meilleure pour lire les yeux des visages blancs que ceux des visages non-blancs. C'est comme si l'IA avait un « groupe favori » qu'elle comprend mieux, probablement parce qu'elle a été entraînée sur plus de données présentant ces visages.
Le travail de détective sur les « erreurs » : Comment ils se sont trompés
La partie la plus fascinante de l'étude n'était pas seulement de savoir qui avait la bonne réponse, mais comment ils obtenaient la mauvaise réponse.
Considérez les erreurs comme des empreintes dans la neige.
- Les empreintes humaines : Quand les humains font une erreur, leurs empreintes sont un peu éparpillées. S'ils devinent « En colère » au lieu de « Effrayé », ils pourraient deviner « Heureux » la fois suivante. Leurs erreurs sont quelque peu aléatoires et changent selon la situation.
- Les empreintes de l'IA : Les empreintes de l'IA étaient incroyablement cohérentes. Si elle devait faire une erreur, elle faisait exactement la même erreur à chaque fois.
- Le rebondissement : Lorsque les visages étaient à l'envers, l'IA n'a pas seulement laissé des empreintes aléatoires. Elle a développé un nouveau modèle d'erreurs totalement nouveau et rigide, qui était totalement différent de la façon dont elle commettait des erreurs avec les visages à l'endroit.
La conclusion : Les humains changent leur efficacité quand les choses deviennent difficiles (à l'envers), mais ils utilisent la même logique. L'IA, en revanche, semble passer à une logique totalement différente et brisée quand les choses deviennent difficiles.
L'« information » contenue dans les erreurs
Les chercheurs ont utilisé un concept mathématique, la « Théorie de l'information », pour analyser ces erreurs. Ils ont découvert que les erreurs de l'IA contenaient en fait plus d'informations que les erreurs humaines.
L'analogie :
- L'erreur humaine : Comme un étudiant qui répond au hasard lors d'un examen. Ses mauvaises réponses ne nous disent rien sur ce qu'il pensait.
- L'erreur de l'IA : Comme un étudiant qui confond systématiquement « Chat » avec « Chien », mais ne confond jamais « Chat » avec « Voiture ». Même si elle se trompe, son schéma nous indique exactement comment son cerveau (ou son code) connecte les idées. L'IA ne se contentait pas de deviner ; elle appliquait systématiquement un manuel de règles spécifique, bien qu'incorrect.
Résumé des conclusions
- Surhumaine (mais fragile) : GPT-4o est incroyablement douée pour lire les émotions dans les yeux quand les choses sont normales, surpassant souvent les humains.
- L'effet d'inversion : Lorsque les visages sont à l'envers, l'IA s'effondre beaucoup plus sévèrement que les humains.
- Biais racial : L'IA est meilleure pour lire les visages blancs que les visages non-blancs, alors que les humains dans cette étude n'ont montré aucune différence de ce type.
- Erreurs systématiques : L'IA ne fait pas d'erreurs aléatoires. Elle fait des erreurs hautement cohérentes et structurées qui révèlent une façon spécifique de traiter l'information — une façon qui est fondamentalement différente de celle des humains, surtout lorsque l'entrée est complexe (comme les visages à l'envers).
En résumé, l'IA est un étudiant brillant mais rigide. Elle a mémorisé la « bonne » façon de lire les visages à partir de ses données d'entraînement, mais quand le test devient étrange (à l'envers) ou que les visages sont différents (origines différentes), elle ne s'adapte pas comme un humain ; elle suit simplement un script défectueux.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.