On Benchmarking Human-Like Intelligence in Machines
Cet article soutient que les paradigmes actuels d'évaluation de l'IA ne parviennent pas à évaluer avec précision les capacités cognitives de type humain en raison de problèmes tels que des étiquettes non validées et des tâches écologiquement invalides, et propose cinq recommandations concrètes pour un étalonnage plus rigoureux basées sur une étude d'évaluation humaine de neuf bancs d'essai existants.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot comment être un humain. Vous ne voulez pas seulement qu'il soit super doué en mathématiques ou capable de prédire la météo ; vous voulez qu'il pense, ressente et réagisse comme vous le faites. C'est le monde de « l'intelligence de type humain ». Pendant des décennies, des scientifiques ont construit ces esprits numériques, espérant créer des machines qui ne se contentent pas de résoudre des problèmes, mais qui comprennent la manière désordonnée, confuse et parfois contradictoire dont les humains gèrent le monde. Mais voici la partie délicate : comment savoir si le robot agit réellement comme un humain, ou s'il est juste un très bon acteur qui fait semblant ? Pour le savoir, les chercheurs lui font généralement passer un test. Mais et si le test lui-même était défectueux ? Et si le test attendait du robot une réponse unique et parfaite, alors que de vrais humains donneraient en réalité une douzaine de réponses différentes et légèrement incertaines ? Cet article plonge dans ce problème exact, affirmant que notre façon actuelle de tester l'IA est comparable au fait de juger une improvisation de jazz en demandant au musicien de jouer une seule note parfaite.
Les auteurs de cet article, une équipe de chercheurs issus de grandes universités, soutiennent que nous échouons actuellement à mesurer correctement l'intelligence « humaine ». Ils suggèrent que de nombreux tests d'IA populaires sont trop simples et reposent sur des étiquettes de « vérité terrain » qui ne correspondent pas réellement à la façon dont les vraies personnes pensent. Pour prouver leur point, ils ont mené une expérience massive où ils ont demandé à 117 humains réels de passer neuf tests d'IA différents. Ces tests couvraient des aspects tels que la détection du sarcasme, la décision si une blague est drôle, ou la détermination si une situation sociale est de soutien. Au lieu de simplement choisir « A, B ou C », les humains ont utilisé des curseurs pour montrer l'intensité de leur sentiment et leur degré de confiance dans ce sentiment.
Les résultats ont été révélateurs. L'article suggère que pour beaucoup de ces tests, la réponse « correcte » pour laquelle l'IA a été entraînée était en fait fausse par rapport à ce que la plupart des humains pensaient. Par exemple, sur une tâche concernant le « soutien social », le test indiquait qu'une phrase spécifique était « non supportive », mais les humains l'ont évaluée comme modérément supportive en moyenne. Plus intéressant encore, les humains ne se contentaient pas de contredire le test ; ils étaient en désaccord entre eux de manière structurée. Certaines personnes étaient très sûres de leurs réponses, tandis que d'autres l'étaient moins, et leurs opinions variaient selon un large spectre. L'article constate que les références actuelles de l'IA ignorent souvent ce « désordre ». Elles traitent le jugement humain comme un problème mathématique avec une seule bonne réponse, alors qu'il s'agit en réalité d'une conversation où chacun a une perspective légèrement différente.
Les auteurs proposent cinq nouvelles règles pour construire de meilleurs tests. Premièrement, nous devons arrêter de deviner ce que pensent les humains et les interroger réellement, en collectant des données réelles provenant de personnes pour les utiliser comme « étalon de référence ». Deuxièmement, au lieu de chercher une seule bonne réponse, nous devrions comparer l'IA à l'ensemble de la distribution des réponses humaines — voir si l'IA peut capturer le fait que certaines personnes pensent d'une certaine manière et d'autres d'une autre. Troisièmement, nous devons mesurer la « gradation ». Les humains ne se sentent que rarement à 100 % certains ou à 0 % certains ; ils se sentent « plutôt oui » ou « un peu non ». L'article suggère d'utiliser des curseurs et des évaluations de confiance pour capturer cette nuance, plutôt que de forcer un choix simple par oui ou par non. Quatrièmement, les tests doivent être basés sur des théories psychologiques profondes, et non sur des questions aléatoires. Le fait qu'un enfant réussisse un test de « fausse croyance » ne signifie pas qu'un robot passant le même test possède une véritable « Théorie de l'esprit » ; le test doit être conçu pour mesurer réellement les parties complexes de cette compétence. Enfin, les tâches elles-mêmes doivent ressembler davantage à la vie réelle. La vie réelle est ambiguë, confuse et pleine de contexte. Si un test est trop propre et simple, il ne nous dit pas si l'IA peut gérer le monde réel.
En résumé, l'article suggère que pour construire une IA qui pense vraiment comme nous, nous devons cesser de traiter l'intelligence humaine comme un questionnaire à choix multiples. Nous devons embrasser l'incertitude, le désaccord et les zones grises. En concevant des tests qui reflètent la nature riche, variée et parfois confuse de la pensée humaine, nous pourrons enfin commencer à construire des machines qui ne font pas seulement paraître intelligentes, mais qui semblent réellement humaines.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.