Using profiles of cognitive capability to assess AI suitability for workplace tasks

Dans le monde du travail moderne, une question discrète mais urgente redessine la façon dont les organisations envisagent leur avenir : quels emplois peuvent être confiés en toute sécurité à l'intelligence artificielle, et lesquels doivent rester entre des mains humaines ? Pendant des années, la réponse est restée insaisissable. Les entreprises s'appuient souvent sur des scores de tests agrégés et globaux pour juger l'intelligence d'une machine, un peu comme un directeur d'école pourrait juger l'année entière d'un élève sur la base d'une seule note d'examen final. Ces scores offrent un instantané de la performance générale, mais ils expliquent rarement pourquoi un système réussit ou échoue, ni prédisent comment il gérera la complexité désordonnée et imprévisible du travail réel. Lorsqu'une machine échoue dans un test contrôlé, c'est souvent un mystère ; lorsqu'elle échoue dans un bureau ou une usine, les conséquences peuvent être coûteuses et dangereuses. Le défi fondamental est que l'intelligence artificielle ne pense pas comme un humain. Ses forces et ses faiblesses sont irrégulières et disparates ; elle peut posséder une vaste bibliothèque de faits mais éprouver des difficultés avec la logique simple de la planification d'une séquence d'événements. Pour déployer ces systèmes en toute sécurité, les dirigeants ont besoin d'un moyen de cartographier les exigences cognitives spécifiques d'un emploi par rapport aux capacités cognitives spécifiques d'une machine, passant ainsi de l'intuion à une évaluation claire et fondée sur des preuves.

Un nouveau rapport technique de chercheurs de l'Université de Cambridge et d'autres institutions propose une solution à ce problème. Au lieu de demander si une machine peut accomplir une tâche spécifique, l'équipe a développé un pipeline pour profiler les capacités mentales sous-jacentes requises pour cette tâche et les comparer directement aux capacités de la machine. Ils ont commencé par décomposer le monde complexe des tests d'intelligence artificielle en dix-huit compétences cognitives centrales, telles que la mémoire, le raisonnement, la planification et la compréhension sociale. À l'aide d'une vaste collection de questions de tests existantes, ils ont annoté chacune d'elles pour déterminer exactement quelle compétence mentale était requise et quel était son niveau de difficulté. Cela a créé une « carte de demande » détaillée des tests. Ils ont ensuite utilisé cette carte pour inférer le véritable profil cognitif de six systèmes d'IA différents, non pas seulement en regardant leurs scores finaux, mais en analysant leurs performances à travers les différents types de défis mentaux. Le résultat fut un profil pour chaque machine montrant précisément là où ses capacités étaient fortes et là où elles étaient fragiles, révélant que si les systèmes variaient en puissance globale, ils partageaient une forme de forces et de faiblesses remarquablement similaire.

Pour rendre ces profils utiles aux décisions du monde réel, les chercheurs avaient besoin de savoir ce que les travailleurs humains doivent réellement faire pour accomplir leurs tâches. Ils ont interrogé 410 employés issus de six domaines professionnels différents, allant de la logistique d'entrepôt et de la fabrication au service client et à l'analyse de données. Plutôt que de demander à ces travailleurs de prédire la performance d'une machine, les chercheurs leur ont demandé d'identifier les compétences mentales les plus critiques requises pour leurs tâches quotidiennes. Les employés ont classé l'importance de compétences telles que la résolution de problèmes, la planification et la communication pour leurs rôles spécifiques. Ce processus a révélé un « noyau cognitif » commun à presque tous les emplois : une forte dépendance à la mémoire, au langage et à la capacité de planifier à l'avance. Bien que différents emplois mettent l'accent sur différentes compétences secondaires — comme le raisonnement spatial pour les travailleurs d'entrepôt ou la compréhension sociale pour le personnel de vente — la machinerie mentale fondamentale requise pour le travail était étonnamment constante dans l'ensemble.

Lorsque les chercheurs ont superposé les profils d'IA aux exigences des emplois, une image claire de l'adéquation est apparue. L'étude a montré que les systèmes d'IA les plus avancés étaient mieux adaptés aux tâches reposant lourdement sur le langage, les connaissances factuelles et l'interaction sociale, des domaines où les machines actuelles excellent. Cependant, ils ont systématiquement éprouvé des difficultés avec les tâches exigeant une planification complexe, un raisonnement sur des objets physiques ou la compréhension de relations de cause à effet dans des environnements dynamiques. Crucialement, les chercheurs ont découvert que les différences entre les divers modèles d'IA étaient bien moindres que les différences entre les différents types de compétences cognitives. En d'autres termes, un système d'IA n'était pas radicalement différent d'un autre dans sa « personnalité » globale ; plutôt, tous étaient forts dans certains domaines et faibles dans d'autres. Les systèmes les plus capables ne montraient que des améliorations modestes en matière de planification et de contrôle par rapport à leurs pairs, suggérant que si les machines s'améliorent dans l'organisation de l'information, elles sont encore loin de maîtriser le type de comportement flexible et orienté vers un but que les humains tiennent pour acquis.

Le cadre a également fourni un moyen de calculer un « score d'adéquation » pour n'importe quel emploi spécifique, permettant aux organisations de voir quelles tâches sont prêtes pour l'automatisation et lesquelles ne le sont pas. En combinant le profil de capacité de la machine avec l'importance de la tâche pour l'entreprise, le système pouvait mettre en évidence les opportunités prioritaires où l'IA serait à la fois efficace et précieuse. Par exemple, les tâches telles que l'analyse de données et la recherche administrative sont apparues comme de solides candidates à l'automatisation, tandis que les rôles nécessitant un profond rapport interpersonnel ou un raisonnement physique complexe restaient fermement dans le domaine humain. Les chercheurs ont testé cette approche sur une seule entreprise, montrant comment la même méthode pouvait être adaptée aux besoins uniques d'une organisation spécifique, passant des tendances générales de l'industrie aux fonctions spécifiques de chaque employé.

L'étude argumente explicitement contre l'idée qu'un score de test élevé et unique soit suffisant pour garantir la fiabilité d'une machine sur le lieu de travail. Elle démontre qu'un système doté d'un score moyen élevé peut tout de même échouer de manière catastrophique s'il manque d'une compétence spécifique et cachée requise pour un emploi particulier. Les chercheurs avertissent également que leurs conclusions sont basées sur la génération actuelle de modèles d'IA et les tests spécifiques disponibles aujourd'hui. À mesure que de nouvelles machines sont construites et que de nouveaux tests sont développés, les profils devront être mis à jour. Cependant, la méthode elle-même reste robuste. En séparant la mesure de ce qu'une machine peut faire de la mesure de ce qu'un emploi requiert, le cadre fournit un langage scientifique stable pour discuter de l'avenir du travail. Il suggère que la voie à suivre n'est pas de trouver une machine capable de tout faire, mais de faire correspondre soigneusement les capacités spécifiques et inégales de nos outils actuels aux demandes spécifiques et inégales du travail humain, garantissant ainsi que l'automatisation soit déployée là où elle réussira véritablement.