Economic Evaluations of Language Models
Cet article présente EconEvals, une suite d'évaluation et un cadre de simulation open-source et rentables qui évaluent le potentiel des modèles de langage à faire gagner du temps dans les professions américaines, révélant que si les modèles actuels pourraient avoir un impact significatif sur près de la moitié de tous les emplois, leur adoption réelle est actuellement limitée par des préoccupations relatives à la confidentialité et par des barrières systémiques propriétaires plutôt que par la capacité technique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque animée où les livres deviennent plus intelligents chaque jour. Pendant longtemps, les bibliothécaires (les scientifiques) ont testé ces nouveaux livres super-intelligents en leur demandant de résoudre des énigmes mathématiques ou d'écrire du code. C'est comme vérifier si une nouvelle voiture peut gagner une course sur un circuit. Mais voici le problème : la vraie vie n'est pas un circuit de course. La vraie vie est une ville désordonnée et complexe où les gens exercent des milliers de métiers différents, de la réparation de tuyaux à la gestion d'hôpitaux. La grande question que tout le monde se pose est la suivante : « Si ces livres d'IA sont si intelligents, à quel point vont-ils réellement nous aider dans nos tâches quotidiennes ? Vont-ils nous faire gagner du temps, ou vont-ils simplement rester sur l'étagère ? »
Pour répondre à cela, nous devons comprendre quelques points. Premièrement, il y a les « benchmarks » (tests de référence), qui sont comme des tests standardisés pour l'IA. Si une IA obtient un score élevé, cela signifie qu'elle est douée pour ce test spécifique. Deuxièmement, il y a l'« exposition », qui est un mot sophistiqué pour demander : « Quelle part de la journée d'un travailleur cette IA pourrait-elle réellement prendre en charge ? » Enfin, il y a l'écart entre ce que l'IA peut faire lors d'un test et ce qu'elle fait réellement dans le monde réel. Nous nous soucions de cela parce que si nous ne connaissons pas la réponse, nous ne pouvons pas planifier l'avenir. Nous pourrions penser que l'IA va tout changer demain, ou nous pourrions penser qu'elle ne changera rien du tout, et ces deux suppositions pourraient être erronées.
C'est alors qu'une équipe de chercheurs de Stanford et de l'Université de São Paulo a décidé de ne plus deviner, mais de mesurer. Ils ont construit un nouvel outil open-source appelé ECONEVALS. Considérez cet outil comme une immense carte numérique de l'ensemble du marché du travail américain. Au lieu de se concentrer sur quelques métiers populaires comme les ingénieurs logiciels, ils ont cartographié plus de 1 000 professions différentes, en les décomposant en près de 19 000 micro-tâches. C'est comme avoir un microscope capable de zoomer sur chaque chose qu'un travailleur fait, de « répondre au téléphone » à « concevoir un pont ».
L'équipe a été confrontée à un problème délicat : elle devait savoir ce que les gens réels demandent réellement à l'IA lorsqu'ils travaillent, mais la plupart de ces données sont privées. Ils ont donc fait deux choses. Premièrement, ils ont fouillé dans des millions de conversations publiques pour trouver de vraies questions liées au travail. Deuxièmement, lorsqu'ils ne trouvaient pas de données réelles pour un métier spécifique, ils créaient des données « synthétiques ». Imaginez un robot acteur jouant le rôle d'un infirmier, d'un enseignant ou d'un ouvrier du bâtiment, demandant de l'aide à une IA pour ses tâches quotidiennes spécifiques. Ils ont utilisé ce mélange de données réelles et de jeux de rôle pour tester 10 modèles d'IA différents.
Qu'ont-ils découvert ? Les résultats ressemblent un peu à une histoire de « potentiel contre réalité ». Les chercheurs ont découvert que les modèles d'IA actuels sont en fait assez doués pour aider au travail. En fait, leurs simulations suggèrent que pour 47 % de toutes les professions américaines, l'IA pourrait faire gagner un temps significatif aux travailleurs sur au moins la moitié de leurs tâches quotidiennes. C'est une part énorme de la main-d'œuvre !
Cependant, voici le rebondissement : ce n'est pas parce que l'IA peut faire le travail que les gens l'utilisent pour le faire. L'équipe a constaté que pour 79 % des tâches où l'IA pourrait théoriquement faire gagner beaucoup de temps, les gens n'utilisent pas vraiment d'outils comme Claude. C'est comme avoir une Ferrari dans son garage qui peut rouler à 200 mph, mais que vous ne conduisez que jusqu'à la boîte aux lettres parce que vous avez peur de la vitesse ou que vous ne savez pas comment passer les vitesses.
Alors, qu'est-ce qui nous empêche d'utiliser davantage l'IA ? Les chercheurs ont mené une simulation spéciale où ils ont décomposé précisément pourquoi l'IA ne pouvait pas faire gagner du temps sur certaines tâches. Ils ont découvert que les principaux goulots d'étranglement ne sont pas que l'IA est trop stupide ; c'est que le monde réel est trop complexe. Les principales raisons pour lesquelles l'IA ne peut pas encore aider incluent :
- Les actions physiques : L'IA ne peut pas saisir un marteau ou réparer une fuite de tuyau.
- La confidentialité : Vous ne pouvez pas laisser une IA lire vos dossiers médicaux privés ou vos documents juridiques.
- Les systèmes propriétaires : De nombreuses entreprises utilisent des logiciels anciens et secrets auxquels l'IA ne peut pas se connecter.
- L'interaction en direct : L'IA a du mal avec les conversations en face à face en temps réel où les choses changent instantanément.
L'article a également comparé leur nouvelle méthode détaillée aux anciennes façons de mesurer l'IA. Les anciennes méthodes étaient comme regarder une liste de super-pouvoirs et dire : « Cette IA peut tout faire ! » La nouvelle méthode ressemble davantage à regarder l'IA essayer de faire le travail et voir où elle trébuche. Ils ont découvert que les anciennes méthodes étaient bien trop optimistes, prédisant que l'IA pourrait aider pour 68 % des emplois, tandis que leur simulation plus réaliste suggère que c'est plus proche de 47 %.
En résumé, cet article nous dit que l'IA est un outil puissant qui est prêt à aider pour beaucoup de notre travail, mais que nous ne l'utilisons pas encore à cause d'obstacles du monde réel comme les règles de confidentialité et le besoin de mains physiques. Les chercheurs ont construit une carte et un instrument de mesure qui peuvent être mis à jour à mesure que l'IA devient plus intelligente, nous aidant à comprendre exactement où la technologie atterrira ensuite, plutôt que de simplement deviner. Ils ne disent pas que l'IA a résolu l'économie, mais ils nous ont donné une image beaucoup plus claire des points de blocage et des voies libres.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.