Contemporary AI lacks the imagination to diverge or negate in science
Cette étude, la plus grande évaluation impliquant des scientifiques dans la boucle à ce jour, révèle que si l'IA peut générer des idées scientifiques, elle manque actuellement d'imagination pour diverger ou proposer des hypothèses nulles, revient souvent par défaut à une « pensée de groupe » étroite de conceptions conventionnelles, et nécessite un ancrage humain pour surmonter ses limites en matière de nouveauté, de conscience du contexte et de jugement par rapport aux scientifiques experts.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La vue d'ensemble : Un test de réalité pour les scientifiques de l'IA
Imaginez un monde où nous demandons à un robot super intelligent de nous aider à résoudre les mystères les plus difficiles de la science. Nous espérons qu'il proposera des idées brillantes et totalement inédites que les humains n'ont pas encore conçues. Cet article est comme un immense « test de résistance » en conditions réelles pour voir si ce robot est réellement prêt pour le travail.
Les chercheurs ne se sont pas contentés de demander à l'IA d'écrire une histoire ; ils lui ont demandé d'agir comme un scientifique. Ils ont pris en charge 120 000 articles scientifiques réels (provenant de la biologie, de la médecine, de la chimie et des sciences sociales) et ont demandé à l'IA d'analyser le « casse-tête » de chaque article et de suggérer l'étape suivante. Ensuite, ils ont renvoyé ces suggestions de l'IA aux auteurs réels de ces articles pour voir ce qu'ils en pensaient.
Voici ce qu'ils ont découvert, décomposé en trois récits principaux.
1. L'« Esprit de ruche » contre le « Voyageur »
La découverte : La plupart des modèles d'IA (les modèles de « non-raisonnement ») agissent comme une ruche géante et monocorde. Si vous demandez à dix d'entre eux de résoudre le même casse-tête, ils proposeront tous presque exactement la même idée. Ils sont très similaires les uns aux autres, mais ils sont aussi très similaires à ce que les humains ont déjà dit. Ils ne réfléchissent pas vraiment en dehors de la boîte ; ils se contentent de réorganiser les meubles à l'intérieur de la boîte.
L'analogie : Imaginez que vous demandiez à dix étudiants d'écrire une histoire sur un chien perdu.
- IA de non-raisonnement : Les dix étudiants écrivent exactement la même histoire : « Le chien est allé au parc, a trouvé un os, et est rentré à la maison. » Ils copient tous le même scénario de film populaire.
- IA de raisonnement : Ces modèles sont un peu meilleurs. Ils errent un peu plus dans le parc. Peut-être que l'un suggère que le chien est allé à la plage, un autre suggère qu'il est allé dans une boulangerie. Ils ont plus de variété.
La pièce manquante : Même les « Voyageurs » (les modèles de raisonnement) ont un angle mort. Ils ne suggèrent presque jamais l'idée que « rien ne s'est passé ».
- L'analogie : Si un scientifique demande : « Est-ce que manger des myrtilles permet de courir plus vite ? », l'IA suggérera : « Oui, les myrtilles donnent une super vitesse ! » ou « Peut-être qu'elles aident à l'hydratation ».
- Le mouvement humain : Un scientifique humain pourrait dire : « En fait, peut-être que les myrtilles n'ont aucun effet sur la vitesse de course. »
- L'échec de l'IA : L'IA suggère rarement l'« hypothèse nulle » (l'idée qu'il n'y a pas de connexion). C'est comme un chef qui ne sait qu'ajouter des ingrédients, mais qui a oublié comment dire : « Ce plat n'a besoin de rien ajouter ». L'article suggère que cela est dû au fait que l'IA a été entraînée sur des livres qui rapportent principalement des « histoires de succès » (résultats positifs), tandis que les « échecs » (résultats nuls) sont souvent cachés dans le « tiroir de la déception » de la science, invisibles pour l'IA.
2. La « Chambre d'écho » des scientifiques
La découverte : Lorsque les vrais scientifiques ont examiné les idées de l'IA, ils n'ont pas agi comme des juges objectifs. Ils ont agi comme des fans de leur propre travail.
- Le biais de similitude : Les scientifiques ont aimé les idées de l'IA qui ressemblaient à leurs propres travaux précédents. Ils pensaient que ces idées étaient plus « réalisables » et « susceptibles d'être vraies ». Mais, ironiquement, ils pensaient que ces idées étaient moins novatrices (moins nouvelles).
- Le biais de séniorité : Les scientifiques plus âgés et plus célèbres (les chercheurs « seniors ») ont été des critiques beaucoup plus sévères que les plus jeunes. Ils étaient moins enclins à adopter les idées de l'IA, surtout dans les sciences sociales.
- Le biais de domaine : Les scientifiques en médecine étaient les plus ouverts à l'IA. Les scientifiques en sciences sociales étaient les plus sceptiques. Pourquoi ? Parce que la science sociale est désordonnée et dépend fortement du contexte (comme la culture et l'histoire). L'IA, qui apprend à partir de modèles de données, peine à comprendre ces contextes humains changeants et complexes. Elle essaie de copier l'opinion « moyenne », mais en sciences sociales, il n'y a souvent pas d'opinion moyenne à copier.
L'analogie : Imaginez un groupe d'architectes examinant un nouveau design.
- Si l'IA suggère un bâtiment qui ressemble exactement au dernier gratte-ciel de l'architecte, l'architecte dit : « Super ! C'est sûr et réalisable ! » (mais aussi : « Ennuyeux, j'ai déjà vu ça »).
- Si l'IA suggère un design sauvage et nouveau, l'architecte dit : « C'est risqué ».
- Les architectes plus âgés et célèbres sont les critiques les plus stricts. Ils sont comme les « Grands Hommes » de l'industrie qui ont tout vu et sont très sceptiques face aux nouveaux gadgets.
3. La fiche de notation défaillante
La découverte : La communauté scientifique utilise actuellement d'autres outils d'IA pour noter automatiquement les idées scientifiques (pour gagner du temps). Cet article a testé ces outils et a constaté qu'ils sont très mauvais dans leur travail.
- Le problème : Ces juges automatisés donnent à tout le monde une note de « C- ». Ils ont peur de donner des notes trop hautes ou trop basses. Ils regroupent tout dans la moyenne. Ils ne peuvent pas faire la différence entre une idée brillante et une mauvaise idée.
- La solution : Les chercheurs ont construit un nouveau « modèle de récompense » personnalisé (un juge IA spécialisé) entraîné spécifiquement sur ce que les scientifiques humains aiment réellement. Ce nouveau modèle a appris le « goût » subtil des différents domaines scientifiques. Il est devenu bien meilleur pour prédire ce que les humains penseraient, comblant ainsi l'écart entre un juge robot et un juge humain.
L'analogie : Imaginez un concours de musique où les juges sont des robots.
- Les anciens juges robots : Ils écoutent une chanson de rock, une de jazz et une de country, et donnent à toutes une note de 5,5 sur 10. Ils ne voient aucune différence.
- Le nouveau juge personnalisé : Les chercheurs ont enseigné à un nouveau robot en lui montant des milliers d'exemples de ce que les critiques de musique humains aiment. Maintenant, ce nouveau robot peut dire : « Ah, cette chanson de jazz a un tournant cool que les humains adorent », et lui donne un 9. Il comprend enfin le « feeling ».
L'essentiel
L'article conclut que l'IA d'aujourd'hui est un assistant utile, mais pas un partenaire créatif.
- Ce qu'elle fait bien : Elle peut lire beaucoup de livres, les résumer et suggérer la prochaine étape logique basée sur ce qui a déjà été écrit. Elle étend la recherche d'idées.
- Ce qui lui manque : Elle manque d'imagination et de négation. Elle ne sait pas dire « Et si ceci était faux ? » ou « Et si rien ne se passait ? ». Elle manque de curiosité. Elle prédit ce qui a été dit, plutôt que de se demander ce qui pourrait être appris ensuite.
La métaphore finale :
Considérez l'IA comme un bibliothécaire très rapide et très cultivé.
- Si vous demandez : « Quels livres ont été écrits sur les chats ? », le bibliothécaire peut instantanément vous donner une liste de tous les livres sur les chats jamais écrits.
- Mais si vous demandez : « Qu'est-ce qu'un chat n'est pas ? » ou « Et si les chats pouvaient voler ? », le bibliothécaire est confus. Le bibliothécaire ne connaît que les livres qui sont sur les étagères. Il ne connaît pas les livres qui n'ont jamais été écrits, ni les idées qui ont été essayées et ont échoué.
Pour que la science progresse véritablement, les humains doivent encore être ceux qui posent les questions bizarres, imaginent l'impossible et décident de ce qui compte. L'IA peut aider à organiser la bibliothèque, mais elle ne peut pas écrire seule le prochain grand chapitre de la connaissance humaine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.