From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology
Cet article propose un cadre de double validité pour la recherche sur les grands modèles de langage en psychologie qui fait évoluer les exigences probatoires de la simple fiabilité vers une validité de construit rigoureuse et l'inférence causale, empêchant ainsi les « fantômes de mesure » en veillant à ce que les instruments humains ne soient pas appliqués de manière acritique à l'IA sans établir leur interprétabilité et leur fondement scientifique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les recoins tranquilles de la psychologie moderne, les chercheurs s'appuient depuis longtemps sur une méthode simple et fiable : poser des questions aux gens et observer leurs réponses. Ils utilisent des enquêtes et des tests soigneusement conçus pour mesurer des choses invisibles comme la personnalité, l'anxiété ou le raisonnement moral. Ces outils reposent sur l'hypothie que lorsqu'une personne dit « Je suis nerveuse », elle rapporte un sentiment réel et interne. Mais une nouvelle frontière s'est ouverte où la personne qui répond aux questions n'est pas un humain, mais un modèle de langage étendu. Ce sont ces puissants programmes informatiques capables d'écrire des histoires, de répondre à des requêtes complexes et de tenir des conversations qui semblent étonnamment humaines. Alors que les scientifiques commencent à utiliser ces machines pour étudier l'esprit humain, ou même pour étudier les machines elles-mêmes comme s'il s'agissait d'êtres psychologiques, une question fondamentale émerge. Pouvons-nous faire confiance aux réponses que donnent ces ordinateurs ? Si une machine dit qu'elle a peur, cela signifie-t-il la même chose que lorsqu'un humain le dit, ou l'ordinateur ne fait-il que mimer le son de la peur sans la ressentir ?
Une nouvelle revue du psychologue Zhicheng Lin de l'Université Yonsei s'attaque de front à cette incertitude. L'article soutient que de nombreuses études actuelles commettent une erreur dangereuse en traitant les sorties informatiques comme s'il s'agissait de réponses humaines. L'auteur suggère que les chercheurs voient souvent des « fantômes de mesure » — des motifs statistiques qui ressemblent à de vrais traits psychologiques mais qui ne sont en réalité que des bugs dans la manière dont l'ordinateur traite les mots. Pour corriger cela, Lin propose un nouveau cadre qui combine deux façons différentes de concevoir la science : vérifier si un test est fiable et vérifier si une expérience prouve réellement un rapport de cause à effet. Le constat central est que nous ne pouvons pas simplement prendre un test conçu pour les humains et le donner à un ordinateur en attendant que les résultats soient les mêmes. Au lieu de cela, nous devons construire de nouvelles méthodes de mesure qui respectent la nature mécanique et unique de ces systèmes numériques.
L'histoire de ce problème commence par une découverte surprenante concernant la fragilité de ces modèles informatiques. Les chercheurs testaient l'intelligence artificielle sur des dilemmes moraux, comme choisir entre sauver une personne ou en sauver cinq, et ont découvert que les modèles semblaient faire des choix éthiques très semblables à ceux des humains. Ils semblaient accorder plus de valeur à la vie humaine qu'aux animaux et préféraient sauver des groupes plus importants. Cependant, un examen plus approfondi a révélé que ces « préférences morales » étaient incroyablement instables. Lorsque les chercheurs changeaient un détail infime dans la question, comme renommer les options de « Cas 1 » et « Cas 2 » en « (A) » et « (B) », la position morale du modèle basculait totalement. Il préférait soudainement le résultat opposé. Changer un seul signe de ponctuation ou demander au modèle de répondre d'une manière légèrement différente pouvait aussi inverser son jugement. Cette sensibilité signifie que l'ordinateur ne raisonne pas nécessairement selon un principe éthique ; il réagit à la forme spécifique des mots sur l'écran. Si une mesure change de manière aussi drastique à cause d'une virgule, elle ne peut être considérée comme fiable pour mesurer un trait stable comme la moralité.
Cette instabilité crée un effet de ricochet qui mine l'ensemble du domaine de l'utilisation des ordinateurs pour la recherche psychologique. L'article identifie trois sources principales de cette non-fiabilité. Premièrement, le processus d'entraînement lui-même peut introduire des biais. Ces modèles sont entraînés sur de vastes quantités de textes provenant d'Internet, qui incluent de nombreuses opinions et stéréotypes humains. Lorsqu'un modèle est systématiquement d'accord avec une affirmation, ce n'est pas forcément parce qu'il détient cette croyance, mais parce qu'il essaie de plaire à l'utilisateur ou parce qu'il répète des schémas observés dans ses données d'entraînement. Deuxièmement, les modèles sont hypersensibles à la manière dont une question est posée. L'ordre des mots, l'espacement ou les étiquettes utilisées pour les réponses peuvent changer complètement le résultat. Troisièmement, les modèles sont instables dans le temps. Un modèle peut donner une réponse cohérente aujourd'hui, mais si le logiciel est mis à jour le mois prochain, la même question pourrait produire une réponse totalement différente. À cause de ces problèmes, un ordinateur peut sembler posséder une personnalité ou une boussole morale, mais il ne s'agit souvent que de motifs éphémères dans les données, et non de véritables caractéristiques psychologiques.
Pour progresser, l'article soutient que les chercheurs doivent adopter un cadre de « double validité ». Cela signifie qu'ils doivent satisfaire deux ensembles de règles simultanément. Le premier ensemble provient de la tradition des tests psychologiques, qui demande : « Ce test mesure-t-il réellement ce qu'il prétend mesurer ? » Pour un ordinateur, cela nécessite de prouver que ses réponses sont cohérentes et qu'elles reflètent un mécanisme sous-jacent réel, et non une simple réaction aléatoire à l'invite. Le second ensemble de règles provient de la tradition de l'inférence causale, qui demande : « Notre expérience a-t-elle réellement causé le changement observé ? » Lorsque les chercheurs modifient une instruction pour voir comment elle affecte le comportement d'un modèle, ils doivent s'assurer que le changement qu'ils ont effectué est la seule variable modifiée, et non un paramètre technique caché ou un changement dans l'état interne du modèle.
L'article décrit une échelle d'ambition scientifique, montrant que plus nous faisons de prétentions sur ces machines, plus nous avons besoin de preuves. Au niveau inférieur, utiliser un ordinateur comme un simple outil pour trier du texte ou compter des mots ne nécessite que l'exactitude de l'outil. Si nous voulons décrire le propre comportement de l'ordinateur, comme dire qu'il possède une « personnalité », nous avons besoin de preuves solides que ses réponses sont stables et cohérentes. Si nous voulons utiliser l'ordinateur pour simuler le comportement humain, nous devons démontrer qu'il correspond aux données humaines de manières spécifiques et fiables. Au niveau le plus élevé, si nous voulons affirmer que les rouages internes de l'ordinateur révèlent comment les esprits humains fonctionnent, nous avons besoin de la preuve que l'ordinateur utilise un processus similaire au cerveau humain, et non qu'il produit simplement une réponse au son similaire. Actuellement, de nombreuses études sautent les échelons inférieurs de cette échelle pour passer directement au sommet, revendiquant des intuitions profondes sans avoir d'abord prouvé les bases.
L'auteur suggère que la solution n'est pas de forcer les ordinateurs à agir comme des humains, mais de développer de nouveaux concepts qui correspondent à ce que les ordinateurs sont réellement. Au lieu de demander si une machine ressent de l'anxiété, les chercheurs devraient chercher des motifs computationnels qui fonctionnent comme l'anxiété, tels qu'un système montrant de l'hésitation ou utilisant un langage négatif en cas d'incertitude. Ce changement de perspective permet aux scientifiques d'étudier la machine selon ses propres termes. Cela reconnaît qu'un ordinateur n'a pas de corps, pas d'histoire de vie, ni de soi, mais qu'il peut néanmoins afficher des motifs intéressants et utiles à l'étude. En construisant ces nouvelles mesures spécifiques à l'informatique et en étant rigoureux sur ce que les données peuvent et ne peuvent pas prouver, le domaine pourra éviter le piège des fantômes de mesure. L'objectif est de transformer une collection de caprices statistiques en une véritable science de l'intelligence artificielle, une science qui respecte la nature unique des machines qu'elle étudie.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.