Validating LLMs in social science: Epistemic threats and emerging norms

Imaginez que les chercheurs en sciences sociales soient comme des détectives tentant de résoudre des mystères sur le comportement humain. Pendant des années, ils ont dû embaucher des équipes d'assistants humains pour lire des milliers de documents, les classer par catégories ou deviner comment les gens répondraient à des sondages. C'est lent, coûteux et épuisant.

Entrez en scène le Grand Modèle de Langage (LLM) : un assistant robotique numérique super intelligent qui peut lire et écrire plus vite que n'importe qui. Les chercheurs demandent désormais à ces robots de faire le gros du travail, transformant des textes désordonnés en chiffres et graphiques bien nets. Cela ressemble à une baguette magique, n'est-ce pas ? Mais une nouvelle étude de Meera Desai, Dallas Card et Abigail Z. Jacobs suggère que, si la baguette est brillante, la magie pourrait être un peu plus complexe qu'on ne le pensait.

La grande découverte : Le problème de la « boîte noire »

Les auteurs ont examiné 27 articles publiés dans les plus grandes revues de sciences sociales entre 2023 et 2025. Ils ont identifié 50 tâches spécifiques où des chercheurs ont utilisé ces robots IA pour mesurer des choses telles que l'« offensivité », l'« idéologie politique » ou le « sentiment ».

Voici le rebondissement : dans presque tous ces cas, les mesures du robot étaient l'événement principal. Elles constituaient la preuve centrale utilisée pour formuler de grandes affirmations sur le fonctionnement de la société. Pourtant, lorsque les auteurs ont regardé derrière le rideau pour voir comment les chercheurs vérifiaient si les robots disaient réellement la vérité, ils ont découvert un désordre total.

Imaginez que vous prépariez un gâteau. Vous pouvez utiliser un four sophistiqué et de haute technologie (le LLM) pour cuire le gâteau. Mais si vous ne vérifiez pas la température, si vous ne goûtez pas la pâte et si vous ne savez pas exactement quelle recette vous avez utilisée, vous ne pouvez pas être sûr que le gâteau est bien un gâteau et non une brique. L'étude a révélé que les chercheurs utilisent souvent ces fours de haute technologie mais oublient de faire les tests de goût.

Les trois grandes erreurs

L'article souligne trois façons dont les chercheurs se perdent dans les détails :

1. La « recette vague » (Conceptualisation) :
   Imaginez que vous disiez à un robot : « Trouve-moi un post "mauvais". » Mais vous ne dites jamais au robot ce que signifie « mauvais ». Est-ce impoli ? Est-ce triste ? Est-ce mal ?
   L'étude a révélé que dans 13 articles (couvrant 29 tâches), les chercheurs n'ont pas défini leurs concepts du tout. Ils ont simplement utilisé un mot unique ou une courte phrase. C'est comme dire à un chef : « Préparez-moi un repas "délicieux" » sans préciser si vous voulez quelque chose de épicé, de sucré ou de salé. Sans une définition claire, le robot pourrait mesurer quelque chose de totalement différent de ce que le chercheur avait prévu.

2. Les « réglages aléatoires » (Opérationnalisation) :
   Utiliser un LLM, c'est comme conduire une voiture avec des millions de boutons et de cadrans. Vous devez choisir le modèle, la « température » (le degré de créativité ou d'aléatoire des réponses) et la manière de récupérer la réponse de la réponse bavarde du robot.
   Les auteurs ont constaté que les chercheurs tournaient ces boutons de manières radicalement différentes, souvent basées sur une intuition ou une supposition. Certains utilisaient des prompts zero-shot (juste des instructions, sans exemples), tandis que d'autres utilisaient des prompts few-shot (instructions plus exemples). Certains demandaient au robot de répondre par un chiffre ; d'autres demandaient une phrase.
   Le côté effrayant ? L'article suggère que de minuscules changements dans ces réglages peuvent complètement changer le résultat. C'est comme tourner légèrement le cadran de la radio et entendre soudainement une station différente. Pourtant, de nombreux chercheurs n'ont pas expliqué pourquoi ils avaient choisi leurs réglages spécifiques, ce qui rend difficile la répétition de l'expérience par d'autres.

3. Le contrôle « monotone » (Validation) :
   C'est le problème majeur. Lorsque vous utilisez un robot pour mesurer quelque chose, vous devez prouver son exactitude. La norme de référence consiste à comparer le travail du robot à celui d'un humain (la « référence d'or »).
   L'étude a révélé que 38 des 50 tâches reposaient presque entièrement sur un seul type de contrôle : la validité convergente. Cela signifie qu'ils demandaient simplement : « Est-ce que le robot est d'accord avec l'humain ? »
   Mais l'article soutient que cela ne suffit pas. C'est comme vérifier si un nouveau thermomètre fonctionne en le comparant à un ancien qui pourrait lui aussi être défectueux. Les auteurs suggèrent que les chercheurs devraient utiliser toute une boîte à outils de contrôles :

   • Validité de face : La réponse semble-t-elle raisonnable au premier coup d'œil ?
   • Validité d'hypothèse : Les données aident-elles à répondre à une question réelle et intéressante ?
   • Validité prédictive : Les données prédisent-elles correctement les événements futurs ?
   • Validité discriminante : Le robot mesure-t-il uniquement ce que nous lui avons demandé, ou capte-t-il d'autres éléments ?

De façon frappante, 8 tâches de l'étude n'avaient aucune validation du tout. Ils ont simplement pris la parole du robot pour argent certain.

Ce que l'article écarte

Les auteurs sont très clairs sur ce que cette étude ne dit pas. Ils ne disent pas que les LLM sont inutiles. Ils ne disent pas que nous devrions arrêter de les utiliser.

Cependant, ils rejettent explicitement l'idée que nous puissions simplement faire du « plug and play » avec ces modèles. Vous ne pouvez pas traiter un LLM comme une règle standard ou un thermomètre qui donne le même résultat à chaque utilisation. L'article s'oppose à l'idée que ces modèles sont des « instruments universels » qui produisent automatiquement des mesures significatives. Au contraire, ce sont des outils sur mesure qui nécessitent une conception minutieuse, des définitions précises et des tests rigoureux.

Ils rejettent également l'idée que la façon actuelle de faire est « suffisante ». Le fait que les chercheurs sautent des étapes comme la définition des concepts ou la vérification des biais n'est pas seulement un oubli mineur ; c'est une menace pour l'ensemble du domaine. Si les mesures sont fragiles, les conclusions sur la société le sont aussi.

À quel point sommes-nous sûrs ?

Les auteurs sont très confiants dans leurs conclusions car ils ne se sont pas contentés de deviner ; ils ont fait le travail. Ils ont collecté une liste exhaustive de 2 143 articles provenant de revues de premier plan et ont codé manuellement 27 articles avec 50 tâches spécifiques. Ils n'ont pas simulé cela ; ils ont observé de la recherche réelle et publiée.

Ils ont constaté que, bien que les LLM deviennent centraux dans les sciences sociales, les « normes » (les règles de la route) pour les utiliser en toute sécurité n'ont pas encore rattrapé le mouvement. L'article suggère que sans de meilleures règles — comme toujours définir ses termes, rapporter chaque réglage utilisé et vérifier son travail avec plusieurs méthodes — nous risquons de construire un château de cartes sur des fondations fragiles.

La conclusion

L'article se termine par un appel à l'action. Ce n'est pas un panneau « stop », mais un panneau « procédez avec prudence ». Les chercheurs en sciences sociales doivent commencer à traiter ces outils d'IA avec le même respect et la même rigueur qu'ils accordent aux enquêteurs humains. Ils doivent noter précisément ce qu'ils ont demandé au robot, comment ils l'ont demandé et comment ils ont vérifié la réponse.

D'ici là, le robot peut être un assistant puissant, mais il reste un peu mystérieux. Et en science, les mystères sont amusants, mais ils ne constituent pas des faits solides.