🤖 AI

Principles and Guidelines for Randomized Controlled Trials in AI Evaluation

Ce document établit un cadre fondamental pour la standardisation des essais contrôlés randomisés dans l'évaluation de l'IA en adaptant le modèle des quatre validités de Shadish et al. et les directives TOP en cinq principes et 33 lignes directrices opérationnelles qui privilégient la performance humaine, l'inférence causale et la transparence pour répondre aux défis uniques des études sur l'interaction humain-IA.

Auteurs originaux : Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis

Publié 2026-05-06

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Christopher Kelly, Angelica Chowdhury, Alexandra Campili, Bimpe Ayoola, Devin Barbour, Thomas Chen Dawson, Ze Shen Chin, Rokas Gipiškis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer si une nouvelle calculatrice ultra-intelligente aide réellement les gens à résoudre des problèmes mathématiques mieux, ou si elle ne fait que les faire sentir comme s'ils faisaient un meilleur travail.

Pendant longtemps, les scientifiques testant l'IA ont été comme des chefs goûtant leur propre soupe sans recette. Ils pourraient dire : « Cette soupe a un goût merveilleux ! » mais ils ne vous ont pas dit quels ingrédients ils ont utilisés, combien de sel a été ajouté, ou s'ils l'ont goûtée en portant un bandeau. Parfois, la « soupe » (l'IA) change de saveur à mi-parcours du dégustation, ou les personnes qui la goûtent sont toutes des chefs professionnels plutôt que des clients ordinaires.

Ce document est un nouveau livre de recettes strict pour tester l'IA. Il dit : « Arrêtez de deviner. Menons une expérience scientifique appropriée pour voir si l'IA aide réellement les humains. »

Voici la décomposition simple de leur « recette », en utilisant quelques analogies du quotidien :

1. L'idée centrale : le test de « l'élévation humaine »

La plupart des tests d'IA actuels ressemblent à un crash-test de voiture où l'on fait simplement percuter la voiture contre un mur pour voir combien elle se brise. Ce document dit que nous devons tester le conducteur, pas seulement la voiture.

L'ancienne méthode : « Regardez, l'IA a écrit ce code ! »
La nouvelle méthode : « Nous avons donné l'IA à la moitié des personnes et pas à l'autre. Les personnes avec l'IA ont-elles réellement écrit un meilleur code, appris plus vite ou fait moins d'erreurs que les personnes sans ? »

2. Les cinq règles du jeu (les principes)

Les auteurs ont emprunté des règles à la médecine et à la psychologie et en ont ajouté une nouvelle pour l'IA. Imaginez ces règles comme les cinq piliers soutenant un pont. Si l'un est faible, le pont (l'étude) s'effondre.

Règle 1 : Mesurons-nous la bonne chose ? (Validité de construit)
- Analogie : Imaginez que vous voulez tester si une nouvelle chaussure de course vous rend plus rapide. Si vous mesurez « à quel point la chaussure crisse », vous ne mesurez pas la vitesse.
- Le point du document : Ne comptez pas simplement le nombre de mots qu'une IA a aidé quelqu'un à écrire (ce qui est facile à falsifier). Mesurez si la qualité de la réflexion s'est réellement améliorée.
Règle 2 : L'IA a-t-elle réellement causé le changement ? (Validité interne)
- Analogie : Si vous donnez un nouveau vitamine à un groupe de personnes et qu'elles deviennent plus en bonne santé, était-ce la vitamine ? Ou est-ce qu'elles ont aussi commencé à manger de la salade et à dormir davantage ?
- Le point du document : Vous devez vous assurer que la seule différence entre les deux groupes est l'IA. Si le « groupe IA » a également reçu de meilleures instructions ou un ordinateur plus agréable, vous ne pouvez pas blâmer l'IA pour le succès. De plus, vous devez empêcher le groupe « sans IA » de jeter secrètement un coup d'œil à l'IA.
Règle 3 : Cela fonctionne-t-il pour tout le monde ? (Validité externe)
- Analogie : Si un médicament fonctionne sur des hommes de 20 ans dans un laboratoire, fonctionne-t-il sur des femmes de 70 ans dans un hôpital ?
- Le point du document : Ne testez l'IA uniquement sur des experts en informatique ou uniquement sur des étudiants universitaires. Si vous le faites, vous ne pouvez pas prétendre que cela fonctionne pour tout le monde. Vous devez dire clairement : « Cela fonctionne pour ces personnes, dans cette situation. »
Règle 4 : Les chiffres sont-ils réels ? (Validité de conclusion statistique)
- Analogie : Si vous lancez une pièce de monnaie 3 fois et obtenez face à chaque fois, vous pourriez penser que la pièce est magique. Mais si vous la lancez 1 000 fois, c'est probablement juste de la chance.
- Le point du document : Ne vous enthousiasmez pas pour de minuscules améliorations qui pourraient être simplement de la chance. Les auteurs disent que nous devons être super stricts avec nos mathématiques (en utilisant un « p-value » plus strict de 0,005 au lieu de l'habituel 0,05) car les affirmations sur l'IA sont à haut risque. Nous devons savoir combien l'IA a rendu les choses meilleures, pas seulement si elle les a rendues « meilleures ».
Règle 5 : Montrez votre travail ! (Transparence, répétabilité et vérification)
- Analogie : Si un magicien dit : « J'ai fait apparaître un lapin », mais ne vous laisse pas voir le chapeau ou le lapin, vous ne le croyez pas.
- Le point du document : L'IA change rapidement. Si vous n'écrivez pas exactement quelle version de l'IA vous avez utilisée, quels invites vous avez tapés, et ne partagez pas vos données, personne ne pourra vérifier votre travail plus tard. Le document crée une « échelle de confiance » à 4 niveaux :
  1. Divulgation : « Nous vous avons dit ce que nous avons fait. »
  2. Partage : « Nous vous avons donné les données et le code. »
  3. Vérification : « Une personne indépendante a vérifié que le code fonctionne réellement. »
  4. Répétabilité : « Une autre équipe l'a essayé avec de nouvelles personnes et a obtenu le même résultat. »

3. La liste de contrôle en 33 étapes

Le document ne donne pas seulement des règles ; il fournit une liste de contrôle en 33 étapes pour les chercheurs.

Exemple : « Avant de commencer, écrivez exactement ce que vous testez afin de ne pas pouvoir changer les règles à mi-parcours. »
Exemple : « Assurez-vous que les personnes du groupe « sans IA » n'utilisent pas secrètement l'IA sur leurs propres téléphones. »
Exemple : « Vérifiez si l'IA rend le travail plus rapide mais pire, ou plus lent mais meilleur. »

4. Pourquoi avons-nous besoin de cela ?

Actuellement, le monde est rempli d'études sur l'IA qui sont confuses. Certaines disent que l'IA est incroyable ; d'autres disent qu'elle est inutile. Les auteurs disent que c'est parce que tout le monde joue avec des règles différentes.

Le problème : Si nous ne pouvons pas faire confiance aux études, nous pourrions déployer une IA dangereuse, ou nous pourrions ignorer une IA utile.
La solution : Ce document est une « procédure opérationnelle standard ». C'est un plan pour construire un pont de confiance. Il aide les chercheurs à planifier leurs études, aide les examinateurs à vérifier si une étude est bonne, et aide les gouvernements à élaborer des lois basées sur des faits réels, pas sur des suppositions.

Résumé

Imaginez ce document comme la FDA (Food and Drug Administration) pour les expériences d'IA. Tout comme vous ne mangeriez pas un nouveau médicament sans un essai clinique rigoureux et en double aveugle, nous ne devrions pas faire confiance aux affirmations selon lesquelles l'IA aide les humains sans ces tests stricts et standardisés. Il s'agit de passer de « Nous pensons que l'IA est cool » à « Nous avons la preuve que l'IA aide ces personnes à accomplir cette tâche mieux ».

Résumé technique : Principes et lignes directrices pour les essais contrôlés randomisés dans l'évaluation de l'IA

Énoncé du problème

La crédibilité de la recherche empirique à travers les disciplines a fait l'objet d'un examen soutenu en raison de crises de réplication, de conceptions d'essais hétérogènes et d'un manque de transparence adéquat. Dans le domaine spécifique de l'évaluation des systèmes d'IA avancés, ces problèmes sont aggravés par une absence quasi totale de bonnes pratiques établies. Les écosystèmes d'évaluation actuels reposent fortement sur des évaluations par référentiels, des classements et des audits, qui ne fournissent pas de garanties robustes concernant les performances de l'IA dans différents domaines ou auprès de différents groupes d'utilisateurs.

Un écart critique existe dans la méthodologie d'évaluation de la « valeur ajoutée humaine » — l'effet causal de l'accès à l'IA sur la performance humaine. La terminologie est incohérente ; la « valeur ajoutée » est souvent confondue avec l'« effet du traitement », l'« impact incrémental » ou la simple « évaluation des performances », ce qui entraîne des définitions contradictoires parmi les principales organisations d'IA (par exemple, RAND, UK AI Safety Institute, Anthropic, OpenAI). De plus, les normes de rapport existantes (telles que CONSORT-AI, SPIRIT-AI et STARE-HI) ont été conçues pour des interventions cliniques ou logicielles statiques et ne parviennent pas à répondre aux défis spécifiques à l'IA, notamment :

Évolution rapide des modèles : Les hypothèses d'intervention statique ne tiennent pas pour des systèmes faisant l'objet de mises à jour fréquentes, de modifications de prompts ou de réglages fins.
Contamination et effets de débordement : Dans les environnements multi-utilisateurs, les groupes témoins peuvent accéder à des modèles non autorisés par le protocole, violant ainsi les hypothèses des Essais Contrôlés Randomisés (ECR).
Dynamiques d'interaction humain-IA : Les cadres existants manquent de directives pour documenter les instructions aux utilisateurs, les niveaux d'autonomie et la modification des sorties.
Validité de construit : Les métriques standard (par exemple, vitesse, nombre de jetons) peuvent ne pas refléter de véritables améliorations des capacités, telles que la qualité du raisonnement ou la confiance.
Obstacles à la reproductibilité : Les modèles à code source fermé et les systèmes basés sur des API rendent la transparence traditionnelle (partage des poids/données) insuffisante ; la reproductibilité dépend désormais des journaux, des invites et des métadonnées.

Sans normes claires, les décideurs politiques et les organes de gouvernance ne peuvent pas agréger les résultats, et les décisions techniques concernant les seuils de déploiement et la sécurité reposent sur des études potentiellement sous-dimensionnées ou mal conçues.

Méthodologie

Ce travail établit un cadre fondamental en adaptant le cadre des quatre validités de Shadish-Cook-Campbell (Shadish et al., 2002) et en l'étendant avec un cinquième principe dérivé des Lignes directrices pour la promotion de la transparence et de l'ouverture (TOP) (Center for Open Science, 2025). Les auteurs opérationnalisent ces cinq principes en 33 lignes directrices concrètes spécifiquement adaptées aux ECR d'évaluation de l'IA.

Le cadre définit un ECR d'évaluation de l'IA comme un essai contrôlé randomisé mesurant l'effet causal de l'accès ou de l'utilisation de l'IA sur un résultat humain donné (par exemple, comportement, performance, bien-être), distinct des évaluations par référentiels qui évaluent les sorties du modèle par rapport à des ensembles de tests fixes.

La méthodologie comprend :

Adaptation des principes de validité : Extension de la validité de construit, de validité interne, de validité externe et de validité des conclusions statistiques pour répondre aux menaces spécifiques à l'IA (par exemple, dérive de version du modèle, interférence).
Intégration de la transparence : Développement d'une hiérarchie à quatre niveaux pour la Transparence, la Répétabilité et la Vérification (TRV) qui ajuste la force des affirmations causales en fonction de la vérifiabilité.
Opérationnalisation : Traduction des principes abstraits en exigences concrètes couvrant la conception de l'étude, l'analyse, le rapport et l'enregistrement préalable.
Base de preuves : S'appuyant sur des normes établies en ingénierie logicielle, en économie, en sciences cliniques et en psychologie, tout en comblant les lacunes identifiées lors d'entretiens récents avec des praticiens (Paskov et al., 2026).

Contributions clés

1. Un cadre à cinq principes pour les ECR d'IA

L'article formalise cinq principes fondamentaux qui servent d'outils d'interprétation pour déterminer la validité des affirmations :

Validité de construit : Garantit que les mesures de résultat capturent des construits sous-jacents (par exemple, la compétence en codage) plutôt que des proxys étroits (par exemple, la vitesse) que l'IA peut optimiser sans véritable amélioration des compétences.
Validité interne : Garantit que les différences observées sont attribuables à l'intervention de l'IA, en traitant des menaces telles que la contamination du groupe témoin, les mises à jour du modèle pendant l'étude et le respect différentiel.
Validité externe : Définit la portée de la généralisation concernant la population (par exemple, niveaux de littératie en IA), les tâches et les contextes, mettant explicitement en garde contre la généralisation excessive à partir d'échantillons WEIRD (Occidentaux, Éduqués, Industrialisés, Riches, Démocratiques) ou de tâches artificielles.
Validité des conclusions statistiques : Aborde les seuils probatoires, la puissance et la précision. Le cadre recommande $\alpha = 0,005$ pour les affirmations causales nouvelles afin de réduire les faux positifs, met l'accent sur l'estimation de la taille de l'effet avec des intervalles de confiance, et distingue les analyses exploratoires des analyses confirmatoires.
Transparence, Répétabilité et Vérification (TRV) : Un cadre gradué où la force de l'affirmation causale évolue avec la vérifiabilité. Il distingue entre :
- Niveau 1 (Divulgation) : Déclaration de ce qui a été fait.
- Niveau 2 (Partage) : Dépôt des données/code/matériaux.
- Niveau 3 (Vérification) : Confirmation indépendante que les matériaux sont accessibles et que le code s'exécute.
- Niveau 4 (Répétabilité) : Reproduction indépendante, vérifications de robustesse et réplication avec de nouvelles données.

2. Trente-trois lignes directrices opérationnalisées

Les auteurs fournissent une liste de contrôle complète (Annexe A) couvrant l'ensemble du cycle de vie de la recherche. Les lignes directrices clés incluent :

Conception : Enregistrement préalable des protocoles, définition du Critère d'Évaluation Global (OEC) avant la collecte de données, et utilisation d'une randomisation stratifiée basée sur la littératie en IA et l'expertise du domaine.
Mise en œuvre : Surveillance de la conformité via un suivi objectif (journaux d'API, enregistrements d'écran), garantie de l'équivalence de l'interface utilisateur entre le traitement et le contrôle, et contrôle de l'effort des participants.
Analyse : Utilisation de l'intention de traiter (ITT) comme analyse principale, réalisation d'analyses de sensibilité pour la conformité, et rapport des métriques d'hétérogénéité (par exemple, $\tau^2$ ).
Rapport : Utilisation d'un continuum probatoire pour les valeurs p (évitant le langage binaire « significatif/non significatif »), rapport des préjudices et des effets non intentionnels, et distinction entre la signification statistique, pratique et scientifique.

3. Traitement des défis spécifiques à l'IA

Le cadre introduit explicitement des mécanismes pour gérer :

Gestion des versions de modèles : « Fixation » des versions de modèles et surveillance de la dérive.
Effets de débordement : Utilisation de la randomisation par grappes ou de la surveillance pour empêcher l'utilisation non autorisée de modèles de contaminer les groupes témoins.
Hétérogénéité : Pré-spécification des sous-groupes (par exemple, par littératie en IA) et calcul de la puissance pour les effets d'interaction, qui nécessitent des tailles d'échantillon nettement plus grandes que les effets principaux.
Impact équitable : Évaluation de savoir si l'IA bénéficie ou nuit à des sous-populations spécifiques, plutôt que de se fier uniquement aux effets moyens du traitement.

Résultats et affirmations

L'article ne présente pas de nouvelles données empiriques ou de résultats expérimentaux. Ses « résultats » sont le cadre et les lignes directrices eux-mêmes. Les auteurs affirment que ce travail :

Standardise le domaine : Fournit une infrastructure partagée pour la planification, l'examen et l'établissement de normes pour les ECR d'évaluation de l'IA.
Formalise l'inférence causale : Adapte la méthodologie des ECR à la nature dynamique de l'IA, allant au-delà du simple benchmarking vers l'inférence causale sur la performance humaine.
Atténue les menaces à la validité : Recense systématiquement les menaces à la validité spécifiques à l'IA (par exemple, « dérive de version du modèle », « confusion de construit avec l'assistance de l'IA ») et fournit des solutions basées sur la conception.
Élève les normes probatoires : Propose des seuils statistiques plus stricts ( $\alpha = 0,005$ ) et un cadre de transparence gradué pour contrer les risques de « faux positifs » dans un domaine naissant avec un haut degré de liberté des chercheurs.

Importance et impact prévu

Les auteurs positionnent ce cadre comme remplissant trois rôles clés :

Outil de conception : Une liste de contrôle pré-étude pour les chercheurs afin d'assurer la rigueur méthodologique dans la planification des études de valeur ajoutée de l'IA.
Grille d'évaluation : Une norme d'examen pour les financeurs, les revues et les organes de gouvernance pour évaluer la crédibilité des travaux existants et comprendre les limites inférentielles des résultats rapportés.
Plan directeur pour l'établissement de normes : Une feuille de route pour que le domaine converge vers des normes, potentiellement en élevant des lignes directrices spécifiques en exigences obligatoires (par exemple, enregistrement préalable obligatoire) à mesure que le domaine mûrit.

L'article conclut que des pratiques d'évaluation rigoureuses, transparentes et répétables sont des garanties essentielles. Elles assurent que le développement de l'IA progresse sur la base de preuves crédibles, que les bénéfices sont distribués équitablement, et que les affirmations sur les capacités de l'IA s'alignent sur la réalité empirique. Les auteurs reconnaissent les limites, notant que le cadre se concentre exclusivement sur les conceptions expérimentales (excluant les études observationnelles) et impose des demandes substantielles en ressources. Ils appellent à des travaux futurs pour valider le cadre par le biais d'un examen communautaire systématique et d'une mise en œuvre pilote.