Résumé technique : Évalué mais non mesuré – L'IA générative doit être évaluée par rapport à son utilité réelle

1. Énoncé du problème

L'article identifie une rupture critique entre la haute performance des systèmes d'IA générative (GenAI) sur les benchmarks standards et leur incapacité à fournir une utilité fiable dans des déploiements réels. Bien que des benchmarks comme ImageNet, GLUE, HumanEval et VBench aient stimulé la comparaison des modèles et les progrès, ils échouent de plus en plus à prédire le succès dans des domaines à haut risque tels que l'éducation, la santé, l'ingénierie logicielle et le droit.

Les auteurs analysent 28 cas de déploiement documentés pour démontrer que les systèmes obtenant de solides scores de benchmark échouent souvent à améliorer les capacités humaines, la prise de décision ou l'apprentissage au fil du temps. Au contraire, ils introduisent fréquemment des vulnérabilités de sécurité, manquent des cas cliniques critiques ou dégradent les compétences à long terme. L'article soutient que les pipelines d'évaluation actuels souffrent d'un manque fondamental de validité de construit : ils mesurent des métriques proxy traitables (par exemple, BLEU, pass@k, fluidité) qui ne sont pas des mesures valides des construits complexes du monde réel qu'ils sont supposés représenter.

Ce « fossé benchmark–utilité » est alimenté par trois défaillances structurelles récurrentes :

1. Déplacement de proxy : Traiter des métriques traitables comme des mesures valides de construits complexes sans preuve de validité de construit (par exemple, assimiler la fluidité à la justesse ou la réduction des coûts au besoin du patient).
2. Effondrement temporel : Confondre la performance à court terme, assistée par l'IA, avec une capacité durable, en ignorant les effets à long terme tels que l'atrophie des compétences, la surdépendance et le manque de transfert de connaissances.
3. Dissimulation distributionnelle : Permettre aux scores agrégés de masquer des défaillances systématiques à travers des populations spécifiques, des groupes sous-représentés ou des contextes de déploiement inédits.

Ces défaillances sont renforcées par la saturation des benchmarks, la contamination des données et l'optimisation de type Goodhart, où les systèmes optimisent le proxy plutôt que l'objectif sous-jacent.

2. Méthodologie et cadre : SCU-GenEval

Pour combler ces lacunes, les auteurs proposent un changement de paradigme passant d'une évaluation statique centrée sur l'artefact à une Évaluation de l'utilité centrée sur les parties prenantes (SCU-GenEval). Ce cadre définit l'utilité non pas comme la qualité d'un artefact de sortie, mais comme le changement dans la capacité d'une partie prenante à atteindre ses objectifs au fil du temps, dû à l'interaction avec un système d'IA.

2.1 Formalisation de l'utilité

L'utilité ($U$) est quantifiée comme le changement contrefactuel dans le vecteur de capacité ($C$) d'une partie prenante entre un état avant interaction et un état après interaction dans un contexte de déploiement spécifique ($D$) et un horizon temporel ($t$) :
$$U(u, G, y, D, t) = C_{after}(u, G, y, D, t) - C_{before}(u, G, D, t)$$
Où :

• $u$ est la partie prenante.
• $G$ est l'objectif.
• $y$ est le système d'IA.
• $C$ est un vecteur d'indicateurs mesurables (par exemple, qualité de la décision, rétention, sécurité, collaboration).

Cette formulation garantit que l'évaluation est centrée sur les résultats de l'utilisateur (R1), temporelle (R2) et désagrégée (R3), répondant directement aux trois défaillances structurelles.

2.2 Le processus d'évaluation en quatre étapes

SCU-GenEval opérationnalise l'utilité à travers quatre étapes séquentielles et connectées :

1. Cartographie Partie prenante–Objectif : Identifier explicitement les utilisateurs affectés ($u$) et leurs objectifs ($G$) pour prévenir la dissimulation distributionnelle et garantir que l'évaluation cible les bons résultats humains.
2. Spécification Construit–Indicateur : Définir les construits de capacité du monde réel et sélectionner des indicateurs valides ($I_k$) pour les mesurer, servant de défense contre le déplacement de proxy.
3. Modélisation des mécanismes : Identifier les mécanismes causaux (par exemple, atrophie des compétences, biais d'automatisation, inversion de l'expertise) par lesquels l'interaction avec l'IA modifie la capacité au fil du temps, répondant à l'effondrement temporel.
4. Mesure longitudinale de l'utilité : Estimer $U$ en utilisant des protocoles spécifiques :
   • Comparaison des conditions : Comparer les performances humain-seul, IA-seul et humain+IA.
   • Suivi longitudinal : Mesurer la durabilité à travers les horizons temporels.
   • Désagrégation des sous-groupes : Signaler les résultats par tuple $(u, G, D)$.
   • Vérification des mécanismes : Tester si les mécanismes prédits se manifestent dans les traces d'interaction.
   • Auditabilité : Journaliser les données pour une relecture indépendante.

2.3 Instruments de soutien

Pour rendre ce cadre pratique à grande échelle, les auteurs proposent trois instruments :

1. Protocole structuré de collecte de données de déploiement (SDDCP) : Un contrat pré-enregistré et lisible par machine (analogue à CONSORT-AI) spécifiant les paramètres, les construits, les mécanismes et les clés de désagrégation avant le déploiement.
2. Simulateurs d'utilisateurs conditionnés au contexte : Des simulateurs instanciés avec des personnalités et des objectifs spécifiques, calibrés par rapport à la vérité terrain du SDDCP, pour estimer les effets d'utilité à long terme (par exemple, déclin des compétences) sans nécessiter des mois de travail sur le terrain.
3. Métriques proxy conditionnées à la personnalité et à l'objectif (PGCPM) : Des métriques rapides et peu coûteuses qui approximent l'utilité en filtrant les ensembles d'évaluation pour correspondre à des personnalités de parties prenantes spécifiques et à des construits validés, calibrées par rapport aux données du SDDCP.

3. Contributions clés

L'article apporte quatre contributions principales :

1. Analyse systématique : Une analyse de 28 cas de déploiement dans l'éducation, la santé, l'ingénierie logicielle et le droit, démontrant que le fossé benchmark–utilité est systématique, interdomaine et récurrent, et non anecdotique.
2. Diagnostic structurel : L'identification de trois causes structurelles du fossé : le déplacement de proxy, l'effondrement temporel et la dissimulation distributionnelle.
3. Cadre SCU-GenEval : Un nouveau cadre pour mesurer l'utilité comme des changements dans la capacité humaine au fil du temps, déplaçant l'unité d'évaluation de la qualité de l'artefact vers les trajectoires de résultats humains.
4. Appels à l'action spécifiques au domaine : Des recommandations concrètes pour les chercheurs, l'industrie et les décideurs politiques afin d'adopter la mesure de l'utilité, incluant des appels à un rapport désagrégé, à des études longitudinales et à des protocoles de déploiement pré-enregistrés.

4. Résultats et preuves

L'article ne présente pas de nouveaux résultats expérimentaux issus d'un modèle unique, mais synthétise des preuves provenant de 28 cas existants (détaillés dans le Tableau 1) pour valider ses affirmations :

• Ingénierie logicielle : Les systèmes de génération de code avec de hauts scores pass@k ont introduit des vulnérabilités de sécurité dans environ 40 % des solutions ; les outils de programmation assistés par l'IA ont été liés à des dommages métacognitifs et à une atrophie des compétences chez les développeurs juniors.
• Santé : Le modèle Epic Sepsis, malgré une validation interne solide, a manqué 67 % des cas de sepsis et a faussement alerté 18 % des patients lors d'une validation externe. D'autres modèles ont montré des biais contre des groupes raciaux spécifiques ou ont échoué à se généraliser à travers différents sites hospitaliers.
• Éducation : Les systèmes améliorant l'achèvement des tâches à court terme ont souvent échoué à améliorer la rétention ou le transfert à long terme, et les résumés par IA ont été montrés comme pouvant dégrader la « récupération laborieuse » nécessaire à l'apprentissage.
• Droit : Les outils d'IA juridique ont produit des citations fluides mais fabriquées et du droit des affaires halluciné, entraînant des sanctions, tandis que les outils d'évaluation des risques (par exemple, COMPAS) ont fourni des scores opaques qui ne pouvaient pas être contestés.

L'application du cadre SCU-GenEval à un scénario hypothétique « DevAssist » (Figure 2) illustre comment le cadre révélerait une utilité négative pour les ingénieurs juniors et les réviseurs de sécurité que les benchmarks standards masqueraient.

5. Importance et affirmations

L'article soutient que pour les systèmes ayant des conséquences humaines significatives, la performance sur les benchmarks est une condition nécessaire mais non suffisante de l'utilité. L'importance de ce travail réside dans son appel à une science de la mesure centrée sur la transparence de l'utilité conditionnée aux parties prenantes plutôt que sur la seule performance des benchmarks.

Les auteurs positionnent SCU-GenEval non pas comme un remplacement des benchmarks, mais comme un complément nécessaire pour les déploiements à haut risque. Ils soulignent que :

• La validité de construit est l'ancrage manquant dans l'évaluation actuelle ; les métriques doivent être validées par rapport aux résultats de déploiement qu'elles prétendent représenter.
• L'utilité est temporelle et désagrégée : L'évaluation doit suivre comment la capacité change au fil du temps et à travers des sous-groupes d'utilisateurs spécifiques, plutôt que de s'appuyer sur des scores statiques et agrégés.
• La praticité est atteignable : Grâce aux instruments proposés (SDDCP, Simulateurs, PGCPM), une évaluation rigoureuse de l'utilité peut être rendue traitable et évolutive, empêchant le « coût » des dommages de déploiement (par exemple, blessures de patients, violations de sécurité) de l'emporter sur le coût de l'évaluation pré-déploiement.

L'article conclut que les progrès de l'IA générative doivent être évalués par des améliorations mesurables des résultats humains, exhortant la communauté à adopter des normes de rapport analogues à CONSORT et TRIPOD pour le déploiement d'IA socio-technique.