Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0
Cet article introduit une méthode de « méta-analyse inverse » pour récupérer les statistiques de qualité de mesure pré-suppression issues d'études publiées, révélant que la pratique généralisée de la suppression des items faibles dans l'indice de préparation technologique 2.0 gonfle artificiellement les mesures de fiabilité et occulte la véritable faiblesse de ses dimensions inhibitrices.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde des sciences sociales, les chercheurs s'appuient souvent sur des enquêtes pour mesurer des sentiments humains complexes, tels que la capacité d'une personne à adopter de nouvelles technologies. Pour ce faire, ils utilisent de longues listes de questions, ou « items », qui demandent aux gens d'exprimer leur accord ou leur désaccord face à des affirmations concernant leur confiance, leurs craintes et leurs habitudes vis-à-vis de la technologie. Lors de la conception de ces enquêtes, l'objectif est de créer une image équilibrée : certaines questions mesurent des sentiments positifs comme l'enthousiasme et le désir d'innovation, tandis que d'autres mesurent des sentiments négatifs comme l'anxiété et la peur de perdre le contrôle. Pour qu'une enquête soit considérée comme fiable, les questions mesurant chaque sentiment spécifique doivent être étroitement liées, ce qui signifie que les personnes qui ressentent une certaine opinion sur un sujet devraient généralement ressentir la même chose pour les autres questions sur ce même sujet. Si les questions ne s'ajustent pas bien ensemble, on dit que l'enquête manque de « validité » et que les résultats qu'elle produit sont peu fiables.
Pendant des années, une enquête largement utilisée appelée l'Indice de Préparation Technologique (Technology Readiness Index) a été l'outil de référence pour mesurer cette préparation. Cependant, une enquête récente suggère que le dossier publié sur le succès de cette enquête pourrait être trompeur. Lorsque les chercheurs analysent les données de leurs enquêtes, ils constatent parfois que certaines questions ne s'insèrent pas bien dans le schéma. La pratique courante consiste simplement à supprimer ces questions faibles et à publier les résultats en se basant uniquement sur les questions restantes, plus solides. Bien que cela puisse sembler être un moyen raisonnable de nettoyer les données, une nouvelle étude soutient que cette suppression systématique cache un problème important : le côté négatif de la préparation technologique a été systématiquement affaibli dans la littérature, faisant paraître l'enquête plus robuste qu'elle ne l'est réellement.
Un chercheur s'est donné pour mission de découvrir l'état réel de cette enquête en regardant vers le passé à travers la littérature publiée. Il s'est concentré sur l'Indice de Préparation Technologique 2.0, une version raccourcie de l'enquête originale qui pose seize questions divisées en quatre catégories : deux catégories positives appelées « optimisme » et « capacité d'innovation », et deux catégories négatives appelées « inconfort » et « insécurité ». Dans la validation originale de cette enquête, les catégories négatives étaient déjà connues pour être le maillon faible, les questions ne s'ajustant pas aussi étroitement que les questions positives. Pourtant, dans les milliers d'études publiées depuis lors, les catégories négatives semblent souvent répondre aux mêmes normes élevées de qualité que les catégories positives. Le chercheur soupçonnait que cette amélioration était une illusion créée par la suppression sélective des questions les plus faibles.
Pour tester cela, le chercheur a développé une méthode qu'il appelle une « méta-analyse inverse ». Au lieu de simplement faire la moyenne des résultats de nombreuses études, il a travaillé à rebours à partir des statistiques que les auteurs avaient déjà publiées. Il a traité les questions manquantes — celles que les auteurs avaient supprimées — comme s'il s'agissait de points de données cachés connus pour être faibles. En utilisant les chiffres rapportés pour les questions restantes et les règles connues utilisées par les auteurs pour supprimer des items, le chercheur a pu reconstruire mathématiquement ce à quoi les résultats de l'enquête auraient ressemblé si aucune question n'avait été jetée. Cela lui a permis d'estimer la véritable force de l'enquête avant toute édition.
L'enquête a couvert quatre-vingt-quatorze études publiées fournissant suffisamment de détails pour être analysées. Le chercheur a constaté que les catégories négatives, particulièrement celle mesurant l'« insécurité », ont effectivement été les victimes de cette suppression sélective. Les auteurs étaient nettement plus susceptibles de supprimer des questions des catégories négatives que des catégories positives. En fait, les catégories négatives étaient environ douze pour cent plus susceptibles de perdre au moins une question. Lorsque le chercheur a restauré ces questions supprimées dans les données, le tableau a radicalement changé. La qualité des catégories négatives a chuté, révélant qu'elles étaient bien plus faibles que ce que les rapports publiés suggéraient.
Plus précisément, le chercheur a découvert que l'écart entre les catégories positives et négatives, qui semblait faible dans les rapports publiés, a presque doublé une fois les éléments supprimés pris en compte. Dans la littérature publiée, les catégories négatives semblaient réussir le test standard de qualité. Cependant, après la reconstruction, plus d'une étude sur cinq mesurant l'« insécurité » a échoué à ce même test. La question la plus fréquemment supprimée concernait la confiance à faire des affaires avec une entreprise qui n'existe qu'en ligne. Cette question, ainsi qu'une autre sur la dépendance de la société à la technologie, a été supprimée si souvent qu'elle a faussé les résultats de l'ensemble de l'enquête dans le dossier publié.
Pour s'assurer que sa méthode était solide, le chercheur a lancé une simulation informatique où il a créé de fausses études avec des réponses connues. Il a programmé les faux auteurs pour qu'ils suppriment des questions faibles exactement comme le font les vrais auteurs, puis a appliqué sa méthode de reconstruction aux faux résultats. La simulation a confirmé que sa technique était précise et conservatrice ; elle n'a pas inventé de problèmes là où il n'en existait pas, mais elle a réussi à récupérer la qualité réelle, plus faible, des catégories négatives qui avait été cachée par la suppression. La méthode a fonctionné même lorsque les règles de suppression étaient strictes, prouvant que l'écart entre les chiffres publiés et les chiffres réels était bien réel.
Enfin, le chercheur a testé sa théorie sur deux ensembles de données brutes où aucune question n'avait été supprimée. Dans ces ensembles de données non édités, les catégories négatives ne répondaient pas aux normes de qualité par elles-mêmes, confirmant que la faiblesse était inhérente à la conception de l'enquête et non le résultat de la malchance dans quelques études. Lorsque le chercheur a appliqué la règle de suppression typique à ces ensembles de données bruts, les scores de qualité rapportés ont bondi, franchissant le seuil du succès. Cela a démontré exactement comment la pratique courante de la suppression d'items pouvait transformer une enquête défaillante en une enquête réussie, simplement en supprimant la preuve de son échec.
L'étude conclut que la littérature publiée sur la préparation technologique a été façonnée davantage par les choix des auteurs que par la réalité des données. En supprimant les questions les plus faibles, les chercheurs ont créé une version de l'enquête qui semble équilibrée et fiable, alors que l'outil sous-jacent reste imparfait dans sa capacité à mesurer la peur et l'anxiété face à la technologie. Le chercheur soutient que ce n'est pas seulement un problème pour cette enquête spécifique, mais un avertissement pour l'ensemble du domaine. Il exhorte les scientifiques à rapporter chaque question qu'ils posent, y compris celles qu'ils suppriment ultérieurement, afin que le tableau complet de la performance d'une enquête soit visible. Sans cette transparence, le dossier scientifique continuera peut-être de présenter un monde où la préparation technologique est parfaitement mesurée, alors que les outils réels utilisés pour la mesurer restent incomplets.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.