📊 statistics

ICCDesign: An R Package for the Design and Analysis of ICC-Based Reliability Studies with Continuous Responses

Cet article présente le package R `ICCDesign`, qui fournit un flux de travail intégré pour la conception et l'analyse d'études de fiabilité basées sur le CCI avec des réponses continues en unifiant la planification de la taille de l'échantillon, l'estimation ponctuelle, le calcul d'intervalles de confiance et l'évaluation automatisée de la fiabilité au sein d'un cadre unique guidé par la classification de McGraw et Wong (1996).

Auteurs originaux : Ziyu Liu, Ruilin Ma, Yundan Zhang, Chenge Gao

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyu Liu, Ruilin Ma, Yundan Zhang, Chenge Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un juge dans un concours de talents, avec un panel de cinq autres juges. Vous voulez savoir : À quel point ces juges sont-ils d'accord entre eux ? Est-ce qu'ils donnent tous la même note au même chanteur, ou est-ce qu'un juge adore le rock tandis qu'un autre le déteste ?

Dans le monde de la science et de la médecine, les chercheurs font face à ce problème exact chaque jour. Ils ont besoin d'un outil appelé le Coefficient de Corrélation Intraclasse (CCI) pour mesurer à quel point leurs « juges » (ou évaluateurs) sont fiables. Mais jusqu'à présent, utiliser cet outil revenait à essayer d'assembler un meuble avec des instructions écrites en trois langues différentes, en utilisant des vis provenant de trois boîtes différentes.

Voici l'histoire d'un nouvel outil nommé ICCDesign qui règle ce désordre.

Le Problème : Un puzzle avec des pièces manquantes

Pendant des décées, les scientifiques ont dû passer d'un programme informatique à un autre pour accomplir une seule tâche :

Un programme vous indique combien de personnes vous devez étudier (Taille de l'échantillon).
Un autre programme calcule le score d'accord.
Un troisième programme vérifie si le score est « bon » ou « mauvais ».

Pire encore, le score d'« accord » n'est pas une chose unique. Selon la façon dont votre étude est configurée (Les juges sont-ils les mêmes pour tout le monde ? S'agit-il d'un groupe aléatoire ou d'une équipe spécifique ?), il existe 10 façons différentes de calculer le score. Choisir la mauvaise méthode, c'est comme essayer de mesurer une pièce avec une règle quand vous devriez utiliser un ruban à mesurer : le résultat ressemble à un nombre, mais c'est la mauvaise réponse.

La Solution : ICCDesign

Les auteurs de cet article, une équipe de l'Université Normale de Chine de l'Est, ont conçu un nouveau package R appelé ICCDesign. Considérez-le comme un « Couteau Suisse » pour les études de fiabilité. Au lieu de jongler avec trois outils différents, vous avez désormais une station tout-en-un.

Voici ce qui le rend spécial, expliqué par des analogies simples :

1. Le « GPS » pour choisir la bonne formule

Le plus grand casse-tête dans ce domaine est de savoir quelle formule utiliser parmi les 10 disponibles.

L'ancienne méthode : Vous deviez lire un manuel épais, comprendre la conception de votre étude et espérer avoir choisi la bonne mathématique.
La méthode ICCDesign : Il est doté d'un cadre de décision en quatre étapes intégré. C'est comme un GPS qui vous pose quatre questions simples :
1. Les mêmes juges évaluent-ils tout le monde ?
2. Les juges sont-ils un échantillon aléatoire ou une équipe fixe ?
3. Cherchons-nous un score unique ou une moyenne ?
4. Avons-nous besoin qu'ils s'entendent sur le chiffre exact, ou simplement sur la tendance ?
En fonction de vos réponses, le package choisit automatiquement la formule correcte. Si vous choisissez une combinaison délicate qui nécessite une mise en garde, le package vous tapote doucement l'épaule en disant : « Hé, faites attention avec celle-ci ! »

2. Un flux de travail « Tout-en-un »

Auparavant, un chercheur devait passer d'une fenêtre logicielle à l'autre, copiant et collant des chiffres, ce qui est une recette idéale pour les fautes de frappe et les erreurs.

La méthode ICCDesign : Il gère tout le parcours en un seul endroit. Vous entrez vos données, il les nettoie (comme un chef qui lave les légumes avant de les couper), calcule le score, vérifie les intervalles de confiance (la « marge d'erreur ») et rédige même pour vous un rapport en langage courant.

3. La « Boule de Cristal » pour la planification

Avant de commencer une étude, vous devez savoir combien de personnes recruter.

L'ancienne méthode : Vous pouviez improviser, ou utiliser un calculateur qui ne fonctionne que pour un scénario spécifique.
La méthode ICCDesign : Il possède une fonctionnalité de « Boule de Cristal ». Vous pouvez lui dire : « Je veux être sûr à 80 % que mes résultats sont précis », ou « Je veux que la marge d'erreur soit aussi petite », et il vous dira exactement de combien de personnes vous avez besoin. Il peut aussi fonctionner à l'envers : « J'ai 30 personnes ; quelle peut être la précision de mes résultats ? »

4. Le rapport « Feu Tricolore »

Une fois le calcul terminé, le package ne se contente pas de vous donner un nombre comme « 0,72 ». Il traduit ce nombre en une note simple, basée sur des directives d'experts :

< 0,50 : Médiocre (Feu rouge)
0,50 – 0,75 : Modéré (Feu jaune)
0,75 – 0,90 : Bon (Feu vert)
> 0,90 : Excellent (High Five)
Si le résultat se situe à la limite (comme un score qui pourrait être « Bon » ou « Modéré »), le package ajoute une note adhésive disant : « Nous ne sommes pas encore sûrs à 100 % ; vous pourriez avoir besoin de plus de données. »

5. Le tableau de bord « Sans Code »

Pour les personnes qui ont peur du code informatique, le package inclut une application web Shiny. C'est un site web interactif et coloré que vous pouvez exécuter sur votre ordinateur. Vous pouvez glisser-déposer vos données, cliquer sur des boutons pour faire des choix et voir les résultats instantanément sans écrire une seule ligne de code.

Ce qu'il fait (et ne fait pas)

L'article est très clair sur les limites de cet outil :

Il fait : Gérer des nombres continus (comme la taille, le poids ou les scores de tests), supposer une seule évaluation par personne, et suivre les règles standards établies par de célèbres statisticiens (McGowen, Wong, Shrout, Fleiss).
Il ne fait pas : Gérer parfaitement les données manquantes (il supprime simplement les lignes incomplètes), fonctionner avec des réponses « Oui/Non », ou corriger les études où les données sont déséquilibrées (comme avoir 5 juges pour une personne et seulement 2 pour une autre).

L'essentiel à retenir

ICCDesign est un nouvel outil qui élimine la confusion lors de la mesure de la fiabilité. Il transforme un processus complexe et fragmenté en une expérience fluide et guidée. Il aide les chercheurs à ne plus s'inquiéter de quelle mathématique utiliser, mais à se concentrer sur ce que leurs données signifient réellement.

L'outil est gratuit, en libre accès (open-source) et disponible pour tous dès maintenant.

Résumé technique de ICCDesign : Un package R pour la conception et l'analyse d'études de fiabilité basées sur le CCI

Problématique

Le coefficient de corrélation intraclasse (CCI) est une statistique fondamentale dans la recherche sur la fiabilité dans les sciences médicales, psychologiques et comportementales. Cependant, son application pratique se heurte à deux obstacles majeurs. Premièrement, le cadre théorique établi par McGraw et Wong (1996) organise le CCI en dix combinaisons de conception distinctes (six formes standards et quatre combinaisons additionnelles) basées sur les hypothèses de modèle (effet à un facteur vs à deux facteurs, effets aléatoires vs mixtes) et les choix de conception (évaluation unique vs moyenne, accord absolu vs cohérence). Sélectionner la forme correcte exige que les chercheurs naviguent à travers des questions de conception complexes, pourtant les directives existantes ne sont souvent pas opérationnalisées au sein des interfaces logicielles. Deuxièmement, l'écosystème R actuel pour l'analyse du CCI est fragmenté. Les outils pour l'estimation ponctuelle (ex. irr, psych), le calcul de la taille d'échantillon (ex. ICC.Sample.Size) et l'évaluation de la fiabilité sont répartis dans des packages distincts. Cette fragmentation force les chercheurs à passer d'un outil à l'autre, augmentant le risque d'erreurs analytiques et d'incohérences entre les spécifications de conception lors des phases de planification et d'analyse.

Méthodologie

Le package ICCDesign (version 0.1.0) fournit un flux de travail intégré pour les données à réponses continues, en supposant une seule évaluation par cellule sujet-évaluateur. La méthodologie est fondée sur le cadre de l'Analyse de la Variance (ANOVA) et adhère au système de classification de Shrout et Fleiss (1979) et de McGraw et Wong (1996).

1. Modèles statistiques et estimation :
Le package implémente trois modèles statistiques :

Effets aléatoires à un facteur : Pour les conceptions où les évaluateurs ne constituent pas un ensemble commun pour tous les sujets.
Effets aléatoires à deux facteurs : Pour les conceptions où les sujets sont évalués par le même ensemble d'évaluateurs échantillonnés à partir d'une population plus large.
Effets mixtes à deux facteurs : Pour les conceptions où les évaluateurs constituent un groupe spécifique et fixe.

Les estimations ponctuelles sont calculées à l'aide de formules basées sur l'ANOVA dérivées des carrés moyens (MSR, MSC, MSE, MSW). Le package prend en charge toutes les dix combinaisons de conception, y compris les scénarios « à utiliser avec prudence » où les routines de calcul sont partagées mais les interprétations de conception diffèrent (ex. la cohérence sous des modèles à deux facteurs aléatoires vs mixtes).

2. Inférence et tests d'hypothèse :

Intervalles de confiance (IC) : Le package calcule des IC basés sur la distribution F. Pour les formes standards, il utilise des intervalles de Type 1. Pour l'accord absolu dans les modèles à deux facteurs, il emploie une approximation de type Satterthwaite pour corriger les degrés de liberté. Toutes les bornes rapportées sont tronquées à l'intervalle interprétable $[0, 1]$ .
Tests d'hypothèse : Il implémente des tests F unilatéraux pour deux scénarios : un test par défaut contre zéro ( $H_0: CCI = 0$ ) et un test de seuil optionnel contre une fiabilité minimale spécifiée par l'utilisateur ( $H_0: CCI = \rho_0$ ).

3. Planification de la taille de l'échantillon :
Basé sur Zou (2012), le package propose trois modes de planification :

Assurance de la borne inférieure : Détermine la taille d'échantillon minimale ( $n$ ) pour garantir que la borne inférieure de l'IC dépasse un seuil cible avec une probabilité d'assurance spécifiée.
Demi-largeur de l'intervalle de confiance : Calcule $n$ pour atteindre une précision de l'IC (demi-largeur) souhaitée avec une assurance donnée.
Assurance inverse : Calcule la probabilité d'assurance pour une taille d'échantillon fixe.

4. Évaluation de la fiabilité :
La notation automatisée est effectuée selon les critères proposés par Koo et Li (2016), appliqués à la borne inférieure de l'intervalle de confiance plutôt qu'à l'estimation ponctuelle. Le système signale l'incertitude si l'IC englobe le seuil de fiabilité « bonne » (0,75).

Contributions clés

Le package ICCDesign introduit une interface unifiée qui consolide l'ensemble du flux de travail d'une étude de fiabilité. Ses principales contributions incluent :

Couverture complète : Il implémente l'estimation ponctuelle, les IC basés sur l'ANOVA et les tests d'hypothèse pour les dix combinaisons de conception du CCI sous le cadre de McGraw et Wong (1996), incluant quatre combinaisons additionnelles « à utiliser avec prudence ».
Cadre de décision en quatre étapes : Un système de paramètres structuré guide les utilisateurs de la spécification de la conception de l'étude (cohérence de l'évaluateur, type d'effet, unité d'évaluation, type d'accord) vers la forme de CCI appropriée. Le système fournit des retours explicites (NOTES ou AVERTISSEMENTS) pour les cas particuliers, tels que les correspondances automatiques entre les routines de calcul ou les restrictions d'inférence pour l'accord absolu avec évaluateurs fixes.
Planification et analyse intégrées : Le package unifie la planification de la taille de l'échantillon (via les formules fermées de Zou) et l'analyse des données, garantissant des spécifications de conception cohérentes tout au long du cycle de vie de la recherche.
Rapport et visualisation automatisés : Il génère des rapports d'analyse standardisés au format texte et inclut une application web interactive Shiny qui permet aux utilisateurs d'effectuer l'intégralité du flux de travail sans écrire de code R.
Utilitaire de prétraitement des données : Une fonction dédiée (icc_preprocess_data) valide le format des données, les dimensions et les valeurs manquantes avant l'analyse, améliorant ainsi la transparence et le contrôle de la qualité des données.

Résultats et capacités

L'article démontre les fonctionnalités du package à travers des exemples illustratifs utilisant un jeu de données simulées intégré. Les exemples couvrent :

Le prétraitement de données au format large (wide-format).
Le calcul de diverses formes de CCI (ex. ICC(1,1), ICC(2,1), ICC(3,k)).
La réalisation de tests d'hypothèse à seuil personnalisé.
La gestion des combinaisons « à utiliser avec prudence » avec les notifications appropriées à l'utilisateur.
La réalisation de calculs de taille d'échantillon pour l'assurance de la borne inférieure, la largeur de l'IC et l'assurance inverse.
Le lancement de l'application Shiny pour un flux de travail sans code.

Les comparaisons avec les packages existants (irr, psych, ICC.Sample.Size, irrNA) soulignent que ICCDesign est le seul outil offrant une couverture complète des dix combinaisons de conception, un guidage de décision automatisé, un prétraitement dédié et une interface unifiée pour la planification et l'analyse.

Signification et revendications

Les auteurs positionnent ICCDesign non pas comme une proposition de nouveaux estimateurs statistiques, mais comme une consolidation de procédures établies en une interface cohérente et conviviale. La signification de ce travail réside dans le fait de répondre à la fragmentation des outils actuels et au manque de directives opérationnelles pour la sélection de la forme de CCI correcte. En intégrant la spécification de la conception, la planification de la taille de l'échantillon, l'estimation, l'inférence et le reporting dans un seul package, ICCDesign vise à réduire les erreurs opérationnelles et à améliorer la rigueur des études de fiabilité. Le package est disponible sur GitHub sous la licence GPL (>= 3), avec des plans futurs pour une soumission à CRAN et une extension du support pour les données manquantes et les intervalles de bootstrap.