ICCDesign: An R Package for the Design and Analysis of ICC-Based Reliability Studies with Continuous Responses

Resumen Técnico de ICCDesign: Un Paquete de R para el Diseño y Análisis de Estudios de Confiabilidad Basados en el ICC

Planteamiento del Problema

El coeficiente de correlación intraclase (ICC) es un estadístico fundamental en la investigación de confiabilidad en las ciencias médicas, psicológicas y del comportamiento. Sin embargo, su aplicación práctica enfrenta dos obstáculos significativos. Primero, el marco teórico establecido por McGraw y Wong (1996) organiza el ICC en diez combinaciones de diseño distintas (seis formas estándar y cuatro combinaciones adicionales) basadas en los supuestos del modelo (efectos de una vía vs. dos vías, efectos aleatorios vs. mixtos) y las elecciones de diseño (calificación única vs. promedio, acuerdo absoluto vs. consistencia). Seleccionar la forma correcta requiere que los investigadores naveguen por complejas preguntas de diseño, pero las guías existentes a menudo no se operacionalizan dentro de las interfaces de software. Segundo, el ecosistema actual de R para el análisis de ICC está fragmentado. Las herramientas para la estimación de puntos (p. ej., irr, psych), el cálculo del tamaño de la muestra (p. ej., ICC.Sample.Size) y la evaluación de la confiabilidad están distribuidas en paquetes separados. Esta fragmentación obliga a los investigadores a cambiar entre herramientas, lo que aumenta el riesgo de errores analíticos e inconsistencias en las especificaciones del diseño entre las fases de planificación y análisis.

Metodología

El paquete ICCDesign (versión 0.1.0) proporciona un flujo de trabajo integrado para datos de respuesta continua, asumiendo una calificación por celda sujeto-evaluador. La metodología se basa en el marco de Análisis de Varianza (ANOVA) y se adhiere al sistema de clasificación de Shrout y Fleiss (1979) y McGraw y Wong (1996).

1. Modelos Estadísticos y Estimación:
El paquete implementa tres modelos estadísticos:

• Efectos aleatorios de una vía: Para diseños donde los evaluadores no son un conjunto común entre los sujetos.
• Efectos aleatorios de dos vías: Para diseños donde los sujetos son evaluados por el mismo conjunto de evaluadores muestreados de una población más amplia.
• Efectos mixtos de dos vías: Para diseños donde los evaluadores constituyen un grupo fijo específico.

Las estimaciones de puntos se calculan utilizando fórmulas basadas en ANOVA derivadas de los cuadrados medios (MSR, MSC, MSE, MSW). El paquete soporta las diez combinaciones de diseño, incluyendo escenarios de "uso con precaución" donde las rutinas computacionales se comparten pero las interpretaciones del diseño difieren (p. ej., consistencia bajo modelos de dos vías aleatorios vs. mixtos).

2. Inferencia y Pruebas de Hipótesis:

• Intervalos de Confianza (IC): El paquete calcula IC basados en la distribución F. Para las formas estándar, utiliza intervalos de Tipo 1. Para el acuerdo absoluto en modelos de dos vías, emplea una aproximación de tipo Satterthwaite para corregir los grados de libertad. Todos los límites reportados se truncan al rango interpretable $[0, 1]$.
• Pruebas de Hipótesis: Implementa pruebas F de una cola para dos escenarios: una prueba por defecto contra cero ($H_0: ICC = 0$) y una prueba de umbral opcional contra una confiabilidad mínima especificada por el usuario ($H_0: ICC = \rho_0$).

3. Planificación del Tamaño de la Muestra:
Basado en Zou (2012), el paquete ofrece tres modos de planificación:

• Garantía del Límite Inferior: Determina el tamaño de muestra mínimo ($n$) para asegurar que el límite inferior del IC supere un umbral objetivo con una probabilidad de garantía especificada.
• Mitad del Intervalo de Confianza: Calcula $n$ para lograr una precisión deseada (mitad del ancho) del IC con una garantía determinada.
• Garantía Inversa: Calcula la probabilidad de garantía para un tamaño de muestra fijo.

4. Evaluación de la Confiabilidad:
La calificación automatizada se realiza utilizando los criterios propuestos por Koo y Li (2016), aplicados al límite inferior del intervalo de confianza en lugar de la estimación de punto. El sistema señala la incertidumbre si el IC abarca el umbral de "buena" confiabilidad (0.75).

Contribuciones Clave

El paquete ICCDesign introduce una interfaz unificada que consolida todo el flujo de trabajo del estudio de confiabilidad. Sus principales contribuciones incluyen:

• Cobertura Integral: Implementa la estimación de puntos, los IC basados en ANOVA y las pruebas de hipótesis para las diez combinaciones de diseño de ICC bajo el marco de McGraw y Wong (1996), incluyendo cuatro combinaciones adicionales de "uso con precaución".
• Marco de Decisión de Cuatro Pasos: Un sistema de parámetros estructurado guía a los usuarios desde las especificaciones del diseño del estudio (consistencia del evaluador, tipo de efecto, unidad de calificación, tipo de acuerdo) hasta la forma de ICC apropiada. El sistema proporciona retroalimentación explícita (NOTAS o ADVERTENCIAS) para casos especiales, como mapeos automáticos entre rutinas computacionales o restricciones en la inferencia para el acuerdo absoluto de evaluadores fijos.
• Planificación y Análisis Integrados: El paquete unifica la planificación del tamaño de la muestra (vía las fórmulas de forma cerrada de Zou) y el análisis de datos, asegurando especificaciones de diseño consistentes a lo largo del ciclo de vida de la investigación.
• Reportes Automatizados y Visualización: Genera reportes de análisis estandarizados en formato de texto e incluye una aplicación web interactiva de Shiny que permite a los usuarios realizar el flujo de trabajo completo sin escribir código de R.
• Utilidad de Preprocesamiento de Datos: Una función dedicada (icc_preprocess_data) valida el formato de los datos, las dimensiones y los valores faltantes antes del análisis, mejorando la transparencia y el control de calidad de los datos.

Resultados y Capacidades

El artículo demuestra la funcionalidad del paquete mediante ejemplos ilustrativos utilizando un conjunto de datos simulados integrados. Los ejemplos cubren:

• Preprocesamiento de datos en formato ancho.
• Cálculo de varias formas de ICC (p. ej., ICC(1,1), ICC(2,1), ICC(3,k)).
• Realización de pruebas de hipótesis de umbral personalizado.
• Manejo de combinaciones de "uso con precaución" con las notificaciones de usuario apropiadas.
• Realización de cálculos de tamaño de muestra para garantía de límite inferior, ancho de IC y garantía inversa.
• Ejecución de la aplicación Shiny para un flujo de trabajo sin código.

Las comparaciones con paquetes existentes (irr, psych, ICC.Sample.Size, irrNA) resaltan que ICCDesign es la única herramienta que ofrece cobertura total de las diez combinaciones de diseño, guía de decisión automatizada, preprocesamiento dedicado y una interfaz unificada tanto para la planificación como para el análisis.

Significancia y Reivindicaciones

Los autores posicionan a ICCDesign no como una propuesta de nuevos estimadores estadísticos, sino como una consolidación de procedimientos establecidos en una interfaz cohesiva y fácil de usar. La significancia del trabajo radica en abordar la fragmentación de las herramientas actuales y la falta de guía operacional para seleccionar la forma de ICC correcta. Al integrar la especificación del diseño, la planificación del tamaño de la muestra, la estimación, la inferencia y el reporte en un solo paquete, ICCDesign busca reducir los errores operativos y mejorar el rigor de los estudios de confiabilidad. El paquete está disponible en GitHub bajo la licencia GPL (>= 3), con planes futuros de envío a CRAN y expansión del soporte para datos faltantes e intervalos de bootstrap.