ICCDesign: An R Package for the Design and Analysis of ICC-Based Reliability Studies with Continuous Responses

Resumo Técnico do ICCDesign: Um Pacote R para o Desenho e Análise de Estudos de Confiabilidade Baseados em ICC

Definição do Problema

O coeficiente de correlação intraclasse (ICC) é um estatístico fundamental na pesquisa de confiabilidade nas ciências médicas, psicológicas e comportamentais. No entanto, sua aplicação prática enfrenta dois obstáculos significativos. Primeiro, o arcabouço teórico estabelecido por McGraw e Wong (1996) organiza o ICC em dez combinações distintas de desenho (seis formas padrão e quatro combinações adicionais) com base em pressupostos de modelo (efeitos de uma via vs. duas vias, efeitos aleatórios vs. mistos) e escolhas de desenho (avaliação única vs. média, concordância absoluta vs. consistência). Selecionar a forma correta exige que os pesquisadores naveguem por questões complexas de desenho, contudo, as diretrizes existentes são frequentemente não operacionalizadas dentro das interfaces de software. Segundo, o ecossistema atual de R para análise de ICC é fragmentado. Ferramentas para estimativa de ponto (ex: irr, psych), cálculo de tamanho de amostra (ex: ICC.Sample.Size) e avaliação de confiabilidade estão distribuídas em pacotes separados. Essa fragmentação força os pesquisadores a alternar entre ferramentas, aumentando o risco de erros analíticos e de especificações de desenho inconsistentes entre as fases de planejamento e análise.

Metodologia

O pacote ICCDesign (versão 0.1.0) fornece um fluxo de trabalho integrado para dados de resposta contínua, assumindo uma avaliação por célula sujeito–avaliador. A metodologia fundamenta-se na estrutura de Análise de Variância (ANOVA) e adere ao sistema de classificação de Shrout e Fleiss (1979) e McGraw e Wong (1996).

1. Modelos Estatísticos e Estimativa:
O pacote implementa três modelos estatísticos:

• Efeitos aleatórios de uma via: Para desenhos onde os avaliadores não constituem um conjunto comum entre os sujeitos.
• Efeitos aleatórios de duas vias: Para desenhos onde os sujeitos são avaliados pelo mesmo conjunto de avaliadores amostrados de uma população mais ampla.
• Efeitos mistos de duas vias: Para desenhos onde os avaliadores constituem um grupo fixo específico.

As estimativas de ponto são calculadas usando fórmulas baseadas em ANOVA derivadas de quadrados médios (MSR, MSC, MSE, MSW). O pacote suporta todas as dez combinações de desenho, incluindo cenários de "uso com cautela" onde as rotinas computacionais são compartilhadas, mas as interpretações de desenho diferem (ex: consistência sob modelos de duas vias aleatórios vs. mistos).

2. Inferência e Testes de Hipóteses:

• Intervalos de Confiança (ICs): O pacote calcula ICs baseados na distribuição F. Para formas padrão, utiliza intervalos do Tipo 1. Para concordância absoluta em modelos de duas vias, emprega uma aproximação do tipo Satterthwaite para corrigir os graus de liberdade. Todos os limites relatados são truncados para o intervalo interpretável $[0, 1]$.
• Testes de Hipóteses: Implementa testes F unilaterais para dois cenários: um teste padrão contra zero ($H_0: ICC = 0$) e um teste de limiar opcional contra um valor mínimo de confiabilidade especificado pelo usuário ($H_0: ICC = \rho_0$).

3. Planejamento de Tamanho de Amostra:
Com base em Zou (2012), o pacote oferece três modos de planejamento:

• Garantia do Limite Inferior: Determina o tamanho mínimo da amostra ($n$) para garantir que o limite inferior do IC exceda um limiar alvo com uma probabilidade de garantia especificada.
• Meia-largura do Intervalo de Confiança: Calcula $n$ para atingir uma precisão desejada do IC (meia-largura) com uma determinada garantia.
• Garantia Inversa: Computa a probabilidade de garantia para um tamanho de amostra fixo.

4. Avaliação de Confiabilidade:
A graduação automatizada é realizada utilizando os critérios propostos por Koo e Li (2016), aplicados ao limite inferior do intervalo de confiança em vez da estimativa de ponto. O sistema sinaliza incerteza se o IC abranger o limiar de "boa" confiabilidade (0.75).

Principais Contribuições

O pacote ICCDesign introduz uma interface unificada que consolida todo o fluxo de trabalho de um estudo de confiabilidade. Suas principais contribuições incluem:

• Cobertura Abrangente: Implementa estimativa de ponto, ICs baseados em ANOVA e testes de hipóteses para todas as dez combinações de desenho do ICC sob o framework de McGraw e Wong (1996), incluindo quatro combinações adicionais de "uso com cautela".
• Estrutura de Decisão de Quatro Etapas: Um sistema de parâmetros estruturado guia os usuários desde as especificações de desenho do estudo (consistência do avaliador, tipo de efeito, unidade de avaliação, tipo de concordância) até a forma apropriada de ICC. O sistema fornece feedback explícito (NOTAS ou AVISOS) para casos especiais, como mapeamentos automáticos entre rotinas computacionais ou restrições de inferência para concordância absoluta de avaliador fixo.
• Integração de Planejamento e Análise: O pacote unifica o planejamento de tamanho de amostra (via fórmulas de forma fechada de Zou) e a análise de dados, garantindo especificações de desenho consistentes ao longo do ciclo de vida da pesquisa.
• Relatórios Automatizados e Visualização: Gera relatórios de análise padronizados em formato de texto e inclui uma aplicação web interativa em Shiny que permite aos usuários realizar todo o fluxo de trabalho sem escrever código R.
• Utilitário de Pré-processamento de Dados: Uma função dedicada (icc_preprocess_data) valida o formato dos dados, dimensões e valores ausentes antes da análise, aumentando a transparência e o controle de qualidade dos dados.

Resultados e Capacidades

O artigo demonstra a funcionalidade do pacote através de exemplos ilustrativos utilizando um conjunto de dados simulado integrado. Os exemplos cobrem:

• Pré-processamento de dados em formato largo (wide-format).
• Computação de várias formas de ICC (ex: ICC(1,1), ICC(2,1), ICC(3,k)).
• Realização de testes de hipótese de limiar customizados.
• Manipulação de combinações de "uso com cautela" com as devidas notificações ao usuário.
• Realização de cálculos de tamanho de amostra para garantia de limite inferior, largura de IC e garantia inversa.
• Execução da aplicação Shiny para um fluxo de trabalho livre de código.

Comparações com pacotes existentes (irr, psych, ICC.Sample.Size, irrNA) destacam que o ICCDesign é a única ferramenta que oferece cobertura total das dez combinações de desenho, orientação de decisão automatizada, pré-processamento dedicado e uma interface unificada tanto para planejamento quanto para análise.

Significância e Alegações

Os autores posicionam o ICCDesign não como uma proposta de novos estimadores estatísticos, mas como uma consolidação de procedimentos estabelecidos em uma interface coesa e amigável ao usuário. A significância do trabalho reside em abordar a fragmentação das ferramentas atuais e a falta de orientação operacional para a seleção da forma correta de ICC. Ao integrar a especificação de desenho, o planejamento de tamanho de amostra, a estimativa, a inferência e o relatório em um único pacote, o ICCDesign visa reduzir erros operacionais e melhorar o rigor dos estudos de confiabilidade. O pacote está disponível no GitHub sob a licença GPL (>= 3), com planos futuros de submissão ao CRAN e expansão do suporte para dados ausentes e intervalos de bootstrap.