Asymptotic Standard Errors for Reliability Coefficients in Item Response Theory

Título: Erros Padrão Assintóticos para Coeficientes de Confiabilidade na Teoria de Resposta ao Item (IRT)

Autores: Youjin Sung e Yang Liu (Departamento de Desenvolvimento Humano e Metodologia Quantitativa, Universidade de Maryland).

1. O Problema

A confiabilidade é um índice fundamental da precisão da medição em modelos de variáveis latentes. Recentemente, Liu et al. (2025b) classificaram os coeficientes de confiabilidade em dois tipos principais dentro de um quadro de regressão:

1. Confiabilidade da Teoria Clássica de Testes (CTT): Corresponde ao coeficiente de determinação ao regressar uma pontuação observada sobre a variável latente (mede o quanto a pontuação observada reflete a latente).
2. Redução Proporcional no Erro Quadrático Médio (PRMSE): Corresponde ao coeficiente de determinação ao regressar a pontuação latente sobre todas as variáveis de resposta (mede o quanto a variável latente é prevista pelos itens).

A Lacuna: Embora existam fórmulas para calcular os erros padrão (EP) desses coeficientes quando a variabilidade amostral surge apenas da estimação dos parâmetros dos itens (usando o método Delta), a literatura carece de métodos para situações onde os coeficientes são calculados substituindo momentos populacionais por momentos amostrais.

• Em testes longos, o cálculo exato dos momentos populacionais (envolvendo a soma sobre todos os padrões de resposta possíveis) torna-se computacionalmente inviável devido ao crescimento exponencial das combinações.
• Portanto, na prática, utiliza-se estimativas baseadas em momentos amostrais (ex: "confiabilidade empírica").
• O problema atual é que as fórmulas de EP existentes ignoram a variabilidade adicional introduzida pelo uso desses momentos amostrais, levando a uma quantificação de incerteza inadequada.

2. Metodologia

Os autores propõem uma estratégia geral para derivar erros padrão assintóticos que incorporam simultaneamente duas fontes de variabilidade amostral:

1. Estimação dos parâmetros dos itens.
2. Substituição de momentos populacionais por momentos amostrais.

Estrutura Teórica:

• Quadro Geral: Define um vetor de estatísticas amostrais $H(Y_i; \nu)$ que depende tanto das respostas $Y_i$ quanto dos parâmetros do modelo $\nu$.
• Normalidade Assintótica: Utilizam o método Delta estendido para derivar a distribuição assintótica de uma função de transformação $\phi(\hat{\eta}(\hat{\nu}))$, onde $\hat{\nu}$ são os estimadores de máxima verossimilhança e $\hat{\eta}$ são as médias amostrais das estatísticas $H$.
• Fórmula do Erro Padrão: Derivam a matriz de covariância assintótica $\Sigma(\nu)$ e aplicam o método Delta para obter o EP:
  $$SE[\phi(\hat{\eta}(\hat{\nu}))] = \sqrt{\frac{1}{n} \nabla\phi(\hat{\eta}(\hat{\nu}))^\top \hat{\Sigma}(\hat{\nu}) \nabla\phi(\hat{\eta}(\hat{\nu}))}$$

Aplicações Específicas (sob o Modelo de Resposta Graduada - GRM):
Os autores aplicam essa teoria geral a dois casos específicos:

1. Confiabilidade CTT para a pontuação EAP (Expected A Posteriori): Envolve a aproximação de integrais intratáveis (esperança da pontuação verdadeira) usando quadratura numérica e reexpressando a esperança condicional como uma esperança marginal (usando a regra de Bayes) para permitir o uso de médias amostrais.
2. PRMSE para a variável latente: Derivado diretamente a partir da variância da pontuação EAP e da variância da variável latente, expresso como uma função dos momentos amostrais.

3. Contribuições Principais

1. Quadro Geral de Derivação: Apresentam uma metodologia unificada para derivar EPs de coeficientes de confiabilidade que dependem de momentos amostrais, superando a limitação de métodos anteriores que assumiam apenas variabilidade de parâmetros.
2. Derivações Analíticas Completas: Fornecem as fórmulas detalhadas para a confiabilidade CTT da pontuação EAP e para o PRMSE da variável latente sob o modelo GRM (que inclui o modelo 2PL como caso especial).
3. Viabilidade Computacional: Demonstram como reexpressar integrais de momentos populacionais como expectativas marginais, permitindo a estimativa direta via médias amostrais e eliminando a necessidade de calcular todas as combinações de respostas em testes longos.
4. Planejamento de Amostragem: As fórmulas derivadas podem ser utilizadas para o planejamento de tamanho de amostra em estudos de confiabilidade.

4. Resultados do Estudo de Simulação

Um estudo de simulação foi conduzido com modelos 2PL e GRM, variando o tamanho da amostra ($n = 250, 500, 1000$) e o comprimento do teste.

• Precisão dos EPs: Os erros padrão assintóticos derivados capturaram com alta precisão a variabilidade amostral empírica (desvio padrão empírico) em todas as condições, mesmo para amostras moderadas ($n=500$). A diferença entre o EP estimado e o empírico foi negligenciável (≤ 0,002).
• Viés de Pontuação: Em amostras pequenas ($n=250$), observou-se uma leve superestimação (viés positivo) nos estimadores de ponto tanto para CTT quanto para PRMSE. Esse viés diminuiu conforme o tamanho da amostra aumentou.
• Cobertura de Intervalos de Confiança (IC):
  • Para $n=250$, houve subcobertura (ICs abaixo do nível nominal de 95%), atribuída à má aproximação normal e ao viés em amostras pequenas.
  • Para $n \ge 500$, as taxas de cobertura atingiram o nível nominal, indicando que a distribuição amostral se aproxima da normalidade e os EPs são válidos.
• Robustez: O método funcionou bem para diferentes comprimentos de teste (8, 16, 32 itens) e modelos (dichotômicos e politômicos).

5. Significado e Implicações

• Validação Prática: O estudo fornece uma ferramenta rigorosa para quantificar a incerteza em coeficientes de confiabilidade baseados em IRT, especialmente em testes longos onde o cálculo populacional exato é impossível.
• Aplicabilidade Empírica: Em um exemplo empírico com dados do SAT (32 itens), os autores demonstraram como reportar não apenas os valores de confiabilidade (0.918 para CTT e 0.838 para PRMSE), mas também seus erros padrão e intervalos de confiança, permitindo uma interpretação mais precisa da precisão da medição.
• Futuro: O trabalho abre caminho para extensões em modelos multidimensionais, correção de viés em amostras pequenas (via bootstrap ou transformações) e aplicação em outros índices de precisão de medição.

Conclusão: O artigo preenche uma lacuna crítica na literatura psicométrica, fornecendo métodos assintóticos válidos para calcular a incerteza de estimativas de confiabilidade que utilizam momentos amostrais, garantindo que pesquisadores possam reportar intervalos de confiança precisos para a confiabilidade de testes baseados em IRT.