Refining Effect-Size Measures and Classification for Differential Item Functioning: Toward Unified Guidelines Across Methods

Resumo Técnico: Refinamento de Medidas de Tamanho de Efeito e Classificação para Funcionamento Diferencial de Itens

Definição do Problema
A análise do Funcionamento Diferencial de Itens (DIF) é crítica para identificar vieses em medições de múltiplos itens, garantindo que indivíduos de diferentes grupos, com o mesmo nível de traço latente, tenham probabilidades iguais de responder a um item. Embora o teste de significância estatística seja o padrão, ele é insuficiente por si só porque as taxas de erro do Tipo I e o poder estatístico dependem fortemente do tamanho da amostra. Consequentemente, avaliar a significância prática do DIF por meio de medidas de tamanho de efeito e classificação (tipicamente em categorias "negligenciável", "moderada" e "grande") é essencial.

No entanto, o campo carece atualmente de diretrizes unificadas. As medidas de tamanho de efeito existentes (ex: $\Delta MH$ de Mantel-Haenszel, $\hat{\beta}$ de SIBTEST, $\Delta R^2$ de Regressão Logística e medidas baseadas em área) frequentemente geram classificações inconsistentes para o mesmo item. Muitos valores de corte existentes foram derivados de estudos de simulação de pequena escala ou carecem de validação sistemática entre diferentes métodos de detecção. Essa inconsistência complica a tomada de decisão quanto à retenção ou remoção de itens, particularmente em grandes conjuntos de dados onde diferenças triviais podem ser sinalizadas como estatisticamente significativas.

Metodologia
Os autores conduziram um estudo de simulação abrangente para avaliar as propriedades das medidas de tamanho de efeito de DIF existentes e para propor diretrizes de classificação unificadas. O estudo focou em itens dicotômicos e pertencimento a grupos binários, cobrindo DIF uniforme e não uniforme.

• Design da Simulação: O estudo manipulou seis fatores de design: tamanho da amostra (variando de 100 a 10.000 por grupo), extensão do teste (20 e 40 itens), proporção de itens com DIF (5% e 10%), deslocamentos na distribuição de habilidade, magnitude do DIF subjacente (definida pela Área Não Assinada, UA, entre as Curvas Características do Item) e tipo de DIF (uniforme vs. não uniforme). Isso resultou em 1.008 configurações únicas, cada uma replicada 1.000 vezes (totalizando mais de 1 milhão de conjuntos de dados).
• Métodos Avaliados: O estudo avaliou métodos tradicionais (Mantel-Haenszel, SIBTEST, Crossing SIBTEST) e abordagens baseadas em modelos (Regressão Logística, modelos IRT 2PL/3PL/4PL).
• Medidas de Tamanho de Efeito: Uma ampla gama de medidas foi analisada, incluindo:
  • Baseadas em razão de chances (odds-ratio): $|\Delta MH|$, $\Delta LR$.
  • Baseadas em probabilidade: $LR-P-DIF$, $LR-STD-P-DIF$ (com vários esquemas de ponderação).
  • Baseadas em variância: $\Delta R^2$.
  • Baseadas em área: Área Assinada (SA), Área Não Assinada (UA), Áreas Assinadas/Não Assinadas Fechadas (CSA, CUA), Áreas Assinadas/Não Assinadas Ponderadas (WSA, WUA) e novas versões padronizadas ($SA^{STD}$, $UA^{STD}$).
• Abordagem Analítica: Os autores utilizaram modelos de regressão linear e cúbica para vincular diferentes medidas de tamanho de efeito a um âncora comum (a UA subjacente ou $|\Delta MH|$). Investigaram a dependência dessas medidas em relação aos fatores de design (ex: tamanho da amostra) e derivaram novos valores de corte que alinham as classificações entre os métodos.

Principais Contribuições

1. Diretrizes de Classificação Unificadas: O artigo propõe valores de corte revisados para múltiplas medidas de tamanho de efeito de DIF para garantir uma classificação consistente (Negligenciável, Moderada, Grande) entre diferentes métodos de detecção de DIF.
   • Para DIF Uniforme: Novos limiares são propostos para SIBTEST ($|\hat{\beta}|$), Regressão Logística ($\Delta R^2$, $LR-STD-P-DIF$) e medidas baseadas em área. Notavelmente, os autores introduzem medidas de área padronizadas ($UA^{STD}$) com limiares de 0,426 (negligenciável/moderado) e 0,638 (moderado/grande), que estão analiticamente vinculadas aos limiares convencionais de $|\Delta MH|$ de 1 e 1,5.
   • Para DIF Não Uniforme: Novos limiares são propostos para Crossing SIBTEST, Regressão Logística ($\Delta R^2$) e medidas baseadas em área, com restrições específicas sobre tamanhos de amostra.
2. Medidas de Área Padronizadas: Os autores introduzem $SA^{STD}$ e $UA^{STD}$, que escalonam a área entre as ICCs pelo parâi-metro de discriminação do item ($a_i$). Isso permite que as medidas baseadas em área sejam diretamente comparáveis às métricas baseadas em razão de chances e fornece um tamanho de efeito invariante de escala.
3. Restrições de Uso: O estudo identifica limitações específicas de medidas existentes e recomenda restrições de uso:
   • O $|\hat{\beta}|$ do SIBTEST e as medidas baseadas em área devem ser restritos a tamanhos de amostra $N \ge 500$ (uniforme) ou $N \ge 1.000$ (não uniforme) devido à instabilidade em amostras menores.
   • Medidas que dependem de pressupostos distributivos (ex: $LR-P-DIF$, $WUA$) devem ser usadas com cautela quando a distribuição de habilidade desvia do modelo assumido.
4. Validação Empírica: As diretrizes propostas foram testadas em dois conjuntos de dados do mundo real: o estudo Health Behaviour in School-aged Children (HBSC) (amostra grande, $N \approx 180.000$) e o conjunto de dados do Medical School Admission Test in Biology (MSATB) (amostra menor, $N \approx 1.400$).

Resultos

• Inconsistência das Diretrizes Atuais: A simulação revelou que os valores de corte existentes frequentemente levam a classificações inconsistentes. Por exemplo, o $\Delta R^2$ frequentemente subestimou a magnitude do DIF, classificando itens como "negligenciáveis" quando outras medidas indicavam "moderado" ou "grande". Inversamente, as métricas de p como $LR-P-DIF$ mostraram alta sensibilidade ao tamanho da amostra e aos deslocamentos na distribuição de habilidade.
• Desempenho das Novas Diretrizes: Os novos valores de corte propostos melhoraram significativamente a precisão da classificação. Para o DIF uniforme, a taxa de classificação correta para $\Delta R^2$ melhorou de 27,41% (usando os antigos limiares) para 63,12% (usando os novos limiares). As medidas de área padronizadas ($UA^{STD}$) mostraram forte concordância com as medidas baseadas em razão de chances ($|\Delta MH|$, $\Delta LR$), alcançando mais de 60% de concordância geral.
• Efeitos do Tamanho da Amostra: Pequenos tamanhos de amostra ($N \le 200$) resultaram em alta variância e correlações fracas entre as medidas de tamanho de efeito, validando a recomendação de restringir certos métodos a amostras maiores.
• Aplicação em Dados Reais: No conjunto de dados HBSC, as novas diretrizes resolveram conflitos onde diferentes métodos sugeriam classificações contraditórias (ex: um item classificado como "moderado" por uma medida e "negligenciável" por outra). No conjunto de dados MSATB, os novos limiares forneceram conclusões mais consistentes sobre a magnitude do DIF para itens sinalizados por diferentes métodos.

Significância e Alegações
Os autores alegam que este trabalho preenche uma lacuna de pesquisa crítica ao fornecer diretrizes de classificação derivadas analiticamente e validadas por simulação para medidas de tamanho de efeito de DIF baseadas em área, que anteriormente careciam de limiares padronizados. Ao vincular essas medidas à métrica amplamente aceita de Mantel-Haenszel, o estudo oferece um "arcabouço unificado" que aumenta a interpretabilidade e a comparabilidade dos resultados de DIF entre métodos tradicionais e baseados em modelos.

O artigo enfatiza que, embora o alinhamento completo de todas as medidas não seja atingível devido à natureza aproximada das relações modeladas, o arcabouço proposto reduz a ambiguidade nas decisões de sinalização de itens. Os autores observam modestamente que suas diretrizes são validadas principalmente para modelos 2PL e itens binários; sua aplicabilidade a modelos 3PL/4PL ou itens politomos requer investigação adicional. No entanto, o estudo avança na padronização da análise de DIF, oferecendo aos pesquisadores uma base mais transparente e confiável para avaliar a significância prática do viés de itens.