Refining Effect-Size Measures and Classification for Differential Item Functioning: Toward Unified Guidelines Across Methods

Resumen Técnico: Refinamiento de las Medidas del Tamaño del Efecto y la Clasificación para el Funcionamiento Diferencial de los Ítems

Planteamiento del Problema
El análisis del Funcionamiento Diferencial de los Ítems (DIF, por sus siglas en inglés) es fundamental para identificar el sesgo en las mediciones de múltiples ítems, asegurando que individuos de diferentes grupos con el mismo nivel de rasgo latente tengan probabilidades iguales de responder a un ítem. Si bien las pruebas de significación estadística son un estándar, son insuficientes por sí solas porque las tasas de error de Tipo I y la potencia estadística dependen fuertemente del tamaño de la muestra. En consecuencia, evaluar la significación práctica del DIF mediante medidas del tamaño del efecto y la clasificación (típicamente en categorías de "negligible", "moderada" y "grande") es esencial.

Sin embargo, el campo carece actualmente de directrices unificadas. Las medidas de tamaño de efecto existentes (por ejemplo, $\Delta MH$ de Mantel-Haenszel, $\hat{\beta}$ de SIBTEST, $\Delta R^2$ de Regresión Logística y medidas basadas en el área) suelen producir clasificaciones inconsistentes para un mismo ítem. Muchos de los valores de corte existentes se derivaron de estudios de simulación a pequeña escala o carecen de una validación sistemática a través de diferentes métodos de detección. Esta inconsistencia complica la toma de decisiones respecto a la retención o eliminación de ítems, particularmente en conjuntos de datos grandes donde diferencias triviales pueden ser señaladas como estadísticamente significativas.

Metodología
Los autores llevaron a cabo un estudio de simulación exhaustivo para evaluar las propiedades de las medidas de tamaño de efecto de DIF existentes y para proponer directrices de clasificación unificadas. El estudio se centró en ítems dicotómicos y pertenencia de grupo binaria, cubriendo tanto el DIF uniforme como el no uniforme.

• Diseño de la Simulación: El estudio manipuló seis factores de diseño: tamaño de la muestra (que varió de 100 a 10,000 por grupo), longitud del test (20 y 40 ítems), proporción de ítems con DIF (5% y 10%), desplazamientos en la distribución de la habilidad, magnitud del DIF subyacente (definida por el Área No Firmada, UA, entre las Curvas Características del Ítem) y tipo de DIF (uniforme vs. no uniforme). Esto resultó en 1,008 configuraciones únicas, cada una replicada 1,000 veces (totalizando más de 1 millón de conjuntos de datos).
• Métodos Evaluados: El estudio evaluó métodos tradicionales (Mantel-Haenszel, SIBTEST, Crossing SIBTEST) y enfoques basados en modelos (Regresión Logística, modelos IRT de 2PL/3PL/4PL).
• Medidas del Tamaño del Efecto: Se analizó una amplia gama de medidas, incluyendo:
  • Basadas en la razón de momios (odds-ratio): $|\Delta MH|$, $\Delta LR$.
  • Basadas en la probabilidad: $LR-P-DIF$, $LR-STD-P-DIF$ (con varios esquemas de ponderación).
  • Basadas en la varianza: $\Delta R^2$.
  • Basadas en el área: Área con Signo (SA), Área No Firmada (UA), Áreas con y sin Signo Cerradas (CSA, CUA), Áreas con y sin Signo Ponderadas (WSA, WUA), y las nuevas versiones estandarizadas ($SA^{STD}$, $UA^{STD}$).
• Enfoque Analítico: Los autores utilizaron modelos de regresión lineal y cúbica para vincular diferentes medidas de tamaño de efecto con un ancla común (la UA subyacente o $|\Delta MH|$). Investigaron la dependencia de estas medidas respecto a los factores de diseño (por ejemplo, el tamaño de la muestra) y derivaron nuevos valores de corte que alinean las clasificaciones entre los diferentes métodos.

Contribuciones Clave

1. Directrices de Clasificación Unificadas: El artículo propone valores de corte revisados para múltiples medidas de tamaño de efecto para asegurar una clasificación consistente (Negligible, Moderada, Grande) a través de diferentes métodos de detección de DIF.
   • Para DIF Uniforme: Se proponen nuevos umbrales para SIBTEST ($|\hat{\beta}|$), Regresión Logística ($\Delta R^2$, $LR-STD-P-DIF$) y medidas basadas en el área. Notablemente, los autores introducen medidas de área estandarizadas ($UA^{STD}$) con umbrales de 0.426 (negligible/moderada) y 0.638 (moderada/grande), las cuales están vinculadas analíticamente a los umbrales convencionales de $|\Delta MH|$ de 1 y 1.5.
   • Para DIF No Uniforme: Se proponen nuevos umbrales para Crossing SIBTEST, Regresión Logística ($\Delta R^2$) y medidas basadas en el área, con restricciones específicas sobre los tamaños de muestra.
2. Medidas de Área Estandarizadas: Los autores introducen $SA^{STD}$ y $UA^{STD}$, que escalan el área entre las ICC por el parámetro de discriminación del ítem ($a_i$). Esto permite que las medidas basadas en el área sean directamente comparables con las métricas basadas en la razón de momios y proporciona un tamaño de efecto invariante a la escala.
3. Restricciones de Uso: El estudio identifica limitaciones específicas de las medidas existentes y recomienda restricciones de uso:
   • El $|\hat{\beta}$ de SIBTEST y las medidas basadas en el área deben restringirse a tamaños de muestra $N \ge 500$ (uniforme) o $N \ge 1,000$ (no uniforme) debido a su inestabilidad en muestras pequeñas.
   • Se advierte contra el uso de medidas que dependen de supuestos de distribución (por ejemplo, $LR-P-DIF$, $WUA$) cuando la distribución de la habilidad se desvía del modelo asumido.
4. Validación Empírica: Las directrices propuestas fueron probadas en dos conjuntos de datos del mundo real: el estudio de Comportamiento de Salud en Niños y Adolescentes en Edad Escolar (HBSC) (muestra grande, $N \approx 180,000$) y el conjunto de datos del examen de admisión a la escuela de medicina en biología (MSATB) (muestra más pequeña, $N \approx 1,400$).

Resultados

• Inconsistencia de las Directrices Actuales: La simulación reveló que los valores de corte existentes a menudo conducen a clasificaciones inconsistentes. Por ejemplo, $\Delta R^2$ frecuentemente subestimaba la magnitud del DIF, clasificando ítems como "negligibles" cuando otras medidas indicaban "moderados" o "grandes". Por el contrario, las métricas de p como $LR-P-DIF$ mostraron alta sensibilidad al tamaño de la muestra y a los desplazamientos en la distribución de la habilidad.
• Desempeño de las Nuevas Directrices: Los nuevos valores de corte propuestos mejoraron significativamente la precisión de la clasificación. Para el DIF uniforme, la tasa de clasificación correcta para $\Delta R^2$ mejoró del 27.41% (usando los umbrales antiguos) al 63.12% (usando los nuevos umbrales). Las medidas de área estandarizadas ($UA^{STD}$) mostraron una fuerte concordancia con las medidas basadas en la razón de momios ($|\Delta MH|$, $\Delta LR$), logrando más del 60% de concordancia general.
• Efectos del Tamaño de la Muestra: Los tamaños de muestra pequeños ($N \le 200$) resultaron en una alta varianza y correlaciones débiles entre las medidas de tamaño de efecto, validando la recomendación de restringir ciertos métodos a muestras más grandes.
• Aplicación en Datos Reales: En el conjunto de datos HBSC, las nuevas directrices resolvieron conflictos donde diferentes métodos sugerían clasificaciones contradictorias (por ejemplo, un ítem clasificado como "moderado" por una medida y "negligible" por otra). En el conjunto de datos MSATB, los nuevos umbrales proporcionaron conclusiones más consistentes sobre la magnitud del DIF para los ítems señalados por diferentes métodos.

Significación y Reivindicaciones
Los autores afirman que este trabajo llena un vacío de investigación crítico al proporcionar directrices de clasificación derivadas analíticamente y validadas mediante simulación para las medidas de tamaño de efecto de DIF basadas en el área, las cuales carecían previamente de umbrales estandarizados. Al vincular estas medidas con la métrica de Mantel-Haenszel, ampliamente aceptada, el estudio ofrece un "marco unificado" que mejora la interpretabilidad y la comparabilidad de los resultados de DIF entre los métodos tradicionales y los basados en modelos.

El artículo enfatiza que, si bien no es posible lograr la alineación completa de todas las medidas debido a la naturaleza aproximada de las relaciones modeladas, el marco propuesto reduce la ambigüedad en las decisiones de señalización de ítems. Los autores señalan modestamente que sus directrices están validadas principalmente para modelos 2PL e ítems dicotómicos; su aplicabilidad a modelos 3PL/4PL o ítems politomos requiere mayor investigación. No obstante, el estudio avanza en la estandarización del análisis de DIF, ofreciendo a los investigadores una base más transparente y confiable para evaluar la significación práctica del sesgo de los ítems.